71e3497bfd
- design-seckill.md: 秒杀系统设计 - design-shorturl.md: 短链接系统设计 - design-lbs.md: LBS附近的人系统设计 - design-im.md: 即时通讯系统设计 - design-feed.md: 社交信息流系统设计 Each document includes: - Requirements analysis and data volume assessment - Technical challenges - System architecture design - Database design - Caching strategies - Scalability considerations - Practical project experience - Alibaba P7 level additional points Co-Authored-By: Claude Sonnet 4.5 <noreply@anthropic.com>
424 lines
16 KiB
Markdown
424 lines
16 KiB
Markdown
# 即时通讯系统设计
|
||
|
||
## 需求分析和数据量评估
|
||
|
||
### 需求分析
|
||
- **核心功能**：单聊、群聊、消息推送、在线状态
|
||
- **业务场景**：社交应用、企业通讯、客服系统
|
||
- **QPS评估**：日消息100亿+，峰值QPS 10万+
|
||
- **数据规模**：用户1亿+，好友关系10亿+，历史消息1000亿+
|
||
|
||
### 数据量评估
|
||
- **用户表**：1亿条，日均查询1000万次
|
||
- **好友关系表**：10亿条，日均更新100万次
|
||
- **消息表**：1000亿+条，日增1亿+
|
||
- **群组表**：1亿+条，日均查询100万次
|
||
- **离线消息**：100亿+条，日均推送1亿+
|
||
|
||
## 核心技术难点
|
||
|
||
### 1. 高并发消息处理
|
||
- 亿级用户同时在线
|
||
- 消息的实时性要求
|
||
- 消息的可靠性保证
|
||
|
||
### 2. 消息存储优化
|
||
- 海量消息数据存储
|
||
- 消息的快速检索
|
||
- 历史消息清理
|
||
|
||
### 3. 在线状态管理
|
||
- 实时在线状态同步
|
||
- 心跳检测机制
|
||
- 离线状态管理
|
||
|
||
### 4. 消息推送优化
|
||
- 推送延迟控制
|
||
- 消息去重
|
||
- 推送失败重试
|
||
|
||
## 系统架构设计
|
||
|
||
### 总体架构
|
||
```
|
||
┌─────────────────┐ ┌─────────────────┐ ┌─────────────────┐
|
||
│ 移动端APP │ │ PC客户端 │ │ Web网页 │
|
||
│ (iOS/Android)│ │ (Windows) │ │ (Web) │
|
||
└─────────────────┘ └─────────────────┘ └─────────────────┘
|
||
│ │ │
|
||
└───────────────────────┼───────────────────────┘
|
||
│
|
||
┌─────────────────────┼───────────────────────┐
|
||
│ │ │
|
||
┌─────────────────┐ ┌─────────────────┐ ┌─────────────────┐
|
||
│ 负载均衡 │ │ API网关 │ │ CDN加速 │
|
||
│ (Nginx) │ │ (Gateway) │ │ (Edge) │
|
||
└─────────────────┘ └─────────────────┘ └─────────────────┘
|
||
│
|
||
┌─────────────────────┼───────────────────────┐
|
||
│ │ │
|
||
┌─────────────────┐ ┌─────────────────┐ ┌─────────────────┐
|
||
│ 网关服务 │ │ 业务服务 │ │ 推送服务 │
|
||
│ (Gateway) │ │ (微服务) │ │ (Service) │
|
||
└─────────────────┘ └─────────────────┘ └─────────────────┘
|
||
│ │ │
|
||
└─────────────────────┼───────────────────────┘
|
||
│
|
||
┌─────────────────────┼───────────────────────┐
|
||
│ │ │
|
||
┌─────────────────┐ ┌─────────────────┐ ┌─────────────────┐
|
||
│ 消息队列 │ │ Redis集群 │ │ 数据库集群 │
|
||
│ (Kafka/Pulsar)│ │ (缓存+pub/sub)│ │ (MySQL分库分表)│
|
||
└─────────────────┘ └─────────────────┘ └─────────────────┘
|
||
│
|
||
┌─────────────────────┼───────────────────────┐
|
||
│ │ │
|
||
┌─────────────────┐ ┌─────────────────┐ ┌─────────────────┐
|
||
│ 消息存储 │ │ 文件存储 │ │ 搜索引擎 │
|
||
│ (MongoDB) │ │ (MinIO/S3) │ │ (Elasticsearch)│
|
||
└─────────────────┘ └─────────────────┘ └─────────────────┘
|
||
```
|
||
|
||
### 关键组件
|
||
|
||
#### 1. 流量层
|
||
- **负载均衡**：Nginx L7负载均衡
|
||
- **API网关**：请求路由、限流、认证
|
||
- **CDN加速**：静态资源缓存
|
||
|
||
#### 2. 服务层
|
||
- **网关服务**：连接管理、协议转换
|
||
- **业务服务**：消息处理、关系管理
|
||
- **推送服务**：消息推送、状态同步
|
||
- **通知服务**：系统通知、消息提醒
|
||
|
||
#### 3. 存储层
|
||
- **Redis集群**：在线状态、会话管理
|
||
- **MySQL集群**：用户数据、关系数据
|
||
- **MongoDB集群**：消息存储、历史记录
|
||
- **消息队列**：异步处理、削峰填谷
|
||
|
||
#### 4. 基础设施
|
||
- **消息存储**：分布式文件系统
|
||
- **搜索引擎**：消息全文检索
|
||
- **监控系统**：实时监控告警
|
||
- **日志系统**：业务日志记录
|
||
|
||
## 数据库设计
|
||
|
||
### 用户表
|
||
```sql
|
||
CREATE TABLE `im_user` (
|
||
`id` bigint NOT NULL AUTO_INCREMENT,
|
||
`user_id` bigint NOT NULL COMMENT '用户ID',
|
||
`username` varchar(50) NOT NULL COMMENT '用户名',
|
||
`nickname` varchar(50) NOT NULL COMMENT '昵称',
|
||
`avatar` varchar(255) DEFAULT NULL COMMENT '头像',
|
||
`gender` tinyint DEFAULT 0 COMMENT '性别',
|
||
`birthday` date DEFAULT NULL COMMENT '生日',
|
||
`signature` varchar(255) DEFAULT NULL COMMENT '个性签名',
|
||
`mobile` varchar(20) DEFAULT NULL COMMENT '手机号',
|
||
`email` varchar(100) DEFAULT NULL COMMENT '邮箱',
|
||
`status` tinyint NOT NULL DEFAULT 1 COMMENT '状态',
|
||
`last_login` timestamp DEFAULT NULL COMMENT '最后登录时间',
|
||
`created_at` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
|
||
`updated_at` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
|
||
PRIMARY KEY (`id`),
|
||
UNIQUE KEY `uk_user_id` (`user_id`)
|
||
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
|
||
```
|
||
|
||
### 好友关系表
|
||
```sql
|
||
CREATE TABLE `im_friends` (
|
||
`id` bigint NOT NULL AUTO_INCREMENT,
|
||
`user_id` bigint NOT NULL COMMENT '用户ID',
|
||
`friend_id` bigint NOT NULL COMMENT '好友ID',
|
||
`remark` varchar(50) DEFAULT NULL COMMENT '备注',
|
||
`group_name` varchar(50) DEFAULT NULL COMMENT '分组名',
|
||
`status` tinyint NOT NULL DEFAULT 1 COMMENT '状态',
|
||
`created_at` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
|
||
PRIMARY KEY (`id`),
|
||
UNIQUE KEY `uk_user_friend` (`user_id`, `friend_id`),
|
||
KEY `idx_user_id` (`user_id`),
|
||
KEY `idx_friend_id` (`friend_id`)
|
||
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
|
||
```
|
||
|
||
### 消息表
|
||
```sql
|
||
CREATE TABLE `im_message` (
|
||
`id` bigint NOT NULL AUTO_INCREMENT,
|
||
`message_id` varchar(64) NOT NULL COMMENT '消息ID',
|
||
`from_user_id` bigint NOT NULL COMMENT '发送者ID',
|
||
`to_user_id` bigint DEFAULT NULL COMMENT '接收者ID',
|
||
`group_id` bigint DEFAULT NULL COMMENT '群组ID',
|
||
`message_type` tinyint NOT NULL COMMENT '消息类型',
|
||
`content` text COMMENT '消息内容',
|
||
`is_read` tinyint NOT NULL DEFAULT 0 COMMENT '是否已读',
|
||
`is_deleted` tinyint NOT NULL DEFAULT 0 COMMENT '是否已删除',
|
||
`created_at` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
|
||
PRIMARY KEY (`id`),
|
||
UNIQUE KEY `uk_message_id` (`message_id`),
|
||
KEY `idx_from_user` (`from_user_id`),
|
||
KEY `idx_to_user` (`to_user_id`),
|
||
KEY `idx_group_id` (`group_id`),
|
||
KEY `idx_created_at` (`created_at`)
|
||
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
|
||
```
|
||
|
||
### 群组表
|
||
```sql
|
||
CREATE TABLE `im_group` (
|
||
`id` bigint NOT NULL AUTO_INCREMENT,
|
||
`group_id` bigint NOT NULL COMMENT '群组ID',
|
||
`group_name` varchar(100) NOT NULL COMMENT '群名称',
|
||
`avatar` varchar(255) DEFAULT NULL COMMENT '群头像',
|
||
`creator_id` bigint NOT NULL COMMENT '创建者ID',
|
||
`member_count` int NOT NULL DEFAULT 0 COMMENT '成员数',
|
||
`max_members` int DEFAULT 500 COMMENT '最大成员数',
|
||
`description` text COMMENT '群描述',
|
||
`status` tinyint NOT NULL DEFAULT 1 COMMENT '状态',
|
||
`created_at` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
|
||
PRIMARY KEY (`id`),
|
||
UNIQUE KEY `uk_group_id` (`group_id`)
|
||
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
|
||
```
|
||
|
||
### 群组成员表
|
||
```sql
|
||
CREATE TABLE `im_group_member` (
|
||
`id` bigint NOT NULL AUTO_INCREMENT,
|
||
`group_id` bigint NOT NULL COMMENT '群组ID',
|
||
`user_id` bigint NOT NULL COMMENT '用户ID',
|
||
`role` tinyint NOT NULL DEFAULT 0 COMMENT '角色',
|
||
`nickname` varchar(50) DEFAULT NULL COMMENT '群昵称',
|
||
`join_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
|
||
PRIMARY KEY (`id`),
|
||
UNIQUE KEY `uk_group_user` (`group_id`, `user_id`),
|
||
KEY `idx_group_id` (`group_id`),
|
||
KEY `idx_user_id` (`user_id`)
|
||
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
|
||
```
|
||
|
||
## 缓存策略
|
||
|
||
### Redis缓存设计
|
||
```typescript
|
||
// 用户在线状态
|
||
const ONLINE_STATUS_PREFIX = 'online:';
|
||
const ONLINE_STATUS_TTL = 300; // 5分钟
|
||
|
||
// 会话信息
|
||
const SESSION_PREFIX = 'session:';
|
||
const SESSION_TTL = 3600; // 1小时
|
||
|
||
// 未读消息计数
|
||
const UNREAD_PREFIX = 'unread:';
|
||
const UNREAD_TTL = 86400; // 24小时
|
||
|
||
// 消息已读状态
|
||
const READ_PREFIX = 'read:';
|
||
const READ_TTL = 604800; // 7天
|
||
|
||
// 最近会话
|
||
const RECENT_SESSION_PREFIX = 'recent:';
|
||
const RECENT_SESSION_TTL = 86400; // 24小时
|
||
```
|
||
|
||
### 缓存策略
|
||
1. **多级缓存**：
|
||
- 本地缓存：Caffeine
|
||
- 分布式缓存：Redis Cluster
|
||
- 内存缓存：热点数据缓存
|
||
|
||
2. **缓存更新策略**：
|
||
- Write Through：写入同时更新缓存
|
||
- Write Behind：异步更新缓存
|
||
- Cache Invalidation：定时失效
|
||
|
||
3. **消息缓存**：
|
||
- 最近消息缓存
|
||
- 群组信息缓存
|
||
- 用户状态缓存
|
||
|
||
### WebSocket实现
|
||
```java
|
||
public class WebSocketHandler extends TextWebSocketHandler {
|
||
|
||
private static final Map<String, WebSocketSession> sessions = new ConcurrentHashMap<>();
|
||
|
||
@Override
|
||
public void afterConnectionEstablished(WebSocketSession session) throws Exception {
|
||
// 用户上线
|
||
String userId = getUserIdFromSession(session);
|
||
sessions.put(userId, session);
|
||
|
||
// 更新在线状态
|
||
redisTemplate.opsForValue().set(ONLINE_STATUS_PREFIX + userId, "1", ONLINE_STATUS_TTL);
|
||
|
||
// 通知好友用户上线
|
||
notifyFriendsOnline(userId);
|
||
}
|
||
|
||
@Override
|
||
protected void handleTextMessage(WebSocketSession session, TextMessage message) throws Exception {
|
||
String userId = getUserIdFromSession(session);
|
||
Message msg = parseMessage(message.getPayload());
|
||
|
||
// 处理消息
|
||
handleMessage(userId, msg);
|
||
}
|
||
|
||
@Override
|
||
public void afterConnectionClosed(WebSocketSession session, CloseStatus status) throws Exception {
|
||
// 用户下线
|
||
String userId = getUserIdFromSession(session);
|
||
sessions.remove(userId);
|
||
|
||
// 更新在线状态
|
||
redisTemplate.delete(ONLINE_STATUS_PREFIX + userId);
|
||
|
||
// 通知好友用户下线
|
||
notifyFriendsOffline(userId);
|
||
}
|
||
|
||
private void handleMessage(String fromUserId, Message msg) {
|
||
switch (msg.getType()) {
|
||
case SINGLE_CHAT:
|
||
sendSingleMessage(fromUserId, msg);
|
||
break;
|
||
case GROUP_CHAT:
|
||
sendGroupMessage(fromUserId, msg);
|
||
break;
|
||
case TYPING:
|
||
sendTypingMessage(fromUserId, msg);
|
||
break;
|
||
}
|
||
}
|
||
|
||
private void sendSingleMessage(String fromUserId, Message msg) {
|
||
String toUserId = msg.getToUserId();
|
||
WebSocketSession session = sessions.get(toUserId);
|
||
|
||
if (session != null && session.isOpen()) {
|
||
// 用户在线，直接推送
|
||
session.sendMessage(new TextMessage(msg.toJson()));
|
||
} else {
|
||
// 用户离线，存储离线消息
|
||
saveOfflineMessage(fromUserId, toUserId, msg);
|
||
}
|
||
|
||
// 更新未读消息计数
|
||
updateUnreadCount(fromUserId, toUserId);
|
||
}
|
||
}
|
||
```
|
||
|
||
## 扩展性考虑
|
||
|
||
### 1. 水平扩展
|
||
- **无状态服务**：业务服务无状态化
|
||
- **数据分片**：按用户ID分片
|
||
- **读写分离**：主库写入，从库读取
|
||
|
||
### 2. 垂直扩展
|
||
- **服务拆分**：网关服务、业务服务、推送服务
|
||
- **数据分层**：热数据、温数据、冷数据
|
||
- **多级缓存**：本地、Redis、CDN
|
||
|
||
### 3. 消息可靠性
|
||
- **消息持久化**：消息队列持久化
|
||
- **重试机制**：消息发送失败重试
|
||
- **消息去重**：ID去重机制
|
||
|
||
### 4. 容灾备份
|
||
- **多活架构**：多机房部署
|
||
- **故障转移**：自动故障检测和转移
|
||
- **数据备份**：定时备份和实时同步
|
||
|
||
## 实际项目经验
|
||
|
||
### 1. 技术栈选择
|
||
- **前端**：React Native + Flutter
|
||
- **后端**：Spring Boot + Node.js
|
||
- **数据库**：MySQL + MongoDB + Redis
|
||
- **消息队列**：Kafka + Pulsar
|
||
- **通信协议**：WebSocket + MQTT
|
||
|
||
### 2. 性能优化
|
||
- **消息压缩**：Gzip压缩消息内容
|
||
- **批量处理**：批量消息处理
|
||
- **连接池**：数据库连接池优化
|
||
- **缓存优化**：多级缓存策略
|
||
|
||
### 3. 运维部署
|
||
- **容器化**：Docker + Kubernetes
|
||
- **CI/CD**：Jenkins + GitLab
|
||
- **监控告警**：ELK Stack + AlertManager
|
||
- **压测**：JMeter + Locust
|
||
|
||
### 4. 安全设计
|
||
- **消息加密**：端到端加密
|
||
- **身份认证**：JWT Token认证
|
||
- **消息防刷**：频率限制
|
||
- **数据脱敏**：敏感信息过滤
|
||
|
||
## 阿里P7加分项
|
||
|
||
### 1. 架构设计能力
|
||
- **高可用架构**：99.99%可用性
|
||
- **高性能架构**：支持亿级消息
|
||
- **扩展性架构**：弹性扩缩容
|
||
|
||
### 2. 技术深度
|
||
- **分布式系统**：分布式缓存、分布式消息
|
||
- **通信协议**：WebSocket、MQTT协议
|
||
- **实时系统**：实时消息处理
|
||
|
||
### 3. 业务理解
|
||
- **社交业务**：理解社交应用场景
|
||
- **企业通讯**：掌握企业通讯需求
|
||
- **用户行为**：分析消息使用模式
|
||
|
||
### 4. 团队管理
|
||
- **技术团队**：带领30人+团队
|
||
- **项目管控**：管理亿级用户项目
|
||
- **技术方案**：主导架构设计
|
||
|
||
### 5. 前沿技术
|
||
- **AI应用**：智能回复、消息分类
|
||
- **边缘计算**：边缘节点处理
|
||
- **Serverless**：函数化服务
|
||
|
||
## 面试常见问题
|
||
|
||
### 1. 如何保证消息不丢失？
|
||
- **持久化存储**：消息队列持久化
|
||
- **重试机制**：失败消息重试
|
||
- **确认机制**：消息确认ACK
|
||
- **补偿机制**：定时补偿任务
|
||
|
||
### 2. 如何处理海量消息存储？
|
||
- **分库分表**：按时间分片
|
||
- **数据归档**：冷热数据分离
|
||
- **压缩存储**：消息内容压缩
|
||
- **生命周期管理**：自动清理过期数据
|
||
|
||
### 3. 如何实现消息实时性？
|
||
- **长连接**：WebSocket长连接
|
||
- **推送机制**：实时推送
|
||
- **心跳检测**：连接保持
|
||
- **故障转移**：自动重连
|
||
|
||
### 4. 如何处理消息去重？
|
||
- **消息ID**：全局唯一ID
|
||
- **幂等设计**：处理重复消息
|
||
- **去重表**：已处理消息记录
|
||
- **时间窗口**：时间窗口去重
|
||
|
||
### 5. 如何优化消息推送性能？
|
||
- **批量推送**：批量消息推送
|
||
- **连接池**：连接复用
|
||
- **异步处理**：非阻塞IO
|
||
- **缓存优化**：推送结果缓存 |