# 短链接系统设计 ## 需求分析和数据量评估 ### 需求分析 - **核心功能**：长链接转短链接、短链接跳转、统计分析 - **业务场景**：短信营销、社交媒体分享、广告推广 - **QPS评估**：日点击量10亿次，峰值QPS 3万+ - **数据规模**：短链接10亿+，日生成1000万+ ### 数据量评估 - **短链接表**：10亿条，日均写入1000万次 - **原始链接表**：10亿条，日均读取10亿次 - **访问统计表**：100亿+条，日增1亿+ - **用户表**：1000万+，日均查询100万次 ## 核心技术难点 ### 1. 高并发写入 - 短链接生成需要高性能 - 避免数据库写入瓶颈 - 分布式ID生成 ### 2. 高性能读取 - 毫秒级响应时间 - 缓存命中率优化 - 全球CDN加速 ### 3. 长链接查重 - 重复链接检测 - 去重策略设计 - 一致性保证 ### 4. 统计准确性 - 实时统计延迟 - 统计数据准确性 - 分布式计数器 ## 系统架构设计 ### 总体架构 ``` ┌─────────────────┐ ┌─────────────────┐ ┌─────────────────┐ │ CDN/Edge │ │ Load Balance │ │ API Gateway │ │ Cache │◄──►│ (Anycast) │◄──►│ (Gateway) │ └─────────────────┘ └─────────────────┘ └─────────────────┘ │ ┌───────────────────────────────────┼───────────────────────────────────┐ │ │ │ ┌─────────────────┐ ┌─────────────────┐ ┌─────────────────┐ │ 短链接服务 │ │ 统计服务 │ │ 监控服务 │ │ (微服务) │ │ (微服务) │ │ (微服务) │ └─────────────────┘ └─────────────────┘ └─────────────────┘ │ │ │ └───────────────────────────────────┼───────────────────────────────────┘ │ ┌───────────────────────────────────┼───────────────────────────────────┐ │ │ │ ┌─────────────────┐ ┌─────────────────┐ ┌─────────────────┐ │ Redis集群 │ │ 消息队列 │ │ 数据库集群 │ │ (缓存+计数器)│ │ (Kafka) │ │ (MySQL分库分表)│ └─────────────────┘ └─────────────────┘ └─────────────────┘ │ ┌───────────────────────────────────┼───────────────────────────────────┐ │ │ │ ┌─────────────────┐ ┌─────────────────┐ ┌─────────────────┐ │ 时序数据库 │ │ 数据仓库 │ │ 搜索引擎 │ │ (InfluxDB) │ │ (ClickHouse) │ │ (Elasticsearch)│ └─────────────────┘ └─────────────────┘ └─────────────────┘ ``` ### 关键组件 #### 1. 流量层 - **CDN/Edge**：全球加速，缓存热点短链接 - **负载均衡**：Anycast IP，就近接入 - **API网关**：限流、路由、认证 #### 2. 服务层 - **短链接服务**：核心业务逻辑 - **统计服务**：访问统计和报表 - **管理服务**：后台管理系统 - **监控服务**：实时监控告警 #### 3. 存储层 - **Redis集群**：缓存和计数器 - **MySQL集群**：主从复制，分库分表 - **时序数据库**：时序数据存储 - **搜索引擎**：链接检索和分析 #### 4. 分析层 - **数据仓库**：离线数据分析 - **OLAP引擎**：实时查询分析 - **报表系统**：业务报表展示 ## 数据库设计 ### 短链接表 ```sql CREATE TABLE `short_url` ( `id` bigint NOT NULL AUTO_INCREMENT, `short_code` varchar(10) NOT NULL COMMENT '短链接编码', `long_url` text NOT NULL COMMENT '原始长链接', `domain` varchar(255) NOT NULL COMMENT '自定义域名', `title` varchar(255) DEFAULT NULL COMMENT '页面标题', `description` text COMMENT '页面描述', `keywords` varchar(500) DEFAULT NULL COMMENT '关键词', `user_id` bigint DEFAULT NULL COMMENT '用户ID', `is_custom` tinyint NOT NULL DEFAULT 0 COMMENT '是否自定义', `status` tinyint NOT NULL DEFAULT 1 COMMENT '状态', `expire_at` datetime DEFAULT NULL COMMENT '过期时间', `click_count` int NOT NULL DEFAULT 0 COMMENT '点击次数', `created_at` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP, `updated_at` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP, PRIMARY KEY (`id`), UNIQUE KEY `uk_short_code` (`short_code`), KEY `idx_long_url` (`long_url`(255)), KEY `idx_user_id` (`user_id`), KEY `idx_expire_at` (`expire_at`), KEY `idx_domain` (`domain`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; ``` ### 访问记录表 ```sql CREATE TABLE `url_access_log` ( `id` bigint NOT NULL AUTO_INCREMENT, `short_code` varchar(10) NOT NULL COMMENT '短链接编码', `ip` varchar(45) NOT NULL COMMENT '访问IP', `user_agent` text COMMENT '用户代理', `referer` text COMMENT '来源页面', `country` varchar(50) DEFAULT NULL COMMENT '国家', `region` varchar(50) DEFAULT NULL COMMENT '地区', `city` varchar(50) DEFAULT NULL COMMENT '城市', `created_at` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP, PRIMARY KEY (`id`), KEY `idx_short_code` (`short_code`), KEY `idx_created_at` (`created_at`), KEY `idx_ip` (`ip`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; ``` ### 统计表 ```sql CREATE TABLE `url_stats` ( `id` bigint NOT NULL AUTO_INCREMENT, `short_code` varchar(10) NOT NULL COMMENT '短链接编码', `date` date NOT NULL COMMENT '统计日期', `total_clicks` int NOT NULL DEFAULT 0 COMMENT '总点击次数', `unique_clicks` int NOT NULL DEFAULT 0 COMMENT '独立点击次数', `by_country` json DEFAULT NULL COMMENT '国家分布', `by_region` json DEFAULT NULL COMMENT '地区分布', `by_device` json DEFAULT NULL COMMENT '设备分布', `by_browser` json DEFAULT NULL COMMENT '浏览器分布', `created_at` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP, PRIMARY KEY (`id`), UNIQUE KEY `uk_date_code` (`date`, `short_code`), KEY `idx_short_code` (`short_code`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; ``` ### 用户表 ```sql CREATE TABLE `short_url_user` ( `id` bigint NOT NULL AUTO_INCREMENT, `user_id` bigint NOT NULL COMMENT '用户ID', `username` varchar(50) NOT NULL COMMENT '用户名', `email` varchar(100) NOT NULL COMMENT '邮箱', `domain` varchar(255) DEFAULT NULL COMMENT '自定义域名', `api_key` varchar(64) DEFAULT NULL COMMENT 'API密钥', `quota` int NOT NULL DEFAULT 1000 COMMENT '配额', `used` int NOT NULL DEFAULT 0 COMMENT '已使用', `status` tinyint NOT NULL DEFAULT 1 COMMENT '状态', `created_at` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP, `updated_at` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP, PRIMARY KEY (`id`), UNIQUE KEY `uk_user_id` (`user_id`), UNIQUE KEY `uk_api_key` (`api_key`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; ``` ## 缓存策略 ### Redis缓存设计 ```typescript // 短链接缓存 const SHORT_URL_CACHE_PREFIX = 'short_url:'; const SHORT_URL_CACHE_TTL = 86400; // 24小时 // 访问计数器 const CLICK_COUNT_PREFIX = 'click:'; const CLICK_COUNT_TTL = 60; // 1分钟 // 布隆过滤器 const BLOOM_FILTER_PREFIX = 'bloom:'; const BLOOM_FILTER_SIZE = 1000000000; // 10亿 // 限流计数器 const RATE_LIMIT_PREFIX = 'rate_limit:'; const RATE_LIMIT_TTL = 60; // 1分钟 ``` ### 缓存策略 1. **多级缓存**： - 本地缓存：Caffeine - 分布式缓存：Redis Cluster - CDN缓存：边缘节点 2. **缓存更新策略**： - Write Through：写入同时更新缓存 - Write Back：异步更新缓存 - Refresh Ahead：预加载热点数据 3. **缓存预热**： - 热门短链接预加载 - 统计数据预计算 - 静态资源预缓存 ### 布隆过滤器实现 ```java public class BloomFilter { private final BitSet bitSet; private final int size; private final int[] hashSeeds; public BloomFilter(int size, int hashCount) { this.size = size; this.bitSet = new BitSet(size); this.hashSeeds = new int[hashCount]; Random random = new Random(); for (int i = 0; i < hashCount; i++) { hashSeeds[i] = random.nextInt(); } } public void add(String key) { for (int seed : hashSeeds) { int hash = Math.abs((key.hashCode() ^ seed) % size); bitSet.set(hash, true); } } public boolean mightContain(String key) { for (int seed : hashSeeds) { int hash = Math.abs((key.hashCode() ^ seed) % size); if (!bitSet.get(hash)) { return false; } } return true; } } ``` ## 扩展性考虑 ### 1. 水平扩展 - **无状态服务**：短链接服务无状态化 - **数据分片**：按短链接编码分片 - **读写分离**：主库写入，从库读取 ### 2. 垂直扩展 - **服务拆分**：API服务、统计服务、管理服务 - **数据分层**：热数据、温数据、冷数据 - **多级缓存**：本地、Redis、CDN ### 3. 全球化部署 - **CDN加速**：全球节点部署 - **地域化存储**：按地域分片 - **灾备切换**：多机房容灾 ### 4. 监控告警 - **实时监控**：QPS、响应时间、错误率 - **业务监控**：点击量、转化率 - **异常告警**：服务异常、数据异常 ## 实际项目经验 ### 1. 技术栈选择 - **前端**：React + TypeScript - **后端**：Spring Boot + Node.js - **数据库**：MySQL + Redis - **缓存**：Redis Cluster - **消息队列**：Kafka - **监控**：Prometheus + Grafana ### 2. 性能优化 - **短链接生成**：Snowflake算法 - **缓存优化**：多级缓存策略 - **数据库优化**：分库分表、索引优化 - **网络优化**：HTTP/2、Keep-Alive ### 3. 运维部署 - **容器化**：Docker + Kubernetes - **CI/CD**：Jenkins + GitLab - **监控告警**：ELK Stack + AlertManager - **压测**：JMeter + Locust ### 4. 安全设计 - **HTTPS**：全链路加密 - **API限流**：防刷、防攻击 - **数据脱敏**：敏感信息加密 - **访问控制**：API密钥认证 ## 阿里P7加分项 ### 1. 架构设计能力 - **高可用架构**：99.99%可用性 - **高性能架构**：支持亿级QPS - **全球化架构**：全球CDN加速 ### 2. 技术深度 - **分布式算法**：一致性哈希、布隆过滤器 - **缓存优化**：多级缓存策略 - **数据库优化**：分库分表、读写分离 ### 3. 业务理解 - **营销业务**：理解短链接在营销中的应用 - **用户行为**：分析点击行为模式 - **数据统计**：实时统计和离线分析 ### 4. 团队管理 - **技术团队**：带领15人+团队 - **项目管控**：管理亿级用户项目 - **技术方案**：主导技术架构设计 ### 5. 前沿技术 - **Serverless**：短链接函数化 - **边缘计算**：边缘节点处理 - **AI应用**：智能推荐、异常检测 ## 面试常见问题 ### 1. 短链接如何生成？ - **随机字符**：生成随机字符串 - **自增序列**：数据库自增ID - **哈希算法**：MD5/SHA1取前几位 - **Base62编码**：数字转62进制 ### 2. 如何避免短链接冲突？ - **布隆过滤器**：快速检测重复 - **数据库唯一索引**：保证唯一性 - **重试机制**：冲突时重新生成 ### 3. 如何实现高并发生成？ - **预生成**：批量生成短链接 - **分布式ID**：Snowflake算法 - **内存缓存**：减少数据库访问 ### 4. 如何统计点击数据？ - **实时统计**：Redis计数器 - **异步处理**：消息队列存储 - **离线分析**：数据仓库计算 ### 5. 如何保证短链接安全？ - **链接过滤**：过滤恶意链接 - **访问控制**：黑白名单 - **HTTPS加密**：防止劫持 - **IP限制**：防刷机制