设计目标: 400W用户 200个标签

总涉及标签数据 8亿条数据

1. mysql表结构设计

采用一对多的存储方式 即一个用户对应多条身份标签

2. mysql分表设计 2000W数据分一个表(不涉及大数据量存储 所以2000W数据为一个表)

分表数量 为40个表

根据用户ID取模分片 保证数据均匀落表(同时保证同一用户的身份信息在同一个表上)(缺点:扩容需要做大数据量数据迁移)

3. nosql存储方式

redis bitmaps存储方式
存储key值设计下面为准

耗费内存预估

1. 按照400W用户 200个标签来设计的话
   单个标签预计消耗内存0.5M
   对于存储所有的标签的key值 大约100M的空间足以支持

2. 如果需要单独存储用户下面所有的标签 耗费的内存 :
   单个用户耗费的内存 0.0000248M
   400W用户耗费内存 99.2M左右

{// 所有身份标签ID为1的用户身份标识"userlab:1":{"01001001"},// 所有身份标签ID为2的用户身份标识"userlab:2":{"01001001"},// 用户ID为1的用户所有的标签状态位"useralllab:user:1":{"0101101011010010001"}
}

4.洗标签方式

采用redis队列+go协程来进行洗标签。结合go高并发来实现标签的快速清洗入库以及存储bitmaps