总涉及标签数据 8亿条数据
ID | uid | 身份标签ID | 状态 |
---|---|---|---|
1 | 1 | 1 | 1 |
2 | 1 | 2 | 1 |
3 | 2 | 2 | 1 |
4 | 3 | 3 | 0 |
采用一对多的存储方式 即一个用户对应多条身份标签
分表数量 为40个表
根据用户ID取模分片 保证数据均匀落表(同时保证同一用户的身份信息在同一个表上)(缺点:扩容需要做大数据量数据迁移)
redis bitmaps存储方式
存储key值设计下面为准
按照400W用户 200个标签来设计的话
单个标签预计消耗内存0.5M
对于存储所有的标签的key值 大约100M的空间足以支持
如果需要单独存储用户下面所有的标签 耗费的内存 :
单个用户耗费的内存 0.0000248M
400W用户耗费内存 99.2M左右
{// 所有身份标签ID为1的用户身份标识"userlab:1":{"01001001"},// 所有身份标签ID为2的用户身份标识"userlab:2":{"01001001"},// 用户ID为1的用户所有的标签状态位"useralllab:user:1":{"0101101011010010001"}
}
采用redis队列+go协程来进行洗标签。结合go高并发来实现标签的快速清洗入库以及存储bitmaps