目录

• 1. 全局字典dict
• • 1.1 全局字典介绍
  • 1.2 Kylin全局字典的生成原理
  • 1.3 全局字典调优参数
  • 1.4 全局字典的使用
  • 1.5 查看HDFS的dict文件
• 2. 快照表table_snapshot

1. 全局字典dict

1.1 全局字典介绍

精确去重，会使用bit map方法。对于整型数据，可以将这些整数直接保存到bit map中。但其他类型，如String，为了实现精确的重复数据删除，首先需要对这些数据建立一个字典进行统一映射，然后使用bit map方法进行统计

1.2 Kylin全局字典的生成原理

1. 每个构建任务都将生成一个新的全局字典，用版本号保存，旧的全局字典会逐渐删除
2. 一个全局字典包含一个元数据文件和多个字典文件，每个字典文件称为一个 bucket
3. 每个bucket被划分为两个映射(Map)，并将这两个映射组合成一个完整的映射关系

结构如下：

1.3 全局字典调优参数

kylin.dictionary.globalV2-threshold-bucket-size (默认值500000)：如果CPU资源充足，减少此配置的值可以减少单个分区中的数据量，从而加快构建全局字典

1.4 全局字典的使用

在Cube Designer的Measures中，进行精确去重计数度量的添加，如下所示，进行薪水的总类统计

这样每一次cube的构建，都会产生一份全局字典

1.5 查看HDFS的dict文件

查看HDFS，如下所示：

2. 快照表table_snapshot

每一张快照表对应一个Hive维度表，Kylin的cube每次构建都会对hive维度表创建一个新的快照

主要有2个参数来调优，如下表所示：