Kylin构建参数优化之全局字典dict和快照表table_snapshot
创始人
2024-05-29 16:50:51
0

目录

  • 1. 全局字典dict
    • 1.1 全局字典介绍
    • 1.2 Kylin全局字典的生成原理
    • 1.3 全局字典调优参数
    • 1.4 全局字典的使用
    • 1.5 查看HDFS的dict文件
  • 2. 快照表table_snapshot

1. 全局字典dict

1.1 全局字典介绍

精确去重,会使用bit map方法。对于整型数据,可以将这些整数直接保存到bit map中。但其他类型,如String,为了实现精确的重复数据删除,首先需要对这些数据建立一个字典进行统一映射,然后使用bit map方法进行统计

1.2 Kylin全局字典的生成原理

  1. 每个构建任务都将生成一个新的全局字典,用版本号保存,旧的全局字典会逐渐删除
  2. 一个全局字典包含一个元数据文件和多个字典文件,每个字典文件称为一个 bucket
  3. 每个bucket被划分为两个映射(Map),并将这两个映射组合成一个完整的映射关系

结构如下:

全局字典结构

1.3 全局字典调优参数

kylin.dictionary.globalV2-threshold-bucket-size (默认值500000):如果CPU资源充足,减少此配置的值可以减少单个分区中的数据量,从而加快构建全局字典

1.4 全局字典的使用

在Cube Designer的Measures中,进行精确去重计数度量的添加,如下所示,进行薪水的总类统计

全局字典使用这样每一次cube的构建,都会产生一份全局字典

1.5 查看HDFS的dict文件

查看HDFS,如下所示:
HDFS的dict文件

2. 快照表table_snapshot

每一张快照表对应一个Hive维度表,Kylin的cube每次构建都会对hive维度表创建一个新的快照

主要有2个参数来调优,如下表所示:

参数名默认值说明
kylin.snapshot.parallel-build-enabledtrue是否开启并行构建,建议开启
kylin.snapshot.shard-size-mb128MB如果CPU资源充足,可以减少值来增
加并行度。并行度 = 原表数据量 / 该参数

相关内容

热门资讯

Python|位运算|数组|动... 目录 1、只出现一次的数字(位运算,数组) 示例 选项代...
张岱的人物生平 张岱的人物生平张岱(414年-484年),字景山,吴郡吴县(今江苏苏州)人。南朝齐大臣。祖父张敞,东...
西游西后传演员女人物 西游西后传演员女人物西游西后传演员女人物 孙悟空 六小龄童 唐僧 徐少华 ...
名人故事中贾岛作诗内容简介 名人故事中贾岛作诗内容简介有一次,贾岛骑驴闯了官道.他正琢磨着一句诗,名叫《题李凝幽居》全诗如下:闲...
和男朋友一起优秀的文案? 和男朋友一起优秀的文案?1.希望是惟一所有的人都共同享有的好处;一无所有的人,仍拥有希望。2.生活,...
戴玉手镯的好处 戴玉手镯好还是... 戴玉手镯的好处 戴玉手镯好还是碧玺好 女人戴玉?戴玉好还是碧玺好点佩戴手镯,以和田玉手镯为佳!相嫌滑...
依然什么意思? 依然什么意思?依然(汉语词语)依然,汉语词汇。拼音:yī    rán基本解释:副词,指照往常、依旧...
高尔基的散文诗 高尔基的散文诗《海燕》、《大学》、《母亲》、《童年》这些都是比较出名的一些代表作。
心在飞扬作者简介 心在飞扬作者简介心在飞扬作者简介如下。根据相关公开资料查询,心在飞扬是一位优秀的小说作者,他的小说作...
卡什坦卡的故事赏析? 卡什坦卡的故事赏析?讲了一只小狗的故事, 我也是近来才读到这篇小说. 作家对动物的拟人描写真是惟妙...
林绍涛为简艾拿绿豆糕是哪一集 林绍涛为简艾拿绿豆糕是哪一集第三十二集。 贾宽认为是阎帅间接导致刘映霞住了院,第二天上班,他按捺不...
小爱同学是女生吗小安同学什么意... 小爱同学是女生吗小安同学什么意思 小爱同学,小安同学说你是女生。小安是男的。
内分泌失调导致脸上长斑,怎么调... 内分泌失调导致脸上长斑,怎么调理内分泌失调导致脸上长斑,怎么调理先调理内分泌,去看中医吧,另外用好的...
《魔幻仙境》刺客,骑士人物属性... 《魔幻仙境》刺客,骑士人物属性加点魔幻仙境骑士2功1体质
很喜欢她,该怎么办? 很喜欢她,该怎么办?太冷静了!! 太理智了!爱情是需要冲劲的~不要考虑着考虑那~否则缘...
言情小说作家 言情小说作家我比较喜欢匪我思存的,很虐,很悲,还有梅子黄时雨,笙离,叶萱,还有安宁的《温暖的玄》 小...
两个以名人的名字命名的风景名胜... 两个以名人的名字命名的风景名胜?快太白楼,李白。尚志公园,赵尚志。
幼儿教育的代表人物及其著作 幼儿教育的代表人物及其著作卡尔威特的《卡尔威特的教育》,小卡尔威特,他儿子成了天才后写的《小卡尔威特...
海贼王中为什么说路飞打凯多靠霸... 海贼王中为什么说路飞打凯多靠霸气升级?凯多是靠霸气升级吗?因为之前刚到时确实打不过人家因为路飞的实力...
运气不好拜财神有用吗运气不好拜... 运气不好拜财神有用吗运气不好拜财神有没有用1、运气不好拜财神有用。2、拜财神上香前先点蜡烛,照亮人神...