Kylin构建参数优化之全局字典dict和快照表table_snapshot

创始人

2024-05-29 16:50:51

0次

1. 全局字典dict

1.1 全局字典介绍

精确去重，会使用bit map方法。对于整型数据，可以将这些整数直接保存到bit map中。但其他类型，如String，为了实现精确的重复数据删除，首先需要对这些数据建立一个字典进行统一映射，然后使用bit map方法进行统计

1.2 Kylin全局字典的生成原理

每个构建任务都将生成一个新的全局字典，用版本号保存，旧的全局字典会逐渐删除
一个全局字典包含一个元数据文件和多个字典文件，每个字典文件称为一个 bucket
每个bucket被划分为两个映射(Map)，并将这两个映射组合成一个完整的映射关系

结构如下：

全局字典结构

1.3 全局字典调优参数

kylin.dictionary.globalV2-threshold-bucket-size (默认值500000)：如果CPU资源充足，减少此配置的值可以减少单个分区中的数据量，从而加快构建全局字典

1.4 全局字典的使用

在Cube Designer的Measures中，进行精确去重计数度量的添加，如下所示，进行薪水的总类统计

全局字典使用这样每一次cube的构建，都会产生一份全局字典

1.5 查看HDFS的dict文件

查看HDFS，如下所示：
HDFS的dict文件

2. 快照表table_snapshot

每一张快照表对应一个Hive维度表，Kylin的cube每次构建都会对hive维度表创建一个新的快照

主要有2个参数来调优，如下表所示：

参数名	默认值	说明
kylin.snapshot.parallel-build-enabled	true	是否开启并行构建，建议开启
kylin.snapshot.shard-size-mb	128MB	如果CPU资源充足，可以减少值来增
加并行度。并行度 = 原表数据量 / 该参数

词库加载错误:未能找到文件“E:\highferrum_mysql\Configuration\Dict_Stopwords.txt”。

上一篇：【云原生】Rancher部署k8s集群流程—2023.03

下一篇：青年创业综合服务平台青少年创业服务平台抖音创业服务平台官网

热门资讯

今天，宜爬“山”！转自：珠海发布大家都说，父爱如山，母爱又何尝不是！它以山的姿态站在我们的人生坐标里，它用山的沉默垒出...

汽车车门把手将迎来国家标准，释... 转自：新华网　　新华社北京5月10日电题：汽车车门把手将迎来国家标准，释放什么信号？　　新华社记者...

10日付费短剧热度大盘5650... 来源：新腕儿今天发布的是昨天（5月10日）短剧付费大盘日榜，整体大盘热度值为5650万。特别声明：以...

漂泊 53 年，苏联金星探测器... IT之家 5 月 11 日消息，俄罗斯国家航天集团宣布，近地空间危险情况自动预警系统监测显示，宇宙-...

加州州长再就关税批评特朗普政府转自：海客新闻【#加州州长再就关税批评特朗普政府#】#...

都有数｜玩儿着就能挣钱？国家认... 转自：北京日报客户端人社部日前公示拟新增无人机群飞行规划员、装修管家等17个新职业，以及黄金鉴定估价...

我爱你，不止今天！咿呀学语时当我第一次模糊地喊出“妈妈”你尚且青涩的眼眸中亮起柔软的光长大离家后一声“妈妈”成了电话里...

焦点访谈 | 突围拓展多元市场... 来源：央视网央视网消息（焦点访谈）：当前我国的外贸行业正面临前所未有的挑战。美国肆意挥舞关税大棒，...

雨水按下暂停键阳光重返天气舞... 昨日19时许，南宁城区迎来降雨，体感稍凉。本报记者宋延康摄　　本报讯（记者赵金玲）...

科普大篷车进乡村科技体验零距... 科技辅导员为学生讲授科技知识。本报通讯员肖重虎摄　　本报讯（记者凌剑伊通讯员蒙蓓...

镇江人才吸引力升至全国37位金山网讯 5月9日，智联招聘旗下专业研究机构智联研究院联合“泽平宏观”正式发布《中国城市人才吸引力排...

【加快落实“五大任务” 推动高... 来源：内蒙古新闻网-《内蒙古日报　　5月7日，在位于乌兰察布市四子王旗忽鸡图乡小东营村灌木林退化修复...

时政微纪录丨习主席的俄罗斯时间来源：央视新闻客户端应俄罗斯联邦总统普京邀请，国家主席...

常见故障100%识别我国货运... 记者今天（11日）从国家能源集团获悉，我国货运铁路首套智能巡检机器人在河北沧州投用，这对促进我国铁路...

中共太原市委组织部公示现对市委研究拟任职干部予以公示。郭强，男，汉族，1981年10月生，在职大学，中共党员，现任太原物产...

苏丹一州首府遭无人机袭击，20... 苏丹政府当地时间10日说，苏丹北科尔多凡州首府欧拜伊德市当天遭无人机袭击，造成20名囚犯死亡。苏丹文...

陈钧书画金石题跋艺术作品展在铜... 　　本报讯（记者吴洋凯）5月7日，由铜川书画院主办，铜川书画公园文化艺术有限公司承办的“砚耕四十...

花季少女被限制高消费，原因竟然... 转自：上观新闻2024年的夏天，大一学生小赵攥着身份证站在高铁站售票厅，屏幕上“无法购买高铁票”的提...

新职业新工种，开启无限可能！转自：新华网早上叫醒你的不是闹钟，可能是睡眠健康管理师...

政策一经出台，便在金融市场激起... 2025 年 5 月 7 日，中国人民银行今日向市场释放重磅政策组合拳。潘功胜行长在国务院新闻办发布...