Spark DPP

• 分区剪裁
• 动态分区剪裁

DPP (Dynamic Partition Pruning，动态分区剪裁) : 过滤维度表后，能削减事实表的数据扫描量，提升关联计算的执行性能

分区剪裁

需求 ：统计所有头部用户贡献的营业额，并按照营业额倒序排序

select (orders.price * order.quantity) as income, users.name
from orders inner join users on orders.userId = users.id
where users.type = 'Head User'
group by users.name
order by income desc

逻辑计划 :

• 事实表上没有过滤条件，左侧会全表扫描
• 维度表上有过滤条件 users.type = 'Head User' ，会用谓词下推，把过滤操作下推到数据源上，减少磁盘 I/O 开销

当用户表支持分区剪裁（Partition Pruning），I/O 效率的提升就会更加显著

分区剪裁 ：谓词下推的特例

• 在分区表中下推谓词，以文件系统目录为单位对数据集进行过滤

分区表的存储方式：在文件系统中创建单独的子目录来存储相应的数据分片

• 例子：用户表是分区表，当 type 字段作为分区键，就以 type 值创建子目录

谓词下推/分区剪裁：

• 不分区时，数据分片都在同个目录下，只能通过 Parquet 在注脚 (Footer) 中 type 字段的统计值，利用谓词下推，减少扫描的数据分片
• 分区时，分区字段 type 值在不同的子目录，利用分区剪裁，跳过子目录的扫描，从而提升 I/O 效率

动态分区剪裁

DPP 实现逻辑 ：

1. 对维度表进行 users.type = 'Head User' 条件过滤，再对维度表进行过滤列 id
2. 根据关联关系 orders.userId = users.id ，把维度表 id 传到事实表的 userId 中
3. 根据 userId 对事实表过滤，减少数据扫描量，提升 I/O 效率

利用 DPP 的条件：

• 事实表必须是分区表，且分区字段 (可多个) 必须包含 Join Key
• 只支持等值 Joins，不支持大于、小于不等值关联
• 维度表过滤后的数据集 ，要小于广播阈值