写在前面

最近在自己做自定义的OLAP系统，文件格式上用的是Parquet，但是发现Parquet各个API的示例代码很少。所以就打算把这个系列的文章写一下。

1. Parquet的Filter

Parquet的过滤支持两大类，一类是基于Footer中的元数据进行RowGroup级别的过滤；这种过滤能够实现减少IO的目的，它通过元数据里的信息直接可以实现跳过RowGroup的读取。
另一类是对每一行进行过滤，此类对于减少IO没有作用，只是代码优雅一些，不用把所有的数据都读到客户端代码里进行过滤。

2. Parquet对RowGroup的过滤的基本介绍

当前最新版本1.12.x 中支持3类：

1. 字典 - 如果列的值域空间不大，则用字典（parquet能够自己识别是否使用字典作为一列的过滤器）
2. statistics - 数值型的min/max
3. bloomFilter - 如果列值域比较大，则不是相对分段聚合的，则无法用1-2.则考虑用bloomFilter（如果使用bloomFilter需要在写入时指定要使用bloomFilter的列）

3. Parquet 应用BloomFilter的示例代码

3.1 写入Parquet文件

并指定user_id列使用BloomFilter

        ParquetWriter