Parquet学习与使用之BloomFilter的应用
创始人
2024-05-29 15:50:16

写在前面

最近在自己做自定义的OLAP系统，文件格式上用的是Parquet，但是发现Parquet各个API的示例代码很少。所以就打算把这个系列的文章写一下。

1. Parquet的Filter

Parquet的过滤支持两大类，一类是基于Footer中的元数据进行RowGroup级别的过滤；这种过滤能够实现减少IO的目的，它通过元数据里的信息直接可以实现跳过RowGroup的读取。
另一类是对每一行进行过滤，此类对于减少IO没有作用，只是代码优雅一些，不用把所有的数据都读到客户端代码里进行过滤。

2. Parquet对RowGroup的过滤的基本介绍

当前最新版本1.12.x 中支持3类：

  1. 字典 - 如果列的值域空间不大，则用字典（parquet能够自己识别是否使用字典作为一列的过滤器）
  2. statistics - 数值型的min/max
  3. bloomFilter - 如果列值域比较大，则不是相对分段聚合的，则无法用1-2.则考虑用bloomFilter（如果使用bloomFilter需要在写入时指定要使用bloomFilter的列）

3. Parquet 应用BloomFilter的示例代码

3.1 写入Parquet文件

并指定user_id列使用BloomFilter

        ParquetWriter parquetWriter = AvroParquetWriter.builder(path).withSchema(userFlowTraceSchema).withCompressionCodec(CompressionCodecName.GZIP).withBloomFilterEnabled("user_id", true).build();
 

3.2 读取Parquet文件
 

目前BloomFilter仅支持Eq和In操作；其他类型和自定义的操作都直接被返回了 BLOCK_MIGHT_MATCH（true）- 即不过滤
 源码见：org.apache.parquet.filter2.bloomfilterlevel.BloomFilterImpl
 

读取文件，并使用BloomFilter的示例：
 

GroupReadSupport readSupport = new GroupReadSupport();
String targetUserId1 = "9639102999811";
String targetUserId2 = "9639102999711";
Filter bloomFilterIn = FilterCompat.get(FilterApi.in(FilterApi.binaryColumn("user_id"),Sets.newHashSet(Binary.fromString(targetUserId1),Binary.fromString(targetUserId2))));
ParquetReader reader = ParquetReader.builder(readSupport, path).withFilter(bloomFilterIn).build();

                
            
            
            

                
               
            

            

                

                    上一篇：【数据库】排名问题

                

                

                    下一篇：【我的Android开发】AMS中Activity栈管理                

            

            
            

                
                
相关内容

                
            

            

            
            

                 

            



        
        
    
    

    
    

        
        

            
            

                
                

                    
                    

                        
                        热门资讯
                        
                    

                    
                

                
            

            
            
            


                                
                

                    
                    
                    
                    
                    

                        重大通报作弊器!乐乐上海麻将a...
                        重大通报作弊器!乐乐上海麻将ai智能透视辅助插件，乐乐上海麻将本来存在有外挂（有辅助挂方略）1、很好...
                    

                    
                

                                
                

                    
                    
                    
                    
                    

                        分享给玩家透视挂!家乡大贰ai...
                        分享给玩家透视挂!家乡大贰ai智能透视辅助工具，家乡大贰其实真的有外挂（有辅助挂细节）家乡大贰破解侠...
                    

                    
                

                                
                

                    
                    
                    
                    
                    

                        科普攻略开挂!英豪娱乐城ai智...
                        科普攻略开挂!英豪娱乐城ai智能透视辅助教程，英豪娱乐城好像真的是有外挂（有辅助挂头条）1、英豪娱乐...
                    

                    
                

                                
                

                    
                    
                    
                    
                    

                        总算了解辅助器!和悦游戏ai智...
                        总算了解辅助器!和悦游戏ai智能透视辅助教程，和悦游戏确实是真的有外挂（竟然有辅助挂）暗藏猫腻，小编...
                    

                    
                

                                
                

                    
                    
                    
                    
                    

                        揭秘关于辅助器!九九麻将ai智...
                        揭秘关于辅助器!九九麻将ai智能透视辅助技巧，九九麻将一贯是有外挂（有辅助挂方略）1、用户打开应用后...