柏睿一体化流湖仓基于Iceberg的查询优化实践

近年来，随着各行业数字化转型的深入，企业海量数据的实时性分析处理、多模数据智能化处理需求快速增长，以期通过数据驱动实现业务增长、业务创新。

柏睿数据在现有全内存分布式计算引擎RapidsDB的基础上，通过Iceberg打造柏睿一体化流湖仓产品Rapids Lakehouse，将数据仓库、数据湖和实时流数据处理集成起来，并基于Iceberg进行湖内查询优化，实现每秒百万级的湖内数据查询性能，助力企业解决海量多模数据实时分析能力不足的问题。

Apache Iceberg是一种开放的数据湖表格式，可简单理解为基于计算层和存储层的一个中间层。它将存储和计算解耦，构建了存储格式之上的数据组织方式。在此基础上，Iceberg提供基于快照的读写分离和回溯能力，支持流批统一的写入和读取，支持表schema的拓展和分区演进，并支持ACID，用户彼此之间读写没有影响。

Apache Iceberg架构图

基于Iceberg的重要特性，柏睿数据构建了一站式多模数据管理与服务平台——柏睿一体化流湖仓。它集成了数据仓库、数据湖和实时流数据处理，支持20+多源异构的大数据流批采集、实时数据处理、统一存储与分析，结合AI/ML技术，提供即时数据洞察，助力企业全面发掘数据价值，提升业务能力和行业领导力。

柏睿一体化流湖仓架构如下。

在数据入湖方面，柏睿一体化流湖仓Transformer 提供实时(Stream)和批量离线(Batch)两种方式入湖，并给用户提供对数据进行加载、转换、整合的能力。

在数据湖内，基于Iceberg 做到存储管理上统一，包括两个方面：

1) 提供格式、位置明确的多模数据支持, 包括HDFS、S3，对象存储在内的多种存储位置和Parque、Avro、Orc等多种存储格式。

2）提供统一的湖内数据管理，包含过期快照删除、小文件合并、数据组织的优化等。

在湖内交互式分析方面，以RapidsDB作为统一的分析处理引擎，RapidsDB Iceberg 连接器融合了RapidsDB特有的自下而上（Bottom-up）、数据驱动的推送执行模型(push-based model)，并利用即时编译技术进行特殊代码生成（code specializtion) , 使Rapids Lakehouse实现每秒百万级的湖内数据查询速度。

基于Iceberg，Rapids Lakehouse 提供了多种湖内数据查询优化策略，以实现极致的湖内数据查询性能。具体可分为RapidsDB Iceberg连接器查询的优化和Iceberg数据治理和组织的优化两大类，用户可以根据不同的数据场景和查询需求进行选择，从而实现更高效的数据管理和查询。