深入浅出话DB｜RapidsDB高性能解密 伍——数据编码

介绍RapidsDB的数据编码，准确地说，是介绍存在磁盘内的列存储表的数据编码。列存储表的数据以多种不同形式编码存储，包括字典编码、游程编码和值编码。只有某些编码可以直接处理，即直接“操作”，如字典编码、游程编码和整数值编码。

在列存储扫描之外的RapidsDB中的大多数查询处理都是一次一行地完成的。对编码数据的列存储处理以矢量化的方式完成，其中来自一列的大批量数据在一个或多个相对简单的循环中处理。与一次一行的处理相比，这些循环对现在CPU更加友好，通过降低指令数量，提高了高速缓存使用率，并提高了处理器指令流水线的效率。

基于上述编码，通过使用特殊的编码处理技术以及支持英特尔AVX2指令集的处理器上的单指令多数据（SIMD）指令，使包括过滤和聚合在内的某些操作可以在非常高效的状态下运行。

硬件上的SIMD不是编码数据优化的唯一核心，即使没有SIMD的支持，对编码数据的操作性能也会提高几倍到30倍；使用了SIMD则可以进一步提升性能，带来至少2-3倍的增益。具体优化结果将取决于数据及查询。个别查询的一些部分可能不需要对编码数据进行操作，因此用户体验到的加速效果可能会有所不同。

默认情况下，对数据编码的操作是数据库内部自动执行的。用户不需要更改任何设置就能从中受益。对数据编码使用操作是查询在系统运行时生成的，而不是由查询优化器做出的。

编码数据的查询优化只能在列式表中体现，需要具备以下一个或多个组件：

• 过滤器Filters

• 分组 Group by

• 聚合 Aggregates

• 聚合表达式

• 分组表达式

• 整数列上的Star joins

不管运行中的编码列不同值的数量是多少，都可以对编码数据进行优化操作。编码中不同值的数量越少，优化性能越好。这是因为当字典变小时，意味着列存储数据被压缩到更小的尺寸，进而查找表过程中更容易适配到处理器的高速缓存。

这个查询是星型模型Star joins的一个简单例子。如果用户使用星型模型Star joins做关联，并且关联键是整数类型，那么查询就可以在编码数据的操作中得到性能优化。简单说明，这里是使用group by子句和聚合函数从编码数据的连接操作中加速性能。