提速100倍+，柏睿数据RapidsDB助力云能力中心内存化改造，实现架构优化和实时分析

柏睿数据依托数据中台的柏睿数据分布式内存数据库RapidsDB能力，助力运营商云能力中心实现租户经营分析系统（简称经分系统）的明细数据查询、多维度复杂分析、可视化指标服务等提速诉求；解决原基于磁盘架构数据库（如MySQL）检索与分析的性能瓶颈问题，通过内存化数据的关键计算节点，精简化数据的预处理流程，有效地提升了系统开发与运行效率。

云能力中心通过使用经分业务系统的真实数据和日常热度较高的测试用例作测试比对的结果显示，与等同配置的磁盘数据库MySQL性能相比，柏睿数据分布式内存数据库RapidsDB普遍提速100~200倍以上，实现了TB级上百个维度随机数据体量的毫秒级分析。可以预见，分布式内存数据库在未来众多的电信行业业务场景（比如报表分析、自助即席查询、实时数仓、机器学习等等）中都具有很大的推广价值。

随着该运营商云能力业务发展，业务侧为更好实现云产品经营健康度分析及市场拓展推广，对云能租户经分系统前台可视化指标服务、明细数据查询及多维分析提出更高的性能要求。

随着业务数据量的发展和业务复杂度的增长，经分系统在日常数据处理上呈现以下三个技术特点：

01 数据量大：数据仓库表随业务量逐步发展，典型单表记录数达到亿万级，需要复杂关联分析和高频更新；

02 无索引条件下的多表关联的复杂查询性能瓶颈：主要是多表关联或者无索引时查询缓慢，每当遇到业务高峰期，核心应用响应及时性压力巨大，影响业务报表的生成效率；

03 查询频率高、并发大、数据库负载高：工单由单次任务加上定时任务执行SQL取数分析，查询频率高，任务涉及的表查询中，报表查询并发量在几百到上千个级别。

现有的经分系统在支撑这样日常数据处理中不断地面临着性能挑战，数据批量处理时间长，SQL查询性能差，无法满足业务实时性的要求。

因此，云能力中心尝试使用基于分布式内存数据库的方式来替代原有基于磁盘架构的数据库，以提升数据处理性能，成为未来经分系统改造的方向。

从上图可以看到，改造后的经分系统前端应用如果需要实时自主分析与自助取数，可以直接从柏睿数据RapidsDB的查询接口传达指令并调取数据，也就是直接从融合数据模型整合子层DWI层对应的事实表和维度表获得数据。优化后的架构有两个方面好处:

为此，云能力中心通过柏睿数据RapidsDB，与原有数据库MySQL进行性能比对测试，完成TPC-H、租户经分抽样用例和并发测试三方面测试工作，以验证RapidsDB数据分析和处理能力。

为实现RapidsDB使用评测，首先在资源池部署RapidsDB集群，通过打通RapidsDB与云能力中心租户PaaS平台、应用分析服务器间的网络策略，实现RapidsDB与其他服务器的直连交互，方便后续数据传输和分析使用。集群部署架构如图所示：

参考业内TPC-H测试方案，以及云能力中心实际经营分析和挖掘诉求，对柏睿数据分布式内存数据库RapidsDB与系统原有磁盘数据库MySQL开展比对测评：

01  22个基本查询进行数据库SQL兼容性测试，通过RapidsDB查询响应时间，评价其计算性能。

• 兼容性测试： 22个基本查询全部执行成功，没有语法错误，RapidsDB具备很好的标准SQL支持能力。

• TPC-H测试：100GB数据量下，RapidsDB所有查询响应时间在0.2s~6s区间内，完全满足日常多维分析使用诉求，性能表现优秀。

  
  

• 不同数据量对比测试：设定不同的数据量，进行性能延时比对，数据量翻倍的情况下，RapidsDB响应时间控制在1~2倍间，总体表现稳定。

  
  

02  选取经分系统实际业务场景，基于实际数据对内存数据的运算性能做相应的对