• 首页
  • 产品中心

    产品中心

    覆盖数据实时处理与智能分析全生命周期

    数据核心引擎
    全内存分布式数据库 AI智算加速卡
    数智一体化交付
    云能平台 AI+Data系列一体机
    大数据平台
    大数据平台 一体化流湖仓
    智能开发平台
    人工智能平台 向量数据库
    咨询及知识服务
    产品月刊
  • 解决方案

    解决方案

    释放数字生产力,赋能行业创新!

    智改数转
    智慧化工 智慧农牧 智慧码头 智慧矿山 智能制造
    能源
    电力大数据价值挖掘 电力物资仓储智能作业大脑
    政府
    智慧社区 智慧住建 智慧城市大脑
    运营商
    数据中台基础能力 业务经营多维分析 行业智能短信服务
    金融
    实时数仓 数据归档 湖仓一体
  • 生态合作
  • 产品试用
  • 新闻中心
  • 关于我们
    公司介绍 标准专利 党建工作 联系我们

首页 新闻中心 提速100倍+,柏睿数据RapidsDB助力云能力中心内存化改造,实现架构优化和实时分析

提速100倍+,柏睿数据RapidsDB助力云能力中心内存化改造,实现架构优化和实时分析

发布时间:2022-06-09  |  阅读:18952

640.gif



案例概述


柏睿数据依托数据中台的柏睿数据分布式内存数据库RapidsDB能力,助力运营商云能力中心实现租户经营分析系统(简称经分系统)的明细数据查询、多维度复杂分析、可视化指标服务等提速诉求;解决原基于磁盘架构数据库(如MySQL)检索与分析的性能瓶颈问题,通过内存化数据的关键计算节点,精简化数据的预处理流程,有效地提升了系统开发与运行效率。


云能力中心通过使用经分业务系统的真实数据和日常热度较高的测试用例作测试比对的结果显示,与等同配置的磁盘数据库MySQL性能相比,柏睿数据分布式内存数据库RapidsDB普遍提速100~200倍以上,实现了TB级上百个维度随机数据体量的毫秒级分析。可以预见,分布式内存数据库在未来众多的电信行业业务场景(比如报表分析、自助即席查询、实时数仓、机器学习等等)中都具有很大的推广价值。


业务痛点


随着该运营商云能力业务发展,业务侧为更好实现云产品经营健康度分析及市场拓展推广,对云能租户经分系统前台可视化指标服务、明细数据查询及多维分析提出更高的性能要求。


随着业务数据量的发展和业务复杂度的增长,经分系统在日常数据处理上呈现以下三个技术特点:


01 数据量大:数据仓库表随业务量逐步发展,典型单表记录数达到亿万级,需要复杂关联分析和高频更新;

02 无索引条件下的多表关联的复杂查询性能瓶颈:主要是多表关联或者无索引时查询缓慢,每当遇到业务高峰期,核心应用响应及时性压力巨大,影响业务报表的生成效率;

03 查询频率高、并发大、数据库负载高:工单由单次任务加上定时任务执行SQL取数分析,查询频率高,任务涉及的表查询中,报表查询并发量在几百到上千个级别。


现有的经分系统在支撑这样日常数据处理中不断地面临着性能挑战,数据批量处理时间长,SQL查询性能差,无法满足业务实时性的要求。


解决方案


因此,云能力中心尝试使用基于分布式内存数据库的方式来替代原有基于磁盘架构的数据库,以提升数据处理性能,成为未来经分系统改造的方向。


640.png

从上图可以看到,改造后的经分系统前端应用如果需要实时自主分析与自助取数,可以直接从柏睿数据RapidsDB的查询接口传达指令并调取数据,也就是直接从融合数据模型整合子层DWI层对应的事实表和维度表获得数据。优化后的架构有两个方面好处:


1

对原本使用的磁盘数据库MySQL的处理流程,减少业务数据的预聚合和预处理操作,同时SQL查询避开磁盘I/O,借助内存处理的高效性,有效地减少提数等待时长,实现从数小时的响应周期降低至秒级甚至毫秒级响应的超高性能,极大地提升前端应用的数据访问性能;

2

减少原数仓的数据中间结果落盘存储环节(大多是数据预计算目的,以提升前端查询性能),不仅降低了数据存储空间,同时也减少了数据开发工作量。


测试方案


为此,云能力中心通过柏睿数据RapidsDB,与原有数据库MySQL进行性能比对测试,完成TPC-H、租户经分抽样用例和并发测试三方面测试工作,以验证RapidsDB数据分析和处理能力。


为实现RapidsDB使用评测,首先在资源池部署RapidsDB集群,通过打通RapidsDB与云能力中心租户PaaS平台、应用分析服务器间的网络策略,实现RapidsDB与其他服务器的直连交互,方便后续数据传输和分析使用。集群部署架构如图所示:

 

640 (1).png

测试结果


640 (2).png

参考业内TPC-H测试方案,以及云能力中心实际经营分析和挖掘诉求,对柏睿数据分布式内存数据库RapidsDB与系统原有磁盘数据库MySQL开展比对测评:

 

01  22个基本查询进行数据库SQL兼容性测试,通过RapidsDB查询响应时间,评价其计算性能。


  • 兼容性测试: 22个基本查询全部执行成功,没有语法错误,RapidsDB具备很好的标准SQL支持能力。

  • TPC-H测试:100GB数据量下,RapidsDB所有查询响应时间在0.2s~6s区间内,完全满足日常多维分析使用诉求,性能表现优秀。


640 (3).png


  • 不同数据量对比测试:设定不同的数据量,进行性能延时比对,数据量翻倍的情况下,RapidsDB响应时间控制在1~2倍间,总体表现稳定。


640 (4).png


02  选取经分系统实际业务场景,基于实际数据对内存数据的运算性能做相应的对

  • 上一篇:中国分析型数据库市场研究报告|柏睿数据——分析型数据库代表厂商
  • 下一篇:荣誉再+1|柏睿数据获最佳数据库品牌

热门新闻

  • DeepSeek 模型选择指南:从基础到深度,看看哪款适合你!
  • 全面接入Deepseek,柏睿AI知识库一体机焕新升级“睿枢Agent”
  • 政企双向奔赴 | 朝阳区委、区政府致柏睿数据新春感谢信
  • 柏睿数据核心参编的《数据资源治理通用技术要求》地方标准正式发布

中国的国际智能数据算力公司

联系方式

  • 010-64700868 400-088-1960

  • 品牌市场:brmarketing@boraydata.com

    人才招聘:hr@boraydata.com

    销售合作:400RapidsDB@boraydata.com

  • 北京市朝阳区酒仙桥北路乙十号院

快速链接

  • 产品中心
  • 解决方案
  • 生态合作
  • 产品试用
  • 新闻中心
  • 关于我们

关注我们

  • 微信视频号

  • 微信公众号

COPYRIGHT ©2014-2025 北京柏睿数据技术股份有限公司京ICP备16005192号隐私协议法律声明

京公网安备 11010502043838号