发布时间:2023-02-16 | 阅读:
李懿/柏睿数据 行业咨询顾问 // 中国移动某专业公司通过在经营分析系统部署柏睿数据分布式内存数据库RapidsDB,满足了数据查询性能提升、数据架构精简和数据融合等实际业务场景需求,实现TB级数据秒级响应,数据查询分析效率整体提升约200倍,同时降低了数据库开发、运维和更换建设成本。
随着企业上云数字化转型进程的加速,中国移动持续助力云计算产业发展和行业数字化转型,截止2022年,中国移动某专业公司已打造8大行业、29个重点场景的行业融云解决方案,有效支撑全网落地项目7000+,并推出了数字政府、商业银行等多个行业标杆项目,生态市场规模位列全国第二。
业务新发展,亟需更高效的数据查询和分析 该公司的业务数据也迎来指数级增长,总存储量高达百倍TB级别,同时业务场景也越来越复杂,为更好地利用数据要素提升生产效率,为正处于数字化转型中的企业提供更优质的云产品和服务,对经营分析系统的数据库查询分析性能提出了更高要求。 一方面,企业采用原有传统关系型数据库MySQL作为即席查询和自助分析底座,存在性能瓶颈,无法满足数据快速查询和深度钻取需求,业务人员往往遇到页面加载困难的情况。因此,需要引入MPP类数据库工具来实现分析提效。 另一方面,因为数据ETL架构复杂,业务人员在个性化分析或临时取数无法自助完成时,转而以需求方式获取数据支撑,存在需求排队时间久、效率低等情况,因此需要有更高效便捷的开放能力,赋能业务人员自助分析提速。同时,计费数据的集中化大数据集群不支持下载到属地,导致数据割裂,难以开展明细数据融合分析,因此理想数据库还需做到跨源数据的融合。 选型更高性能的分布式内存数据库RapidsDB
结合业务实际应用场景需求,该公司计划选择一款能够满足实际需求且部署和运维代价适中的OLAP 数据库,因此计划使用分布式内存数据库来替代原有基于磁盘架构的数据库,以实现对经营分析系统业务数据高效、实时地查询。
在查询引擎选型过程中,通过对柏睿数据分布式内存数据库RapidsDB与业内其他分布式内存数据库进行对比和调研,以及与原有数据库MySQL进行国际TPC-H基准测试,并开展实际经营分析常用场景测试,RapidsDB因其卓越的数据分析和处理能力、可实现数据架构精简和跨源数据融合查询的能力,最终脱颖而出。
RapidsDB 提速经营分析数据实时查询 基于柏睿数据完全自主研发的分布式内存数据库RapidsDB,该公司完成一主两从的三节点数据库集群搭建,构建全内存并发查询功能和MPP分布式架构,替代了原有传统关系型数据库MySQL。 相较于原有数据库,柏睿数据分布式内存数据库RapidsDB具有无磁盘IO、高并发、高可扩展性、低延时以及高速存取等核心优势,能够满足数据查询性能提升、数据架构精简和数据融合等经营分析实际场景需求,切实提升了数据查询效率,降低了数据库开发、运维和更换建设成本。 RapidsDB无磁盘IO,提供对内存和闪存进行优化的行和列存储引擎,数据加载、多表复杂查询性能指标比传统数据库提高百倍甚至千倍;分布式并行计算架构,克服单个节点性能限制,支持按需动态在线扩展;支持PB级数据实时采集存储与分析,做到3000亿条数据查询,秒级响应。 在部署RapidsDB后,经营分析系统的数据查询速度平均水平由40s提升至0.2s,整体提升约200倍,前台可视化指标的响应效率由原来的5~6s提升至1~2s;有效加快了对明细数据和多维度数据查询及分析速度,显著提升了业务人员的工作效率。 同时,RapidsDB支持流处理引擎,集群扩展基本无上限,耦合性低,可长远支撑企业经营分析等各类场景需求,在提升工作效率的同时,降低了数据库更换建设成本。 前台服务响应效率对比 将分布式内存数据库作为前台服务层运营指标数据业务库,以及业务人员自主取数的基础数据存储库,精简了DWA层数据预处理流程,减少了定制化需求支撑,节约了数据模型设计、数仓开发以及数据运维成本。 基于内存数据库相较MySQL在存储容量和计算效率上的优势,进一步构建经营分析与大数据平台租户经营分析间的数据交换桥梁。支持在数据零迁移的情况下,服务于经营分析系统前台可视化报表中心、专题分析、自主分析等场景,实现属地集群和集中化租户集群间的数据融合、开放,大大提升了业务人员的工作效率。 基于电信级数据持久化、数据安全性、系统高可用和高性能数据分析等需求,柏睿数据通过将分布式内存数据库核心技术,深入融合到该公司的实时业务分析场景中,助力其充分激活数据要素潜能,实现在管理、营销和服务等方面的数智化转型升级,推进企业全方位云化转型。