首页 新闻中心 总监聊产品|柏睿实时云数仓之「性能优化篇」· 挑兵选将

总监聊产品|柏睿实时云数仓之「性能优化篇」· 挑兵选将

发布时间:2022-05-05  |  阅读:

1.jpg


作者简介PROFILE


陈海富

柏睿数据产品研发总监



柏睿实时云数仓性能优化篇来也!上一篇我分享了先谋后行等内容本文来看看如何「挑兵选将」,欢迎阅读~


柏睿实时云数仓 · 性能优化篇

先谋后行

知己知彼

一夫当关or团队作战?

挑兵选将

  • 根据CPU选择云主机

  • 选择内存容量

  • 选择网络能力

  • 选择云硬盘

实战经验

  • 计算如何优化

  • 存储如何优化

  • 网络如何优化

  • 成本如何优化

守正出奇


2.png


01

根据CPU选云主机


首先,云主机的规格选型,不仅关系到CPU和内存的大小,还关系到CPU是否与其他云主机资源复用和云主机可以使用的最大带宽。


例如华为云主机有如下常见规格:


规格

简介

特别注意

通用入门型如T6

通用入门型实例主要用于平时CPU都保持较低利用率而又需要瞬时冲高的场景,性能受到基准性能和CPU积分的约束,是成本最低的通用型实例


主要用于平时CPU都保持较低利用率而又需要瞬时冲高的场景

通用计算型如S6/Sn3/S3/S2

通用计算型弹性云服务器主要提供基本水平的vCPU性能、平衡的计算、内存和网络资源。技术上采用非绑定CPU共享调度模式,vCPU会根据系统负载被随机分配到空闲的CPU超线程上

可能由于不同实例vCPU争抢物理CPU资源而导致计算性能波动不稳定

通用计算增强型如C7/C6s/C6/C3ne/C3

通用计算增强型弹性云服务器是CPU独享型实例,实例间无CPU资源争抢,性能强劲稳定,搭载全新网络加速引擎,以及DPDK(Data Plane Development Kit)快速报文处理机制,提供更高的网络性能,满足不同场景需求

CPU独享型实例


从上表中得知,对于不同规格的4vCPU、8G内存的云主机,其CPU处理能力是不一样的。因此如果云主机的规格选得不对,将严重影响数据库的运行效果。


柏睿实时云数仓根据节点的业务属性,选择不同的规格云主机,如数据库的OPS节点,负责数据库集群的监控与Portal,选用通用计算型主机。计算Leaf节点需要强劲的处理能力,所以选用CPU独享型实例。


02

选择内存容量


任选程序不可能控制无限容量的内存,当然也不可能为一个程序提供无限的内存容量。柏睿数据针对自研的分布式内存数据库,建议在云计算环境中CPU与内存的比例为1:4或1:8。


这从上架华为云的柏睿实时云数仓产品,配置最低的体验节点为4vCPU、16G内存,能看到CPU与内存比率为1:4。

03

选择网络能力


云厂商针对一些特殊应用场景有定制机型,如对于高带宽互联网业务有网络增强型云主机,对于需要超强磁盘读写的业务有本地NVME磁盘的云主机。


当CPU与内存需求满足时,尽量使用带宽能力有一定扩展能力的。如下图所示华为云中4vCPU 8G内存的机型:


3.png


如果选基础带宽在1G以下的主机,就不适合柏睿云数仓的运行环境。在成本可控情况下,基准网络带宽比最大带宽更重要,尽量选用基础带宽高的云主机。


04

选择云硬盘


云厂商针对一些特殊应用场景有定制机型,如对于需要超强磁盘读写的业务有本地NVME磁盘的云主机。但这种机型由于数据是存储在物理机本地,不具有数据高可靠性,所以我们在华为云上线的柏睿实时云数仓,没有选用此类型的云主机和硬盘。