发布时间:2022-05-05 | 阅读:
作者简介PROFILE
陈海富
柏睿数据产品研发总监
柏睿实时云数仓性能优化篇来也!上一篇我分享了先谋后行等内容,本文来看看如何「挑兵选将」,欢迎阅读~ 柏睿实时云数仓 · 性能优化篇 壹 先谋后行 知己知彼 一夫当关or团队作战? 贰 挑兵选将 根据CPU选择云主机 选择内存容量 选择网络能力 选择云硬盘 叁 实战经验 计算如何优化 存储如何优化 网络如何优化 成本如何优化 守正出奇 01 根据CPU选云主机 首先,云主机的规格选型,不仅关系到CPU和内存的大小,还关系到CPU是否与其他云主机资源复用和云主机可以使用的最大带宽。 例如华为云主机有如下常见规格: 规格 简介 特别注意 通用入门型如T6 通用入门型实例主要用于平时CPU都保持较低利用率而又需要瞬时冲高的场景,性能受到基准性能和CPU积分的约束,是成本最低的通用型实例 主要用于平时CPU都保持较低利用率而又需要瞬时冲高的场景 通用计算型如S6/Sn3/S3/S2 通用计算型弹性云服务器主要提供基本水平的vCPU性能、平衡的计算、内存和网络资源。技术上采用非绑定CPU共享调度模式,vCPU会根据系统负载被随机分配到空闲的CPU超线程上 可能由于不同实例vCPU争抢物理CPU资源而导致计算性能波动不稳定 通用计算增强型如C7/C6s/C6/C3ne/C3 通用计算增强型弹性云服务器是CPU独享型实例,实例间无CPU资源争抢,性能强劲稳定,搭载全新网络加速引擎,以及DPDK(Data Plane Development Kit)快速报文处理机制,提供更高的网络性能,满足不同场景需求 CPU独享型实例 柏睿实时云数仓根据节点的业务属性,选择不同的规格云主机,如数据库的OPS节点,负责数据库集群的监控与Portal,选用通用计算型主机。计算Leaf节点需要强劲的处理能力,所以选用CPU独享型实例。 02 选择内存容量 任选程序不可能控制无限容量的内存,当然也不可能为一个程序提供无限的内存容量。柏睿数据针对自研的分布式内存数据库,建议在云计算环境中CPU与内存的比例为1:4或1:8。 这从上架华为云的柏睿实时云数仓产品,配置最低的体验节点为4vCPU、16G内存,能看到CPU与内存比率为1:4。 03 选择网络能力 云厂商针对一些特殊应用场景有定制机型,如对于高带宽互联网业务有网络增强型云主机,对于需要超强磁盘读写的业务有本地NVME磁盘的云主机。 当CPU与内存需求满足时,尽量使用带宽能力有一定扩展能力的。如下图所示华为云中4vCPU 8G内存的机型: 如果选基础带宽在1G以下的主机,就不适合柏睿云数仓的运行环境。在成本可控情况下,基准网络带宽比最大带宽更重要,尽量选用基础带宽高的云主机。 04 选择云硬盘 云厂商针对一些特殊应用场景有定制机型,如对于需要超强磁盘读写的业务有本地NVME磁盘的云主机。但这种机型由于数据是存储在物理机本地,不具有数据高可靠性,所以我们在华为云上线的柏睿实时云数仓,没有选用此类型的云主机和硬盘。
从上表中得知,对于不同规格的4vCPU、8G内存的云主机,其CPU处理能力是不一样的。因此如果云主机的规格选得不对,将严重影响数据库的运行效果。