柏睿数据云能平台助力AI模型服务商Sentient.io替换Redis的成功实践

发布时间：2023-04-21 | 阅读：

导语

Sentient.io是位于新加坡的AI原生公司，面向全球提供安全、易用的企业级人工智能解决方案。本文介绍了Sentient.io基于柏睿数据云能平台，替换开源数据库Redis，自助部署与管理柏睿分布式内存数据库RapidsDB集群来支撑其业务的成功实践，助力Sentient.io以高性能和低成本构筑“数据群岛”。

Sentient.io(https://www.sentient.io)成立于2017年，是位于新加坡的AI原生公司，面向全球提供安全、易用的企业级人工智能解决方案，基于Sentient.io AI & Data平台提供的API，用户能够使用公共和私有数据集、AI模型预训练和现成可用的AI模型等服务，助力各行业企业安全、便捷地构建高精度、定制化的AI模型。

Sentient.io平台原生内嵌的TeamSpaces工作空间，能够同时支撑10,000多名开发人员和业务用户在社区中进行协同开发工作。通过为用户提供统一的视图和可靠的数据集服务，助力企业更好地管理和利用数据，提高数据质量，提高AI模型的准确性和性能。

原有数据库解决方案面临挑战

最初，Sentient在TeamSpaces业务系统使用Redis、Elasticsearch等数据库技术，由于使用分散的专用数据库技术，造成了数据孤岛，并增加了总体拥有成本(TCO)。

原有数据库技术架构图

Sentient使用Redis存储一些中间计算缓存和会话数据。Redis是一个开源的内存键值数据库，与基于磁盘的传统数据库相比，Redis因其在内存中的特性，运行速度要快得多，可以在很大程度上避免频繁的磁盘I/O。虽然Redis是创建缓存系统的理想选择，但它并不是为分析工作负载而设计的。Redis使用键值存储，键充当其关联值的唯一标识符，提供非常简单的基于键值的查询结果，从根本上说，它不支持通过SQL查询结构化能力。而且Redis的多种各有优缺点的集群模式，也让Sentient难以选择。

由于Redis的技术限制，Sentient安装了Elasticsearch来进行全文搜索。Elasticsearch是一个开源的分布式分析搜索引擎，擅长搜索任何类型的文档，并且对处理非结构化数据非常有用，但Elasticsearch不兼容SQL，学习和使用成本非常高。

为了保证存储在Redis和Elasticsearch中的数据的持续可访问性和可用性，Sentient投资了多台云服务器，其中一部分专用于Redis，其余用于Elasticsearch的高可用性服务。

这些针对不同使用场景而使用的不同技术，最终给Sentient造成了越来越多的数据孤岛。Sentient需要自行对接和整合数据，开发、运维的时间成本和运维人员培训成本高。因此，Sentient需要一个统一的数据分析平台，能够以高性能和低成本打破数据孤岛。在保证高效可用的情况下，针对TB级数据提供无缝数据集成能力，支持对多源异构数据的实时分析。

柏睿数据解决方案支撑业务场景

柏睿数据RapidsDB基于自主研发的新一代内存数据库技术，为海量数据的高并发、低延迟分析提供了卓越的性能，为用户提供全并行、分布式、基于内存的分析型数据库系统，实现异构数据存储和复杂SQL查询。

Sentient根据TeamSpaces业务需求，在内部对RapidsDB做了多种测试。下面是测试RapidsDB与Redis的查询性能比较数据，虽然从数值上来看，Redis比RapidsDB的速度要快，但RapidsDB在0.10秒内返回查询结果，已完全满足业务需求。而且在考虑RapidsDB在高可用、高并发的稳定性，以及数据持久化等方面的优势，最终还是选择使用RapidsDB来替换 Redis。

640 (1).png