国内外数据智能技术发展趋势

2022年，据Gartner调查，500家企业机构的IT专业人士共同对100 多项技术的使用计划、预期价值和风险测试显示：由于企业机构复工复产并寻求创新机会，其经营正在向以客户为中心的业务运营模式转变，企业正在实施维护和优化现有的数据中心基础设施，部署具备高度颠覆性的新兴技术，通过改进、简化、增强大数据平台，人工智能、自动化等技术，落地“数据驱动”战略，应对日益普遍的创新和不确定性与竞争，增强产品体验、降低成本、优化运营流程，扩大客户覆盖范围。在此背景下，预期2023年大数据与智能技术趋势如下：

过去十年来，产业界积累了前所未有的实体和数据。在大规模数据集和大数据计算的支撑下，使得最终训练得到的模型足够复杂，因此人工智能，尤其是深度神经网络，在语音识别、图像处理、自然语言处理以及数字化基础设施与多个行业都取得了长足的进步。

智能技术的发展目前还依赖于计算能力的提升，随着数据量的增加，单机已经无法满足数据计算甚至是存储的需求，因此分布式存储和计算技术迎来了发展。以Hadoop生态为例，实现了分布式存储和分布式计算。建立在Hadoop之上的Hive提供了类似SQL接口的数据分析方案，但由于其存在大量磁盘IO，性能常常成为大数据计算的瓶颈。而新一代分布式内存计算引擎，如 RapidsDB以性能为突破口，保障了机器学习、音视频识别、NLP 等智能分析工作得以顺利开展。

机器学习能够识别模式和检测大型数据集中的异常，支持预测分析和其他高级数据分析功能。例如：识别图像、视频和文本数据、自动分类数据、分析语音和文本、个性化和推荐特征及能够在海量数据中分析找到业务问题最佳解决方案等，从而提供更智能的应用，更好地了解客户行为、业务流程和整体运营。目前，机器学习技术已较为成熟。

融合计算机科学、语言学和人工智能技术的自然语言处理（NLP）技术发展迅速， NLP主要关注人类语言与计算机系统之间的交互， 通过科学编程使其能够准确识别、分析和处理自然语言的信息，通过语料、分词、句法和语义分析等NLP技术，使用语法规则从句子中提取重要信息的算法，阅读和解释人类语言。随着企业业务的不断延伸，如问题回答和知识检索等应用场景，可以使用向量数据库存储大规模的知识库，通过将问题和知识库中的内容转化为向量表示，并计算向量之间的相似度，最大限度地减少数据检索所需的时间，系统可以更快地响应并提供更好的用户体验。

人工智能是指使计算机能够分析数据、提出建议，执行查看、理解和翻译口语和书面语言等高级分析能力的技术，从与数据库产品能力结合方面，可通过 AI 作代价预估与监督学习实现数据库引擎动态优化，加速数据库查询性能，通过定义新的函数和数据类型SQL，实现数据库内的人工智能模型训练和推理。从数据应用角度，人工智能可提纯数据、提升多领域的分析决策能力。代表厂商如IBM、AWS、阿里云、百度及Anaconda、Dataiku、Domino、4paradigm、Mericdata、Ishumei。如柏睿数据RapidsDB创新研发基于机器学习的动态查询优化技术，目前已获得美国专利。

增强分析（Augmented Analytics）本质上是利用机器学习和人工智能技术来自动化或增强与准备数据有关的任务——分析数据、清理数据、加入数据，以自动化围绕生成见解和解释见解的任务;由此，它减轻了如分析师或消费者等业务人员必须手动探索数据的过程，通过工具即可完全理解所拥有的数据，专注于可视化，识别关键见解；并停止以纯粹定量的方式思考数据，从而帮助企业更好地了解业务发展环境，针对企业经营成本、效率、风险等问题，找到解决办法。Gartner 认为，增强分析将颠覆目前的数据分析模式，代表了数据和 BI 能力的第三大浪潮。典型产品包括：Power BI、Tableau、Qlik、Looker、Superset、FineBI。柏睿数据正在探索将数据库和大模型完美结合的应用平台，通过微调AI大模型以实现数据库智能化，能够将自然语言转换为数据库语句、优化数据语句等，进一步提高数据可视化分析的效率。

近年来，随着AI的应用逐渐成熟、落地，产业焦点集中于 AI 大规模快速落地，布局 MLOps 平台或工具的需求日益迫切，推动组织数智化转型成为产业界追逐的目标。人工智能研发运营体系(MLOps) 作为 AI 工程化重要组成部分，其核心思想是解决 AI 生产过程中团队协作难、管理乱、交付周期长等问题，最终实现高质量、高效率、可持续的 AI 生产过程。代表产品包括 Amazon SageMaker、Microsoft Azure、Google Cloud Platform、 DataRobot、Algorithmia、Kubeflow、MLflow。柏睿数据作为专注于数据的公司，提供以数据为中心的柏睿数据智能平台Rapids AI，Rapids AI具备包括数据加载、数据质量诊断、数据特征管理、特征工程、模型训练、模型评估、模型部署在内的人工智能开发全生命周期能力。

数据民主化（Data Democratization）在于使组织的所有成员都能轻松地应用数据开展应用分析，实现更精准决策和更好的客户体验。通过数据民主化，非技术用户也可以在没有数据管理员、系统管理员或IT人员的帮助下收集和分析数据。通过对数据的即时访问和理解，业务团队可以更快地做出决策。民主化的数据环境是管理大数据和实现其潜力的重要方面，那些为员工配备正确工具和理解能力的企业，能够更好地做出决策。

数据云（Data Cloud）在狭义是指以云计算为平台，可面向全球客户和个人提供大数据与智能数据管理、数据应用与数据服务的基础设施，当前，以数据云为依托，向更广泛的客户群提供数据智能技术，融汇互通数据价值，成为数据智能垂类厂商的新机遇。如：京东数据云平台、星环数据云平台、袋鼠云平台等；在业务领域，我们观察到全球范围内的产业研究也在深化，如在摩纳哥一年一度举办的Datacloud全球大会，关注数据中心和云计算领域的最新技术、趋势和创新。今年大会重点聚焦数据云行业数据中心的可持续性，混合云和多云管理、降低网络威胁风险，以及如何面对即将到来的能源危机，亚太地区、中东和非洲数据投资与驱动等议题。

同时，以数据云技术与平台为基础的数据资产化（Data capitalization）正在兴起，旨在通过数据市场、数据交易发挥放大数据价值：以Snowflake为例，企业在独立架构基础上，为客户提供全场景全生态的在线数据仓库、数据科学、数据应用与数据市场，其数据市场汇聚了全球200多家数据提供商和服务提供商，提供了近千种数据集、企业市值高达 700 亿美元，成为全球炙手可热的数字化品牌。在国内，国家基础学科公共科学数据中心已可提供VLBI月球与深空探测数据等 24个主题库，在线服务数据总量 2.29 PB；2022 年，“人民云”面向全社会提供数据存储、数据运用、数据交易、人员培训；深圳、上海两地正在大力推进数据权属界定、开放共享、交易流通等标准指定和系统建设，加快培育数据要素市场。

综合来看，数据智能类技术在今天已取得突破性进展，随着新材料、能源、通信技术的快速演进，未来5 年，预计依托算力、数据、算法的数据智能技术将出现更具想象力的变革与创新。从地域看，在理论体系、数据科学、技术核心、业务创新与开放方面，仍然以西方国家为主，而在技术应用、价值变现、产业数字化与社会治理方面，我国走在前列；两者有巨大合作的空间，但也需要不断弥补其中存在的差距。

参考内容

1. Gartner | Delivering Actionable, Objective Insight to Executives and Their Teams

2. Purchase Intent Data for Enterprise Tech Sales and Marketing - TechTarget

3. Data Fabric: What is it and Why Do You Need it? | Striim