正在兴起的新一代数据智能平台需要具备云原生、AI增强、敏捷开发与应用、实时数据处理与分析四大核心能力。同时，在平台架构层面，数据智能平台的底层基础设施、存储与计算引擎、数据集成与开发、数据资产管理、数据应用与数据服务等模块相比传统数据平台提出了更具体和更复杂的建模等要求。

  数据平台是公司进行数据分析和数据应用，以此来实现数字化转型的核心基础设施。通常，数据平台包含数据采集与接入、数据存储与计算、数据管理、数据分析与挖掘、数据服务等功能。

  从业务的角度，数据平台支撑了企业数字化转型的各项需求，企业因此可以在一定程度上完成精细化运营，以此来降低经营成本、提高运营效率、提升创造新兴事物的能力。具体而言，通过数据平台的应用，公司能够在业务中实现数据驱动，从而达成准确洞察用户画像和客户的真实需求、及时感知市场趋势、降低管理和生产所带来的成本、设计和生产出更符合客户的真实需求的产品、更快地推出和迭代产品等目标。

  近年来，面对市场环境的快速变化，以及政府对发展数字化的经济的促进举措，企业对数字化的价值的理解愈加深刻。在各行业企业或政府部门纷纷加快数据基础设施建设的同时，数据在企业经营管理中的应用广度和深度也随之极大地扩展，由此带来数据管理与应用的一系列问题和挑战。如，数据规模持续膨胀，数据资产管理重要性提升；数据应用场景持续扩展，敏捷性、易用性、实时性、智能化要求提升；数据安全合规要求趋严。

  数据基础设施经过数十年的发展，已经依次经历了三个阶段：数据库、数据仓库、大数据平台。

  2019年之后，数字化转型进入新阶段，企业对数据应用的范围从之前的管理层和部分业务人员扩展到了跨部门、跨企业的数据共享，有必要进行大量面向业务、实时和智能决策的探索式、自助式分析，并且需要处理超大规模的多源异构和实时数据。变化带来的新挑战和新需求，传统的数据平台已经没办法满足，新一代的数据基础设施就是要解决这些问题。

  新一代的数据基础设施——数据智能平台，可以被定义为企业数字化运营深入阶段的统一数据能力平台，能够对数据资产按统一标准做管理以便数据可用，并满足企业对数据应用的敏捷开发、实时响应、简单易用、智能分析等需求，同时具备完善的数据安全机制。

  基于对数字化转型深入阶段，企业在数据管理和应用中需要面对和解决的问题的理解，以及对一些行业领先企业在搭建数据智能平台中的实践案例的调研和经验总结，正在兴起的新一代数据智能平台需要具备云原生、AI增强、敏捷开发与应用、实时数据处理与分析四大核心能力。

  云原生是指在应用的设计阶段就为了云的运行环境而设计，包含微服务、容器化、DevOps、持续交付等特征。云原生架构能够为数据平台带来以下主要能力优势：

  一是云原生架构下大数据组件都是以容器化的形式来部署，企业因此能快速的开发、测试、迭代和上线大数据应用，并且方便了数据的共享和复用。

  二是快速集成新的开发工具。企业经常需要在数据平台中尝试新的功能组件，由于主流的开源软件基本都提供了容器化部署，因此能够快速集成到云原生架构的数据平台中。

  三是降低系统复杂性和运维成本。在云原生架构的数据平台中，Kubernetes、Mesos等工具可以在一定程度上完成统一的资源管理和调度，这极大提高了系统复杂性，提高了运行效率，并且在数据平台中部署和运行分布式系统也更加便捷。

  四是轻轻松松实现存算分离和弹性伸缩，降低使用成本。云原生架构能够轻轻松松实现计算和存储资源的分离，企业因此能按照需求分别使用存储和计算资源，这降低了使用成本，也简化了多云和混合云部署。

  AI增强是指利用机器学习和人工智能技术使数据清洗与准备、数据分析与可视化、机器学习等分析过程中实现部分环节的自动化，从而节省大量的人力成本。AI增强的自动化要体现在数据智能平台运营过程中的以下环节：

  第二个环节是数据分析与可视化：自动查找和描述数据中的相关性、异常、聚类、关键驱动因素和预测等，自动生成图表或报表，可视化或对话界面（NLQ&NLG）查找和分析数据。

  第三个环节是机器学习：自动特征工程、自动模型选择和参数调整、自动模型部署和监控。

  数字化的核心目标之一是要能够支撑企业的商业创新，尤其是当数据和数据应用的规模和复杂性慢慢的变大的时候，企业要去尝试各种新的数据应用，就需要数据平台具备相应的敏捷响应能力。数据智能平台的敏捷性最重要的包含了工具集成的敏捷性、数据开发的敏捷性、数据分析和应用的敏捷性。

  工具集成的敏捷性。当企业要尝试新的数据应用时，经常要使用到一些新的分析框架，前面提到，云原生架构能够为公司可以提供快速接入和部署新的工具或组件的敏捷化能力。

  数据开发的敏捷性。数据开发的目的是使用各种工具，包括数据建模、数据探索、数据查询、机器学习、数据可视化等，来完成数据分析。要实现敏捷的数据开发，常常要企业构建一站式的数据集成和开发平台，提供大数 据的汇聚、加工、服务、资产管理等全流程能力，并降低其使用门槛。

  为了应对企业愈来愈多的实时性数据分析需求，数据平台需要在以下层面具备实时性的数据解决能力：

  实时的数据接入和数据采集。应用Kafkas RocketMQ等工具实现数据的实时采集。同时，对于核心业务系统数据，进行被动采集；对于用户访问行为习惯等数据，则会进行主动采集。

  实时的数据计算与查询。基于Flink等实时计算引擎，以及指标计算、规则计算、模型计算等多种计算处理能力，构建数据平台的实时计算和查询能力。

  实时的数据分发。通过Kafka实现灵活的数据分发，以承载不同用户的实时业务。

  流批一体。由于企业在业务分析中使用的数据范围越来愈多地横跨历史数据和实时数据，需要数据平台具备流批一体的能力，用一套逻辑描述流与批业务，用一个引擎也能处理实时和离线数据。

  数据智能平台主要由数据服务平台、数据应用平台、BI平台、数据可视化平台与Paas应用云平台构成。

  新一代的数据智能平台的架构至少在离线数据处理、多租户管理、存储引擎、数据应用搜索与AI增强等五个层面具有区别于传统数据平台架构的特征。

  数据智能平台建设涉及的核心环节最重要的包含顶层战略规划、应用场景规划、基础架构设计、数据规范与数据架构设计、组织与人员规划等方面。

  数据智能平台是支撑企业数字化转型的新一代数据基础设施，是企业各部门各业务线共同的数据平台和数据服务体系，因此，数据智能平台的建设的核心目的是服务于企业的整体战略目标和业务目标。

  同时，数据智能平台的建设不仅仅涉及技术架构，还会涉及企业的业务模式和组织架构，因此企业应当以顶层战略为起点，依据业务目标规划数据智能平台的建设蓝图与路径。

  此外，传统企业的部门墙问题明显，要实现各部门间的沟通协作，共建数据智能平台，需要企业决策层在组织架构和资源方面给予统一的调配和支持。

  数据智能平台的价值最终一定要通过业务场景中的数据应用来体现，因此，平台建设必须应用场景规划先行，数据智能平台应用场景规划需要仔细考虑以下关键因素：

  评估企业业务需求和数据现状。从具体的业务需求场景厘清相关的业务线、相关岗位和业务流程，梳理其中的业务需求。同时，对企业的数据资产做评估，厘清企业有哪些数据、需要补充哪些数据等。

  明确场景实现优先级。企业要基于企业战略与业务目标，针对可实现的业务价值、数据应用的实现成本、数据应用的可行性等方面做评估，确定哪些优先级和紧急度比较高的场景能应用数据平台解决业务问题。

  调研和参考外部案例。企业在建设数据平台前应当尽可能多地进行有关调研，并参考同行实践案例，总结相关经验。同时，能借助有成熟经验的数据平台建设厂商帮企业解决相关问题。

  好的基础架构设计能够让项目快速落地，并支持在现有系统上快速开发新功能、引入新数据，而一旦选择某个技术架构并开始实施，后面出现一些明显的异常问题再来修改的成本很高。构建新一代的数据智能平台需要在基础架构设计上考虑以下要 点：

  第一，引入云原生架构，以便快速开发、测试、上线和迭代数据应用，同时满足在工具集成、系统运维、以及存储和计算资源上的各种敏捷性要求。

  第二，应用多种数据处理引擎应对多样化的数据分析场景需求，重点是为平台构建智能化和实时化的数据处理能力。

  第三，对数据和数据应用资产进行统一的管理，避免数据资产不明确、使用复杂、效益低下等问题，方便数据资产的使用、共享和复用。

  为了保证用户能在数据平台中快速寻找自我所需的数据，企业要对数据架构，即数据的组织方式，以及数据规范，即数据平台中输入和输出数据的规范，做到合理的设计。

  一方面，企业要根据业务目标及业务流程设计平台的数据架构，包括平台提供的明细数据、汇总数据、数据分析结果、 数据服务等。

  另一方面，对数据平台的输入数据和输出数据来进行统一规范，如在所有业务系统中使用统一的全局ID，用原子指标、统计颗粒度、业务限定等维度来派生指标名称，构建指标体系。

  数据智能平台的能力与业务高度相关，因为平台的搭建需要IT部门、数据部门、以及各业务部门沟通协调，对人员进行统筹安排。根据公司数据能力现状，在集中式和去中心化两种人员模式中选其一。

  集中式模式：组建一个专门的数据智能平台团队，由该团队负责所有数据能力的规划和开发。该模式的好处在于数据能力的规划和实现比较直接，能快速落地，难点在于需要团队理解业务。该模式适合公司业务体系相对简单，且软件在企业内部只是辅助工具的传统型企业。

  去中心化模式：由传统的数据平台团队搭建底层的平台，各业务部门在平台上开发和使用所需的数据应用。该模式好处在于业务部门对业务最理解，能够开发出最满足业务需求的数据应用，且后续迭代也更方便；难点在于需要处理好部门分工和协调的问题。该模式适合业务线庞杂、业务定制化需求较多的大规模的公司。

上一篇：人工智能专业学校有哪些 下一篇：自媒体平台数据统计的智能工具：一键统计