数据中台的使命、愿景、本质和六大核心能力

自2019年3月18日《数据中台已成下一风口，它会颠覆数据工程师的工作么》成为第一篇数据中台十万+ 的文章后，数据中台的趋势一路走高。

从下图看，对比数字化转型和数据中台的百度搜索指数，数据中台从2019年4月份起，已经超越了数字化转型的趋势，并且还在不断上升。

参考技术成熟度曲线，数字化转型已经进入成熟期，被业界广泛认知，而数据中台目前正处于期望膨胀期，即将被很多企业应用和验证。

数据中台成为了数字化转型的下一个趋势，那么数据中台的愿景和使命是什么呢？

数据中台的愿景是打造数据驱动的智能企业

数据中台的使命是赋能业务以数据智能的能力，让业务更智慧，为企业创造业务价值

行业里有众多的数据中台体系

阿里的数据中台分为五个模块，包括：

数据产品：阿里数据，数据大屏，生意参谋；

数据资产管理：从资产地图，到资产运营；

数据开发管理，从数据采集到应用开发；

智能数据研发：从数仓规划到监控告警

计算和存储：包括离线计算和实时计算。

滴滴将数据中台分为八个模块：

数据服务交付，精益数据生产，智能数据目录，敏捷数据创新，数据维护啊，数据系统工具链，数据基础设施。

苏宁的数据中台体系分为七个模块：

数据应用，数据应用引擎，数据开发套件，数据仓库主题，数据治理套件，基础服务和计算存储引擎。

当我们把业界这些主流的数据中台架构进行分解，剖析，抽象后，我们就能得出，数据中台的本质。

广义数据中台的本质，就是企业数据产品工厂，而这里的数据产品，主要指数据服务。

所有的企业都在构建自己的数字化业务体系，而数字化业务的本质就是加工和生产数据，数据成为了每一个企业在数字化世界里的原材料和核心资产。

狭义数据中台的本质

广义数据中台是庞大的，它的构建需要一个演进的过程。但是，如果企业从哪里开始，如何能够尽快的从数据中获取价值呢？

ThoughtWorks认为，狭义数据中台的核心是Data API。

数据中台的核心是为前台提供数据服务，哪怕这个服务的后台没有系统支撑，是一个Excel表或者是一个手工填报，只要能让前台从数据服务中获取数据洞察，这就是一个最简单的数据中台的服务。

所以，数据中台是为了前台的业务敏捷提供数据API的中间层。

当我们把数据工厂的概念解耦，一一对应到企业数据体系，我们就能解构出数据中台的六大核心能力，如下图所示：

数据资产的规划和治理，是数据中台的基础功能，它的目的是为了在构建数据服务，数据产品，数据应用之前，先画出企业的数据资产蓝图，尽可能的涵盖企业所有的可能产生和使用的数据，不论是企业内部数据还是外部数据。

数据资产的规划和治理体系，是企业数据战略的体现，承载系统是企业级数据资产目录(Data Asset Catalog)。

并且，ThoughtWorks认为，企业的数据资产不仅包括Raw Data，所有的能够带来价值的，从数据中衍生出来的数据产品，数据服务都是数据资产的一部分，企业都要将它们规划和管理起来。

数据资产的规划和治理，是从根本上最大限度解决数据孤岛(Data Silo)问题的方案，也就是在应用构建，数据产生之前就规划好数据的产生和消费的数据流体系，从而所有的应用都按照这个规范来执行。

这个部分，对应到数据工厂的办公室，一般每个工厂都有的战略规划部门。

在企业梳理了构建了自己的数据资产蓝图后，就需要将这些数据资产对应的数据资源进行存储和存储，也就是很多企业常说的，“数据入湖”。

数据资源的获取和存储，在广义数据中台体系里是数据平台的一部分，不同的企业在不同的阶段，可以采用的技术手段是不一样的，关系型数据库，大数据平台，数据湖，乃至最简单的文件存储都可以作为数据资源存储获取的方式，并不一定要拘泥于一种形式。

这个模块的核心是数据资源是能够被按需获取到的，这也就意味着，哪怕我们不构建独立的数据存储，让数据留在源系统中，只要能够在需要的时候获取到，也是可以的。

这个部分，对应到数据工厂的原材料仓库。

如何能够让企业的业务更智慧，这里最重要的事情就是跨域数据的组合和分析，不同领域的数据的挖掘，整合才能产生人的经验所不能够具备的洞察。

数据中台区别于传统数据仓库的一个重要的特点，就是数据中台是企业的数据服务的协作生产平台，他是一个能够让业务需求人员，数据分析人员这样的数据使用方和数据工程师，数据管理员这样的数据提供方在一个平台上去共同使用同一套企业的数据资产的协作平台。这里很重要的功能就是企业数据门户，企业数据目录和数据版本管理，数据沙箱（Sandbox)，数据分级权限体系。

这个部分，对应到数据工厂的协作平台，也是办公室的一部分。

数据中台是一个数据服务工厂，那么这个工厂应该生产什么服务呢？

就像传统的工厂都会有一个研发中心一样，数据中台需要一个数据实验室平台，能够让业务人员，数据分析人员，数据科学家们在数据协作平台上，利用同一套数据进行业务价值的探索和分析，从而识别有价值的数据集，然后在批量生产，形成数据产品和服务。

这部分重要的功能是数据挖掘，数据科学平台，算法平台，机器学习平台等。

这个部分，对应到数据工厂的实验室，也就是研发中心，研发新产品的部门。

当有价值的数据服务在实验室（研发中心）中被识别出来，并且通过协作平台被验证，那么这个过程就要被工业化，形成一个数据服务的生产线（Data Pipeline），从而能够被自动，批量的生产出来，为业务提供按需的服务，这就是数据服务的构建部分。

数据中台会生产非常多的数据服务，所以，数据中台同时要提供这么多数据服务的治理功能，从而保证数据服务的全生命周期体系化管理，优化有价值的数据服务，下线过时的数据服务。

这个部分，对应到数据工厂的生产车间和成品仓库管理。

传统的数据仓库系统往往只关注系统的稳定性，但是并不关注提供的数据报表的使用情况，被应用的如何，是否为业务产生了价值。

而数据中台作为企业的数据服务工厂，是一个运营数据服务的业务单元，它不仅仅包括技术平台部分，同时应该包括战略层，组织层，就像下图一样：

所以，数据中台提供的数据服务应该有价值度量和运营体系。比如，每一个服务应该持续的被监控，被分析，被运营，从而保证资源的最优调度和用户的满意度。

这里的运营就像所有的2B服务的运营体系一样，应该包括如下基本的运营内容：客户获取，服务签约，服务监控，客户服务，价值结算，同时也包括增值服务内容，比如客户关系管理，数据分析，营销等。

大型企业的数据中台，会是一个多租户的生态体系，为所有的数据资产生产者和消费者提供交易的运营平台。

这个部分，对应到数据工厂的运营体系，包括数据服务交易市场，和监控运维办公室。

数据中台是生产和运营数据服务的工厂，所以数据中台对应到企业是一个组织单元，是一个产品单元，也就意味着，最终数据中台是一个数据业务部门，他的产品是业务产品的数据原材料。

这样的组织单元，是与企业的业务模式，组织结构，发展阶段，技术水平，管理水平紧密相关的，所以数据中台不是一个通用的系统，一定是需要为企业量身定制的，不存在一个标准化的数据中台产品。

但是，对应到数据中台的六大核心能力的组件部分，是有不同的产品或开源的方案可以复用的。

由于数据中台与企业的发展息息相关，所以，它的建设是演进式的，要结合企业战略规划和市场变化演进式发展，这就需要它的架构是开放的，柔性的。

后记：

一个新概念出来后，会有众多不同的解读和理解，对于这些概念本质的清晰的认识，是很重要的，实现的方式可以有千万种，但是本质和愿景，使命一定要清晰。

文章来源于凯哥讲故事系列 ，作者：筱愚她爸