数据分析侠：如何构建企业的数据分析能力

大家好，我是饼干君。我今天想给大家分享的是：如何构建企业的数据分析能力

在讲解之前先给大家分享一下我碰到的企业情况：

例1：A企业有BI系统，但是由于建设时间较早，BI中只是报表的展示，业务营销人员每次分析都要写提数申请，分析周期非常漫长；

例2：B企业有各个生产经营系统中的数据，但是没有BI系统，所以打算建设BI，形成统一的数据平台；

例3：C企业在农牧行业，日常生产中有些过程虽然也是机械化的，但是很多时候生产数据都没有办法保留下来，但是他们非常想知道自己企业的运行效率；

以上是我经常见到的三种数据水平的企业类型，他们的情况各不相同，但是想法又非常相似，觉得上一套数据分析系统就能解决我的分析问题。

所以，我希望向不了解数据分析体系建设的朋友们解释一下：数据分析到底都包括些什么？从完成数据采集到做出数据产品，到底有多远的路程要走？

ok，我们开始进入主题。

今天我给大家讲解的内容，主要是两个部分

一是，解释一下数据分析对企业而言是什么东东？大概都包含什么影响要素？

二是，解释一下企业想要构建自己的数据分析能力，要经过的一系列台阶。

1、什么是数据分析？

数据分析是什么呢？

数据分析是企业的一种能力；

数据分析本身是一个过程；

数据分析的本质是一种思想。

简单来说就是：企业使用数据分析方法，将数据中的信息提取出来，整理成为指导企业经营管理的知识和智慧的这一过程。因而，企业利用这一过程的成熟程度，决定了企业使用数据的有效程度。

影响这一过程的因素有四个：

1、 技术和方法：比如，信息采集技术、数据库架构、数据处理技术、算法、可视化等。技术水平和分析方法在很大程度上，会对信息提取过程产生根本性的限制或改变——这就是为什么分布式存储、运算以及云技术成熟后，大数据开始这样被热捧（因为互联网、大数据等技术的成熟，使得数据信息呈现井喷式增长，人们对于数据的认识也愈发重要）；

2、 数据的应用：具体点来说就是数据描绘的时间、地点、人物、内容、渠道、方式、情节等等信息，在我们的分析中的颗粒度水平、排列组合情况。更准确的说数据被应用的场景在一个企业、一个行业甚至全社会中被理解的程度有多深、使用范围有多广，决定了你的数据影响力能够达到的程度；

3、 商务模式：说简单点就是我们如何用数据赚钱，这是一个必须在市场中才能体现且发挥作用的因素，好的商务模式可以为行业内、跨行业的数据应用、数据产品提供好的商业环境，帮助其成长；而坏的商务模式也可能毁掉一个好的数据产品；

4、制度和规则：制度和规则既有国家层面的，例如数据安全保障方面的法规；也有行规、企业内部制度等。这些制度和规则保障了数据能够被人们用在需要且正确的地方，而不是被滥用（某种程度上，制度和规则的缺失也是造成数据安全问题、行业数据标准混乱的主要原因）。

数据分析既然从数据中提取信息和智慧的过程，那么企业要想完成这个过程，要经理几步呢？

2、企业的数据能力层级

个人认为，企业的数据分析能力层级大概可以分为七级：基础IT系统的搭建、数据集中与标准化处理、数据报表及可视化的实现、日常产品和运营分析、精细化运营管理的实现、数据产品的输出和变现、数据战略的形成。

个人水平有限，最后的数据战略从没接触过，所以这里不做阐述。

可能有同行会对这个金字塔的层级不认同，而且大部分专家也认为这几个部分是平级关系，——我这里这样列出来只是为了说明“要做到每个层级的水平，该层级以下的内容都是支撑这些层级的必要条件”而已（实际中的确是存在诸如“数据产品已经完成上线，但是数据可视化还停留在需要人工完成报表的阶段”这样的情况）。

此图中左侧是我认为的七个层次，右边是我给出的各层级的内容举例。

我们来详细说说每个层级的含义。

（1）基础IT系统

最底层的是“基础IT系统”，它最重要的作用就是完成“数据采集”工作。

这里主要指的就是我们各个企业在实际生产中使用的软件系统及其配套的硬件设备，如：抓取网页数据的代码、医院里的医学影像设备和其他传感器、探测器等等，正是因为有了这些基础的IT系统（包括软件和硬件），我们才能将生活中的所有一切数字化、可度量~

有部分企业，基础的生产数据都没有能够保留下来，就是在这一层都没有做到系统完善。

（2）数据集中与标准化

在“数据集中与标准化”这一层级中，我们要实现的是数据的集中管理与相互融合，打破数据壁垒，让数据能够正常地在企业内流动。大家可以简单理解为我们要在这一层完成企业内数据库架构的建设

所以，这一层中的工作并不只是“数据集中”和“数据标准化”两件事情，需要做的内容还包括：数据提取、数据清理、数据融合、数据治理、建设数据库逻辑、数据逐层汇总统计等等，这里面涉及到ETL、分布式存储建设、数据处理技术、数据逻辑建模等技术内容。

想了解其中具体的内容和技术问题，可以请教相关的数据库厂商，这里就不再细讲。

大家需要记住的是，在此层级上解决的问题是：将系统采集到的内容转化为人类能够理解的数据内容，主要有两个方面：一是清理原始数据，使之完整、干净无杂质；二是将采集到的一些编码信息转化为人能看懂的文字、数字等数据。

另外说一点，我在图片中强调了一下数据关联的意义，是因为在多数实体行业中，企业内部数据孤岛的问题比较严重。因而打通企业内部数据、解决数据关联，使数据在企业内有效地运行使用，是现阶段很多企业首先要解决的问题。另外，第三方数据引入后，如何与企业内部数据融合使用，也属于这方面的问题。

（3）数据报表与可视化

解决了数据关联和标准化的问题之后，我们下一步要解决的问题是：如何能让大家看到数据？

在可视化技术兴盛之前，大家更多地是使用数据报表来得到数据，然后线下完成分析图表的绘制；现在市场上大量的可视化工具，则帮助企业在IT系统上直接呈现数据的统计结果、图形图表、分析结果等内容。

数据可视化是随着数据图形化展现技术发展起来的，它的功能不仅仅是展示数据，它还将很多分析的方法、维度、样式与分析逻辑相结合，以更加形象和贴近业务应用场景的方式向用户展示数据要表达的现象或问题。

要实现数据可视化，不是只有可视化工具就可以了，这背后也要求使用者对数据背后的业务逻辑、图形意义等内容有深刻的理解。

我相信有很多企业在用各种可视化工具，对吧？但是很多企业还是会问，我的XX业务问题，到底应该怎么做图表呢？这其实就是企业没有将业务背后的业务流程、业务逻辑梳理清楚，因而不知道如何进行分析

从“基础IT系统”到“数据报表及可视化”，前三个层级是完成数据分析工作的基础。对于一个企业来说，完成这三个层级的方式可以是手工形式的，可以是本地系统化的，也可以是云端化的。只有具备了上述三个层级的能力，才能说企业在使用数据指导运营、决策、管理这条路上迈出了第一步。

那完成了有数据、看数据之后，我们要做的就是分析数据和应用数据。

（4）产品与运营分析

日常的产品和运营分析是所有分析甚至挖掘的基础，没有这些基础性的分析，后续诸如标签库、精细化营销、挖掘建模都无从谈起。

这一层级的主要作用有三个：

1、解决日常运营和监控需求；

2、深入分析用户、市场、产品等要素的特征；

3、以分析结果指导产品和运营工作。

下面我们分别解释：

首先，日常数据监控中，数据的变动说明什么？影响的因素，以及导致如此后果的原因等等，都是日常数据监控过程中，业务人员需要分析和解决的问题，这些问题也是我们了解市场、用户等要素的入口；

其次，当日常分析已经成为例行工作的一部分之后，企业的产品和业务人员就会发现简单的日常分析无法解释很多复杂的现象和问题，这就需要对用户、产品、渠道、市场、需求等等方面进行深入的分析和研究。

在这个过程中，很多针对具体业务情况的分析专题和分析模型应运而生，从而帮助企业更好地认识我们的市场，扑捉客户和潜在的商机。这其中最具代表性的例子就是“用户画像”（有关用户画像的内容网络上有很多文章，这里不再细说）。

最后，根据日常分析和各种深入分析的结论，我们能知道诸如：这个营业厅发展的用户质量很差，需要核实这些用户行为的真实性；在XX环节中，耗费的人工工时较长，需要看看是需要改进该环节技术、还是存在其他问题……

如此种种从数据中反映的问题，最后都会归结为各种管理、运营、营销等方面的问题，指导业务人员去查找、修改甚至重构具体的业务内容，即能够对工作进行指导。

我们之前的分享有提到过，客户画像这一类工具是精准化运营的基础，对吧？

因而，在完成了日常产品及运营分析之后，我们的管理就进入到

（5）精细化运营管理

我在图片上举了一个电商常见的精细化营销场景，大家可以自己体会一下它区别于统一营销的地方在哪里。

在“产品和运营分析”层级中积累的分析思路和分析方法，大多是分散的、点状的，而当这种深入的分析逐步汇总之后，会在企业内部形成一套完整的分析体系，这套分析体系就是精细化管理的基础。

在“精细化运营”这一层级，所有的分析不再相互孤立，而是更多地以一个实际业务场景为单位，在该场景中使用数据指导完成从“感知识别、目标筛选用户”到“营销适配、执行反馈”全过程，该场景下每个用户的营销组合都各不相同，实现场景中的精细化管理。

当然，这一过程一定不是只有一个分析系统就能完成的，它需要CRM、分析系统、营销系统、执行渠道等等流程上的所有系统相互协同、共同完成。在这个过程中，数据分析能力也不会仅仅只在数据分析系统上才具有，所有的识别、计算、匹配等分析能力会分布在流程的各个环节，一同构成精细化运营管理体系，人也变成了这个体系中的一个节点而已。

更进一步，将多个业务场景下的数据驱动过程进行组合，就形成了诸如“用户生命周期管理”、“会员运营体系”、这样的应用场景集合。企业中每个领域的这些集合，就支撑起了企业的主要运营管理工作。

对于部分企业来说，做到这个层面基本就足够满足其精细化管理的需要了

不过，在现在这个互联网+的大背景下，用数据描绘我们日常生活的全部内容，已经成为业内的共识，因而许多企业也开始让自己的数据走出企业内部。

这就是我们能看到的。

（6）数据产品

数据产品多种多样。

从实体行业企业内部数据运营的角度来看，形成可以价值变现的数据产品不是企业数据能力建设最终要实现的目标，它只是将企业内部数据价值变现的方式之一。

很多时候，企业内部的数据能力成长到一定阶段，某些数据及分析方法已经具备了独立变现的条件，因而被企业单独拿出来作为一类产品提供到市场，形成所谓的数据产品，因而诸如：以具体数据内容为形式的数据交易、以体系化的分析方法为形式的分析计算体系、以分析解决方案为形式的分析服务等等，都是可能的数据产品形式。

而无论哪种产品形式，都必然离不开适当的商务模式，而必要的商务模式也是保证数据市场安全、高效运转的必备条件。好的商务模式可以促进数据的有效使用，不恰当的商务模式则有可能加速企业走向衰落。

再多说一句，很多企业在数据能力建设之初总是抱怨“数据分析是一项花成本又没有效益的工作”，因而在建设过程中并不积极

但是，当一个企业能够把其内部的数据甚至数据能力作为一种商品或服务，直接在市场上进行售卖的时候，这种能力的价值就会直接显现出来

而且其价值会远超建设之初的想象

那么总结下来，以上就是我对企业数据能力建设的认识

谢谢大家~

主持人：感谢饼干君@饼干君  的精彩分享。国内传统企业是非常庞大的一块，他们的信息化建设、与互联网接轨，在近几年脚步很快。虽有先天的不足，如今却是蓄势勃发。全民BI岂能没有他们的参与。传统企业大数据事业的兴起，重在有你，有我，有他……感谢大家的参与。

大家可以自由讨论，有啥问题，请教饼干君的，都可以自由提问啊。

问题1：请问一般构建这个数据系统，需要多大的团队呢？

饼干君：不太好说具体需要多大团队，要看需求是什么样子，数据系统基础是什么样子，需要看底层数据库有没有搭建好，都需要前期的考察。有确切需求可以联系我。

问题2：请教@饼干君，对于个人基础较为薄弱的如何学习数据挖掘，数据分析？

饼干君：学习数据挖掘，需要了解你的数理基础好不好，水平是什么样子的，才能判断需要做什么。数据挖掘内容比较多，看往那个方向走，是文本挖掘还是机器学习，还是业务应用建模。需要根据背景确定。

问题3：@饼干君企业将数据分析的工作交给第三方大数据公司在国内的情况多么，有什么有代表性的公司？

饼干君：比如说电信行业比较多，运营商自己做数据分析的比较少，都是找乙方数据分析公司，现在这种还是挺多的。

问题4：现在喊的大数据，与以前说的数据仓库的区别，你们怎么理解的？来自广州深圳大数据群的提问。

饼干君：个人觉得，对于数据行业工作者而言，没有大数据小数据区别，数据仓库以前是结构化仓库，现在是非结构化仓库，只是技术上面的问题，对于我们而言，没有以前的分别。

问题5：数据挖掘和机器学习有什么区别？传统行业，从哪个角度切入数据分析比较好？我接触的大型国企，领导想做大数据分析，数据也有将近十年的积累，但不知道如何下手。

饼干君：你想问的是数据挖掘的岗位和机器学习工程师的区别吗还是说这两件事情本身有什么区别，岗位的话，数据挖掘可能偏业务一些然后机器学习工程师他可能更多的是我们所谓工程师更倾向于做编程一些。我只能说就是说对于这两件事情本身而言的话其实机器学习里面放了很多的一些算法仍然是挖掘的算法。或者是说一些数理统计或者是数理建模的一些算法。其实他只是形式不同或者是使用的方式不同，详细去百度一下，其实你就能表清楚了。

肖勇：个人理解:现在的大数据技术主要解决了从海量日志或者抓取的网页中根据条件筛选取目标数据,只是解决了一个目标数据获取的问题,但是这些数据还是要再经过数据处理,创建分析模型,最后再走到数据分析这一步。

饼干君：我个人觉得你这个理解没有什么问题。但是我需要纠正的是你说的这个只是互联网方面。那很多如果大数据应用到一些实际的一些线下的传统或者实体行业的时候。他不并不是说从网页当中然后抓取数据，他可能使用的是传感器或者什么样子。大数据技术他指的是对于海量的数据或者是各种不同类型的数据的一种处理技术，它并没有说限定说他只使用在互联网上面。我再补充一点就是互联网的很多分析它的一个好处是我在处理了我要分析的所有的这个业务内容之后我还能返回去然后去捕捉我可能在现在还没有的一些数据我可以增加差码，然后来满足我的分析的需要这个是互联网比较有优势的地方。

问题6：我想问一下大数据量可不可以和人工智能应用到一块？

残剑：不能吧。

问题7：传统行业，从哪个角度切入数据分析比较好？我接触的大型国企，领导想做大数据分析，数据也有将近十年的积累，但不知道如何下手。

饼干君：传统行业范围太大，每个行业都有自己的业务流程和逻辑，数据分析之前先要把业务过程和要点了解好，好的数据分析师比业务更懂业务，比营销更懂营销。本身业务不熟悉分析也做不了。十年的积累数据质量怎么样？先想清楚数据能不能保证对业务所有维度的分析的支持，然后再去做数据分析。

问题8：传统BI:就是通过多个维度组合动态生成透视表,对不可以上钻,下钻,旋转,对应的就是多维模型。

饼干君：我个人觉得BI并不只是一个分析的内容。其实BI这个底层是有非常非常大的这个技术系统或者我们所谓的这个IT系统的支持在的。他是一层一层搭建起来之后然后才能生成你最后看到的比如说图表或者是这个是下载提取出来的数据这些东西。你说的这个只是BI非常表层的东西，所以你可以去查一下BI系统到底是一个什么样的系统然后再来对BI有一个完整的认识好吗？

问题9：在“精细化运营”这一层级，所有的分析不再相互孤立，而是更多地以一个实际业务场景为单位，在该场景中使用数据指导完成从“感知识别、目标筛选用户”到“营销适配、执行反馈”全过程，该场景下每个用户的营销组合都各不相同，实现场景中的精细化管理。～～～这个怎么理解。

肖勇：不只是网页,最前面的是日志(代表的是文本类型的数据)

高至楠：看看数据仓库原理，分层，数据清洗，转换。我的问题是传统BI中，数据的及时性，实时性怎么处理，业务现在天天要实时数，我都担心把业务库抽崩了，实在没办法都是dblink过去。

饼干君：@高至楠 不好意思，我不是数据库工程师，不知道怎么回答你

问题10：各组合如何衔接？

饼干君：分析过程当中，有一个匹配规则，有庞大的模型在，也可以通过机器学习手段，让机器不断学习客户如何选择，匹配，还是需要有建模和匹配的能力在里面，和人工设置的规则在里面。

肖勇：@高至楠  我们以前是各个单位实时将数据汇总到总库,然后DW晚上直接从总库中抽取,第二天客户可以看到头一天的数据

高至楠：有，都是离线截止到前一天的数据，他们要当天的

光辉岁月：传统行业，从哪个角度切入数据分析比较好？我接触的大型国企，领导想做大数据分析，数据也有将近十年的积累，但不知道如何下手？物流行业，一个大型国企，我们已经进行前期调研，但是他们谈不出什么东西，就想提高利润率，增加优质客户，减少风险。

饼干君：本身需要有咨询顾问在里面，需要有行业经验人员解析所有业务，交给开发人员完成需求。

肖勇:当天就是实时从业务库中查询，没有办法,但是不能做数据分析，只是简单的查询 。