大数据到底是不是“算命”？技术大牛们这样说

摘要：BAT虽然在数据量上占据优势，但却在丰富性上受到局限，甚至并不具备垂直领域UGC所具备的大数据能力。中小企业则可以充分利用自己在垂直领域里深耕的优势，将数据的丰富性提升上来，从而获得差异性的优势。

TBO（旅游商业观察）：“如果你只有一堆人的电话号码，这可能没多大意义。但像携程的数据，比如所有人提前预订、搜索、浏览、点评的信息等，这就是有价值的。但更深层的核心是，你能不能在某个产品上使用到这些数据，而且确实有帮助。”众荟数据智能事业部总经理焦宇对TBO（旅游商业观察）说。

美团云大数据平台负责人对此表示认同，“首先要弄清楚拥有的数据是否有价值，是否有人愿意为其买单。另外则是源数据的丰富度，是否能够为数据价值的发挥带来补充和完善”。

显然，数据收集的目的并不单单是把数据集中起来，最终还是要在实际运营中发挥作用。拥有数据只是开端，如何深入分析、洞察数据彼此之间的关联，才是大数据应用的关键，这也是众多手握大数据企业的分水岭。

不过，在这个过程中，有一个不容忽视的问题，那就是数据的质量问题。“错误的输入，换来的必然是错误的输出”，蚂蜂窝大数据技术总监韩鑫在接受TBO（旅游商业观察）采访时就特别指出了这个问题。

“真正决定数据挖掘成败的是数据本身的质量，对于算法的合理使用和优化反而是次要的。由于大数据的兴起，我们很容易获得庞杂的数据；然而单纯地指望从高深的算法中去获得我们想要的信息而忽视数据本身的质量，往往只能是空中楼阁。”

对大数据而言，表面上看数据是越多越好，因为更多的数据可以产生更能拟合真实情况的场景，但同时更多的数据也产生了更多的噪音——所以单纯的数据的量的增加并不能提高计算的精准度。

因而拥有高质量的数据，要远比握有一堆庞杂的数据更有价值：这样既能减少数据挖掘的难度，也有利于提高数据挖掘的精度。但是，这就是大数据的核心门槛吗？

韩鑫认为：“建立完整的大数据体系还需要两个重要的因素，业务的丰富程度和数据思维的融入。”

焦宇从自己的实践经验出发，谈了自己的看法：“对一个特别好的产品经理来讲，大数据的门槛首先是要理解这个东西到底是什么；第二建模能力要强。从这两方面说，人才相对都是稀缺的。比如有些公司是有大数据的，但要找到很牛的人来做这件事情，虽然理论上讲是可以随时找到的，但事实上却很难。”

“第一个是大数据。第二个方面，有人把数据比喻成‘石油’，有石油宝藏还得有机器、工具把它挖出来，这个工具就是机器学习。第三方面是计算能力的进步。工具再强，没有非常强的计算能力，还是跑不动的。”滴滴研究院院长何晓飞则给出了这样的答案。

数据挖掘的难点

数据挖掘，不像收集数据填几张表，问几个问题就能轻松实现。它的专业性相对较高，运用的知识、技术难度也明显加大。因而大多数的数据挖掘基本是由专业人士或专业团队来做的。

另外，建模的成功与否，对数据呈现的结果也有非常重要的影响。模型不同，结果也往往会出现差异。

“任何人都能搭出来一个模型，只要搭出模型就能有结果，但这个结果是不是反映真实世界？因为数据之间的关系，并不是直接的线性关系，因此模型可以非常复杂。所以你先得知道你要解决的是个什么问题：从统计上来讲，是哪种类型的问题，它有什么样的特性，你在数据上的采集有什么局限？然后再找到跟这个问题最接近的模型。”焦宇说。

“数据挖掘的难点在于，主要数据收集和最终应用之间的相互关联却又矛盾的关系，这类似于‘先有鸡还是先有蛋’的问题。两者之间相互影响相互补充，导致其相对其他类别的程序开发而言，是更为漫长而又复杂的过程。” 韩鑫说道。

无论是焦宇所说的模型，还是韩鑫所说的算法，其实都在强调一个重点：根据实际情况变化对模型和算法做出相应的调整。没有固定的规则，只有时时更新的数据和不断变化的情况，所以运用的规则也要因时调整。

美团云大数据平台负责人则认为，如何拿到“规范的数据”才是真正的难点所在：“新美大每天产生p级别的数据，包括大量的商户、用户和交互数据；每天通过hadoop、hive、spark、storm等大数据工具进行批量和实时的清洗，才得以形成规范的数据。”

然而，也许最难的一点还是在于那个最实际的问题。技术快速发展，提供了像应用统计方法、事例推理、决策树、规则推理、模糊集、神经网络、遗传算法等诸多方法来处理信息，这既降低了数据挖掘的难点，同时也提高了数据挖掘的效率和精准度——但所有的这些，都需要不菲的资金。

许多人可能都听说过那些使用大数据的辉煌案例：Facebook每天要存储大约100TB的用户数据；NASA每天要处理约24TB的数据。那么处理这些数据所需的成本是多少呢？

按照亚马逊Redshift的定价，NASA需要为45天数据存储服务支付超过100万美元。而根据国外的一项调查，大多数企业的CIO称他们的预算支付不起大数据部署的成本，数据存储和处理的成本实在太高。

大数据真的精准吗

“对一个具体区域来说，滴滴数据大脑已经达到提前15分钟实现超过88%准确率的预测。根据预测结果，就可以选择要不要对司机运力进行调度，使在附近的司机可以提前到达运力紧缺的区域，以缓解可能发生的拥堵。对于出行领域而言，预测的是未来的交通情况，以帮助智能调度。”滴滴研究院院长何晓飞曾这样对外表示。

这是一个正面案例。反过来看，如果大数据无法为企业营销、决策、运营找到合适的解决方案，那它的应用前景自然不会被企业看好。所以大数据到底“准不准”，从最初就是商业力量最关注的点。

比如在《黄金时代》上映前，百度就对其票房做过预测，认为这部电影十一黄金周的票房会在2——3亿元之间，当时也有不少媒体都认为百度的预测过于保守。实际情况出来后却让人大跌眼镜，上映半个月票房还没过5000万。

作为互联网公司的排头兵，百度拥有的数据量其他企业自然是难以匹敌的，但出现这种结果，却不能不令人深思。

“大数据归根结底还是历史数据，是否能用于预测未来，既要看具体的问题，也要看从历史数据中分析出来的规律是否能在未来重演。仔细分析问题，梳理规律适用的条件，充分理解数据、理解技术的局限，做到正确的使用大数据的成果，才能有对现实起到真正的作用。”韩鑫说道。

事实上，单纯来看一个结果并不能反映出预测的准确与否。焦宇表示，“就像大家都知道，采取最佳玩法的情况下21点的胜率可以提高到49%。但这个概率对于某一人某一盘来讲其实是没有意义的，只有当10万人同时进行21点游戏，最后你会发现所有人的获胜概率就是49%。”

焦宇所供职的众荟信息，会通过数据分析为酒店提供收益管理预测。焦宇表示，对于真正成熟、有经验的收益经理来说，并不需要提供给他一个代表最终结果的数字——企业只需将整合的数据给到这些收益经理，他们自己可以通过数据制定出一个最合理的价格。

中小企业的数据优势

从另一个角度来看，大数据预测的基础还是需要一定量的数据。但究竟多大的数据量才算是大数据？这个问题业内并没有一个统一的划分标准。而中小企业也掌握一定量的数据，那么与BAT相比它的优势又在哪？

阿里研究院高级专家程欣指出：“中小企业的大数据主要是会员数据和订单数据，用途是crm和定价分析，但无法分析不是自己的用户。”每一类企业都有自己的短板，最明智的做法不是去一味的补齐短板，而是要充分发挥自己的优势。

而数量和丰富性是大数据的两个面。BAT虽然在数据量上占据优势，但却在丰富性上受到局限，甚至并不具备垂直领域UGC所具备的大数据能力。中小企业则可以充分利用自己在垂直领域里深耕的优势，将数据的丰富性提升上来，从而获得差异性的优势。

所以，中小企业对自有的数据进行深耕，在数据挖掘方面也并非就一定比BAT等大型企业差。

美团云大数据平台负责人认为：“用大数据是希望能够有更全面的信息帮助企业决策，而不是为了用大数据而用大数据。应该反过来看，企业的数据内容，是否能够为某个行业的深度应用带来补充。所以中小企业的数据，这里我不想提‘大’这个字，有点过于强调概念了，关键是看内容层面是否有垂直化的信息补充，采集到BAT所没有的数据。”

数据挖掘技术的诸多门槛，以及建立数据挖掘部门所需的投入，也决定了并非所有的企业都能拥有数据挖掘能力。数据挖掘能力要与公司规模与发展阶段相匹配，在产品并不成熟的情况下，从现有人员中根据业务需要兼职去做会是一个不错的开始，并不一定需要配备独立专职的团队。

在业务逐步走向成熟阶段，再逐步建立专业化的数据团队，则是一个更现实办法。

“目前国内的公司往往在B轮左右，开始搭建自己的数据团队，开始具备初步的数据挖掘能力了。但基于此前所说的大数据‘门槛’，并非所有搭建数据团队的公司，都可以被称为大数据公司。”韩鑫说。

不过韩鑫坦言，大数据就像是好的武器，到底能否有效、规模化的在各个战场取胜，在于如何分析战场形势，合理的使用武器达到战术目的，形成战略性胜果。

想真正的起到规模化的效果与作用，需要公司全员的努力，不能仅仅期待建立一个数据团队。要在日常产品设计研发运营的各个环节，从基本的统计、分析入手，逐步形成全公司全员性的数据化思维，让数据驱动运营、数据驱动研发、数据驱动产品等深入骨髓。

公司的数据体系建设也要围绕各个业务各个职能角色进行设计与搭建，让所有人都能参与进来，每个人成为公司数据能力的一部分与推动者。