大数据漫谈（二）——数据来源

物联网时代，每个人/设备都是数据的产生者，也是数据的使用者。在线联接是数据化的过程，互动是数据的来来往往，结网协同所需的能量无不来自于数据的张力与动能。——曾教授

上文说到，既然谈大数据，那么大数据的第一要务就是需要有数据，否则，何来“数据是DT时代的第一生产要素”。大数据时代的数据，跟农耕时代的土地，工业时代的资本一样重要。

数据来源于哪里，哪里会产生数据

数据无处不在，人类自从发明文字开始，就开始记录各种数据，只是保存的介质一般是书本，而且难以分析、加工。随着计算机与存储技术的快速发展，以及万物数字化的过程(音频数字化，图形数字化等)，出现了数据的爆发，而且数据爆发的趋势，随着万物互联的物联网技术的发展，会越来越迅速。同时，对数据的存储技术，处理技术的要求也会越来越高。

据IDC出版的数字世界研究报告显示，2013年人类产生、复制和消费的数据量达到4.4ZB。而到2020年，数据量将增长10倍，达到44ZB。大数据已经成为当下人类最宝贵的财富，怎样合理有效的运用这些数据，发挥这些数据应有的作用，这是大数据将要做到的。

早期的企业也比较简单，关系型数据库中存储的数据，往往是他们全部的数据来源，这个时候他们对应的大数据技术，也就是传统的OLAP数据仓库解决方案。因为关系型数据库中基本上是他们的所有数据，往往大数据技术也比较简单，直接从关系型数据库中获得统计数据，或者最多建一个统一的OLAP数据仓库中心。

通过淘宝的历史来看，早期的数仓数据基本来源于主业务的OLTP数据库，数据不外乎用户信息(通过注册、认证获取)，商品信息(通过卖家上传获得)，交易数据(通过买卖行为获得)，收藏数据(通过用户的收藏行为获得)。从公司的业务层面来看，关注的也就是这些数据的统计，比如总用户数，活跃用户数，交易笔数、金额(可钻取到类目，省份等)，支付宝笔数、金额等等。因为这个时候没有营销系统，没有广告系统，公司也只关注用户，商品，交易的相关数据，这些数据的统计加工，就是当时淘宝大数据的全部。

但是，随着业务的发展，比如个性化推荐，广告投放系统的出现，会需要更多的数据来做支撑，而数据库的用户数据，除了收藏，购物车是用户行为的体现，但是，用户的其它行为，如浏览数据，搜索行为等，这个时候是完全不知道的。

这里就需要引进另外一个数据来源，日志数据，记录了用户的行为数据，可以通过cookie的技术，只要用户登录过一次，就能跟真实的用户取得关联。比如通过获取用户的浏览行为，购买行为，进而可以给用户推荐他可能感兴趣的商品，看了又看，买了又买就是基于这些最基础的用户行为数据做的推荐算法。这些行为数据还可以用来分析用户的浏览路径，浏览时长，这些数据是用来改进相关淘宝产品的重要依据。

2009年，无线互联网飞速发展，随着基于native技术的App大规模的出现，用传统日志方式获取无线用户行为数据已经不再可能，这个时候也涌现了一批新的无线数据采集分析工具，比如友盟，Talkingdata，淘宝内部的无线数读等等，通过内置的SDK，他们可以统计到native上的用户行为数据。

数据是统计到了，但是，新的问题也诞生了，比如我在PC上的用户行为，怎么对应到无线上的用户行为，这个是脱节的，因为PC是PC上的标准，无线又采用了无线的标准，如果有一个统一的用户库，比如不管是登录名，邮箱，身份证号码，手机号，imei地址，mac地址等等，来唯一标识一个用户，不管是哪里产生的数据，只要是第一次关联上来，后来就能对应上。

这就涉及到了一个重要的话题 — 数据标准，数据标准不仅仅是解决企业内部数据关联的问题，比如一个好的用户库，可以解决未来大数据关联上的很多问题，假定公安的数据想跟医院的数据进行关联打通，发挥更大的价值。但是，公安标识用户的是身份证，而医院标识用户的数据则是手机号码，有了统一的用户库，就可以通过idmapping技术简单的把双方的数据进行关联。

数据的标准不仅仅是企业内部进行数据关联非常重要，跨组织，跨企业进行数据关联也非常重要，而业界有能力建立类似用户库等数据标准的公司并不多，阿里巴巴就是其中之一。政府其实很早也就看到这里的价值，早在2002年7月，国家信息化领导小组第二次会议审议通过了《关于我国电子政务建设的指导意见》(以下简称《意见》)，根据《意见》的指导原则，国务院信息化领导小组办公室制定了《我国电子政务一期工程建设方案》，该方案确定了“十五”期间重点建设的四大基础性、战略性资源数据库——“人口基础信息库”、“法人单位基础信息库”、“自然资源和空间地理基础信息库”、“宏观经济信息数据库”，简称四大基础信息库。

大数据发展到后期，当然是数据越多越好，企业内部的数据已经不能满足公司的需要，比如还是淘宝，想要对用户进行一个完整的画像分析，比如想获得用户的实时地位位置，爱好，星座，消费水平，开什么样的车等等，用于精准营销。淘宝自身的数据是不够的，这个时候，很多企业就会去购买一些数据(有些企业也会自己去爬取一些信息，这个相对简单一点)，比如阿里购买高德，友盟，又另外采购微博的相关数据，用于用户的标签加工，获得更精准的用户画像。

但是，数据交易并没有这么简单。因为数据交易涉及到几个非常大的问题：

1)是怎么保护用户隐私信息

欧盟已经出台了苛刻的数据保护条例，美国也对出售客户数据的运营商施以重罚，还处在萌芽状态的中国大数据行业，怎么确保用户隐私信息不被泄漏呢对于一些非隐私信息，比如地理数据，气象数据，地图数据进行开放、交易、分析是非常有价值的，但是一旦涉及到用户的隐私数据，特别是单个人的隐私数据，就会涉及到道德与法律的风险。

数据交易之前的脱敏或许是一种解决办法，但是，并不能完全解决这个问题，因此，阿里也提出了另外一种解决思路，基于平台担保的“可用不可见”技术。比如阿里云作为交易平台，跟支付宝一样是一个中间担保机构，双方的数据上传到阿里云大数据交易平台，双方可以使用对方的数据，以获得特定的结果，比如通过上传一些算法，模型而获得结果，双方都不能看到对方的任何详细数据。

2)是数据的所有者问题

数据作为一种生产资料，跟农业时期的土地，工业时期的资本不一样，使用之后并不会消失，如果作为数据的购买者，这个数据的所有者到底是谁怎么确保数据的购买者不会再次售卖这些数据或者购买者加工了这些数据之后，加工之后的数据所有者是谁

3)是数据使用的合法性问题

大数据营销中，目前用得最多的就是精准营销。数据交易中，最值钱的也是个人数据。我们日常分析中做的客户画像，目的就是给海量客户分群、打标签，然后针对性地开展定向营销和服务。然而如果利用用户的个人信息(比如年龄、性别、职业等)进行营销，必须事先征得用户的同意，才能向用户发送广告信息呢，还是可以直接使用

所以，数据的交易与关联使用，就必须解决数据标准，立法以及监管的问题，在未来的时间里，不排除有专门的法律，甚至专业的监管机构，如成立数监会来监管数据的交易与使用问题。如果真的到了这一天，那也是好事，数据要流通起来才会发挥更大的价值，如果每个企业都只有自己的数据，就算消除了企业内部的信息孤岛，还有企业外部的信息孤岛。

如果能合理，合适的使用多方数据，就会发生所谓“羊毛出在猪身上”的事情，比如阿里小贷，使用的是B2B以及淘宝的数据。这样情况下，对猪(B2B，淘宝来)说，这是一种商业场景中的海量数据的溢出效应，而对羊(蚂蚁小贷)来说，是在较低的成本下、不同维度的数据集合后，发生化学反应的价值跃升的过程，这是大数据时代智能商业的典型特征。

这才是大数据的价值，正是我们正在迎来的这个新时代以“数据”命名的理由。

阿里大数据发展历程

本文作者拖雷（陈吉平），袋鼠云CEO ，国内最早一批Oracle ACE Director，前阿里巴巴研究员，先后担任嗨淘、无线事业部、数据事业部资深总监，生活服务事业部总经理，以及阿里云事业群总裁助理。2015年离职后，做了半年独立天使投资人，2015年底创办袋鼠云。