李开复AI五讲：人工智能需要什么样的大数据？

本月底，2019世界人工智能大会将在黄浦江畔揭开序幕。李开复、王咏刚将著作《人工智能》精编为系列短文，试析与AI相关的若干关键问题。

目前的深度学习主要是建立在大数据的基础上，即对大数据进行训练，并从中归纳出可以被计算机运用在类似数据上的知识或规律。那么，到底什么是大数据呢?

人们经常笼统地说，大数据就是大规模的数据。

这个说法并不准确。“大规模”只是指数据的量而言。数据量大，并不代表着数据一定有可以被深度学习算法利用的价值。例如，地球绕太阳运转的过程中，每一秒钟记录一次地球相对太阳的运动速度、位置，这积累多年，得到的数据量不可谓不大，但是，如果只有这样的数据，其实并没有太多可以挖掘的价值，因为地球围绕太阳运转的物理规律，人们已经研究得比较清楚了，不需要由计算机再次总结出万有引力定律或广义相对论来。

那么.大数据到底是什么?大数据是如何产生的？什么样的数据才最有价值，最适合作为计算机的学习对象呢？

根据马丁•希尔伯特（Martin Hilbert)的总结，今天我们常说的大数据其实是在2010年后，因为信息交换、信息存储、信息处理三个方面能力的大幅增长而产生的数据。

从应用角度来说，今天的大数据越来越多地呈现出以下一种特性：

大数据越来越多地来源于生产或服务过程的副产品，但在价值上却往往超过了为了特定目的专门采集的数据。

例如，谷歌的大数据虽然主要从搜索引擎的日常使用中获得，但如果深入挖掘，这些数据往往具有非常高的价值。谷歌曾利用全球用户查询中，涉及流行性感冒的关键词的出现频率变化情况，对2003年到2008年全球季节性流感的分布和传播进行跟踪与预测。这一预测的覆盖规模和价值甚至超出了各国卫生部门专门收集相关数据所做的预测。

大数据往往可以取代传统意义上的抽样调查。例如，按照传统方式，电视台某个节目的收视率往往要由专业调查公司通过抽样调查的方式，通过电话拜访等渠道获得抽样数据，再估算收视率。现在，有了微博或类似的社交网络，我们可以直接利用微博上每时每刻产生的大数据，对电视节目、电影、网络节目的热门程度进行分析，其准确性往往超过传统的抽样调查方式。

许多大数据都可以实时获取。例如，每年双十一，在阿里的淘宝、天猫这样的电子商务平台上，每时每刻都有成千上万笔交易正在进行，所有这些交易数据在阿里交易平台的内部，都可以实时汇总，供人们对双十一当天的交易情况进行监控、管理或分析、汇总。一部分数据的时效性非常强，如果不能实时利用，则数据的附加值会大幅降低。大数据的实时性为大数据的应用提供了更多的选择，为大数据更快产生应用价值提供了基础。

大数据往往混合了来自多个数据源的多维度信息。一份微博用户的ID列表虽然很有价值，但并不容易转换成商业应用所需要的完整信息。假如能利用用户ID，将用户在微博上的社交行为，和用户在电子商务平台如淘宝、京东等的购买行为关联起来，通过对不同来源的大数据的整合，采集到更多维度的数据，就可以向微博用户更准确地推荐他最喜欢的商品。聚合更多数据源，增加数据维度，这是提高大数据价值的好办法。

有大数据就有人工智能的机会

人工智能时代，深度学习和大数据成了密不可分的一对儿。深度学习可以从大数据中挖掘出以往难以想象的有价值的数据、知识或规律。简单来说，有足够的数据作为深度学习的输入，计算机就可以学会以往只有人类才能理解的概念或知识，然后再将这些概念或知识应用到之前从来没有看见过的新数据上。

谷歌的围棋程序AlphaGo已经达到了人类围棋选手无法达到的境界，没有人可以与之竞争，这是因为AlphaGo在不断进行学习。AlphaGo不但从人员专业选手以往的数百万份棋谱中学习，还可以从自己和自己的对弈棋谱中学习。

基于大数据的深度学习到底如何在现实生活中发挥作用呢？一个非常好的例子是，计算机可以通过预先学习成千上万张脱敏的人脸图片，掌握认识和分辨人脸的基本规律。然后，计算机可以记住全国所有通缉犯的长相。没有一个单独的人类警察可以做到这一点。这样一来，全国的安防系统只要接入了这套会识别通缉犯相貌的计算机程序，通缉犯在公共场合一露面，计算机就可以通过监控摄像头采集的图像将通缉犯辨认出来。大数据和深度学习一起，可以完成以前也许需要数万名人类警察才能完成的任务

任何拥有大数据的领域，我们都可以找到深度学习一展身手的空间，都可以做出高质量的人工智能应用。任何有大数据的领域，在合法合规的前提下，都有创业的机会。