DT时代，如何进行大规模信息分析？

有时候，在进行案头分析的时候，你会获得很多的数据，来自于各个论坛，博客，朋友圈，这些数据并没有经过系统的整理，只是简单地放在了一起，在论坛中，很多能够反映用户痛点的内容分散地存在于吐槽的帖子中，其中有些问题被一再地重复，没有经过整理。

这时候问题并不是在于缺乏信息，而是在于信息太多了。你知道有用的信息就在这里面，但是你却没有办法从中把有用的信息提取出来。

在案头研究阶段，大规模的信息分析有时候是一个有利的武器，因为当信息过多的时候，如果不通过计算机处理，那每个人只能看到信息中的一部分内容，没办法把所有的信息都汇总在一起，呈现出信息的全局。 大规模信息分析能够帮助需求研究者转变视野，实现对案头研究资料的鸟瞰，从更高的角度去理解案头资料。我有一个师弟，当年的毕业论文是研究国家政策对创新的态度，他的其中一个研究方法就是搜集了历年国家政策文件，统计每一年文件中“创新”两个字的出现次数，并通过 图表表现出这种频次变化，从而展现出了一种新的观察问题的维度。

你可能会觉得，大规模信息分析需要采用大数据分析技术。如果你有一个强大的技术合作团队，的确可以使用一些大数据分析技术，但是在绝大多数情况下，需求洞察其实并不需要特别强大的技术能力。

如果一点技术能力也没有，的确很难处理这些信息，但对计算机来说，这点信息并不算什么，对人脑来说，除非你有一些简化法则，否则这些信息足以让你头昏脑涨。为了处理这些信息，你可能需要学一些简单的脚本语言，掌握一些基本的分析方法。

学习脚本语言，例如 Python，主要目的是为了能够帮助编写一些爬虫程序，通过网络定向爬取一些信息，然后运用这些信息进行进一步的深入分析。你不需要有特别高深的理论和实践水平，只要你知道一些基本的方法，网上其实有大量的教程和源代码示例，你只需要拿来稍作修改，基本上就能满足需求。

关于分析方法，如果你或者你的公司专门是从事为企业提供基于数据分析的服务，为了提高数据分析的价值，你可能需要用到很高深的人工智能、机器学习等等，可能需要掌握复杂的数学知识，但在研究用户的痛点过程中，则没有这么苛刻，不需要你具备编制出类似于 Google 开发的阿尔法狗这种能够与世界冠军下围棋的分析程序。数学基础好的确对分析很有帮助，但是并不是绝对的。事实上在作者实际工作中，分析方法主要还是使用中学数学所讲授的那些内容为主，比如多维交叉分析、漏斗分析或者留存率分析，这些分析方法中学生就能理解。分析中有时候也会用一些大学时学的数学，不过用得比较少，基本上是一些数理统计方面的内容。

大规模数据分析的难点并不在于技术的实现，无论 IT技术还是分析技术，这种分析方法的难点在于方案的构思：

• 首先，你需要建立一个信息分析的框架模型，根据模型帮助你洞察 用户需求。
• 其次，你需要知道为了能够运行这个信息分析模型，你需要找到哪些数据。
• 第三，你需要知道如何找到这些数据，并能够按照要求整理好这些数据。

我曾经做过一个项目是评价各个App的市场需求，其核心就是想知道在某段时间内用户对哪些 App 比较喜欢，哪些App会有爆发式需求的可能。

大家都会考虑采用应用市场的下载排名来进行分析，不过由于各个应用市场都有推广及刷榜的影响，可信度都会打折扣。所以，我设计了一套简单的模型，对各大应用市场的数据进行加权处理，降低刷榜的影响——万一有哪个 App 在所有应用市场都刷榜呢，不过首先我觉得一般的 App 没有这么大的手笔，另外如果这个 App 真的这么刷榜，的确说明这个 App 可能有爆发的潜质，用钱堆出来的爆发的潜质。

除了应用市场的数据加权，我还把 App 的名称作为关键词，引入到 友盟、微博指数、百度指数进行分析，体现 App 在媒体公关等软推广上的营销推广价值。

最后，为了获得以上数据，我请了一个朋友。他花了一天时间帮我开发了一个爬虫程序，每周都能够从各大平台按照要求把我所需要的数据从平台上爬取下来，并进行整理。这种自动化的方案让整个项目的工作量成倍减少，从而使我有更多的精力聚焦在分析上，而不是聚焦在数据搜集和整理上。

——本文摘自《匹配度》，作者：陈峻锐，出版社：中国友谊出版公司。时代华语图书投稿至数据分析网