大数据的最后一公里——数据可视化

最近一直在关注大数据领域，所以翻出了前阵子的一个分享，我觉得内容蛮好的，大数据的最后一公里。我个人很喜欢这种说法，完成长途跋涉的最后一段旅程，值得期待鉴证美好的旅程——大数据可视化！

听过这样一句话，公司的价值与其运用数据的能力成正比，大数据对企业的业务决策提供了新视角，而他产生的价值也无可厚非，云智慧作为业务运维解决方案专家，常年与客户的各种IT数据打交道，每天的数据处理量也是TB级的，随着各个行业的新时代新需求，我们也在思考这最后一公里的真正价值。

Fox是云智慧高级产品经理，有段子说产品经理是专家型用户，在看待事物的时候，有一套自有的逻辑性，下面是他的分享实录，我来分享给大家：

近年来，大数据是整个IT领域非常热门的话题，从马云提出 “人类正从IT时代走向DT时代”，把大数据推向了风口浪尖。然而对于大部分企业来说，往往是空有海量数据而无实际使用价值，更不要说帮助管理者进行业务决策。

什么是大数据

选择分享这个主题的灵感主要来源于在云智慧所负责产品工作，以及fox（以下为第一人称）与父亲的一次简短交流。

我父亲是一个公务员，他每天有一个爱好是看新闻联播，经常新闻中会提到大数据，偶尔会问我什么是大数据？国际上给出的定义是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。是不是很难懂？

有个段子可以帮大家生动的理解大数据，林彪带兵打仗的时候有个特别的习惯，那就是每次战斗结束后，都要用小本子记下所缴获的武器种类、数量等数据，乐此不疲，而大家对此都不以为意。有一天，在又一次遭遇战后，士兵在给他念缴获的武器数量时，他突然叫停，然后兴奋地指出，这次遭遇战很可能遇到的是敌人的指挥部队。原因是，这次缴获的小枪与大枪的比例高于普通的战斗，小车与大车的比例以及军官与士兵的比例也都高于平均，因此他得到了这个结论。在这个数据的指导下，部队一鼓作气，追击逃脱的部队，成功的把敌人的指挥官抓获。

通过这个故事大家就能生动的理解大数据的作用和价值。无论多数企业或个人是否已经意识到大数据的真实存在，毫无疑问，我们生活在大数据时代。随着大数据的兴起，数据分析被分成以下几个步骤：采集、统计、分析、呈现，而数据呈现即数据的可视化，被称为大数据的最后一公里。

什么是数据可视化

大数据已经被国家列入十三五规划，提倡开放，共享。开放共享的背后意味着人人都可以接触和进入大数据领域，企业不再为数据资源的垄断发愁，因为一切都是开放的，如何获取数据将不再是问题，困难在于数据有什么价值，用什么样的手段才能把数据的价值直观而清晰的表达出来。

我之前看到过一篇文章《设计中的设计》，里面提出一个概念叫视觉对话。如果要两个语言、文字不通的陌生人进行沟通，给他们一张纸，一只笔，他们一定是用最简洁的方式把自己的想法画下来进行交流，这就是视觉对话。

其实这也正是数据可视化的本质，通过可视化图表将用比文字快10倍的速度将陌生的读者带进门，大数据时代一个显著特征就是数据可视化的崛起。作为大数据最后一公里的展现环节，数据可视化将技术与艺术完美结合，借助图形化的手段，清晰有效地传达与沟通信息。

一方面，数据赋予可视化以价值；另一方面，可视化增加数据的灵性，两者相辅相成，帮助企业从信息中提取知识、从知识中收获价值。

为什么要做数据可视化

为什么很多企业开始拥抱数据可视化？是什么趋势在驱动可视化，换言之为什么企业变得更具视觉性？

我们首先澄清一点，数据可视化绝对不是最近才流行起来的，早在原始社会穴居人类就将岩画作为一种信息传递手段，而目前我用过最牛的大数据分析软件就是Excel。

和5年前相比，企业对于数据可视化的需求越来越强烈。原因很简单，数据实在是太多了。正因为信息大爆炸，才会造就Google和百度这两家以IT信息检索为核心业务的搜索引擎巨头。

而今天我们所生活的移动互联网时代，又与传统互联网时代截然不同，一方面移动互联网用户是传统互联网的3倍，使用频率是传统互联网的5倍，因此我们说这是一个15倍于传统互联网的市场。大数据的概念在最近两年越来越热，我们可以看一下来自Aigra的大数据图表，就可以知道在互联网上一分钟内会产生的内容是多少了。

通过这张图我们可以看到大数据到底有多大，而这对企业来说意味着两点：一方面，企业需要新的工具才能分析和理解大数据；另一方面，企业最终的目的是利用这些数据更好的做商业决策，并通过数据分析能够最直观的理解数据的含义，这就离不开数据可视化。

数据可视化的作用和实现方法

数据可视化对企业有什么作用呢？我个人觉得不是所有数据都非得可视化，很多数据可视化确实有些牵强，但数据可视化能给我们带来的3个作用：

1、大规模的数据可视化可以帮助企业管理者对大量的数据有迅速的了解，工作更高效。

2、正确的数据可视化可以清晰展现数据背后的意义。

3、数据可视化可以帮助企业做出准确的决策。

数据越来越多，企业越来越希望搞清楚数据背后的意义和价值，这个时候天机数据就要发挥特有的优势！大家常用的用户统计分析系统或日志分析所采集的数据局限于用户行为和IT系统本身，而对于企业业务来说，二者是息息相关的，IT性能的优劣影响着用户体验和用户转化，而蜂拥而至的用户也会造成性能的瓶颈。

通过云智慧的产品可以把用户的行为数据和系统性能关联起来，不仅可以分析受用户喜好的功能是什么，也可以分析他们的性能对用户的影响，随着覆盖的行业越来越广泛，企业还能用自身的数据和行业平均指标进行横向对比，进而辅助企业决策，这对于企业来说是很有价值的，这就是大数据可视化的魅力。

这是一张很经典的数据可视化图表，以地图的方式实时展现QQ在线使用人数，我们可以换个角度思考，如果这是某个企业APP的在线使用人数，是不是可以挂在老板的办公室里，让老板随时对应用的当前用户使用情况有清晰的了解，哪些地区一片黑，哪些地区用户活跃集中，这商业决策上无疑有很大的帮助。这些数据都是我们可以拿到的，也可以发挥超级大的作用。

这是Audubon鸟类和气候变化的报告中的一部分，它预测了季节变化的区域，黄色代表夏季，蓝色代表冬天。地图具有神奇的能力，既是一个强大的数据可视化工具，也是一个强大的报告工具，可以给我们展示不能直接看到的东西。

我个人以为在数据可视化领域相对应的三项技术：

1、数据降维，我认为数据降维是处理数据的首要任务，我们通常将自己的个人欲望强加到数据可视化中，我们有太多的指标都需要通过一个信息图处理完成，这里面就出现一个问题这些维度的数据真的需要一张图表现吗？表现出来的信息，客户能看的明白吗？所以往往数据降维化繁为简是首要工作，其次我们要将数据清洗，去掉所谓的噪音，留下有价值的信息，否则在后面分析数据的时候就会受到不必要的干扰。

2、关联关系，数据本身并无意义，只有关联起来才能产生含义和价值，将不同的散点通过内在和外在的联系聚合在一起，使得数据之间可以通过不同的维度进行关联，传递数据的价值，比如人群与性别，年龄，身高就是一个很典型的关联关系。

3、扁平交互，PC 和手机屏幕是有限的，每增加一种颜色都会增加信息量，从而干扰对原有信息的传递，我们可以在地图可视化中采取两种策略实现数据隐藏，一种是逐级钻取，充分利用地域的分级包含关系，使信息按照省-市-县层次展示，而不必一下子展开；另一种是扩展图，将复杂的信息浓缩收集，像抽屉一样，需要的时候再打开。

这三项技术说起来容易，但做起来却不一定，因为我们往往很难控制自己的欲望，加数据，加关联，加功能。不管做什么，控制自己的欲望和坚持很重要，不忘初心，方得始终。

天机数据的数据可视化价值

以上是我对大数据和可视化的心得体会，接下来结合我们的产品做一些思考：

1、应用性能数据与业务数据分析，应用性能数据与业务数据息息相关，可以告诉客户性能数据与交易数据背后的故事。通过应用性能数据与业务数据的关联分析，是可以很好的预测性能达到什么样的一个瓶颈的时候，就已经开始影响客户的业务，最直观的不仅是用户的流失，更重要的是业务绩效的下滑。

2、在云智慧旗下还有一款应用性能管理的产品透视宝，作为应用性能管理的领导者，帮助用户发现应用的性能问题的解决方案，而天机数据是提供数据可视化的倡导者，要通过应用性能数据的可视化，把简单易懂的大数据分析结果呈现在客户眼前，一目了然的将问题清晰定位，通过一张地图实时展示APP用户的活跃程度、性能状况，性能对用户分布的影响情况等等，未来给予我们的想象空间非常大。并且发现性能背后的意义。

可视化是大数据的最后一公里，行百里者半九十，天机数据的真正价值是帮助各行各业的用户提供实时、多维、高效的大数据可视化平台，帮助企业发现有价值的数据，让数据和业务深度融合，帮你解读分析结论中的数据价值！