聪明的数据分析师也会常犯的错误

如果你不了解大数据，你就不会明白大数据的核心价值有多大。当然你不光要了解大数据，还要学会科学的数据分析方法，才能让大数据产生价值。而在数据分析过程中，聪明的数据分析师也会常犯些错误，小编跟大家分享这些常犯的错误，在以后应用过程中尽量避免。

错把相关性当成因果性 correlation vs. causation

经典的冰淇凌销量和游泳溺水人数成正比的数据，这并不能说明冰淇凌销量的增加会导致更多的人溺水，而只能说明二者相关，比如因为天热所以二者数量都增加了。这个例子比较明显，说起来可能会有人觉得怎么会有人犯这样的错误，然而在实际生活、学习、工作中，时不时的就会有人犯这样的错误。

举个栗子：

数据显示，当科比出手10-19次时，湖人的胜率是71.5%;当科比出手20-29次时，湖人的胜率骤降到60.8%;而当科比出手30次或者更多时，湖人的胜率只有41.7%。

根据这组数据，为了赢球，科比应该少出手并不一定如此。有可能科比出手少的时候是因为队友状态好，并不需要他出手太多。也有可能是因为球队早早领先，垃圾时间太多。而出手太多的比赛是因为比赛艰难或者队友状态不好，需要他挺身而出。当然，以上也只是可能之一，具体是什么情况光靠这组数据并不能得出任何结论。

— 声明：非科比粉，路人偏黑。

幸存者偏差 survivorship bias

数据分析中看到的样本是“幸存了某些经历”才被观察到的，进而导致结论不正确。

比如比尔盖茨、乔布斯、扎克伯格都没有念完大学，所以大家都应该退学去创业。这一结论的最大问题在于那些退学而又没有成功的例子，很多时候我们是看不到的。另一方面，他们是因为牛逼才退学，而不是退学才牛逼的，看，相关性/因果性真是限魂不散。

再比如 Uber 发现新用户有10块钱优惠券，但是平均评价却只有3星。相反，第二次再用的时候没有优惠券了，评价却高达4星半。这说明，不给优惠券用户评价会更高，果然用户虽然爱用优惠券，但内心还是觉得便宜没好东西的很明显，幸存者偏差在这个例子里体现在那些打一星二星评价的用户，之后可能就没有第二次了。更明显的，这个例子是我瞎扯的。

样本跟整体存在着本质的不同

以知乎为例，会有种错觉人人年薪百万，985/211起，各种GFSBFM，天朝收入水平直逼湾区码工。然而一方面这是幸存者偏差，知乎大V们的发声更容易被看到(看，幸存者偏差也是阴魂不散)。另一方面，不要小瞧知乎跟天朝网民的差别，以及天朝网民跟天朝老百姓的差别–样本跟整体的差别。

类似的例子有水木的工作版块、步行街的收入和华人网站的贫困线。

过于追逐统计上的显著性 statistical significance

统计101告诉我们，要比较两组数是否不同，最基本的一点可以看它们的区别是不是统计上显著。

比如 Linkedin 又要改版了(我为什么要说又呢)，有两个版本 A 和 B. 灰度测试发现，跟现有版本比起来，A 的日活比现有版本高20%，但是统计不显著。而 B 的日活跟现有版本虽然只高了3%，但是统计显著。于是 PM 拿出统计101翻到第二页说，来，咱们把统计显著的版本 B 上线吧。苦逼的数据科学家 DS 说，等一下!并不是所有时候都选统计显著的那一个，咱们再看看版本 A 的数据吧(具体分析略过一万字)。

很显然，这个例子也是我瞎扯的。