统计学中的辛普森悖论

辛普森悖论(Simpson’s Paradox)亦有人译为辛普森诡论,为英国统计学家E.H.辛普森(E.H.Simpson)于1951年提出的悖论,即在某个条件下的两组数据,分别讨论时都会满足某种性质,可是一旦合并考虑,却可能导致相反的结论。

当人们尝试探究两种变量是否具有相关性的时候,比如新生录取率与性别,报酬与性别等,会分别对之进行分组研究。辛普森悖论是在这种研究中,在某些前提下有时会产生的一种现象。即在分组比较中都占优势的一方,会在总评中反而是失势的一方。该现象于20世纪初就有人讨论,但一直到1951年E.H.辛普森在他发表的论文中,该现象才算正式被描述解释。后来就以他的名字命名该悖论。

为了避免辛普森悖论的出现,就需要斟酌各分组的权重,并乘以一定的系数去消除以分组数据基数差异而造成的影响。同时必需了解清楚情况,是否存在潜在因素,综合考虑。

实例

“校长,不好了,有很多男生在校门口抗议,他们说今年研究所女生录取率42%是男生21%的两倍,我们学校遴选学生有性别歧视”,校长满脸疑惑的问秘书:“我不是特别交代,今年要尽量提升男生录取率以免落人口实吗?”

秘书赶紧回答说:“确实有交代下去,我刚刚也查过,的确是有注意到,今年法学院录取率是男性75%,女性只有49%;而商学院录取率是男性10%,女性为5%。二个学院都是男生录取率比较高,校长这是我作的调查报告。”

img-20151102-xinpusen

“秘书,你知道为什么个别录取率男皆大于女,但是总体录取率男却远小于女吗?”

此例这就是统计上著名的辛普森悖论(Simpson’s Paradox)

前提

上面例子说明,简单的将分组资料相加汇总,是不一定能反映真实情况的。就上述例子录取率与性别来说,导致辛普森悖论有两个前提。

(1) 两个分组的录取率相差很大,就是说法学院录取率9.2%很低,而商学院53.3%却很高,另一方面,两种性别的申请者分布比重却相反,女生偏爱申请商学院,故商学院女生申请比率占83.3%,相反男生偏爱申请法学院,因此法学院女生申请比率只占0.833%。结果在数量上来说,录取率低的法学院,因为女生申请为数少,所以不录取的女生相对很少。而录取率很高的商学院虽然录取了很多男生,但是申请者却不多。使得最后汇总的时候,女生在数量上反而占优势。

(2) 性别并非是录取率高低的唯一因素,甚至可能是毫无影响的,至于在法商学院中出现的比率差可能是属于随机事件,又或者是其他因素作用,譬如学生入学成绩却刚好出现这种录取比例,使人牵强地误认为这是由性别差异而造成的。

回避的方式

为了避免辛普森悖论出现,就需要斟酌个别分组的权重,以一定的系数去消除以分组资料基数差异所造成的影响,同时必需了解该情境是否存在其他潜在要因而综合考虑。

管理应用

辛普森悖论就像是欲比赛100场篮球以总胜率评价好坏,于是有人专找高手挑战20 场而胜1场,另外80场找平手挑战而胜40场,结果胜率41%,另一人则专挑高手挑战80场而胜8场,而剩下20场平手打个全胜,结果胜率为28%,比 41%小很多,但仔细观察挑战对象,后者明显较有实力。

量与质是不等价的,无奈的是量比质来得容易量测,所以人们总是习惯用量来评定好坏,而此数据却不是重要的。除了质与量的迷思之外,辛普森悖论的另外一个启示是:如果我们在人生的抉择上选择了一条比较难走的路,就得要有可能不被赏识的领悟,所以这算是怀才不遇这个成语在统计上的诠释。

本文采用「CC BY-SA 4.0 CN」协议转载自互联网、仅供学习交流,内容版权归原作者所有,如涉作品、版权和其他问题请给「我们」留言处理。

(2)
小胖的头像小胖编辑
上一篇 2015-11-02 22:20
下一篇 2015-11-02 22:37

相关文章

关注我们
关注我们
分享本页
返回顶部