用数字理解威尔·罗杰斯现象和辛普森悖论:平均数陷阱与非概率抽样偏差
- 统计错觉来自数据的分组与合并方式,而不是数字本身出错。
- 威尔·罗杰斯现象和辛普森悖论是最典型的两个例子。
- 非概率抽样推广性有限,阅读数据时要先看抽样方式。
统计错觉是指数据本身没有错,却因为拆分或合并数据的方式,得出与事实不符的结论。威尔·罗杰斯现象和辛普森悖论是最典型的两个例子:两者都说明,分组方式会改变结果。本文根据一份韩国统计学习笔记改写,用数字演示这两种现象,比较四种非概率抽样,梳理作业中常见的错误,并结合中国统计数据和问卷调查中的同类陷阱。
什么是统计错觉?
每一个平均数背后,都隐藏着“把谁和谁放在一起算”的选择。把总体拆成子群体、在组间移动成员、把规模相差悬殊的子群体加在一起,平均数就可能出现看似不可能的变化。没有人说谎,数字也都正确,但标题上的结论可能与个体实际发生的情况正好相反。
抽样也有类似问题。如果被调查的人不是随机选出的,那么即使平均数算得再精确,描述的也只是碰巧被找到的那部分人。两个问题最终都归结到同一个问题:这个群体里有谁,他们为什么在里面?
威尔·罗杰斯现象为什么会发生?
这个名字来自美国幽默作家威尔·罗杰斯的一句玩笑:一批人从一个州搬到另一个州,结果两个州的平均智商都提高了。它发生的条件是:移动成员的数值低于原所在组的平均数,同时高于新加入组的平均数。原组去掉了一个低于平均的值,平均数上升;新组加入了一个高于自身平均的值,平均数也上升。
韩国原文把移动的人描述为原组中的“上位成员”,这并不准确:如果高于原组平均数的人离开,原组的平均数反而会下降。移动的人必须位于两个平均数之间。
| 阶段 | A组 | B组 |
|---|---|---|
| 移动前 | 50、60、70(平均60) | 20、30、40(平均30) |
| 把A组的50移到B组 | 60、70(平均65) | 20、30、40、50(平均35) |
| 结果 | 平均上升5 | 平均上升5 |
没有任何人的成绩改变,两个平均数却都上升了。医学上称之为分期迁移:影像检查更精确后,处于边界的患者被重新划入更严重的癌症分期,结果每个分期的生存率看起来都提高了,但实际上没有一个患者活得更久。
阅读长文时,先浏览小标题能更快理清整体脉络。读完后不妨试着提炼一个思考问题来巩固理解。
辛普森悖论是怎样产生的?
辛普森悖论是指在每个子群体中都成立的趋势,合并后却发生逆转。当各子群体的规模和基础比率差别很大时就会出现,因为合并后的比率是按各组样本量加权的平均数。原理和经典案例可参考辛普森悖论词条。
| 结石大小 | 疗法A(开放手术) | 疗法B(经皮手术) |
|---|---|---|
| 小结石 | 87人中81人(93%) | 270人中234人(87%) |
| 大结石 | 263人中192人(73%) | 80人中55人(69%) |
| 全部患者 | 350人中273人(78%) | 350人中289人(83%) |
疗法A无论对小结石还是大结石都更好,合并后却是B看起来更好,原因是A更多用于难度更高的大结石患者。展示结果时一定要把子群体数据和样本量放在总数旁边,并检查是否有隐藏变量决定了谁进入哪一组。
非概率抽样有哪些类型?
在概率抽样中,总体中每个人被抽中的概率都是已知的。非概率抽样则放弃这一保证,换取速度和便利。下表比较四种常见类型,各自的适用场景可参考非概率抽样词条。
| 类型 | 选取方式 | 主要弱点 |
|---|---|---|
| 方便抽样 | 选最容易接触到的人 | 容易接触的人与其他人不同 |
| 判断抽样(目的抽样) | 研究者挑选典型或专家个案 | 取决于研究者的判断 |
| 配额抽样 | 按年龄、性别等比例凑满名额 | 只在设定的特征上匹配 |
| 滚雪球抽样 | 由受访者介绍认识的人 | 集中在相似的人际网络 |
这四种方法都难以把结果推广到更大范围,也容易受研究者偏见影响,但在预调查、难以接触的群体和探索性研究中有其合理用途。比较时写明每种方法在什么情况下适用、如何减少偏差,论证会更扎实。
作业中容易卡在哪里?
最常见的问题是把两种现象混为一谈、只用文字解释而不给数字例子,以及把非概率抽样一概写成错误方法。准备社会调查方法课的展示时,可以自己编一组小数据,在电子表格中计算分组平均数和合并平均数,再用表格找出结论发生逆转的条件。检查是否区分了两种原因、是否亲自计算了例子、是否列出了子群体和样本量、是否比较了四种抽样、是否写了局限和改进方法。
在中国的统计和调查中,这些陷阱出现在哪里?
平均数与中位数
国家统计局在公布居民人均可支配收入时,同时给出平均数和中位数。由于少数高收入人群会拉高平均数,中位数通常低于平均数,也更接近多数人的感受。把两个数字放在一起看,正体现了本文的核心提醒:怎样分组、怎样合并,会直接影响我们对“平均水平”的判断。
网络问卷与毕业论文
国家统计局的住户调查等官方调查采用科学的概率抽样。相比之下,许多学生在毕业论文中通过微信群、朋友圈或网络问卷平台发放问卷,这本质上是方便抽样或滚雪球抽样,受访者往往集中在同龄人和熟人圈子。这类数据并非不能用,但要在论文中说明抽样方式,并谨慎推广结论。
| 例子 | 可能出现的问题 | 阅读要点 |
|---|---|---|
| 人均可支配收入 | 平均数被少数高收入者拉高 | 与中位数对照阅读 |
| 癌症分期生存率 | 检查精度提高带来分期迁移 | 同时查看总体生存率 |
| 朋友圈问卷 | 受访者集中在熟人网络 | 说明抽样方式和样本构成 |
在自己设计的小例子之外再加入一个身边的统计数据,能说明统计错觉不只是课堂上的趣题,而是会影响新闻解读和政策讨论的现实问题。
作业该如何收尾?
这个主题适合统计学导论或社会调查方法课中解释统计错误和抽样的作业。可以按定义、用数字演示威尔·罗杰斯现象、用表格演示辛普森悖论、四种抽样类型、评析一个真实案例的顺序展开。
最后,不妨从新闻中挑一个统计数字,检查其中是否藏着这两种陷阱。不同教材对抽样方法的叫法略有差异,请按照课程教材的术语整理。
- 统计错觉来自数据的分组与合并方式,而不是数字本身出错。
- 威尔·罗杰斯现象:位于两个平均数之间的成员移动,两组平均数都会上升。
- 辛普森悖论:规模不同的子群体合并后,趋势可能逆转。
- 非概率抽样推广性有限,但有合理用途。
- 收入平均数与中位数、朋友圈问卷都需要同样的警惕。
常见问题
什么是威尔·罗杰斯现象?
数值位于两组平均数之间的成员从一组移到另一组,没有人发生变化,两组平均数却都上升。
什么是辛普森悖论?
在每个子群体中都成立的趋势,在规模不同的子群体合并后发生逆转。
两种现象有什么区别?
威尔·罗杰斯现象源于成员在组间移动,辛普森悖论源于规模不同的子群体合并。
非概率抽样有哪四种?
方便抽样、判断抽样(目的抽样)、配额抽样和滚雪球抽样。
朋友圈发的问卷能用吗?
可以作为探索性数据,但属于非概率抽样,应说明抽样方式并谨慎推广结论。