均值回归:最被误解的统计概念
一个让天才困惑的现象 弗朗西斯·高尔顿(Francis Galton)是达尔文的表弟,统计学的奠基人之一。 1886年,他研究了一个简单问题:高个子父母的孩子有多高?1 结果令他困惑:高个子父母的孩子,平均来说比父母矮。矮个子父母的孩子,平均来说比父母高。 似乎所有人都在向平均值"回归"(mean reversion)。 高尔顿担心这意味着人类会越来越趋同,最终变成一模一样。 他错了。这不是因为任何神秘力量在拉动人们向中间靠拢。 这只是统计现象。 均值回归的本质 任何测量结果都包含两部分: 测量值 = 真实值 + 随机误差 高个子父母之所以被观察为"高个子",部分原因是他们的真实遗传身高较高,部分原因是测量时的随机因素(营养、测量误差、运气等)恰好是正向的。 他们的孩子继承了真实的遗传因素,但随机因素被重新抽样。 由于随机因素的期望值是零,孩子的测量值在统计上会更接近平均。 这不是任何力量在"拉回"。这只是:极端值更可能包含极端的随机成分,而随机成分在下一次测量时会回归平均。 一个关键的思想实验 想象一场考试: 学生的"真实能力"服从某种分布 考试成绩 = 真实能力 + 随机因素(当天状态、运气等) 现在,选出考试最高分的那些学生,让他们再考一次。 他们的第二次成绩会更低。 不是因为他们变笨了。是因为他们第一次的高分中包含了正向的随机因素,而随机因素在第二次考试中被重新抽样。 同样,选出最低分的学生再考一次,他们的成绩会提高。 这与能力变化无关,与任何干预无关,这是纯粹的统计现象。 被误解的因果关系 均值回归最危险的地方是:它创造了虚假的因果关系。 例子1:训斥与表扬 丹尼尔·卡尼曼(Daniel Kahneman)在《思考,快与慢》中讲述了一个经典案例。2 以色列空军的飞行教官发现: 当飞行员表现好,教官表扬后,下次表现往往变差 当飞行员表现差,教官训斥后,下次表现往往变好 结论:训斥有效,表扬有害。 这是错的。 表现好的飞行员下次变差,是因为他们这次表现包含了正向的随机因素。表现差的飞行员下次变好,是因为他们这次表现包含了负向的随机因素。 教官的训斥和表扬完全没有作用,但教官误以为是自己的干预产生了效果。 例子2:替代医学 病人在最难受的时候去尝试替代疗法。然后他们感觉好了一些。 结论:替代疗法有效。 不一定。 病人选择在症状最极端的时候就医。症状最极端意味着包含了极端的随机因素。即使什么都不做,下一次测量也很可能更接近平均——即感觉好一些。 这就是为什么需要随机对照实验,而不是靠"我用了然后好了"的叙事。 例子3:Sports Illustrated封面魔咒 登上《体育画报》封面的运动员,往往在接下来表现下滑。 “封面魔咒”? 不。运动员登上封面是因为他们最近表现极好。极好的表现包含正向随机因素。随机因素回归,表现自然下滑。 投资中的均值回归 表现最好的基金 去年表现最好的基金,今年往往表现平平。 这不是因为基金经理变笨了。这是因为: 去年的好表现包含了运气成分 运气成分在今年被重新抽样 期望值回归平均 追逐去年的"明星基金"是典型的均值回归陷阱。 估值的回归 市盈率极高的股票,长期平均来看表现差于市盈率低的股票。 部分原因是均值回归:极高估值意味着极端乐观预期。极端预期更可能包含错误。错误修正时,估值回归。 盈利的回归 公司盈利增长率也会均值回归。 ...