이스라엘 공군 훈련 교관들은 조종사가 완벽한 착륙을 하면 칭찬하고, 나쁜 착륙을 하면 질책했습니다. 그런데 흥미로운 패턴이 있었습니다. 칭찬을 받은 후 다음 착륙은 나빠지는 경향이 있었고, 질책을 받은 후 다음 착륙은 나아지는 경향이 있었습니다. 교관들은 질책이 칭찬보다 효과적이라는 결론을 냈습니다. 카네만이 이 이야기를 들었을 때 그것이 틀렸다는 것을 알았습니다. 그것은 교육의 효과가 아니라 평균으로의 회귀였습니다.
평균으로의 회귀란
프랜시스 갈튼이 1886년에 발견한 통계적 현상입니다. 키가 매우 큰 부모의 자녀는 부모보다 평균에 더 가까운 경향이 있습니다. 매우 작은 부모의 자녀도 마찬가지입니다. 갈튼은 이것을 “평범함으로의 회귀(regression towards mediocrity)”라고 불렀습니다. 어떤 특성이 극단값에 있을 때, 다음 측정은 평균에 더 가까울 가능성이 높습니다.
공군 교관 사례에서 무슨 일이 일어났는가. 아주 좋은 착륙은 조종사의 평균적 능력 위에 운이 더해진 결과입니다. 다음 번에는 그 운이 반복되지 않을 가능성이 높습니다. 아주 나쁜 착륙은 능력 아래에 운이 나쁜 결과입니다. 다음 번에는 그 나쁜 운이 반복되지 않습니다. 칭찬이나 질책과 관계없이, 다음 착륙은 평균으로 돌아갑니다. 그러나 교관들은 자신의 개입이 원인이라고 믿었습니다. 통계적 현상을 인과관계로 오해한 것입니다. (Wall Street Mojo의 평균 회귀 개념 정리)
회귀 오류가 실제 의사결정에서 나타나는 방식
스포츠에서 “징크스” 현상의 상당 부분이 평균으로의 회귀입니다. 미식축구에서 슈퍼볼 MVP가 다음 시즌 성적이 부진한 것이 “슈퍼볼 챔피언 징크스”로 불립니다. 그러나 이것은 징크스가 아닙니다. 슈퍼볼 MVP는 해당 시즌 최고 성과를 낸 사람입니다. 그 성과의 일부는 운입니다. 다음 시즌에는 그 운이 평균으로 회귀합니다.
비즈니스에서도 같은 현상이 있습니다. 전년 대비 실적이 가장 나빴던 부서에 구조조정을 하면, 다음 해 그 부서 성과가 개선됩니다. 경영진은 구조조정의 효과라고 해석합니다. 그러나 평균으로의 회귀였을 수 있습니다. 최악의 실적이 지속될 가능성보다 평균 쪽으로 개선될 가능성이 높기 때문입니다.
인과관계 분석에서 회귀를 통제하는 방법
회귀 오류를 피하는 가장 강력한 방법은 무작위 대조 실험(RCT)입니다. 개입 집단과 통제 집단을 무작위로 나누면, 평균으로의 회귀가 두 집단에서 동일하게 발생합니다. 개입의 효과만 남습니다. 의학에서 신약 임상시험이 이 구조를 쓰는 이유입니다.
무작위 실험이 불가능할 때는 준실험적 설계(quasi-experimental design)를 씁니다. 단절적 회귀 설계(regression discontinuity design)는 임계값 근처에서 집단을 비교합니다. 예를 들어 시험 점수 60점 기준으로 지원 자격이 나뉠 때, 59점과 61점 집단은 능력이 거의 동일합니다. 이 두 집단의 결과 차이가 정책 효과에 가깝습니다. (Statistics By Jim의 평균 회귀 해설)
회귀 가중치 편향
회귀 분석에서 독립변수와 종속변수 사이의 관계를 추정할 때, 두 변수 모두에 측정 오차가 있으면 회귀 계수가 진짜 관계보다 0에 가까운 방향으로 편향됩니다. 이것을 감쇠 편향(attenuation bias)이라고 합니다. 독립변수의 측정 오차가 클수록 편향이 심해집니다. 이 문제를 도구변수(instrumental variable) 기법으로 교정합니다. Wall Street Mojo의 평균 회귀 개념 정리는 이 교정 방법들을 실증 연구에 적용하는 방법을 체계적으로 다룹니다.
스포츠 분석에서 회귀의 응용
BABIP(인플레이 타구 타율)는 야구 분석에서 회귀를 활용하는 대표적 지표입니다. 투수의 BABIP가 리그 평균(약 0.300)보다 크게 낮은 경우, 다음 시즌에 평균 쪽으로 회귀할 가능성이 높습니다. 이 예측을 이용해 실제보다 낮게 평가된 투수를 찾아내고, 계약 만료 직전에 싼 값에 영입하는 구단이 있습니다. 세이버메트릭스의 핵심 전략 중 하나입니다.
농구에서 핫핸드(hot hand) 논쟁도 회귀와 관련됩니다. 연속으로 성공한 선수가 다음 슛도 성공할 가능성이 높아지는가. 초기 연구들은 핫핸드가 환상이라고 결론 냈습니다. 그러나 최근 연구에서 수비 대응을 통제하면 실제로 연속 성공 후 성공률이 약간 높아진다는 것이 확인됐습니다. 회귀 현상을 감안한 분석과 감안하지 않은 분석의 결론이 달랐습니다.
일상에서 회귀를 인식하는 방법
어떤 결과가 매우 좋거나 나빴을 때, 그 결과에 반응하기 전에 먼저 “이것의 얼마가 운인가”를 물어봅니다. 운의 비중이 크다면, 다음 결과는 자신의 개입과 관계없이 평균으로 이동할 가능성이 높습니다. 이 기대를 먼저 설정하면, 개입의 효과를 과대 추정하는 오류를 줄일 수 있습니다.
회귀를 이해하는 것은 자연 발생적 개선을 개입의 효과로 오해하는 것을 막는 것과 같습니다. 많은 치료, 많은 정책, 많은 관리 개입이 실제 효과 없이 통계적 회귀의 덕을 보는 사례가 있습니다. Statistics By Jim의 평균 회귀 해설에서 이 현상이 의학, 교육, 비즈니스에서 어떻게 오해를 만드는지 사례별로 확인할 수 있습니다.
갈튼이 발견한 통계적 현상이 인과추론의 핵심 도전이 됐습니다. (기대값과 분포 읽기) 결과가 극단적일 때 다음이 평균으로 돌아오는 것은 법칙에 가깝습니다. 이 법칙을 모르는 상태에서 결과를 해석하면, 원인과 결과의 연결이 잘못 맺어집니다.
회귀와 학습의 관계
학습 곡선에서 회귀 현상이 나타납니다. 연습 초반에 급격히 향상되는 것처럼 보이는 이유 중 일부는 첫 시도가 불안정하고 오차가 큰 상태에서 평균으로 회귀하는 것입니다. 초반의 개선이 진짜 학습만의 결과가 아닐 수 있습니다. 반대로 일정 수준 이후 개선이 멈추는 것처럼 느껴지는 것도 진짜 정체가 아니라 측정의 노이즈가 줄어서 회귀 효과가 사라지는 것일 수 있습니다.
이 사실이 주는 실용적 교훈은 단기 변화로 실력을 판단하지 않는 것입니다. 한 번의 뛰어난 성과가 실력이 늘었다는 증거가 아니고, 한 번의 부진이 실력이 줄었다는 증거도 아닙니다. 충분한 횟수의 결과를 평균해야 진짜 수준이 보입니다. 그 평균을 관찰하기 위한 기간을 기다리는 것, 단기 변동에 과잉반응하지 않는 것이 평균으로의 회귀를 이해한 사람의 태도입니다.
