Введение
Ошибка в статистическом рассуждении при работе с группами
Парадокс Симпсона — это явление в теории вероятностей и статистике, при котором тенденция, наблюдаемая в нескольких группах данных, исчезает или меняется на противоположную при объединении этих групп. Этот результат часто встречается в статистике социальных и медицинских наук и особенно проблематичен, когда частотные данные неправомерно подвергаются причинно-следственной интерпретации. Парадокс может быть разрешен при надлежащем учете вмешивающихся переменных и причинно-следственных связей в статистическом моделировании (например, с помощью кластерного анализа). Парадокс Симпсона используется для иллюстрации потенциально вводящих в заблуждение результатов, возникающих при ненадлежащем использовании статистики. Эдвард Х. Симпсон впервые описал это явление в технической статье в 1951 году, однако статистики Карл Пирсон (в 1899 году) и Удни Юл (в 1903 году) ранее упоминали о схожих эффектах. Название «парадокс Симпсона» было введено Колином Р. Блайтом в 1972 году. Его также называют обращением Симпсона, эффектом Юла — Симпсона, парадоксом агрегирования или парадоксом обращения. Математик Джордан Элленберг утверждает, что парадокс Симпсона назван неверно, поскольку «в нем нет противоречия, а лишь два различных способа рассмотрения одних и тех же данных», и предполагает, что его урок «заключается не в том, чтобы указать на правильную точку зрения, а в том, чтобы настаивать на одновременном учете как частей, так и целого».
Корреляция между переменными
Обратное положение Симпсона может также возникать в корреляциях, когда две переменные кажутся имеющими (например) положительную корреляцию друг с другом, хотя на самом деле они имеют отрицательную корреляцию, причем такое изменение вызвано "скрытым" вмешивающимся фактором. Берман и др. приводят пример из экономики, где данные показывают, что общий спрос положительно коррелирует с ценой (то есть, более высокие цены приводят к большему спросу), что противоречит ожиданиям. Анализ показывает, что время является вмешивающейся переменной: построение графиков как цены, так и спроса в зависимости от времени демонстрирует ожидаемую отрицательную корреляцию в различные периоды, которая затем меняется на положительную, если влияние времени игнорируется и строится график только спроса в зависимости от цены.
Психология
Психологический интерес к парадоксу Симпсона направлен на объяснение того, почему люди изначально считают смену знака невозможной. Возникает вопрос, откуда у людей берется эта сильная интуиция и как она зафиксирована в уме. Парадокс Симпсона показывает, что эту интуицию нельзя вывести, опираясь только на классическую логику или теорию вероятностей, что побудило философов предположить, что она поддерживается врожденной причинно-следственной логикой, которая направляет людей в рассуждениях о действиях и их последствиях. Исследование Кока показывает, что вероятность случайного возникновения парадокса Симпсона в моделях пути (то есть моделях, полученных с помощью факторного анализа) с двумя предикторами и одной критериальной переменной составляет приблизительно 12,8%, что немного выше, чем 1 случай на 8 моделей пути.