Ложные корреляции и кажущиеся зависимости в статистике

Введение

Явная, но ложная корреляция между причинно-независимыми переменными

В статистике ложная связь или ложная корреляция – это математическая зависимость между двумя или более событиями или переменными, которые ассоциированы, но не связаны причинно-следственной связью, вследствие случайного совпадения или наличия определенного третьего, неучтенного фактора (именуемого "переменной-посредником", "смущающим фактором" или "скрытой переменной").

Примеры

Пример ложной корреляции можно найти в литературе по временным рядам, где ложная регрессия – это регрессия, предоставляющая вводящие в заблуждение статистические доказательства линейной связи между независимыми нестационарными переменными. На самом деле, нестационарность может быть обусловлена наличием единичного корня в обеих переменных. В частности, любые две номинальные экономические переменные, скорее всего, будут коррелировать друг с другом, даже если ни одна из них не оказывает причинного влияния на другую, поскольку каждая из них равна реальной переменной, умноженной на уровень цен, и общее присутствие уровня цен в двух рядах данных придает им корреляцию. (См. также ложная корреляция отношений.) Другой пример ложной корреляции можно увидеть, изучая продажи мороженого в городе. Продажи могут быть самыми высокими, когда уровень утоплений в городских бассейнах также самый высокий. Утверждать, что продажи мороженого вызывают утопления, или наоборот, означало бы предполагать ложную связь между ними. В действительности, причиной тому могла быть жара. Жара – это пример скрытой или ненаблюдаемой переменной, также известной как вмешивающаяся переменная. Другой часто приводимый пример – серия голландской статистики, показывающая положительную корреляцию между количеством аистов, гнездящихся весной, и количеством родившихся в то же время человеческих детей. Разумеется, причинно-следственной связи не было; они коррелировали друг с другом только потому, что оба показателя коррелировали с погодой за девять месяцев до момента наблюдений. В редких случаях ложная корреляция может возникнуть между двумя совершенно несвязанными переменными без какой-либо вмешивающейся переменной, как это было в случае с успехами профессиональной футбольной команды Washington Commanders в конкретной игре перед каждыми президентскими выборами и успехом политической партии действующего президента на этих выборах. На протяжении 16 президентских выборов подряд с 1940 по 2000 год «Правило Редскинов» правильно предсказывало, сохранит ли политическая партия действующего президента президентский пост или нет. Однако правило перестало работать вскоре после того, как Elias Sports Bureau обнаружило эту корреляцию в 2000 году; в 2004, 2012 и 2016 годах результаты игр команды Commanders и результаты выборов не совпали. Аналогичный пример ложной корреляции, связанный с Национальной футбольной лигой, был отмечен Леонардом Коппеттом в 1970-х годах: он обнаружил корреляцию между направлением движения фондового рынка и победителем конференции в Супер Боуле в этом году, так называемый «Индикатор Супер Боула». Эта связь сохранялась на протяжении большей части 20-го века, прежде чем в 21-м веке вернуться к более случайному поведению.

An example of a spurious relationship can be found in the time series literature, where a spurious regression is one that provides misleading statistical evidence of a linear relationship between independent non stationary variables. In fact, the non stationarity may be due to the presence of a unit root in both variables. In particular, any two nominal economic variables are likely to be correlated with each other, even when neither has a causal effect on the other, because each equals a real variable times the price level, and the common presence of the price level in the two data series imparts correlation to them. (See also spurious correlation of ratios.) Another example of a spurious relationship can be seen by examining a city's ice cream sales. The sales might be highest when the rate of drownings in city swimming pools is highest. To allege that ice cream sales cause drowning, or vice versa, would be to imply a spurious relationship between the two. In reality, a heat wave may have caused both. The heat wave is an example of a hidden or unseen variable, also known as a confounding variable. Another commonly noted example is a series of Dutch statistics showing a positive correlation between the number of storks nesting in a series of springs and the number of human babies born at that time. Of course there was no causal connection; they were correlated with each other only because they were correlated with the weather nine months before the observations. In rare cases, a spurious relationship can occur between two completely unrelated variables without any confounding variable, as was the case between the success of the Washington Commanders professional football team in a specific game before each presidential election and the success of the incumbent President's political party in said election. For 16 consecutive elections between 1940 and 2000, the Redskins Rule correctly matched whether the incumbent President's political party would retain or lose the Presidency. The rule eventually failed shortly after Elias Sports Bureau discovered the correlation in 2000; in 2004, 2012 and 2016, the results of the Commanders' game and the election did not match. In a similar spurious relationship involving the National Football League, in the 1970s, Leonard Koppett noted a correlation between the direction of the stock market and the winning conference of that year's Super Bowl, the Super Bowl indicator; the relationship maintained itself for most of the 20th century before reverting to more random behavior in the 21st.

Испытание гипотезы

Часто проверяют нулевую гипотезу об отсутствии корреляции между двумя переменными и заранее решают отвергнуть её, если корреляция, вычисленная по выборке данных, возникла бы менее чем в (например) 5% выборок данных, если бы нулевая гипотеза была верна. Хотя истинная нулевая гипотеза будет принята в 95% случаев, в остальных 5% случаев, когда нулевая гипотеза об отсутствии корреляции верна, она будет неверно отвергнута, что приведет к принятию мнимой корреляции (это явление известно как ошибка первого рода). В данном случае мнимая корреляция в выборке возникла из-за случайного отбора выборки, не отражающей истинные характеристики генеральной совокупности.

Выявление ложных связей

Термин «мнимые взаимосвязи» обычно используется в статистике и, в частности, в методах экспериментальных исследований, которые стремятся понять и предсказать прямые причинно-следственные связи (X → Y). Непричинная корреляция может быть ложно сформирована предшествующим фактором, который вызывает оба явления (W → X и W → Y). Посредничающие переменные (X → W → Y), если они остаются необнаруженными, оценивают общий эффект, а не прямой эффект без учета посредничающей переменной M. В связи с этим, корреляции, выявленные экспериментально, не отражают причинно-следственные связи, пока не будут исключены мнимые взаимосвязи.

Эксперименты

В экспериментах ложные зависимости часто можно выявить, контролируя другие факторы, включая те, которые теоретически определены как возможные вмешивающиеся факторы. Например, рассмотрим исследователя, пытающегося установить, убивает ли новый препарат бактерии: когда исследователь применяет препарат к бактериальной культуре, бактерии погибают. Однако, чтобы помочь исключить наличие вмешивающегося фактора, другая культура подвергается условиям, максимально приближенным к условиям, в которых находится первая культура, но вторая культура не подвергается воздействию препарата. Если в этих условиях присутствует незамеченный вмешивающийся фактор, эта контрольная культура также погибнет, и, следовательно, по результатам первой культуры нельзя будет сделать вывод об эффективности препарата. С другой стороны, если контрольная культура не погибает, исследователь не может отвергнуть гипотезу об эффективности препарата.

Неэкспериментальный статистический анализ

Дисциплины, данные которых преимущественно не экспериментальны, такие как экономика, обычно используют наблюдательные данные для установления причинно-следственных связей. Совокупность статистических методов, применяемых в экономике, называется эконометрикой. Основным статистическим методом в эконометрике является многомерный регрессионный анализ. Как правило, гипотезируется линейная зависимость вида:

, где – зависимая переменная (предполагается, что она является следствием), для j = 1, …, k – j-я независимая переменная (предполагается, что она является причиной), а – ошибка (содержит совокупное влияние всех остальных причинных переменных, которые должны быть некоррелированы с включенными независимыми переменными). Если есть основания полагать, что ни одна из не является следствием y, то оцениваются коэффициенты . Если нулевая гипотеза отвергается, то альтернативная гипотеза, согласно которой и, следовательно, вызывает y, также не отвергается. С другой стороны, если нулевую гипотезу не отвергают, то, аналогично, не отвергается и гипотеза об отсутствии причинного эффекта на y. Здесь понятие причинности понимается как вклад в причинность: если истинное значение , то изменение приведет к изменению y, если только какие-либо другие причинные переменные, включенные в регрессию или подразумеваемые в ошибке, не изменятся таким образом, чтобы полностью компенсировать этот эффект; таким образом, изменение само по себе недостаточно для изменения y. Аналогично, изменение не является необходимым для изменения y, поскольку изменение y может быть вызвано чем-то, скрытым в ошибке (или какой-либо другой объясняющей переменной, включенной в модель). Регрессионный анализ учитывает другие релевантные переменные, включая их в качестве регрессоров (объясняющих переменных). Это помогает избежать ошибочных выводов о причинности из-за наличия третьей, лежащей в основе переменной, которая влияет как на потенциальную причину, так и на потенциальное следствие: ее влияние на потенциальное следствие учитывается путем прямого включения ее в регрессию, чтобы этот эффект не был ошибочно принят за эффект потенциальной причины, представляющей интерес. Кроме того, использование многомерной регрессии помогает избежать неверного заключения о том, что косвенный эффект, например, x1 (например, x1 → x2 → y), является прямым эффектом (x1 → y). Подобно тому, как экспериментатор должен тщательно разрабатывать эксперимент, контролируя все вмешивающиеся факторы, так и пользователь множественной регрессии должен тщательно контролировать все вмешивающиеся факторы, включая их в число регрессоров. Если вмешивающийся фактор исключен из регрессии, его эффект по умолчанию попадает в ошибку, и если полученная ошибка коррелирует с одним (или несколькими) включенными регрессорами, то оценка регрессии может быть смещенной или несостоятельной (см. смещение из-за пропущенной переменной). Помимо регрессионного анализа, данные можно исследовать для определения наличия причинности по Грейнджеру. Наличие причинности по Грейнджеру указывает на то, что x предшествует y и что x содержит уникальную информацию о y.

is hypothesized, in which is the dependent variable (hypothesized to be the caused variable), for j = 1, , k is the jth independent variable (hypothesized to be a causative variable), and is the error term (containing the combined effects of all other causative variables, which must be uncorrelated with the included independent variables). If there is reason to believe that none of the s is caused by y, then estimates of the coefficients are obtained. If the null hypothesis that is rejected, then the alternative hypothesis that and equivalently that causes y cannot be rejected. On the other hand, if the null hypothesis that cannot be rejected, then equivalently the hypothesis of no causal effect of on y cannot be rejected. Here the notion of causality is one of contributory causality: If the true value , then a change in will result in a change in y unless some other causative variable(s), either included in the regression or implicit in the error term, change in such a way as to exactly offset its effect; thus a change in is not sufficient to change y. Likewise, a change in is not necessary to change y, because a change in y could be caused by something implicit in the error term (or by some other causative explanatory variable included in the model). Regression analysis controls for other relevant variables by including them as regressors (explanatory variables). This helps to avoid mistaken inference of causality due to the presence of a third, underlying, variable that influences both the potentially causative variable and the potentially caused variable: its effect on the potentially caused variable is captured by directly including it in the regression, so that effect will not be picked up as a spurious effect of the potentially causative variable of interest. In addition, the use of multivariate regression helps to avoid wrongly inferring that an indirect effect of, say x1 (e. g., x1 → x2 → y) is a direct effect (x1 → y). Just as an experimenter must be careful to employ an experimental design that controls for every confounding factor, so also must the user of multiple regression be careful to control for all confounding factors by including them among the regressors. If a confounding factor is omitted from the regression, its effect is captured in the error term by default, and if the resulting error term is correlated with one (or more) of the included regressors, then the estimated regression may be biased or inconsistent (see omitted variable bias). In addition to regression analysis, the data can be examined to determine if Granger causality exists. The presence of Granger causality indicates both that x precedes y, and that x contains unique information about y.