Введение

Тенденция к неверной интерпретации статистических экспериментов, связанных с условными вероятностями.

Парадокс Берксона, также известный как систематическая ошибка Берксона, предвзятость коллайдера или заблуждение Берксона, — это результат в теории условных вероятностей и статистике, который часто оказывается контринтуитивным и, следовательно, представляет собой истинный парадокс. Это усложняющий фактор, возникающий при статистических проверках пропорций. В частности, он возникает, когда в дизайне исследования присутствует систематическая ошибка отбора. Этот эффект связан с явлением "объяснения удаления" в байесовских сетях и обусловленностью по коллайдеру в графических моделях. Он часто описывается в области медицинской статистики или биостатистики, как в первоначальном описании проблемы Джозефом Берксоном.

Обзор

Наиболее распространенным примером парадокса Берксона является ложное наблюдение отрицательной корреляции между двумя желаемыми качествами, то есть, что представители популяции, обладающие одним желаемым качеством, как правило, не обладают другим. Парадокс Берксона возникает, когда это наблюдение кажется верным, хотя на самом деле эти два свойства не связаны между собой или даже положительно коррелируют, поскольку представители популяции, у которых отсутствуют оба качества, наблюдаются не в равной степени. Например, человек может заметить, что рестораны быстрого питания в его районе, предлагающие вкусные гамбургеры, обычно подают невкусный картофель фри, и наоборот; однако, поскольку он вряд ли будет посещать заведения, где и гамбургеры, и картофель фри плохие, он не учитывает большое количество таких ресторанов, что ослабило бы или даже изменило бы направление корреляции.

Оригинальная иллюстрация

Оригинальная иллюстрация Берксона включает ретроспективное исследование фактора риска развития заболевания в статистической выборке, сформированной из числа пациентов, находящихся в больнице. Поскольку выборка формируется из числа госпитализированных пациентов, а не из общей популяции, это может привести к ложной отрицательной корреляции между заболеванием и фактором риска. Например, если фактором риска является диабет, а заболеванием – холецистит, то пациент в больнице, не страдающий диабетом, с большей вероятностью страдает холециститом, чем член общей популяции, поскольку у него должна была быть какая-то причина, не связанная с диабетом (возможно, даже вызванная холециститом), для поступления в больницу изначально. Такой результат будет получен независимо от наличия какой-либо связи между диабетом и холециститом в общей популяции.

Пример Элленберга

Пример, приведенный Джорданом Элленбергом: предположим, что Алекс согласится встречаться с мужчиной только если сумма его доброты и привлекательности превышает определенный порог. Тогда более добрым мужчинам не обязательно быть столь же привлекательными, чтобы попасть в круг знакомств Алекса. Следовательно, среди мужчин, с которыми встречается Алекс, она может заметить, что более добрые в среднем менее привлекательны (и наоборот), даже если эти качества не коррелируют в генеральной совокупности. Важно отметить, что это не означает, что мужчины из круга знакомств Алекса хуже, чем мужчины в генеральной совокупности. Наоборот, критерий отбора Алекса говорит о том, что у нее высокие требования. В среднем, добрый мужчина, с которым встречается Алекс, на самом деле привлекательнее, чем средний мужчина в генеральной совокупности (поскольку даже среди добрых мужчин исключается наименее привлекательная часть населения). Отрицательная корреляция Берксона – это эффект, возникающий в круге знакомств: грубые мужчины, с которыми встречается Алекс, должны были быть еще более привлекательными, чтобы соответствовать ее критериям.

Количественный пример

В качестве количественного примера предположим, что у коллекционера есть 1000 почтовых марок, из которых 300 красивых и 100 редких, причем 30 из них одновременно красивы и редки. 30% всех его марок красивы, а 10% его красивых марок редки, таким образом, красота никак не связана с редкостью. Он выставляет 370 марок, которые являются красивыми или редкими. Немногим больше 27% выставленных марок – редкие (100/370), но все же только 10% (30/300) красивых марок являются редкими (и 100% из 70 некрасивых марок на выставке – редкие). Если наблюдатель рассматривает только выставленные марки, он заметит ложную отрицательную корреляцию между красотой и редкостью из-за предвзятости отбора (то есть красота не является сильным индикатором редкости среди выставленных марок, но не является таковым и во всей коллекции).