Закон больших чисел и кажущиеся аномалии

Введение

Закон статистики

Закон действительно больших чисел (статистическая поговорка), приписываемый Перси Диаконису и Фредерику Мостеллеру, утверждает, что при достаточно большом количестве независимых выборок любой крайне невероятный (то есть маловероятный в каждой отдельной выборке, но имеющий постоянную вероятность строго больше нуля в любой выборке) результат, скорее всего, будет наблюдаться. Поскольку мы обычно не обращаем внимания на вероятные события, мы выделяем и замечаем маловероятные. Этот закон часто используется для опровержения различных псевдонаучных утверждений и поэтому иногда подвергается критике со стороны ученых, работающих на стыке науки и псевдонауки. Закон призван продемонстрировать закономерности в вероятностях и статистической значимости: в достаточно больших объемах статистических данных даже незначительные отклонения могут достичь статистической значимости. Таким образом, при действительно большом количестве наблюдений парадоксально легко обнаружить значимые корреляции, которые, однако, не приводят к установлению причинно-следственных связей (см. ложная корреляция) и, благодаря своему количеству, могут даже ввести в заблуждение. Закон можно перефразировать как «большие числа тоже могут обманывать», что противоречит интуиции специалиста по описательной статистике. Более конкретно, скептик Пенн Джиллетт сказал: «В Нью-Йорке (население около 8 миллионов) вероятность события один к миллиону случается восемь раз в день».

Примеры

Для упрощенного примера закона предположим, что данное событие происходит с вероятностью его возникновения 0,1% в рамках одного испытания. Тогда вероятность того, что это так называемое маловероятное событие не произойдет (вероятность невыполнения) в одном испытании составляет 99,9% (0,999). Однако для выборки из 1000 независимых испытаний вероятность того, что событие не произойдет ни в одном из них, даже один раз (вероятность невыполнения), составляет только 0,999¹⁰⁰⁰ ≈ 0,3677, или 36,77%. Тогда вероятность того, что событие произойдет, по крайней мере, один раз, в 1000 испытаниях составляет 0,999¹⁰⁰⁰ ≈ 0,6323, 63,23%. Это означает, что вероятность возникновения этого "маловероятного события" составляет 63,23%, если будет проведено 1000 независимых испытаний. Если количество испытаний увеличится до 10 000, вероятность того, что это произойдет по крайней мере один раз из 10 000 испытаний, возрастет до 0,999¹⁰⁰⁰⁰ ≈ 0,99995, 99,995%. Другими словами, очень маловероятное событие, учитывая достаточное количество независимых испытаний, имеет еще большую вероятность. Для события X, которое происходит с очень низкой вероятностью 0,0000001% (в любой отдельной выборке, см. также "практически никогда"), рассмотрение 1 000 000 000 как "действительно большого" числа независимых выборок дает вероятность возникновения X, равную 1 = 1 − 0,999999999¹⁰⁰⁰⁰⁰⁰⁰⁰⁰ ≈ 0,63 = 63%, а количество независимых выборок, равное размеру человеческой популяции (в 2021 году), дает вероятность события X: 1 = 1 − 0,999999999⁷⁹⁰⁰⁰⁰⁰⁰⁰ ≈ 0,9996 = 99,96%. Эти расчеты могут быть формализованы в математическом языке как: "вероятность маловероятного события X, происходящего в N независимых испытаниях, может стать произвольно близкой к 1, независимо от того, насколько мала вероятность события X в одном отдельном испытании, при условии, что N достаточно велико". Например, если вероятность маловероятного события X не является малой постоянной, а уменьшается в зависимости от N, см. график. В системах с высокой доступностью даже очень маловероятные события необходимо учитывать. В последовательных системах даже при очень низкой вероятности отказа отдельного элемента, при соединении большого их количества вероятность отказа всей системы возрастает (для снижения вероятности сбоев системы можно использовать резервирование; в таких параллельных системах даже очень ненадежные резервные компоненты, соединенные в большом количестве, повышают вероятность безотказной работы до требуемого уровня).

For a simplified example of the law, assume that a given event happens with a probability for its occurrence of 0.1%, within a single trial. Then, the probability that this so called unlikely event does not happen (improbability) in a single trial is 99.9% (0.999). For a sample of only 1000 independent trials, however, the probability that the event does not happen in any of them, even once (improbability), is only 0.9991000 ≈0.3677, or 36.77%. Then, the probability that the event does happen, at least once, in 1000 trials is 0.9991000 ≈0.6323, 63.23%. This means that this "unlikely event" has a probability of 63.23% of happening if 1000 independent trials are conducted. If the number of trials were increased to 10,000, the probability of it happening at least once in 10,000 trials rises to 0.99910000 ≈0.99995, 99.995%. In other words, a highly unlikely event, given enough independent trials with some fixed number of draws per trial, is even more likely to occur. For an event X that occurs with very low probability of 0.0000001% (in any single sample, see also almost never), considering 1,000,000,000 as a "truly large" number of independent samples gives the probability of occurrence of X equal to 1=1 − 0.9999999991000000000 ≈ 0.63 = 63% and a number of independent samples equal to the size of the human population (in 2021) gives probability of event X: 1=1 − 0.9999999997900000000 ≈ 0.9996 = 99.96%. These calculations can be formalized in mathematical language as: "the probability of an unlikely event X happening in N independent trials can become arbitrarily near to 1, no matter how small the probability of the event X in one single trial is, provided that N is truly large." For example, where the probability of unlikely event X is not a small constant but decreased in function of N, see graph. In high availability systems even very unlikely events have to be taken into consideration, in series systems even when the probability of failure for single element is very low after connecting them in large numbers probability of whole system failure raises (to make system failures less probable redundancy can be used in such parallel systems even highly unreliable redundant parts connected in large numbers raise the probability of not breaking to required high level).

В критике псевдонауки

Закон проявляется в критике псевдонауки и иногда называется эффектом Джин Диксон (см. также Постдикция). Он заключается в том, что чем больше предсказаний делает экстрасенс, тем выше вероятность, что хотя бы одно из них сбудется. Следовательно, если одно предсказание оправдывается, экстрасенс рассчитывает на то, что мы забудем о подавляющем большинстве не сбывшихся (подтверждающее искажение). Люди могут быть подвержены этой логической ошибке. Аналогичное проявление этого закона можно наблюдать в азартных играх, где игроки склонны запоминать свои выигрыши и забывать проигрыши, даже если последних значительно больше (хотя в зависимости от личности, может быть и обратное: человек считает, что ему необходимо более детально анализировать свои проигрыши для улучшения своей игровой стратегии). Микал Аасвед связывает это с "предвзятостью выборочной памяти", позволяющей игрокам мысленно дистанцироваться от последствий азартных игр, переоценивая свои реальные выигрыши (или, наоборот, занижая свои проигрыши – "предвзятость выборочной памяти в обе стороны").