Правило Кромвеля и вероятность: от луны из сыра до подбрасывания монеты.
Cromwell's rule
Правило Кромвеля в теории вероятностей: избегайте присвоения вероятности 0 или 1, чтобы не исключать возможность даже маловероятных событий. Байесовский подход.
Сравнивайте с английским: нажмите на абзац — оригинал откроется в окне. Кнопка EN под абзацем показывает его прямо в тексте.
Содержание
Введение
Вероятность
Probability
Правило Кромвеля, названное статистиком Деннисом Линдли, гласит, что следует избегать использования априорных вероятностей, равных 1 («событие обязательно произойдет») или 0 («событие определенно не произойдет»), за исключением случаев, когда они применяются к утверждениям, которые логически истинны или ложны, например, к утверждению, что 2 + 2 = 4. Отсылка к Оливеру Кромвелю, который 3 августа 1650 года, незадолго до битвы при Данбаре, написал Генеральной Ассамблее Церкви Шотландии письмо, содержащее фразу, ставшую широко известной и часто цитируемой:
Cromwell's rule, named by statistician Dennis Lindley, states that the use of prior probabilities of 1 ("the event will definitely occur") or 0 ("the event will definitely not occur") should be avoided, except when applied to statements that are logically true or false, such as 2 + 2 equaling 4. The reference is to Oliver Cromwell, who wrote to the General Assembly of the Church of Scotland on 3 August 1650, shortly before the Battle of Dunbar, including a phrase that has become well known and frequently quoted:
Как выразился Линдли, при назначении вероятности следует «оставить небольшую вероятность того, что Луна сделана из зеленого сыра; она может быть столь же мала, как 1 к миллиону, но пусть она там будет, иначе армия астронавтов, вернувшаяся с образцами этого сыра, не произведет на вас никакого впечатления». Аналогично, при оценке вероятности того, что при подбрасывании монеты выпадет либо орел, либо решка, существует возможность, хотя и маловероятная, что монета упадет на ребро и останется в этом положении. Если априорная вероятность, присвоенная гипотезе, равна 0 или 1, то, согласно теореме Байеса, апостериорная вероятность (вероятность гипотезы при заданных доказательствах) также будет равна 0 или 1; никакие доказательства, какими бы сильными они ни были, не смогут оказать влияния. Усиленная версия правила Кромвеля, применительная также к утверждениям арифметики и логики, изменяет первое правило вероятности, или правило выпуклости, 0 ≤ Pr(A) ≤ 1, на 0 < Pr(A) < 1.
As Lindley puts it, assigning a probability should "leave a little probability for the moon being made of green cheese; it can be as small as 1 in a million, but have it there since otherwise an army of astronauts returning with samples of the said cheese will leave you unmoved". Similarly, in assessing the likelihood that tossing a coin will result in either a head or a tail facing upwards, there is a possibility, albeit remote, that the coin will land on its edge and remain in that position. If the prior probability assigned to a hypothesis is 0 or 1, then, by Bayes' theorem, the posterior probability (probability of the hypothesis, given the evidence) is forced to be 0 or 1 as well; no evidence, no matter how strong, could have any influence. A strengthened version of Cromwell's rule, applying also to statements of arithmetic and logic, alters the first rule of probability, or the convexity rule, 0 ≤ Pr(A) ≤ 1, to 0 < Pr(A) < 1.
Байесовское расхождение (пессимистическое)
Пример байесовского расхождения во мнениях основан на Приложении А книги Шэрон Бертч МакГрейн 2011 года. Тим и Сьюзан не согласны, бросил ли незнакомец, у которого есть две честные монеты и одна нечестная монета (с орлом с обеих сторон), одну из двух честных монет или нечестную; незнакомец подбросил одну из своих монет три раза, и каждый раз выпал орел. Тим предполагает, что незнакомец выбрал монету случайным образом, то есть предполагает априорное распределение вероятностей, в котором у каждой монеты была вероятность 1/3 быть выбранной. Применяя байесовский вывод, Тим затем вычисляет вероятность 80%, что результат трех последовательных орлов был получен с использованием нечестной монеты, поскольку каждая из честных монет имела шанс 1/8 выпасть орлом три раза подряд, в то время как нечестная монета имела шанс 8/8; из 24 равновероятных исходов, 8 из 10, согласующихся с наблюдениями, приходятся на нечестную монету. Если подбрасывать монету больше раз, то с каждым новым орлом увеличивается вероятность того, что монета нечестная. Если ни разу не выпадет решка, эта вероятность стремится к 1. Но если когда-либо выпадет решка, вероятность того, что монета нечестная, немедленно станет равной 0 и останется на нуле навсегда. Сьюзан предполагает, что незнакомец выбрал честную монету (следовательно, априорная вероятность того, что подброшенная монета является нечестной, равна 0). Соответственно, Сьюзан вычисляет, что вероятность выпадения трех (или любого количества последовательных орлов) с использованием нечестной монеты должна быть равна 0; если выпадет еще больше орлов, Сьюзан не изменит свою вероятность. Вероятности Тима и Сьюзан не сходятся по мере увеличения количества выпавших орлов.
An example of Bayesian divergence of opinion is based on Appendix A of Sharon Bertsch McGrayne's 2011 book. Tim and Susan disagree as to whether a stranger who has two fair coins and one unfair coin (one with heads on both sides) has tossed one of the two fair coins or the unfair one; the stranger has tossed one of his coins three times and it has come up heads each time. Tim assumes that the stranger picked the coin randomly – i. e., assumes a prior probability distribution in which each coin had a 1/3 chance of being the one picked. Applying Bayesian inference, Tim then calculates an 80% probability that the result of three consecutive heads was achieved by using the unfair coin, because each of the fair coins had a 1/8 chance of giving three straight heads, while the unfair coin had an 8/8 chance; out of 24 equally likely possibilities for what could happen, 8 out of the 10 that agree with the observations came from the unfair coin. If more flips are conducted, each further head increases the probability that the coin is the unfair one. If no tail ever appears, this probability converges to 1. But if a tail ever occurs, the probability that the coin is unfair immediately goes to 0 and stays at 0 permanently. Susan assumes the stranger chose a fair coin (so the prior probability that the tossed coin is the unfair coin is 0). Consequently, Susan calculates the probability that three (or any number of consecutive heads) were tossed with the unfair coin must be 0; if still more heads are thrown, Susan does not change her probability. Tim and Susan's probabilities do not converge as more and more heads are thrown.
Бейсианская конвергенция (оптимистическая)
Пример байесовской конвергенции мнений можно найти в книге Нейта Сильвера 2012 года «Сигнал и шум: почему так много прогнозов оказываются неверными, но некоторые – нет». После утверждения о том, что «абсолютно никакой пользы не возникает, когда человек, считающий вероятность чего-либо равной 0 (нулю) процентов, спорит с тем, кто считает ее равной 100 процентам», Сильвер описывает симуляцию, в которой три инвестора начинают с первоначальных оценок в 10%, 50% и 90% относительно того, находится ли фондовый рынок в состоянии роста. К концу симуляции (изображенной на графике) «все инвесторы приходят к выводу, что находятся на растущем рынке с почти (хотя, конечно, не в точности) 100-процентной уверенностью».
An example of Bayesian convergence of opinion is in Nate Silver's 2012 book The Signal and the Noise: Why so many predictions fail – but some don't. After stating that "Absolutely nothing useful is realized when one person who holds that there is a 0 (zero) percent probability of something argues against another person who holds that the probability is 100 percent", Silver describes a simulation where three investors start out with initial guesses of 10%, 50% and 90% that the stock market is in a bull market; by the end of the simulation (shown in a graph), "all of the investors conclude they are in a bull market with almost (although not exactly of course) 100 percent certainty".