Теория вероятностей: Правило последовательности Лапласа

Введение

Теория вероятностей
правило преемственности в теории вероятностей

В теории вероятностей правило преемственности — это формула, предложенная в XVIII веке Пьером Симоном Лапласом при рассмотрении задачи о восходе солнца. Эта формула до сих пор используется, особенно для оценки априорных вероятностей, когда имеется мало наблюдений или событий, которые вообще не наблюдались в конечных данных выборки.

Историческое применение к проблеме восхода солнца

Лаплас использовал правило преемственности для вычисления вероятности восхода Солнца завтра, учитывая, что оно восходило каждый день на протяжении последних 5000 лет. Получается очень большой коэффициент, приблизительно равный 5000 × 365,25, что дает вероятность примерно 1 826 200 к 1 в пользу восхода Солнца завтра. Однако, как показывают математические подробности ниже, базовое предположение для применения правила преемственности состоит в том, что у нас нет априорных знаний о том, взойдет Солнце завтра или нет, кроме того, что это возможно в обоих случаях. Но это не так в отношении восходов Солнца. Лаплас прекрасно это понимал и в заключение примера с восходом Солнца написал: "Но это число гораздо больше для того, кто, наблюдая в совокупности явлений принцип, регулирующий дни и времена года, осознает, что в настоящий момент ничто не способно остановить его". Тем не менее, Лапласа высмеяли за этот расчет; его оппоненты не обратили внимания на это предложение или не поняли его значения. См. также Новая загадка индукции #Carnap.

Интуиция

Правило последовательности может быть интерпретировано интуитивно, рассматривая точки, случайно распределенные по окружности, а не подсчитывая количество "успехов" / "неудач" в эксперименте. Чтобы имитировать поведение пропорции p на окружности, мы окрасим окружность в два цвета, и доля окружности, окрашенная в цвет "успеха", будет равна p. Чтобы выразить неопределенность относительно значения p, нам нужно выбрать часть окружности. Часть выбирается путем выбора двух равномерно случайных точек на окружности. Первая точка Z соответствует нулю в интервале [0, 1], а вторая точка P соответствует p в пределах [0, 1]. В терминах окружности, часть окружности от Z до P по часовой стрелке будет равна p. n испытаний можно интерпретировать как n точек, равномерно распределенных по окружности; любая точка в "успешной" части является успехом, а в противном случае – неудачей. Это обеспечивает точное соответствие между экспериментами с успехом/неудачей с вероятностью успеха p и равномерно случайными точками на окружности. На рисунке "успешная" часть окрашена в синий цвет, чтобы отличить ее от остальной части окружности, а точки P и Z выделены красным. Учитывая эту окружность, оценка p – это доля синего цвета. Давайте разделим окружность на n+2 дуги, соответствующие n+2 точкам, так что участок от точки на окружности до следующей точки (по часовой стрелке) является одной дугой, связанной с первой точкой. Таким образом, Z определяет первую синюю дугу, в то время как P определяет первую несинюю / дугу неудачи. Поскольку следующая точка является равномерно случайной точкой, если она попадает в любую из синих дуг, то испытание успешно, а если она попадает в любую из других дуг, то оно неудачно. Таким образом, вероятность успеха p равна b/t, где b – количество синих дуг, а t – общее количество дуг. Обратите внимание, что синих дуг на одну больше, чем точек успеха (дуга Z), и дуг в целом на две больше, чем точек (дуги P и Z). Подстановка значений с числом успехов дает правило последовательности. Примечание: для фактической вероятности необходимо использовать длину синих дуг, деленную на длину всех дуг. Однако, когда k точек равномерно случайно распределены по окружности, расстояние от точки до следующей точки равно 1/k. Таким образом, в среднем каждая дуга имеет одинаковую длину, и отношение длин становится отношением количества.

The rule of succession can be interpreted in an intuitive manner by considering points randomly distributed on a circle rather than counting the number "success"/"failures" in an experiment. To mimic the behavior of the proportion p on the circle, we will color the circle in two colors and the fraction of the circle colored in the "success" color will be equal to p. To express the uncertainty about the value of p, we need to select a fraction of the circle. A fraction is chosen by selecting two uniformly random points on the circle. The first point Z corresponds to the zero in the [0, 1] interval and the second point P corresponds to p within [0, 1]. In terms of the circle the fraction of the circle from Z to P moving clockwise will be equal to p. The n trials can be interpreted as n points uniformly distributed on the circle; any point in the "success" fraction is a success and a failure otherwise. This provides an exact mapping from success/failure experiments with probability of success p to uniformly random points on the circle. In the figure the success fraction is colored blue to differentiate it from the rest of the circle and the points P and Z are highlighted in red. Given this circle, the estimate of p is the fraction colored blue. Let us divide the circle into n+2 arcs corresponding to the n+2 points such that the portion from a point on the circle to the next point (moving clockwise) is one arc associated with the first point. Thus, Z defines the first blue arc while P defines the first non blue/failure arc. Since the next point is a uniformly random point, if it falls in any of the blue arcs then the trial succeeds while if it falls in any of the other arcs, then it fails. So the probability of success p is where b is the number of blue arcs and t is the total number of arcs. Note that there is one more blue arc (that of Z) than success point and two more arcs (those of P and Z) than n points. Substituting the values with number of successes gives the rule of succession. Note: The actual probability needs to use the length of blue arcs divided by the length of all arcs. However, when k points are uniformly randomly distributed on a circle, the distance from a point to the next point is 1/k. So on average each arc is of the same length and ratio of lengths becomes ratio of counts.

Обобщение на любое количество возможностей

В этом разделе приводится эвристическое выведение, аналогичное представленному в «Теории вероятностей: логике науки». Правило последовательности имеет множество различных интуитивных интерпретаций, и в зависимости от используемой интуиции обобщение может быть различным. Таким образом, дальнейшие рассуждения следует вести очень осторожно, восстанавливая результаты из первых принципов, а не вводя интуитивно понятное обобщение. Полное выведение можно найти в книге Джейнеса, однако существует и более простое для понимания альтернативное выведение, когда решение известно. Важно также отметить, что априорное состояние знаний, описываемое правилом последовательности, задается в виде перечисления возможностей с дополнительной информацией о том, что каждая категория может быть наблюдаема. Это эквивалентно утверждению о том, что каждая категория была наблюдаема один раз до сбора данных. Для обозначения используемых знаний Im включается в условия при назначении вероятностей. Правило последовательности возникает при задании биномиальной функции правдоподобия и равномерного априорного распределения. Следовательно, прямое обобщение представляет собой многомерное расширение этих двух распределений: 1) задание равномерного априорного распределения по начальным m категориям и 2) использование многочленного распределения в качестве функции правдоподобия (которое является многомерным обобщением биномиального распределения). Можно показать, что равномерное распределение является частным случаем распределения Дирихле, при котором все его параметры равны 1 (так же, как равномерное распределение является Beta(1,1) в бинарном случае). Распределение Дирихле является сопряженным априорным распределением для многочленного распределения, что означает, что апостериорное распределение также является распределением Дирихле с другими параметрами. Пусть pi обозначает вероятность наблюдения категории i, а ni – количество раз, когда категория i (i = 1, …, m) фактически наблюдалась. Тогда совместное апостериорное распределение вероятностей p1, …, pm задается следующим образом:

This section gives a heuristic derivation similar to that in Probability Theory: The Logic of Science. The rule of succession has many different intuitive interpretations, and depending on which intuition one uses, the generalisation may be different. Thus, the way to proceed from here is very carefully, and to re derive the results from first principles, rather than to introduce an intuitively sensible generalisation. The full derivation can be found in Jaynes' book, but it does admit an easier to understand alternative derivation, once the solution is known. Another point to emphasise is that the prior state of knowledge described by the rule of succession is given as an enumeration of the possibilities, with the additional information that it is possible to observe each category. This can be equivalently stated as observing each category once prior to gathering the data. To denote that this is the knowledge used, an Im is put as part of the conditions in the probability assignments. The rule of succession comes from setting a binomial likelihood, and a uniform prior distribution. Thus a straightforward generalisation is just the multivariate extensions of these two distributions: 1) Setting a uniform prior over the initial m categories, and 2) using the multinomial distribution as the likelihood function (which is the multivariate generalisation of the binomial distribution). It can be shown that the uniform distribution is a special case of the Dirichlet distribution with all of its parameters equal to 1 (just as the uniform is Beta(1,1) in the binary case). The Dirichlet distribution is the conjugate prior for the multinomial distribution, which means that the posterior distribution is also a Dirichlet distribution with different parameters. Let pi denote the probability that category i will be observed, and let ni denote the number of times category i (i = 1, , m) actually was observed. Then the joint posterior distribution of the probabilities p1, , pm is given by:

Чтобы получить обобщенное правило последовательности, следует отметить, что вероятность наблюдения категории i при следующем наблюдении, при условии pi, равна просто pi, и нам нужно лишь ее математическое ожидание. Обозначим Ai событие, при котором следующее наблюдение относится к категории i (i = 1, …, m), а n = n1 + … + nm – общее количество сделанных наблюдений. Результат, основанный на свойствах распределения Дирихле, выглядит следующим образом:

Это решение сводится к вероятности, которая была бы назначена с использованием принципа безразличия до каких-либо наблюдений (т.е. n = 0), что согласуется с исходным правилом последовательности. Оно также включает в себя правило последовательности как частный случай при m = 2, что и должно быть при обобщении. Поскольку предложения или события Ai являются взаимоисключающими, можно объединить m категорий в 2. Просто суммируйте вероятности Ai, соответствующие «успеху», чтобы получить вероятность успеха. Предположим, что c категорий объединяются как «успех», а m – c категорий как «неудача». Обозначим s суммой соответствующих значений ni, которые были обозначены как «успех». Тогда вероятность «успеха» при следующей попытке равна:

что отличается от исходного правила последовательности. Однако следует отметить, что исходное правило последовательности основано на I2, в то время как обобщение основано на Im. Это означает, что информация, содержащаяся в Im, отличается от информации, содержащейся в I2. Это указывает на то, что знание о более чем двух возможных исходах является релевантной информацией при сведении этих категорий всего лишь к двум. Это иллюстрирует тонкость описания априорной информации и важность указания используемой априорной информации.

Дальнейший анализ

Хорошая модель необходима (т.е. хороший компромисс между точностью и практичностью). Перефразируя Лапласа по проблеме восхода солнца: хотя у нас есть огромное количество наблюдений восхода солнца, существуют гораздо лучшие модели солнца, чем предположение о наличии у него определенной вероятности восхода каждый день, например, просто наличие периода полураспада. При наличии хорошей модели, лучше всего сделать максимально возможное количество наблюдений, в зависимости от ожидаемой надежности априорных знаний, стоимости наблюдений, доступного времени и ресурсов, а также требуемой точности. Один из самых сложных аспектов правила последовательности – это не математические формулы, а ответ на вопрос: когда применимо правило последовательности? В разделе об обобщении это было очень четко отмечено путем добавления априорной информации Im в вычисления. Таким образом, правило последовательности применимо только тогда, когда все, что известно о явлении, заключается в наличии m известных возможных исходов до получения каких-либо данных. Если правило последовательности применяется к задачам, где оно неточно описывает предыдущее состояние знаний, оно может давать контринтуитивные результаты. Это не связано с дефектностью правила последовательности, а с тем, что оно фактически отвечает на другой вопрос, основанный на другой априорной информации. В принципе (см. правило Кромвеля), ни одна возможность не должна иметь вероятность (или псевдосчет) равную нулю, поскольку ничто в физическом мире не должно считаться строго невозможным (хотя это может быть), даже если это противоречит всем наблюдениям и текущим теориям. Действительно, правило Байеса совершенно не учитывает наблюдение, которое ранее считалось имеющим нулевую вероятность – оно по-прежнему объявляется невозможным. Однако рассмотрение только фиксированного набора возможностей является допустимым подходом, нужно лишь помнить, что результаты обусловлены (или ограничены) рассматриваемым набором, а не каким-то "универсальным" набором. Фактически, Ларри Бретторст показывает, что включение возможности "чего-то другого" в пространство гипотез не влияет на относительные вероятности других гипотез – оно просто перенормирует их, чтобы в сумме они давали значение меньше 1. Пока "что-то другое" не определено, функция правдоподобия, обусловленная этим "чем-то другим", является неопределенной, как ее можно определить? Следовательно, обновление априорной вероятности для "чего-то другого" не может произойти, пока оно не будет определено более точно. Однако иногда возникает вопрос, должны ли априорные знания влиять только на относительные вероятности, или также на общий вес априорных знаний по сравнению с фактическими наблюдениями. На этот вопрос нет однозначного ответа, поскольку он зависит от того, какие априорные знания рассматриваются. Фактически, альтернативное априорное состояние знаний может быть сформулировано следующим образом: "Я указал m потенциальных категорий, но уверен, что до получения данных возможна только одна из них. Однако я не знаю, какая именно категория". Математическим способом описать это априорное состояние является распределение Дирихле, в котором все параметры равны m-1, что дает псевдосчет 1 знаменателю вместо m и добавляет псевдосчет m-1 к каждой категории. Это дает немного иную вероятность в бинарном случае. Априорные вероятности стоит оценивать с существенными усилиями только тогда, когда они, вероятно, окажут значительное влияние. Они могут быть важны, когда имеется мало наблюдений – особенно когда их так мало, что наблюдений некоторых возможностей было мало или не было вообще, например, редкого животного в данном регионе. Также важно, когда имеется много наблюдений, и предполагается, что ожидание должно быть сильно смещено в сторону априорных оценок, несмотря на многочисленные наблюдения, свидетельствующие об обратном, например, для колеса рулетки в уважаемом казино. В последнем случае, по крайней мере, некоторые псевдосчета могут быть очень большими. Они не всегда малы и поэтому быстро перевешиваются фактическими наблюдениями, как часто предполагается. Однако, хотя это и крайняя мера, для повседневных целей априорные знания обычно жизненно важны. Поэтому большинство решений должны быть в определенной степени субъективными (зависящими от аналитика и используемого анализа).

A good model is essential (i. e., a good compromise between accuracy and practicality). To paraphrase Laplace on the sunrise problem: Although we have a huge number of samples of the sun rising, there are far better models of the sun than assuming it has a certain probability of rising each day, e. g., simply having a half life. Given a good model, it is best to make as many observations as practicable, depending on the expected reliability of prior knowledge, cost of observations, time and resources available, and accuracy required. One of the most difficult aspects of the rule of succession is not the mathematical formulas, but answering the question: When does the rule of succession apply? In the generalisation section, it was noted very explicitly by adding the prior information Im into the calculations. Thus, when all that is known about a phenomenon is that there are m known possible outcomes prior to observing any data, only then does the rule of succession apply. If the rule of succession is applied in problems where this does not accurately describe the prior state of knowledge, then it may give counter intuitive results. This is not because the rule of succession is defective, but that it is effectively answering a different question, based on different prior information. In principle (see Cromwell's rule), no possibility should have its probability (or its pseudocount) set to zero, since nothing in the physical world should be assumed strictly impossible (though it may be)—even if contrary to all observations and current theories. Indeed, Bayes rule takes absolutely no account of an observation previously believed to have zero probability—it is still declared impossible. However, only considering a fixed set of the possibilities is an acceptable route, one just needs to remember that the results are conditional on (or restricted to) the set being considered, and not some "universal" set. In fact Larry Bretthorst shows that including the possibility of "something else" into the hypothesis space makes no difference to the relative probabilities of the other hypothesis—it simply renormalises them to add up to a value less than 1. Until "something else" is specified, the likelihood function conditional on this "something else" is indeterminate, for how is one to determine ? Thus no updating of the prior probability for "something else" can occur until it is more accurately defined. However, it is sometimes debatable whether prior knowledge should affect the relative probabilities, or also the total weight of the prior knowledge compared to actual observations. This does not have a clear cut answer, for it depends on what prior knowledge one is considering. In fact, an alternative prior state of knowledge could be of the form "I have specified m potential categories, but I am sure that only one of them is possible prior to observing the data. However, I do not know which particular category this is." A mathematical way to describe this prior is the Dirichlet distribution with all parameters equal to m−1, which then gives a pseudocount of 1 to the denominator instead of m, and adds a pseudocount of m−1 to each category. This gives a slightly different probability in the binary case of
Prior probabilities are only worth spending significant effort estimating when likely to have significant effect. They may be important when there are few observations — especially when so few that there have been few, if any, observations of some possibilities – such as a rare animal, in a given region. Also important when there are many observations, where it is believed that the expectation should be heavily weighted towards the prior estimates, in spite of many observations to the contrary, such as for a roulette wheel in a well respected casino. In the latter case, at least some of the pseudocounts may need to be very large. They are not always small, and thereby soon outweighed by actual observations, as is often assumed. However, although a last resort, for everyday purposes, prior knowledge is usually vital. So most decisions must be subjective to some extent (dependent upon the analyst and analysis used).