Априорное распределение вероятностей неопределённой величины

Введение

Распределение неопределённой величины

Априорное распределение вероятности неопределённой величины, часто называемое просто априорным, представляет собой предполагаемое распределение вероятности до учёта каких-либо данных. Например, априорным может быть распределение вероятности, отражающее относительные пропорции избирателей, которые проголосуют за конкретного политика на предстоящих выборах. Неизвестная величина может быть параметром модели или латентной переменной, а не наблюдаемой переменной. В байесовской статистике правило Байеса предписывает, как обновить априорное распределение с помощью новой информации для получения апостериорного распределения вероятности, которое является условным распределением неопределённой величины при заданных новых данных. Исторически выбор априорных распределений часто ограничивался сопряжённым семейством заданной функции правдоподобия, поскольку это приводило к удобному для вычислений апостериорному распределению того же семейства. Однако широкая доступность методов Монте-Карло Марковских цепей сделала это менее актуальным. Существует множество способов построения априорного распределения. В некоторых случаях априорное распределение может быть определено на основе предыдущей информации, например, предыдущих экспериментов. Априорное распределение также может быть получено на основе субъективной оценки опытного эксперта. Если информация отсутствует, может быть принято неинформативное априорное распределение, что оправдано принципом безразличия. В современных приложениях априорные распределения часто выбираются на основе их практических свойств, таких как регуляризация и отбор признаков. Априорные распределения параметров модели часто зависят от собственных параметров. Неопределённость этих гиперпараметров, в свою очередь, может быть выражена в виде гиперприорных распределений вероятности. Например, если для моделирования распределения параметра p распределения Бернулли используется бета-распределение, то: p является параметром базовой системы (распределения Бернулли), а α и β — параметры априорного распределения (бета-распределения); следовательно, гиперпараметрами. В принципе, априорные распределения могут быть разложены на множество условных уровней распределений, так называемые иерархическими априорными распределениями.

A prior probability distribution of an uncertain quantity, often simply called the prior, is its assumed probability distribution before some evidence is taken into account. For example, the prior could be the probability distribution representing the relative proportions of voters who will vote for a particular politician in a future election. The unknown quantity may be a parameter of the model or a latent variable rather than an observable variable. In Bayesian statistics, Bayes' rule prescribes how to update the prior with new information to obtain the posterior probability distribution, which is the conditional distribution of the uncertain quantity given new data. Historically, the choice of priors was often constrained to a conjugate family of a given likelihood function, for that it would result in a tractable posterior of the same family. The widespread availability of Markov chain Monte Carlo methods, however, has made this less of a concern. There are many ways to construct a prior distribution. In some cases, a prior may be determined from past information, such as previous experiments. A prior can also be elicited from the purely subjective assessment of an experienced expert. When no information is available, an uninformative prior may be adopted as justified by the principle of indifference. In modern applications, priors are also often chosen for their mechanical properties, such as regularization and feature selection. The prior distributions of model parameters will often depend on parameters of their own. Uncertainty about these hyperparameters can, in turn, be expressed as hyperprior probability distributions. For example, if one uses a beta distribution to model the distribution of the parameter p of a Bernoulli distribution, then:
p is a parameter of the underlying system (Bernoulli distribution), and
α and β are parameters of the prior distribution (beta distribution); hence hyperparameters. In principle, priors can be decomposed into many conditional levels of distributions, so called hierarchical priors.

Сильный предварительный

Сильное априорное предположение – это предшествующее предположение, теория, концепция или идея, на основе которых, с учетом новой информации, формируется текущее предположение, теория, концепция или идея. Сильный априор – это тип информативного априор, в котором информация, содержащаяся в априорном распределении, преобладает над информацией, содержащейся в анализируемых данных. Байесовский анализ объединяет информацию, содержащуюся в априорном распределении, с информацией, полученной из данных, для получения апостериорного распределения, которое, в случае "сильного априор", практически не отличается от априорного распределения.

Слабо информативные предыдущие исследования

Слабо информативный априорный параметр выражает частичную информацию о переменной, направляя анализ к решениям, соответствующим имеющимся знаниям, не слишком ограничивая результаты и не исключая экстремальные оценки. Например, при задании априорного распределения для температуры завтра в полдень в Сент-Луисе можно использовать нормальное распределение со средним значением 50 градусов по Фаренгейту и стандартным отклонением 40 градусов, что лишь незначительно ограничивает температуру диапазоном (10 градусов, 90 градусов) с небольшой вероятностью опуститься ниже 30 градусов или подняться выше 130 градусов. Цель слабо информативного априорного параметра – регуляризация, то есть поддержание выводов в разумных пределах.

Неинформативные приоры

Неинформативный, плоский или диффузный априорный распределение выражает расплывчатую или общую информацию о переменной. В качестве более спорного примера, Джейнс опубликовал аргумент, основанный на инвариантности априорного распределения при изменении параметров, который предполагает, что априорным распределением, представляющим полную неопределенность относительно вероятности, должно быть априорное распределение Холдена p⁻¹(1 − p)⁻¹. Пример, который приводит Джейнс, – это обнаружение химического вещества в лаборатории и вопрос о том, растворится ли оно в воде в ходе повторных экспериментов. Априорное распределение Холдена придает наибольший вес значениям 0 и 1, указывая на то, что образец будет растворяться каждый раз или никогда не растворяться, с равной вероятностью. Однако, если наблюдалось, что образцы химического вещества растворяются в одном эксперименте и не растворяются в другом, то это априорное распределение обновляется до равномерного распределения на интервале [0, 1]. Это достигается путем применения теоремы Байеса к набору данных, состоящему из одного наблюдения растворения и одного наблюдения нерастворения, используя вышеуказанное априорное распределение. Априорное распределение Холдена является несобственным априорным распределением (то есть имеет бесконечную массу). Гарольд Джеффрис разработал систематический способ конструирования неинформативных априорных распределений, например, априорное распределение Джеффриса p⁻¹/²(1 − p)⁻¹/² для случайной переменной Бернулли. Априорные распределения могут быть построены пропорционально мере Хаара, если параметрическое пространство X имеет естественную структуру группы, которая сохраняет наше байесовское состояние знаний. Такие методы используются в теории индуктивного вывода Соломоноффа. Конструирование объективных априорных распределений было недавно внедрено в биоинформатике, и особенно в биологии раковых систем, где размер выборки ограничен и доступно большое количество априорных знаний. В этих методах используется либо критерий, основанный на теории информации, такой как дивергенция Кульбака — Лейблера, либо функция логарифмического правдоподобия для задач бинарного обучения с учителем и задач смешанных моделей. Философские проблемы, связанные с неинформативными априорными распределениями, связаны с выбором подходящей метрики или шкалы измерения. Предположим, мы хотим узнать о скорости бега неизвестного нам бегуна. Мы могли бы указать, скажем, нормальное распределение в качестве априорного для его скорости, но альтернативно мы могли бы указать нормальное априорное распределение для времени, которое он затрачивает на преодоление 100 метров, которое пропорционально обратной величине первого априорного распределения. Это очень разные априорные распределения, но неясно, какое из них предпочтительнее. Метод групп преобразований Джейнса может ответить на этот вопрос в некоторых ситуациях. Аналогично, если попросить оценить неизвестную пропорцию между 0 и 1, мы можем сказать, что все пропорции равновероятны, и использовать равномерное априорное распределение. Альтернативно, мы можем сказать, что все порядки величины для пропорции равновероятны, логарифмическое априорное распределение, которое является равномерным априорным распределением на логарифме пропорции. Априорное распределение Джеффриса пытается решить эту проблему, вычислив априорное распределение, которое выражает одно и то же убеждение, независимо от используемой метрики. Априорное распределение Джеффриса для неизвестной пропорции p равно p⁻¹/²(1 − p)⁻¹/², что отличается от рекомендации Джейнса. Априорные распределения, основанные на понятиях алгоритмической вероятности, используются в индуктивном выводе в качестве основы для индукции в очень общих условиях. Практические проблемы, связанные с неинформативными априорными распределениями, включают требование, чтобы апостериорное распределение было собственным. Обычные неинформативные априорные распределения для непрерывных, неограниченных переменных являются несобственными. Это не обязательно является проблемой, если апостериорное распределение является собственным. Другой важный вопрос заключается в том, что если неинформативное априорное распределение будет использоваться регулярно, то есть с множеством различных наборов данных, оно должно иметь хорошие частотные свойства. Обычно байесовцы не будут заниматься такими вопросами, но это может быть важно в данной ситуации. Например, можно предположить, что любое правило принятия решения, основанное на апостериорном распределении, должно быть допустимым в соответствии с принятой функцией потерь. К сожалению, проверка допустимости часто бывает трудной, хотя некоторые результаты известны (например, Berger и Strawderman 1996). Проблема особенно актуальна для иерархических байесовских моделей; обычные априорные распределения (например, априорное распределение Джеффриса) могут давать плохо допустимые правила принятия решений, если они используются на более высоких уровнях иерархии.

An uninformative, flat, or diffuse prior expresses vague or general information about a variable. As a more contentious example, Jaynes published an argument based on the invariance of the prior under a change of parameters that suggests that the prior representing complete uncertainty about a probability should be the Haldane prior p−1(1 − p)−1. The example Jaynes gives is of finding a chemical in a lab and asking whether it will dissolve in water in repeated experiments. The Haldane prior gives by far the most weight to and , indicating that the sample will either dissolve every time or never dissolve, with equal probability. However, if one has observed samples of the chemical to dissolve in one experiment and not to dissolve in another experiment then this prior is updated to the uniform distribution on the interval [0, 1]. This is obtained by applying Bayes' theorem to the data set consisting of one observation of dissolving and one of not dissolving, using the above prior. The Haldane prior is an improper prior distribution (meaning that it has an infinite mass). Harold Jeffreys devised a systematic way for designing uninformative priors as e. g., Jeffreys prior p−1/2(1 − p)−1/2 for the Bernoulli random variable. Priors can be constructed which are proportional to the Haar measure if the parameter space X carries a natural group structure which leaves invariant our Bayesian state of knowledge. Such methods are used in Solomonoff's theory of inductive inference. Constructing objective priors have been recently introduced in bioinformatics, and specially inference in cancer systems biology, where sample size is limited and a vast amount of prior knowledge is available. In these methods, either an information theory based criterion, such as KL divergence or log likelihood function for binary supervised learning problems and mixture model problems. Philosophical problems associated with uninformative priors are associated with the choice of an appropriate metric, or measurement scale. Suppose we want a prior for the running speed of a runner who is unknown to us. We could specify, say, a normal distribution as the prior for his speed, but alternatively we could specify a normal prior for the time he takes to complete 100 metres, which is proportional to the reciprocal of the first prior. These are very different priors, but it is not clear which is to be preferred. Jaynes' method of transformation groups can answer this question in some situations. Similarly, if asked to estimate an unknown proportion between 0 and 1, we might say that all proportions are equally likely, and use a uniform prior. Alternatively, we might say that all orders of magnitude for the proportion are equally likely, the logarithmic prior, which is the uniform prior on the logarithm of proportion. The Jeffreys prior attempts to solve this problem by computing a prior which expresses the same belief no matter which metric is used. The Jeffreys prior for an unknown proportion p is p−1/2(1 − p)−1/2, which differs from Jaynes' recommendation. Priors based on notions of algorithmic probability are used in inductive inference as a basis for induction in very general settings. Practical problems associated with uninformative priors include the requirement that the posterior distribution be proper. The usual uninformative priors on continuous, unbounded variables are improper. This need not be a problem if the posterior distribution is proper. Another issue of importance is that if an uninformative prior is to be used routinely, i. e., with many different data sets, it should have good frequentist properties. Normally a Bayesian would not be concerned with such issues, but it can be important in this situation. For example, one would want any decision rule based on the posterior distribution to be admissible under the adopted loss function. Unfortunately, admissibility is often difficult to check, although some results are known (e. g., Berger and Strawderman 1996). The issue is particularly acute with hierarchical Bayes models; the usual priors (e. g., Jeffreys' prior) may give badly inadmissible decision rules if employed at the higher levels of the hierarchy.

Неправильные приоритеты

Пусть события будут взаимоисключающими и исчерпывающими. Если теорема Байеса записана как , то очевидно, что тот же результат будет получен, если все априорные вероятности P(Ai) и P(Aj) умножить на некоторую постоянную; то же самое справедливо и для непрерывной случайной величины. Если сумма в знаменателе сходится, апостериорные вероятности все равно будут суммироваться (или интегрироваться) в 1, даже если априорные значения не нормированы, и поэтому априорные распределения могут быть заданы только в правильной пропорции. Развивая эту идею, во многих случаях сумма или интеграл априорных значений может даже не быть конечным, чтобы получить осмысленные значения для апостериорных вероятностей. В этом случае априорное распределение называется несобственным. Однако, апостериорное распределение не обязательно будет собственным, если априорное распределение несобственное. Это очевидно из случая, когда событие B не зависит от всех Aj. Статистики иногда используют несобственные априорные распределения как неинформативные. Например, если им необходимо априорное распределение для среднего и дисперсии случайной величины, они могут предположить p(m, v) ~ 1/v (при v > 0), что подразумевает, что любое значение среднего "равновероятно", а значение положительной дисперсии становится "менее вероятным" обратно пропорционально ее значению. Многие авторы (Линдли, 1973; Де Грот, 1937; Касс и Вассерман, 1996) предостерегают от опасности чрезмерной интерпретации этих априорных распределений, поскольку они не являются функциями плотности вероятности. Единственная релевантность, которую они имеют, заключается в соответствующем апостериорном распределении, при условии, что оно хорошо определено для всех наблюдений. (Априорное распределение Холдейна является типичным контрпримером.) В отличие от этого, функции правдоподобия не требуют интегрирования, а функция правдоподобия, равномерно равная 1, соответствует отсутствию данных (все модели равновероятны при отсутствии данных): правило Байеса умножает априорное распределение на функцию правдоподобия, а пустое произведение – это просто постоянная функция правдоподобия, равная 1. Однако, не начиная с априорного распределения вероятностей, нельзя получить апостериорное распределение вероятностей и, следовательно, нельзя интегрировать или вычислять математические ожидания или потери. Подробности см. в.

Let events be mutually exclusive and exhaustive. If Bayes' theorem is written as

then it is clear that the same result would be obtained if all the prior probabilities P(Ai) and P(Aj) were multiplied by a given constant; the same would be true for a continuous random variable. If the summation in the denominator converges, the posterior probabilities will still sum (or integrate) to 1 even if the prior values do not, and so the priors may only need to be specified in the correct proportion. Taking this idea further, in many cases the sum or integral of the prior values may not even need to be finite to get sensible answers for the posterior probabilities. When this is the case, the prior is called an improper prior. However, the posterior distribution need not be a proper distribution if the prior is improper. This is clear from the case where event B is independent of all of the Aj. Statisticians sometimes use improper priors as uninformative priors. For example, if they need a prior distribution for the mean and variance of a random variable, they may assume p(m, v) ~ 1/v (for v > 0) which would suggest that any value for the mean is "equally likely" and that a value for the positive variance becomes "less likely" in inverse proportion to its value. Many authors (Lindley, 1973; De Groot, 1937; Kass and Wasserman, 1996) warn against the danger of over interpreting those priors since they are not probability densities. The only relevance they have is found in the corresponding posterior, as long as it is well defined for all observations. (The Haldane prior is a typical counterexample.) By contrast, likelihood functions do not need to be integrated, and a likelihood function that is uniformly 1 corresponds to the absence of data (all models are equally likely, given no data): Bayes' rule multiplies a prior by the likelihood, and an empty product is just the constant likelihood 1. However, without starting with a prior probability distribution, one does not end up getting a posterior probability distribution, and thus cannot integrate or compute expected values or loss. See for details.

Пример

Следующий пример иллюстрирует априорную вероятность (или априорное взвешивание) в (а) классическом и (b) квантовом контекстах.