Байесовская статистика: теория и применение

Введение

Теория в области статистики

Байесовская статистика (англ. Bayesian statistics) — это теория в области статистики, основанная на байесовской интерпретации вероятности, где вероятность выражает степень уверенности в событии. Степень уверенности может основываться на априорных знаниях о событии, таких как результаты предыдущих экспериментов, или на личных убеждениях относительно события. Это отличается от ряда других интерпретаций вероятности, например, частотной интерпретации, которая рассматривает вероятность как предел относительной частоты события при большом числе испытаний. Более конкретно, в байесовских методах анализ кодирует априорные знания в форме априорного распределения. Байесовские статистические методы используют теорему Байеса для вычисления и обновления вероятностей после получения новых данных. Теорема Байеса описывает условную вероятность события, основанную на данных, а также на априорной информации или убеждениях о событии или условиях, связанных с ним. Например, в байесовском выводе теорема Байеса может использоваться для оценки параметров распределения вероятностей или статистической модели. Поскольку байесовская статистика рассматривает вероятность как степень уверенности, теорема Байеса может напрямую присваивать распределение вероятностей, которое количественно определяет эту уверенность, параметру или набору параметров. Лаплас использовал методы, которые сейчас считаются байесовскими, для решения ряда статистических задач. Многие байесовские методы были разработаны более поздними исследователями, но термин не получил широкого распространения для описания таких методов до 1950-х годов. На протяжении большей части XX века многие статистики относились к байесовским методам с недоверием из-за философских и практических соображений. Для реализации многих байесовских методов требовались значительные вычислительные ресурсы, и большинство методов, широко используемых в течение столетия, основывались на частотной интерпретации. Однако с появлением мощных компьютеров и новых алгоритмов, таких как метод Монте-Карло на цепях Маркова, байесовские методы получили все более широкое применение в статистике в XXI веке.

Bayesian statistics ('/b//eɪ//z//i//ən/ BAYzeeən or '/b//eɪ//ʒ//ən/ BAYzhən) is a theory in the field of statistics based on the Bayesian interpretation of probability, where probability expresses a degree of belief in an event. The degree of belief may be based on prior knowledge about the event, such as the results of previous experiments, or on personal beliefs about the event. This differs from a number of other interpretations of probability, such as the frequentist interpretation, which views probability as the limit of the relative frequency of an event after many trials. More concretely, analysis in Bayesian methods codifies prior knowledge in the form of a prior distribution. Bayesian statistical methods use Bayes' theorem to compute and update probabilities after obtaining new data. Bayes' theorem describes the conditional probability of an event based on data as well as prior information or beliefs about the event or conditions related to the event. For example, in Bayesian inference, Bayes' theorem can be used to estimate the parameters of a probability distribution or statistical model. Since Bayesian statistics treats probability as a degree of belief, Bayes' theorem can directly assign a probability distribution that quantifies the belief to the parameter or set of parameters. Laplace used methods that would now be considered Bayesian to solve a number of statistical problems. Many Bayesian methods were developed by later authors, but the term was not commonly used to describe such methods until the 1950s. During much of the 20th century, Bayesian methods were viewed unfavorably by many statisticians due to philosophical and practical considerations. Many Bayesian methods required much computation to complete, and most methods that were widely used during the century were based on the frequentist interpretation. However, with the advent of powerful computers and new algorithms like Markov chain Monte Carlo, Bayesian methods have seen increasing use within statistics in the 21st century.

Теорема Бейса

Теорема Байеса используется в байесовских методах для обновления вероятностей, являющихся мерой уверенности, после получения новых данных. Для двух событий и , условная вероятность при условии, что истинно, выражается следующим образом:

где. Хотя теорема Байеса является фундаментальным результатом теории вероятностей, она имеет специфическую интерпретацию в байесовской статистике. В приведенном выше уравнении обычно представляет собой гипотезу (например, утверждение о том, что монета выпадает орлом в 50% случаев), а – свидетельство, или новые данные, которые необходимо учесть (например, результаты серии подбрасываний монеты). – это априорная вероятность , выражающая наши убеждения относительно до учета свидетельств. Априорная вероятность также может отражать предварительные знания или информацию о . – это функция правдоподобия, которую можно интерпретировать как вероятность свидетельства при условии, что истинно. Функция правдоподобия количественно определяет, насколько свидетельство подтверждает гипотезу . – это апостериорная вероятность, вероятность гипотезы после учета свидетельства . По сути, теорема Байеса обновляет априорные убеждения с учетом новых свидетельств. В классическом частотном подходе параметры модели и гипотезы считаются фиксированными. В частотном подходе вероятности не присваиваются параметрам или гипотезам. Например, в частотном подходе не имеет смысла напрямую присваивать вероятность событию, которое может произойти только один раз, например, результату следующего подбрасывания честной монеты. Однако логично утверждать, что доля выпадений орла стремится к половине при увеличении числа подбрасываний монеты. Статистические модели задают набор статистических предположений и процессов, описывающих способ генерации выборочных данных. Статистические модели имеют ряд параметров, которые можно изменять. Например, монету можно представить как выборки из распределения Бернулли, моделирующего два возможных исхода. Распределение Бернулли имеет один параметр, равный вероятности одного из исходов, который в большинстве случаев является вероятностью выпадения орла. Построение хорошей модели для данных является ключевым в байесовском выводе. В большинстве случаев модели лишь приближают истинный процесс и могут не учитывать определенные факторы, влияющие на данные.

where Although Bayes' theorem is a fundamental result of probability theory, it has a specific interpretation in Bayesian statistics. In the above equation, usually represents a proposition (such as the statement that a coin lands on heads fifty percent of the time) and represents the evidence, or new data that is to be taken into account (such as the result of a series of coin flips). is the prior probability of which expresses one's beliefs about before evidence is taken into account. The prior probability may also quantify prior knowledge or information about is the likelihood function, which can be interpreted as the probability of the evidence given that is true. The likelihood quantifies the extent to which the evidence supports the proposition is the posterior probability, the probability of the proposition after taking the evidence into account. Essentially, Bayes' theorem updates one's prior beliefs after considering the new evidence In classical frequentist inference, model parameters and hypotheses are considered to be fixed. Probabilities are not assigned to parameters or hypotheses in frequentist inference. For example, it would not make sense in frequentist inference to directly assign a probability to an event that can only happen once, such as the result of the next flip of a fair coin. However, it would make sense to state that the proportion of heads approaches one half as the number of coin flips increases. Statistical models specify a set of statistical assumptions and processes that represent how the sample data are generated. Statistical models have a number of parameters that can be modified. For example, a coin can be represented as samples from a Bernoulli distribution, which models two possible outcomes. The Bernoulli distribution has a single parameter equal to the probability of one outcome, which in most cases is the probability of landing on heads. Devising a good model for the data is central in Bayesian inference. In most cases, models only approximate the true process, and may not take into account certain factors influencing the data.

Статистическое моделирование

Формулирование статистических моделей с использованием байесовской статистики характеризуется необходимостью задания априорных распределений для любых неизвестных параметров. Действительно, параметры априорных распределений сами могут иметь априорные распределения, что приводит к байесовскому иерархическому моделированию, также известному как многоуровневое моделирование. Частным случаем являются байесовские сети. Лучшие практики проведения байесовского статистического анализа обсуждаются ван де Шутом и др. Рекомендации по представлению результатов байесовского статистического анализа (BARG) опубликованы в статье открытого доступа Джона К. Крушке.

Конструкция экспериментов

Байесовский дизайн экспериментов включает в себя концепцию, называемую «влиянием априорных убеждений». Этот подход использует методы последовательного анализа для учета результатов предыдущих экспериментов при планировании следующего эксперимента. Это достигается путем обновления «убеждений» с использованием априорного и апостериорного распределений. Это позволяет эффективно использовать ресурсы всех видов при планировании экспериментов. Примером является задача о многоруком бандите.