Теория вероятностей и случайность

Введение

Ветвь математики, изучающая случайность и неопределенность.

Вероятность – это раздел математики, изучающий события и количественное определение степени их возможности. Вероятность события – это число от 0 до 1; чем выше вероятность, тем более вероятно наступление события. Строго говоря, вероятность 0 указывает на то, что событие почти никогда не происходит, а вероятность 1 – на то, что событие почти наверняка произойдет. Это важное различие, особенно когда пространство элементарных событий бесконечно. Например, для непрерывного равномерного распределения на вещественном интервале [5, 10] существует бесконечное число возможных исходов, и вероятность любого конкретного исхода, например, ровно 7, равна 0. Это означает, что наблюдение почти наверняка не будет равно 7. Однако это не означает, что значение ровно 7 невозможно. В конечном итоге будет наблюдаться какой-то конкретный исход (с вероятностью 0), и ровно 7 является одним из возможных исходов. Простой пример – подбрасывание честной (неискаженной) монеты. Поскольку монета честная, два исхода («орел» и «решка») равновероятны; вероятность выпадения «орла» равна вероятности выпадения «решки»; и поскольку других исходов быть не может, вероятность выпадения «орла» или «решки» составляет 1/2 (что также можно записать как 0,5 или 50%). Эти понятия получили аксиоматическую математическую формализацию в теории вероятностей, которая широко используется в таких областях, как статистика, математика, естественные науки, финансы, азартные игры, искусственный интеллект, машинное обучение, информатика, теория игр и философия, например, для получения выводов об ожидаемой частоте событий. Теория вероятностей также используется для описания фундаментальных механизмов и закономерностей сложных систем.

Интерпретации

При работе со случайными экспериментами – то есть экспериментами, которые являются случайными и чётко определёнными – в чисто теоретической постановке (например, подбрасывание монеты), вероятности можно численно описать как отношение числа благоприятных исходов к общему числу всех возможных исходов. Это называется теоретической вероятностью (в отличие от эмпирической вероятности, которая рассматривает вероятности в контексте реальных экспериментов). Например, при двухкратном подбрасывании монеты возможны исходы: «орёл-орёл», «орёл-решка», «решка-орёл» и «решка-решка». Вероятность выпадения «орёл-орёл» составляет 1 из 4 возможных исходов, или, в числовом выражении, 1/4, 0,25 или 25%. Однако, при практическом применении существуют две основные конкурирующие категории интерпретаций вероятности, сторонники которых придерживаются различных взглядов на фундаментальную природу вероятности: объективисты присваивают числа для описания некоторого объективного или физического состояния дел. Наиболее распространённой версией объективной вероятности является частотная вероятность, которая утверждает, что вероятность случайного события отражает относительную частоту появления исхода эксперимента при бесконечном повторении эксперимента. Эта интерпретация рассматривает вероятность как относительную частоту исходов «в длинной серии». Модификацией этой концепции является предрасположенностная вероятность, которая интерпретирует вероятность как склонность эксперимента приводить к определённому исходу, даже если он проводится лишь однажды. Субъективисты присваивают числа, отражающие субъективную вероятность, то есть степень уверенности. Степень уверенности интерпретируется как «цена, по которой вы готовы купить или продать пари, выплачивающее 1 единицу полезности в случае наступления события E и 0 в противном случае», хотя эта интерпретация не является общепринятой. Наиболее распространённой версией субъективной вероятности является байесовская вероятность, которая использует как экспертные знания, так и экспериментальные данные для вычисления вероятностей. Экспертные знания представляются некоторым (субъективным) априорным распределением вероятностей. Эти данные включаются в функцию правдоподобия. Произведение априорного распределения и функции правдоподобия, после нормализации, даёт апостериорное распределение вероятностей, которое учитывает всю известную на данный момент информацию. Согласно теореме согласия Аумана, байесовские агенты с похожими априорными убеждениями придут к схожим апостериорным убеждениям. Однако, существенно различающиеся априорные распределения могут привести к разным выводам, независимо от объёма обмениваемой информации.

When dealing with random experiments – i. e., experiments that are random and well defined – in a purely theoretical setting (like tossing a coin), probabilities can be numerically described by the number of desired outcomes, divided by the total number of all outcomes. This is referred to as theoretical probability (in contrast to empirical probability, dealing with probabilities in the context of real experiments). For example, tossing a coin twice will yield "head head", "head tail", "tail head", and "tail tail" outcomes. The probability of getting an outcome of "head head" is 1 out of 4 outcomes, or, in numerical terms, 1/4, 0.25 or 25%. However, when it comes to practical application, there are two major competing categories of probability interpretations, whose adherents hold different views about the fundamental nature of probability:
Objectivists assign numbers to describe some objective or physical state of affairs. The most popular version of objective probability is frequentist probability, which claims that the probability of a random event denotes the relative frequency of occurrence of an experiment's outcome when the experiment is repeated indefinitely. This interpretation considers probability to be the relative frequency "in the long run" of outcomes. A modification of this is propensity probability, which interprets probability as the tendency of some experiment to yield a certain outcome, even if it is performed only once. Subjectivists assign numbers per subjective probability, that is, as a degree of belief. The degree of belief has been interpreted as "the price at which you would buy or sell a bet that pays 1 unit of utility if E, 0 if not E", although that interpretation is not universally agreed upon. The most popular version of subjective probability is Bayesian probability, which includes expert knowledge as well as experimental data to produce probabilities. The expert knowledge is represented by some (subjective) prior probability distribution. These data are incorporated in a likelihood function. The product of the prior and the likelihood, when normalized, results in a posterior probability distribution that incorporates all the information known to date. By Aumann's agreement theorem, Bayesian agents whose prior beliefs are similar will end up with similar posterior beliefs. However, sufficiently different priors can lead to different conclusions, regardless of how much information the agents share.

Этимология

Слово «вероятность» происходит от латинского probabilitas, которое также может означать «честность» или «достоверность» – меру авторитета свидетеля в судебном деле в Европе, часто связанную с его знатностью. В некотором смысле это существенно отличается от современного значения вероятности, которая, напротив, является мерой веса эмпирических данных и выводится посредством индуктивного рассуждения и статистического вывода.

История

Научное изучение вероятности — современное развитие математики. Азартные игры показывают, что на протяжении истории существовал интерес к количественному определению идей вероятности, но точные математические описания возникли гораздо позже. Существуют причины замедленного развития математики вероятности. Если азартные игры послужили стимулом для математического изучения вероятности, то фундаментальные вопросы, в контексте книги, из которой это взято, – это теория вероятности и лежащая в ее основе логика, определяющая явления, в отличие от безрассудных предсказаний, основанных на чистой удаче или мифологических аргументах, таких как боги удачи, помогающие победителю игры, – по-прежнему остаются затуманенными суевериями. По словам Ричарда Джеффри, «до середины XVII века термин «вероятный» (лат. probabilis) означал одобряемый и применялся в этом смысле однозначно к мнению и действию. Вероятное действие или мнение – это то, что здравомыслящие люди предприняли бы или придерживались бы в данных обстоятельствах». Однако, особенно в юридическом контексте, «вероятный» также мог применяться к утверждениям, для которых имелись веские доказательства. Итальянский ученый-энциклопедист XVI века Джероламо Кардано продемонстрировал эффективность определения коэффициента как отношения благоприятных исходов к неблагоприятным (что подразумевает, что вероятность события определяется отношением благоприятных исходов к общему числу возможных исходов). Помимо элементарных работ Кардано, зарождение доктрины вероятностей относится к переписке Пьера де Ферма и Блеза Паскаля (1654). Кристиан Гюйгенс (1657) представил самое раннее известное научное изложение этой темы. «Искусство догадок» Якоба Бернулли (посмертно, 1713) и «Учение о шансах» Авраама де Муавра (1718) рассматривали этот предмет как раздел математики. См. книгу Иэна Хэкинга «Появление вероятности» для истории раннего развития самого понятия математической вероятности. Теория ошибок восходит к «Opera Miscellanea» Роджера Коутса (посмертно, 1722), но мемуар, подготовленный Томасом Симпсоном в 1755 году (опубликован в 1756), впервые применил теорию к обсуждению ошибок наблюдений. В переиздании (1757) этого мемуара изложены аксиомы о том, что положительные и отрицательные ошибки равновероятны, и что определенные допустимые пределы определяют диапазон всех ошибок. Симпсон также обсуждает непрерывные ошибки и описывает кривую вероятности. Первые два предложенных закона ошибок были сформулированы Пьером Симоном Лапласом. Первый закон был опубликован в 1774 году и утверждал, что частота ошибки может быть выражена как экспоненциальная функция числовой величины ошибки, без учета знака. Второй закон ошибки был предложен Лапласом в 1778 году и утверждал, что частота ошибки является экспоненциальной функцией квадрата ошибки. Второй закон ошибки называется нормальным распределением или законом Гаусса. «Исторически сложно приписать этот закон Гауссу, который, несмотря на свою известную раннюю одаренность, вероятно, не сделал этого открытия до двухлетнего возраста». Не зная о вкладе Лежандра, ирландский американский писатель Роберт Адрейн, редактор «The Analyst» (1808), впервые вывел закон легкости ошибок, где – константа, зависящая от точности наблюдения, а – масштабный фактор, обеспечивающий, чтобы площадь под кривой равнялась 1. Он привел два доказательства, второе из которых по существу совпадает с доказательством Джона Гершеля (1850). Гаусс представил первое доказательство, которое, по-видимому, было известно в Европе (третье после доказательства Адрейна) в 1809 году. Дальнейшие доказательства были даны Лапласом (1810, 1812), Гауссом (1823), Джеймсом Айвори (1825, 1826), Хагеном (1837), Фридрихом Бесселем (1838), В. Ф. Донкином (1844, 1856) и Морганом Крофтоном (1870). Другими авторами были Эллис (1844), Де Морган (1864), Глейшер (1872) и Джованни Скиапарелли (1875). Хорошо известна формула Петерса (1856) для r, вероятной ошибки одного наблюдения. В XIX веке к авторам общей теории относились Лаплас, Сильвестр Лакруа (1816), Литтров (1833), Адольф Кетеле (1853), Рихард Дедекинд (1860), Гельмерт (1872), Германн Лоран (1873), Лиагре, Дидион и Карл Пирсон. Август Де Морган и Джордж Буль улучшили изложение теории. В 1906 году Андрей Марков ввел понятие цепей Маркова, которое сыграло важную роль в теории стохастических процессов и ее приложениях. Современная теория вероятности, основанная на теории меры, была разработана Андреем Колмогоровым в 1931 году. Что касается геометрической стороны, то к «The Educational Times» внесли вклад Миллер, Крофтон, Макколл, Вольстенхолм, Уотсон и Артемас Мартин. Подробнее см. интегральную геометрию.

The scientific study of probability is a modern development of mathematics. Gambling shows that there has been an interest in quantifying the ideas of probability throughout history, but exact mathematical descriptions arose much later. There are reasons for the slow development of the mathematics of probability. Whereas games of chance provided the impetus for the mathematical study of probability, fundamental issues In the context of the book that this is quoted from, it is the theory of probability and the logic behind it that governs the phenomena of such things compared to rash predictions that rely on pure luck or mythological arguments such as gods of luck helping the winner of the game. are still obscured by superstitions. According to Richard Jeffrey, "Before the middle of the seventeenth century, the term 'probable' (Latin probabilis) meant approvable, and was applied in that sense, univocally, to opinion and to action. A probable action or opinion was one such as sensible people would undertake or hold, in the circumstances." However, in legal contexts especially, 'probable' could also apply to propositions for which there was good evidence. The sixteenth century Italian polymath Gerolamo Cardano demonstrated the efficacy of defining odds as the ratio of favourable to unfavourable outcomes (which implies that the probability of an event is given by the ratio of favourable outcomes to the total number of possible outcomes). Aside from the elementary work by Cardano, the doctrine of probabilities dates to the correspondence of Pierre de Fermat and Blaise Pascal (1654). Christiaan Huygens (1657) gave the earliest known scientific treatment of the subject. Jakob Bernoulli's Ars Conjectandi (posthumous, 1713) and Abraham de Moivre's Doctrine of Chances (1718) treated the subject as a branch of mathematics. See Ian Hacking's The Emergence of Probability for histories of the early development of the very concept of mathematical probability. The theory of errors may be traced back to Roger Cotes's Opera Miscellanea (posthumous, 1722), but a memoir prepared by Thomas Simpson in 1755 (printed 1756) first applied the theory to the discussion of errors of observation. The reprint (1757) of this memoir lays down the axioms that positive and negative errors are equally probable, and that certain assignable limits define the range of all errors. Simpson also discusses continuous errors and describes a probability curve. The first two laws of error that were proposed both originated with Pierre Simon Laplace. The first law was published in 1774, and stated that the frequency of an error could be expressed as an exponential function of the numerical magnitude of the errordisregarding sign. The second law of error was proposed in 1778 by Laplace, and stated that the frequency of the error is an exponential function of the square of the error. The second law of error is called the normal distribution or the Gauss law. "It is difficult historically to attribute that law to Gauss, who in spite of his well known precocity had probably not made this discovery before he was two years old." In ignorance of Legendre's contribution, an Irish American writer, Robert Adrain, editor of "The Analyst" (1808), first deduced the law of facility of error,

where is a constant depending on precision of observation, and is a scale factor ensuring that the area under the curve equals 1. He gave two proofs, the second being essentially the same as John Herschel's (1850). Gauss gave the first proof that seems to have been known in Europe (the third after Adrain's) in 1809. Further proofs were given by Laplace (1810, 1812), Gauss (1823), James Ivory (1825, 1826), Hagen (1837), Friedrich Bessel (1838), W. F. Donkin (1844, 1856), and Morgan Crofton (1870). Other contributors were Ellis (1844), De Morgan (1864), Glaisher (1872), and Giovanni Schiaparelli (1875). Peters's (1856) formula for r, the probable error of a single observation, is well known. In the nineteenth century, authors on the general theory included Laplace, Sylvestre Lacroix (1816), Littrow (1833), Adolphe Quetelet (1853), Richard Dedekind (1860), Helmert (1872), Hermann Laurent (1873), Liagre, Didion and Karl Pearson. Augustus De Morgan and George Boole improved the exposition of the theory. In 1906, Andrey Markov introduced the notion of Markov chains, which played an important role in stochastic processes theory and its applications. The modern theory of probability based on measure theory was developed by Andrey Kolmogorov in 1931. On the geometric side, contributors to The Educational Times included Miller, Crofton, McColl, Wolstenholme, Watson, and Artemas Martin. See integral geometry for more information.

Теория

Как и другие теории, теория вероятностей представляет свои понятия в формальных терминах, то есть в терминах, которые можно рассматривать независимо от их смысла. Эти формальные термины оперируются правилами математики и логики, а любые результаты интерпретируются или переводятся обратно в контекст решаемой задачи. Было предпринято как минимум две успешные попытки формализации вероятности, а именно формулировка Колмогорова и формулировка Кокса. В формулировке Колмогорова (см. также вероятностное пространство) множества интерпретируются как события, а вероятность – как мера на классе множеств. В теореме Кокса вероятность принимается за аксиому (то есть не подвергается дальнейшему анализу), и основное внимание уделяется построению непротиворечивого присвоения значений вероятности утверждениям. В обоих случаях законы вероятности остаются одинаковыми, за исключением технических деталей. Существуют и другие методы количественной оценки неопределенности, такие как теория Dempster–Shafer или теория возможностей, но они принципиально отличаются и несовместимы с общепринятыми законами вероятности.

Приложения

Теория вероятностей применяется в повседневной жизни при оценке рисков и моделировании. Страховая индустрия и рынки используют актуарную науку для определения ценообразования и принятия торговых решений. Правительства применяют вероятностные методы в экологическом регулировании, анализе прав на получение льгот и финансовом регулировании. Примером использования теории вероятностей в торговле ценными бумагами является влияние воспринимаемой вероятности широкомасштабного ближневосточного конфликта на цены на нефть, что, в свою очередь, оказывает волновой эффект на всю экономику. Оценка трейдерами товаров большей вероятности войны может привести к росту или падению цен на этот товар и сигнализировать другим участникам рынка об этой точке зрения. Соответственно, вероятности оцениваются не независимо и не обязательно рационально. Теория поведенческих финансов возникла для описания влияния такого группового мышления на ценообразование, политику, а также на мир и конфликты. Помимо финансовой оценки, вероятность может быть использована для анализа тенденций в биологии (например, распространение заболеваний) и экологии (например, биологические квадраты Пуннетта). Как и в финансах, оценка рисков может использоваться в качестве статистического инструмента для расчета вероятности наступления нежелательных событий и может помочь в разработке протоколов для предотвращения подобных ситуаций. Вероятность используется при разработке азартных игр, чтобы казино могли получать гарантированную прибыль, при этом выплачивая игрокам выигрыши, достаточно частые для поддержания их интереса к игре. Еще одно важное применение теории вероятностей в повседневной жизни – это надежность. Многие потребительские товары, такие как автомобили и бытовая электроника, используют теорию надежности при проектировании продукции для снижения вероятности отказа. Вероятность отказа может повлиять на решения производителя относительно гарантийных обязательств на продукт. Кэширующая языковая модель и другие статистические языковые модели, используемые в обработке естественного языка, также являются примерами применения теории вероятностей.

Условная вероятность

Условная вероятность — это вероятность события А при условии, что произошло событие В. Условная вероятность записывается как P(A|B) и читается как "вероятность А при условии B". Она определяется как:

P(A|B) = P(A∩B) / P(B)

Если P(B) = 0, то P(A|B) формально не определена этим выражением. В этом случае события A и B независимы, так как P(A|B) = P(A). Однако, возможно определить условную вероятность для некоторых событий с нулевой вероятностью, например, используя σ-алгебру таких событий (таких как те, которые возникают из непрерывной случайной величины). Например, в мешке с 2 красными и 2 синими шарами (всего 4 шара) вероятность вытащить красный шар равна 1/2. Однако, при вытаскивании второго шара, вероятность того, что это будет красный или синий шар, зависит от шара, вытащенного ранее. Например, если был вытащен красный шар, то вероятность вытащить красный шар снова будет 1/3, поскольку останется только 1 красный и 2 синих шара. А если ранее был вытащен синий шар, то вероятность вытащить красный шар будет 2/3.

Вероятность обратного исхода

В теории вероятностей и ее приложениях правило Байеса устанавливает связь между отношением вероятностей события к событию до (априорно) и после (апостериорно) обусловливания другим событием. Отношение вероятностей события к событию – это просто отношение вероятностей этих двух событий. Если интересует произвольное количество событий, а не только два, правило можно перефразировать следующим образом: апостериорная вероятность пропорциональна априорной вероятности, умноженной на правдоподобие, где символ пропорциональности означает, что левая часть пропорциональна (то есть равна константе, умноженной на) правую часть при изменении , при фиксированном или заданном (Lee, 2012; Bertsch McGrayne, 2012). В такой формулировке она восходит к Лапласу (1774) и Курно (1843); см. Фенберг (2005). См. Обратная вероятность и правило Байеса.

Отношение к случайности и вероятности в квантовой механике

В детерминированной вселенной, основанной на ньютоновских концепциях, не было бы вероятности, если бы все условия были известны (демон Лапласа) (но существуют ситуации, в которых чувствительность к начальным условиям превышает наши возможности их измерения, то есть узнать их). В случае рулетки, если известны сила толчка и длительность этого толчка, номер, на котором остановится шарик, был бы предопределен (хотя на практике это, вероятно, справедливо только для рулетки, которая не была идеально выровнена, как показано в «Ньютоновском казино» Томаса А. Басса). Это также предполагает знание инерции и трения колеса, веса, гладкости и округлости шарика, изменений скорости толчка во время вращения и так далее. Вероятностное описание, таким образом, может быть более полезным, чем ньютоновская механика, для анализа закономерностей результатов многократных вращений колеса рулетки. Физики сталкиваются с аналогичной ситуацией в кинетической теории газов, где система, хотя и детерминированная в принципе, настолько сложна (количество молекул обычно составляет порядок постоянной Авогадро, равной 6.02), что возможно только статистическое описание ее свойств. Теория вероятностей необходима для описания квантовых явлений. Революционным открытием физики начала XX века стал случайный характер всех физических процессов, происходящих в субатомных масштабах и подчиняющихся законам квантовой механики. Объективная волновая функция эволюционирует детерминированно, но, согласно копенгагенской интерпретации, она оперирует вероятностями наблюдения, а результат объясняется коллапсом волновой функции при осуществлении наблюдения. Однако отказ от детерминизма ради инструментализма не получил всеобщего признания. Альберт Эйнштейн в письме Максу Борну заметил: «Я убежден, что Бог не играет в кости». Как и Эйнштейн, Эрвин Шрёдингер, открывший волновую функцию, считал, что квантовая механика – это статистическое приближение к лежащей в основе детерминированной реальности. В некоторых современных интерпретациях статистической механики измерения используется квантовая декогерентность для объяснения появления субъективно вероятностных экспериментальных результатов.

In a deterministic universe, based on Newtonian concepts, there would be no probability if all conditions were known (Laplace's demon) (but there are situations in which sensitivity to initial conditions exceeds our ability to measure them, i. e. know them). In the case of a roulette wheel, if the force of the hand and the period of that force are known, the number on which the ball will stop would be a certainty (though as a practical matter, this would likely be true only of a roulette wheel that had not been exactly levelled – as Thomas A. Bass' Newtonian Casino revealed). This also assumes knowledge of inertia and friction of the wheel, weight, smoothness, and roundness of the ball, variations in hand speed during the turning, and so forth. A probabilistic description can thus be more useful than Newtonian mechanics for analyzing the pattern of outcomes of repeated rolls of a roulette wheel. Physicists face the same situation in the kinetic theory of gases, where the system, while deterministic in principle, is so complex (with the number of molecules typically the order of magnitude of the Avogadro constant 6.02) that only a statistical description of its properties is feasible. Probability theory is required to describe quantum phenomena. A revolutionary discovery of early 20th century physics was the random character of all physical processes that occur at sub atomic scales and are governed by the laws of quantum mechanics. The objective wave function evolves deterministically but, according to the Copenhagen interpretation, it deals with probabilities of observing, the outcome being explained by a wave function collapse when an observation is made. However, the loss of determinism for the sake of instrumentalism did not meet with universal approval. Albert Einstein famously remarked in a letter to Max Born: "I am convinced that God does not play dice". Like Einstein, Erwin Schrödinger, who discovered the wave function, believed quantum mechanics is a statistical approximation of an underlying deterministic reality. In some modern interpretations of the statistical mechanics of measurement, quantum decoherence is invoked to account for the appearance of subjectively probabilistic experimental outcomes.