Теория вероятностей и ее основы

Введение

Ветвь математики, касающаяся вероятности

Теория вероятностей или вероятностный анализ — это ветвь математики, изучающая вероятность. Несмотря на существование различных интерпретаций вероятности, теория вероятностей рассматривает эту концепцию строго математически, выражая её через набор аксиом. Как правило, эти аксиомы формализуют вероятность в терминах вероятностного пространства, которое присваивает меру, принимающую значения от 0 до 1, называемую мерой вероятности, множеству исходов, называемому пространством элементарных событий. Любое конкретное подмножество пространства элементарных событий называется событием. К центральным темам теории вероятностей относятся дискретные и непрерывные случайные величины, распределения вероятностей и стохастические процессы (которые предоставляют математические абстракции недетерминированных или неопределённых процессов или измеряемых величин, которые могут быть как единичными событиями, так и изменяться во времени случайным образом). Хотя невозможно точно предсказать случайные события, многое можно сказать об их поведении. Два основных результата в теории вероятностей, описывающих такое поведение, — это закон больших чисел и центральная предельная теорема. Являясь математической основой статистики, теория вероятностей имеет важное значение для многих областей человеческой деятельности, связанных с количественным анализом данных. Методы теории вероятностей также применяются к описанию сложных систем, когда известно лишь частичное представление об их состоянии, как, например, в статистической механике или последовательной оценке. Важным открытием физики XX века стала вероятностная природа физических явлений в атомном масштабе, описанная в квантовой механике.

История вероятности

Современная математическая теория вероятностей своими корнями уходит в попытки анализа игр случая, предпринятые Джероламо Кардано в шестнадцатом веке, а также Пьером де Ферма и Блезом Паскалем в семнадцатом веке (например, "проблема точки"). Кристиан Гюйгенс опубликовал книгу по этой теме в 1657 году. В XIX веке классическое определение вероятности было завершено Пьером Лапласом. Изначально теория вероятностей рассматривала преимущественно дискретные события, а её методы были в основном комбинаторными. В конечном итоге, аналитические соображения потребовали включения непрерывных переменных в теорию. Это привело к формированию современной теории вероятностей, основы которой были заложены Андреем Николаевичем Колмогоровым. Колмогоров объединил понятие пространства элементарных событий, предложенное Рихардом фон Мизесом, и теорию меры, представив свою аксиоматическую систему теории вероятностей в 1933 году. Она стала общепринятой аксиоматической основой современной теории вероятностей, однако существуют альтернативные подходы, такие как принятие Бруно де Финетти конечной, а не счётной аддитивности.

Лечение

Большинство введений в теорию вероятностей рассматривают дискретные и непрерывные распределения вероятностей по отдельности. Подход к теории вероятностей, основанный на теории меры, охватывает дискретные, непрерывные распределения, смешанные типы и другие случаи.

Мотивация

Рассмотрим эксперимент, который может дать несколько исходов. Множество всех исходов называется пространством элементарных событий эксперимента. Множество всех подмножеств пространства элементарных событий (или, эквивалентно, пространство событий) формируется путем рассмотрения всех возможных комбинаций результатов. Например, при броске честной игральной кости может выпасть одно из шести возможных значений. Одна комбинация значений соответствует выпадению нечетного числа. Таким образом, подмножество {1, 3, 5} является элементом множества степеней пространства элементарных событий при броске кости. Эти комбинации называются событиями. В данном случае, {1, 3, 5} – это событие, при котором на кости выпало нечетное число. Если фактические результаты эксперимента попадают в данное событие, то считается, что это событие произошло. Вероятность – это способ присвоить каждому "событию" значение от нуля до единицы, при этом событию, состоящему из всех возможных исходов (в нашем примере, событию {1, 2, 3, 4, 5, 6}), должно быть присвоено значение единицы. Чтобы соответствовать определению распределения вероятностей, присвоение значений должно удовлетворять требованию: если рассматривать набор взаимоисключающих событий (событий, не имеющих общих исходов, например, события {1, 6}, {3} и {2, 4} являются взаимоисключающими), то вероятность наступления любого из этих событий равна сумме вероятностей этих событий. Вероятность наступления любого из событий {1, 6}, {3} или {2, 4} равна 5/6. Это эквивалентно утверждению, что вероятность события {1, 2, 3, 4, 6} также равна 5/6. Это событие охватывает возможность выпадения любого числа, кроме пяти. Взаимоисключающее событие {5} имеет вероятность 1/6, а событие {1, 2, 3, 4, 5, 6} имеет вероятность 1, то есть абсолютную достоверность. При проведении расчетов, основанных на исходах эксперимента, необходимо, чтобы каждому элементарному событию было присвоено числовое значение. Это достигается с помощью случайной величины. Случайная величина – это функция, которая сопоставляет каждому элементарному событию в пространстве элементарных событий действительное число. Эта функция обычно обозначается заглавной буквой. В случае с игральной костью, присвоение числовых значений некоторым элементарным событиям можно осуществить с помощью тождественной функции. Однако это не всегда возможно. Например, при подбрасывании монеты возможны два исхода: "орел" и "решка". В этом примере случайная величина X может присвоить исходу "орел" число "0", а исходу "решка" число "1".

Consider an experiment that can produce a number of outcomes. The set of all outcomes is called the sample space of the experiment. The power set of the sample space (or equivalently, the event space) is formed by considering all different collections of possible results. For example, rolling an honest dice produces one of six possible results. One collection of possible results corresponds to getting an odd number. Thus, the subset {1,3,5} is an element of the power set of the sample space of dice rolls. These collections are called events. In this case, {1,3,5} is the event that the dice falls on some odd number. If the results that actually occur fall in a given event, that event is said to have occurred. Probability is a way of assigning every "event" a value between zero and one, with the requirement that the event made up of all possible results (in our example, the event {1,2,3,4,5,6}) be assigned a value of one. To qualify as a probability distribution, the assignment of values must satisfy the requirement that if you look at a collection of mutually exclusive events (events that contain no common results, e. g., the events {1,6}, {3}, and {2,4} are all mutually exclusive), the probability that any of these events occurs is given by the sum of the probabilities of the events. The probability that any one of the events {1,6}, {3}, or {2,4} will occur is 5/6. This is the same as saying that the probability of event {1,2,3,4,6} is 5/6. This event encompasses the possibility of any number except five being rolled. The mutually exclusive event {5} has a probability of 1/6, and the event {1,2,3,4,5,6} has a probability of 1, that is, absolute certainty. When doing calculations using the outcomes of an experiment, it is necessary that all those elementary events have a number assigned to them. This is done using a random variable. A random variable is a function that assigns to each elementary event in the sample space a real number. This function is usually denoted by a capital letter. In the case of a dice, the assignment of a number to certain elementary events can be done using the identity function. This does not always work. For example, when flipping a coin the two possible outcomes are "heads" and "tails". In this example, the random variable X could assign to the outcome "heads" the number "0" and to the outcome "tails" the number "1" .

Классические распределения вероятности

Некоторые случайные величины очень часто встречаются в теории вероятностей, поскольку они хорошо описывают многие естественные или физические процессы. Соответственно, их распределения приобрели особое значение в теории вероятностей. К числу основных дискретных распределений относятся дискретное равномерное, распределение Бернулли, биномиальное, отрицательное биномиальное, распределение Пуассона и геометрическое распределения. Важными непрерывными распределениями являются непрерывное равномерное, нормальное, экспоненциальное, гамма и бета распределения.

Центральная теорема о пределах

Центральная предельная теорема (ЦПТ) объясняет повсеместное появление нормального распределения в природе, и эта теорема, по словам Дэвида Уильямса, "является одним из величайших результатов математики". Теорема утверждает, что среднее значение большого числа независимых и одинаково распределённых случайных величин с конечной дисперсией стремится к нормальному распределению, независимо от распределения исходных случайных величин. Формально, пусть независимые случайные величины со средним и дисперсией . Тогда последовательность случайных величин

сходится по распределению к стандартной нормальной случайной величине. Для некоторых классов случайных величин классическая центральная предельная теорема работает достаточно быстро, как это иллюстрируется теоремой Берри — Эссена. Например, распределения с конечными первым, вторым и третьим моментами из экспоненциального семейства; с другой стороны, для некоторых случайных величин с тяжёлыми и жирными хвостами она работает очень медленно или может вообще не работать: в таких случаях можно использовать обобщённую центральную предельную теорему (ОЦПТ).