Сравнивайте с английским: нажмите на абзац — оригинал откроется в окне. Кнопка EN под абзацем показывает его прямо в тексте.
Содержание
Введение
В теории вероятностей центральная предельная теорема (ЦПТ) утверждает, что во многих ситуациях, при суммировании независимых и одинаково распределённых случайных величин, их должным образом нормированная сумма стремится к нормальному распределению. В данной статье приводится две иллюстрации этой теоремы. Обе основаны на сумме независимых и одинаково распределённых случайных величин и демонстрируют, как распределение вероятностей суммы приближается к нормальному распределению с увеличением числа слагаемых в сумме. Первая иллюстрация рассматривает непрерывное распределение вероятностей, для которого случайные величины имеют функцию плотности вероятности. Вторая иллюстрация, большая часть вычислений в которой может быть выполнена вручную, рассматривает дискретное распределение вероятностей, характеризующееся функцией массы вероятности.
In probability theory, the central limit theorem (CLT) states that, in many situations, when independent and identically distributed random variables are added, their properly normalized sum tends toward a normal distribution. This article gives two illustrations of this theorem. Both involve the sum of independent and identically distributed random variables and show how the probability distribution of the sum approaches the normal distribution as the number of terms in the sum increases. The first illustration involves a continuous probability distribution, for which the random variables have a probability density function. The second illustration, for which most of the computation can be done by hand, involves a discrete probability distribution, which is characterized by a probability mass function.
Иллюстрация непрерывного случая
Плотность суммы двух независимых случайных величин с действительными значениями равна свёртке функций плотности исходных переменных. Следовательно, плотность суммы m+n членов последовательности независимых одинаково распределённых переменных равна свёртке плотностей сумм m членов и n членов. В частности, плотность суммы n+1 члена равна свёртке плотности суммы n членов с исходной плотностью ("суммой" одного члена). Функция плотности вероятности показана на первом рисунке ниже. Затем плотности сумм двух, трёх и четырёх независимых одинаково распределённых переменных, каждая из которых имеет исходную плотность, показаны на следующих рисунках. Если исходная плотность является кусочно-полиномиальной, как в данном примере, то и плотности сумм также будут кусочно-полиномиальными, но всё более высокой степени. Хотя исходная плотность далека от нормальной, плотность суммы всего нескольких переменных с этой плотностью значительно более гладкая и обладает некоторыми качественными характеристиками нормальной плотности. Свёртки были вычислены с помощью дискретного преобразования Фурье. Был построен список значений y = f(x0 + k Δx), где f — исходная функция плотности, а Δx приблизительно равно 0,002, а k изменяется от 0 до 1000. Было вычислено дискретное преобразование Фурье Y для y. Тогда свёртка f с самой собой пропорциональна обратному дискретному преобразованию Фурье поточечного произведения Y на себя.
The density of the sum of two independent real valued random variables equals the convolution of the density functions of the original variables. Thus, the density of the sum of m+n terms of a sequence of independent identically distributed variables equals the convolution of the densities of the sums of m terms and of n term. In particular, the density of the sum of n+1 terms equals the convolution of the density of the sum of n terms with the original density (the "sum" of 1 term). A probability density function is shown in the first figure below. Then the densities of the sums of two, three, and four independent identically distributed variables, each having the original density, are shown in the following figures. If the original density is a piecewise polynomial, as it is in the example, then so are the sum densities, of increasingly higher degree. Although the original density is far from normal, the density of the sum of just a few variables with that density is much smoother and has some of the qualitative features of the normal density. The convolutions were computed via the discrete Fourier transform. A list of values y = f(x0 + k Δx) was constructed, where f is the original density function, and Δx is approximately equal to 0.002, and k is equal to 0 through 1000. The discrete Fourier transform Y of y was computed. Then the convolution of f with itself is proportional to the inverse discrete Fourier transform of the pointwise product of Y with itself.
Функция первоначальной плотности вероятности
Мы начинаем с функции плотности вероятности. Эта функция, хотя и разрывная, далека от самого патологичного примера, который можно построить. Она является кусочно-полиномиальной, состоящей из полиномов степеней 0 и 1. Математическое ожидание этого распределения равно 0, а его стандартное отклонение — 1.
We start with a probability density function. This function, although discontinuous, is far from the most pathological example that could be created. It is a piecewise polynomial, with pieces of degrees 0 and 1. The mean of this distribution is 0 and its standard deviation is 1.
Функция плотности вероятности суммы двух членов
Далее мы вычисляем плотность суммы двух независимых случайных величин, каждая из которых имеет указанную выше плотность. Плотность суммы является свёрткой указанной выше плотности с самой собой. Сумма двух случайных величин имеет математическое ожидание 0. Плотность, показанная на рисунке справа, была перемасштабирована на , чтобы её стандартное отклонение равнялось 1. Эта плотность уже более сглаженная, чем исходная. Видны отчетливые выпуклости, соответствующие интервалам, на которых была определена исходная плотность.
Next we compute the density of the sum of two independent variables, each having the above density. The density of the sum is the convolution of the above density with itself. The sum of two variables has mean 0. The density shown in the figure at right has been rescaled by , so that its standard deviation is 1. This density is already smoother than the original. There are obvious lumps, which correspond to the intervals on which the original density was defined.
Функция плотности вероятности суммы трех членов
Затем мы вычисляем плотность суммы трех независимых случайных величин, каждая из которых имеет указанную выше плотность. Плотность суммы является свёрткой первой плотности со второй. Сумма трех случайных величин имеет математическое ожидание 0. Плотность, изображенная на рисунке справа, была перемасштабирована на , чтобы её стандартное отклонение равнялось 1. Эта плотность еще более гладкая, чем предыдущая. На этом рисунке едва можно заметить пики.
We then compute the density of the sum of three independent variables, each having the above density. The density of the sum is the convolution of the first density with the second. The sum of three variables has mean 0. The density shown in the figure at right has been rescaled by , so that its standard deviation is 1. This density is even smoother than the preceding one. The lumps can hardly be detected in this figure.
Функция плотности вероятности суммы четырех членов
Наконец, мы вычисляем плотность суммы четырех независимых случайных величин, каждая из которых имеет указанную выше плотность. Плотность суммы является свёрткой первой плотности с третьей (или второй плотности с самой собой). Сумма четырех случайных величин имеет математическое ожидание 0. Плотность, показанная на рисунке справа, была перемасштабирована на , чтобы её стандартное отклонение равнялось 1. Эта плотность качественно очень похожа на нормальное распределение. Глазом нельзя различить никаких неровностей.
Finally, we compute the density of the sum of four independent variables, each having the above density. The density of the sum is the convolution of the first density with the third (or the second density with itself). The sum of four variables has mean 0. The density shown in the figure at right has been rescaled by , so that its standard deviation is 1. This density appears qualitatively very similar to a normal density. No lumps can be distinguished by the eye.
Иллюстрация дискретного случая
В этом разделе центральная предельная теорема иллюстрируется на примере, вычисления для которого можно быстро произвести вручную на бумаге, в отличие от более сложного в вычислительном плане примера из предыдущего раздела.
This section illustrates the central limit theorem via an example for which the computation can be done quickly by hand on paper, unlike the more computing intensive example of the previous section.
Функция массы вероятности суммы 1000 членов
На следующем изображении показан результат моделирования, основанного на примере, представленном на этой странице. Извлечение из равномерного распределения повторяется 1000 раз, а результаты суммируются. Поскольку моделирование основано на методе Монте-Карло, процесс повторяется 10 000 раз. Результаты демонстрируют, что распределение суммы 1000 случайных значений, полученных из равномерного распределения, очень хорошо соответствует колоколообразной кривой.
The following image shows the result of a simulation based on the example presented in this page. The extraction from the uniform distribution is repeated 1,000 times, and the results are summed. Since the simulation is based on the Monte Carlo method, the process is repeated 10,000 times. The results shows that the distribution of the sum of 1,000 uniform extractions resembles the bell shaped curve very well.