Введение

Понятия вероятностной сходимости, применяемые к оценке и асимптотическому анализу. В теории вероятностей существует несколько различных понятий сходимости последовательностей случайных величин, включая сходимость по вероятности, сходимость в распределении и почти достоверную сходимость. Различные понятия сходимости отражают различные свойства последовательности, при этом некоторые понятия сходимости являются более сильными, чем другие. Например, сходимость в распределении сообщает нам о предельном распределении последовательности случайных величин. Это более слабое понятие, чем сходимость по вероятности, которая сообщает нам о значении, которое принимает случайная величина, а не только о распределении. Данное понятие важно в теории вероятностей и находит применение в статистике и стохастических процессах. Те же самые понятия известны в более общей математике как стохастическая сходимость, и они формализуют идею о том, что определенные свойства последовательности по сути случайных или непредсказуемых событий иногда можно ожидать, что они стабилизируются и перейдут к поведению, которое по сути не меняется при изучении элементов, достаточно удаленных в последовательности. Различные возможные понятия сходимости связаны с тем, как можно охарактеризовать такое поведение: два легко понимаемых варианта – это когда последовательность в конечном итоге принимает постоянное значение и когда значения в последовательности продолжают меняться, но могут быть описаны неизменным распределением вероятностей.

Сближение в распределении

В широком смысле, при таком типе сходимости мы все больше ожидаем, что следующий результат в последовательности случайных экспериментов будет все точнее и точнее описываться заданным распределением вероятностей. Более точно, распределение соответствующей случайной величины в последовательности становится сколь угодно близким к заданному фиксированному распределению. Сходимость в распределении является наиболее слабой формой сходимости, обычно рассматриваемой, поскольку она вытекает из всех других типов сходимости, упомянутых в этой статье. Однако сходимость в распределении очень часто используется на практике; чаще всего она возникает при применении центральной предельной теоремы.

Сближение в вероятности

Основная идея этого типа сходимости заключается в том, что вероятность "необычного" исхода становится все меньше и меньше по мере продвижения последовательности. Понятие сходимости по вероятности очень часто используется в статистике. Например, оценку называют состоятельной, если она сходится по вероятности к оцениваемой величине. Сходимость по вероятности также является типом сходимости, устанавливаемым слабым законом больших чисел.

Свойства

Сближение в вероятности влечет за собой сближение в распределении. [доказательство]
В обратном направлении, сближение в распределении влечет за собой сближение в вероятности, когда предельная случайная величина X является константой. [доказательство]
Сближение в вероятности не влечет за собой почти достоверную сходимость. [доказательство]
Теорема о непрерывном отображении утверждает, что для любой непрерывной функции , если , то также . Сближение в вероятности определяет топологию на пространстве случайных величин над фиксированным вероятностным пространством. Эта топология метризуема метрикой Ky Fan: или, альтернативно, этой метрикой.

Контрпримеры

Не всякая последовательность случайных величин, сходящаяся по распределению к другой случайной величине, также сходится по вероятности к этой случайной величине. В качестве примера рассмотрим последовательность стандартных нормальных случайных величин и вторую последовательность. Заметьте, что распределение равно распределению для всех , но: которое не сходится к . Следовательно, сходимости по вероятности нет.

Почти наверняка.

Это тип стохастической сходимости, наиболее близкий к точечной сходимости, известной из элементарного математического анализа.

Свойства

Почти достоверная сходимость влечет за собой сходимость по вероятности (по лемме Фату) и, следовательно, влечет за собой сходимость в распределении. Это понятие сходимости используется в сильном законе больших чисел. Понятие почти достоверной сходимости не вытекает из какой-либо топологии на пространстве случайных величин. Это означает, что не существует топологии на пространстве случайных величин, для которой почти достоверно сходящиеся последовательности были бы точно сходящимися последовательностями относительно этой топологии. В частности, не существует метрики почти достоверной сходимости.

Неоспоримая или точечная конвергенция

Сказать, что последовательность случайных величин (Xn), определенная в одном и том же пространстве вероятностей (то есть случайный процесс), сходится почти наверное или везде или поточечно к X, означает

где Ω – пространство элементарных событий базового пространства вероятностей, над которым определены случайные величины. Это понятие точечной сходимости последовательности функций, расширенное на последовательность случайных величин. (Следует отметить, что сами случайные величины являются функциями). Почти наверная сходимость случайной величины подразумевает все остальные виды сходимости, упомянутые выше, однако в теории вероятностей нет преимуществ в использовании почти наверной сходимости по сравнению с использованием сходимости по вероятности. Различие между ними существует только на множествах, имеющих вероятность ноль. Именно поэтому понятие почти наверной сходимости случайных величин используется крайне редко.

Контрпримеры

Рассмотрим последовательность независимых случайных величин, таких что и Для нас имеем , которая сходится к , следовательно, сходится по вероятности. Поскольку и события независимы, то вторая лемма Бореля — Кантелли гарантирует, что , следовательно, последовательность не сходится почти всюду (фактически, множество, на котором эта последовательность не сходится к , имеет вероятность ).