Введение
В теории вероятностей теория больших отклонений изучает асимптотическое поведение удалённых хвостов последовательностей распределений вероятностей. Хотя некоторые базовые идеи теории восходят к Лапласу, её формализация началась в страховой математике, а именно в теории разорения, разработанной Крамэром и Лундбергом. Унифицированная формализация теории больших отклонений была предложена Варадханом в 1966 году. Теория больших отклонений формализует эвристические представления о концентрации меры и существенно обобщает понятие сходимости мер вероятности. По сути, теория больших отклонений рассматривает экспоненциальное убывание вероятностей определённых видов экстремальных или хвостовых событий.
In probability theory, the theory of large deviations concerns the asymptotic behaviour of remote tails of sequences of probability distributions. While some basic ideas of the theory can be traced to Laplace, the formalization started with insurance mathematics, namely ruin theory with Cramér and Lundberg. A unified formalization of large deviation theory was developed in 1966, in a paper by Varadhan. Large deviations theory formalizes the heuristic ideas of concentration of measures and widely generalizes the notion of convergence of probability measures. Roughly speaking, large deviations theory concerns itself with the exponential decline of the probability measures of certain kinds of extreme or tail events.
Элементарный пример
Рассмотрим последовательность независимых бросков честной монеты. Возможные исходы – орёл или решка. Обозначим возможный исход i-го испытания , где орёл кодируется как 1, а решка – как 0. Пусть обозначает среднее значение после N испытаний, то есть
Тогда лежит между 0 и 1. Из закона больших чисел следует, что при увеличении N распределение сходится к (математическому ожиданию одного броска монеты). Более того, по центральной предельной теореме, следует, что при больших N приблизительно нормально распределено. Центральная предельная теорема может предоставить более детальную информацию о поведении по сравнению с законом больших чисел. Например, мы можем приблизительно вычислить вероятность того, что больше некоторого значения при фиксированном . Однако, приближение, полученное с помощью центральной предельной теоремы, может быть неточным, если далеко от и N недостаточно велико. Кроме того, она не даёт информации о сходимости хвостовых вероятностей при Однако, теория больших отклонений может дать ответы на подобные вопросы. Уточним это утверждение. Для заданного значения , вычислим хвостовую вероятность. Определим
Обратите внимание, что функция выпуклая, неотрицательная функция, равная нулю при и возрастающая при стремлении к . Она является отрицанием энтропии Бернулли с ; её применимость к броскам монеты следует из асимптотического свойства равнораспределённости, применимого к испытанию Бернулли. Тогда, по неравенству Черноффа, можно показать, что Эта оценка достаточно точна, в том смысле, что нельзя заменить большим числом, которое дало бы строгое неравенство для всех положительных (однако экспоненциальную оценку всё же можно уменьшить на субэкспоненциальный фактор порядка ; это следует из приближения Стирлинга, применённого к биномиальному коэффициенту, возникающему в распределении Бернулли). Таким образом, мы получаем следующий результат:
Вероятность экспоненциально убывает при увеличении N со скоростью, зависящей от x. Эта формула аппроксимирует любую хвостовую вероятность среднего значения выборки из i.i.d. случайных величин и описывает её сходимость при увеличении числа выборок.
Умеренные отклонения для сумм независимых случайных переменных
Предыдущий пример контролировал вероятность события , то есть концентрацию закона на компактном множестве. Также возможно контролировать вероятность события для некоторой последовательности. Ниже приведен пример принципа умеренных отклонений:
В частности, предельный случай соответствует центральной предельной теореме.
Краткая история
Первые строгие результаты в области больших отклонений были получены шведским математиком Харальдом Крамером, который применил их для моделирования страхового бизнеса. С точки зрения страховой компании, доход поступает с постоянной ставкой ежемесячно (в виде ежемесячной премии), а страховые выплаты происходят случайным образом. Для того чтобы компания была успешной в течение определенного периода времени (желательно, многих месяцев), общий доход должен превышать общую сумму выплат. Таким образом, для оценки премии необходимо задать следующий вопрос: "Какую премию следует выбрать, чтобы общая сумма выплат за месяцев была меньше ?" Это, очевидно, тот же вопрос, который рассматривает теория больших отклонений. Крамер нашел решение этой задачи для независимых и одинаково распределенных случайных величин, где функция скорости (rate function) выражается в виде степенного ряда. В очень неполный список математиков, внесших важный вклад в эту область, входят Петров, Санов, С. Р. С. Варадхан (лауреат премии Абеля за вклад в теорию), Д. Руэлль, О. Э. Ланфорд, Амир Дембо и Офер Зейтуни.
of view of an insurance company, the earning is at a constant rate per month (the monthly premium) but the claims come randomly. For the company to be successful over a certain period of time (preferably many months), the total earning should exceed the total claim. Thus to estimate the premium you have to ask the following question: "What should we choose as the premium such that over months the total claim should be less than ?" This is clearly the same question asked by the large deviations theory. Cramér gave a solution to this question for i. i. d. random variables, where the rate function is expressed as a power series. A very incomplete list of mathematicians who have made important advances would include Petrov, Sanov, S. R. S. Varadhan (who has won the Abel prize for his contribution to the theory), D. Ruelle, O. E. Lanford, Amir Dembo, and Ofer Zeitouni.
Приложения
Принципы больших отклонений могут быть эффективно применены для извлечения информации из вероятностной модели. Таким образом, теория больших отклонений находит применение в теории информации и управлении рисками. В физике наиболее известное применение теории больших отклонений возникает в термодинамике и статистической механике (в связи с установлением связи между энтропией и функцией скорости).
Большие отклонения и энтропия
Функция скорости связана с энтропией в статистической механике. Это можно увидеть эвристически следующим образом. В статистической механике энтропия конкретного макросостояния связана с числом микросостояний, соответствующих этому макросостоянию. В нашем примере с подбрасыванием монеты среднее значение может обозначать конкретное макросостояние, а конкретная последовательность орлов и решек, приводящая к определенному значению этого среднего, – конкретное микросостояние. Говоря упрощенно, макросостояние, имеющее большее число микросостояний, приводящих к нему, обладает большей энтропией. И состояние с большей энтропией имеет более высокую вероятность реализации в реальных экспериментах. Макросостояние со средним значением 1/2 (равное число орлов и решек) имеет наибольшее число микросостояний, приводящих к нему, и действительно является состоянием с наибольшей энтропией. И в большинстве практических ситуаций мы действительно будем получать это макросостояние при большом числе испытаний. "Функция скорости", с другой стороны, измеряет вероятность появления конкретного макросостояния. Чем меньше функция скорости, тем выше вероятность появления макросостояния. В нашем примере с подбрасыванием монеты значение "функции скорости" для среднего значения, равного 1/2, равно нулю. Таким образом, можно рассматривать "функцию скорости" как отрицательное значение энтропии. Существует связь между "функцией скорости" в теории больших отклонений и расхождением Кульбака — Лейблера, которая устанавливается теоремой Санова (см. Санов, глава 14.5). В частном случае большие отклонения тесно связаны с понятием пределов Громова — Хаусдорфа.