Случайные процессы и случайные величины

Введение

Сборник случайных переменных

[[Файл:BMonSphere.jpg|thumb|Компьютерная симуляция реализации процесса Винера или броуновского движения на поверхности сферы. Процесс Винера широко считается наиболее изученным и центральным стохастическим процессом в теории вероятностей. Стохастические процессы находят применение во многих областях, таких как биология, химия, экология, нейробиология, физика, обработка изображений, обработка сигналов, теория управления, теория информации, информатика и телекоммуникации. Кроме того, кажущиеся случайными изменения на финансовых рынках стимулировали широкое использование стохастических процессов в финансах. Приложения и изучение этих явлений, в свою очередь, вдохновили на разработку новых стохастических процессов. Примерами таких процессов являются процесс Винера или броуновское движение, использованное Луи Башелье для изучения изменений цен на Парижской бирже, и процесс Пуассона, использованный А. К. Эрлангом для изучения количества телефонных звонков, происходящих за определенный период времени. Эти два стохастических процесса считаются наиболее важными и центральными в теории стохастических процессов и были изобретены неоднократно и независимо друг от друга, как до, так и после работ Башелье и Эрланга, в различных условиях и странах. Термин «случайная функция» также используется для обозначения стохастического или случайного процесса, поскольку стохастический процесс также можно интерпретировать как случайный элемент в функциональном пространстве. Термины «стохастический процесс» и «случайный процесс» используются взаимозаменяемо, часто без указания конкретного математического пространства для множества, индексирующего случайные переменные. Однако эти термины часто применяются, когда случайные переменные индексируются целыми числами или интервалом на действительной прямой. Значения стохастического процесса не всегда являются числами и могут представлять собой векторы или другие математические объекты, такие как мартингалы, марковские процессы, процессы Леви, гауссовские процессы, случайные поля, процессы обновления и процессы ветвления. Изучение стохастических процессов опирается на математические знания и методы из теории вероятностей, математического анализа, линейной алгебры, теории множеств и топологии, а также на разделы математического анализа, такие как действительный анализ, теория меры, анализ Фурье и функциональный анализ. Теория стохастических процессов считается важным вкладом в математику и продолжает оставаться активной областью исследований как по теоретическим причинам, так и в связи с практическими приложениями.

Введение

Стохастический или случайный процесс может быть определен как совокупность случайных переменных, индексируемых некоторым математическим множеством, что означает, что каждая случайная переменная стохастического процесса однозначно связана с элементом этого множества. Если интерпретировать индекс как время, то если индексное множество стохастического процесса содержит конечное или счетное число элементов, таких как конечное множество чисел, множество целых чисел или натуральных чисел, то стохастический процесс считается дискретным по времени. Если же индексное множество представляет собой некоторый интервал на вещественной прямой, то время считается непрерывным. Эти два типа стохастических процессов соответственно называются процессами дискретного и непрерывного времени. Процессы дискретного времени считаются более простыми для изучения, поскольку процессы непрерывного времени требуют более сложных математических методов и знаний, особенно из-за несчетности индексного множества. Если индексным множеством являются целые числа или их подмножество, то стохастический процесс также можно назвать случайной последовательностью. В своей работе по теории вероятностей Ars Conjectandi, впервые опубликованной на латыни в 1713 году, Якоб Бернулли использовал фразу "Ars Conjectandi sive Stochastice", которая была переведена как «искусство догадок или стохастика». Эту фразу, ссылаясь на Бернулли, использовал Ладислаус Борткевич, который в 1917 году написал на немецком языке слово stochastik в значении, близком к слову «случайный». Термин «стохастический процесс» впервые появился в английской литературе в 1934 году в статье Джозефа Дуба, хотя немецкий термин использовался ранее, например, Андреем Колмогоровым в 1931 году. Согласно Оксфордскому словарю английского языка, первые зафиксированные случаи употребления слова random в английском языке в его современном значении, связанном со случайностью или удачей, относятся к XVI веку, а более ранние зарегистрированные употребления, начиная с XIV века, представляли собой существительное, означающее «стремительность, большую скорость, силу или ярость (при езде, беге, ударе и т. п.)». Само слово происходит от среднефранцузского слова, означающего «скорость, спешка», и, вероятно, восходит к французскому глаголу, означающему «бежать» или «скакать рысью». Первое зафиксированное употребление термина случайный процесс предшествует стохастическому процессу, который Оксфордский словарь английского языка также указывает как синоним, и было использовано в статье Фрэнсиса Эджворта, опубликованной в 1888 году.

Терминология

Определение стохастического процесса варьируется, но традиционно стохастический процесс определяется как совокупность случайных величин, индексированных некоторым множеством. Как "совокупность", так и "множество индексов", иногда заменяются термином "множество параметров", хотя последнее обычно используется только когда стохастический процесс принимает вещественные значения. Термины "стохастический процесс" и "случайный процесс" обычно применяются, когда множество индексов интерпретируется как время, а для других множеств индексов используются другие термины, например, "случайное поле", когда множество индексов является многомерным евклидовым пространством или многообразием. Некоторые авторы ошибочно пишут , хотя это некорректное использование функциональной записи. Например, или используются для обозначения случайной величины с индексом , а не всего стохастического процесса. Иными словами, процесс Бернулли – это последовательность независимых и одинаково распределенных (iid) случайных величин Бернулли, где каждый идеализированный бросок монеты является примером испытания Бернулли.

Случайная прогулка

Случайные блуждания — это стохастические процессы, которые обычно определяются как суммы независимых одинаково распределённых случайных величин или случайных векторов в евклидовом пространстве, поэтому они представляют собой процессы, изменяющиеся в дискретное время. Однако некоторые используют этот термин и для обозначения процессов, изменяющихся в непрерывное время, в частности, процесса Винера, применяемого в финансовых моделях, что привело к некоторой путанице и, как следствие, к критике. Существуют и другие типы случайных блужданий, определяемые таким образом, что их пространства состояний могут быть представлены другими математическими объектами, такими как решётки и группы, и в целом они широко изучаются и имеют множество применений в различных областях науки. Классическим примером случайного блуждания является простая случайная ходьба, представляющая собой стохастический процесс в дискретное время с целыми числами в качестве пространства состояний, основанный на процессе Бернулли, где каждая переменная Бернулли принимает значение либо плюс один, либо минус один. Иными словами, простая случайная ходьба происходит на множестве целых чисел, и её значение увеличивается на единицу с вероятностью, скажем, *p*, или уменьшается на единицу с вероятностью *1-p*. Таким образом, индексное множество этого случайного блуждания — натуральные числа, а пространство состояний — целые числа. Если *p* = 1/2, это случайное блуждание называется симметричным.

Винерский процесс

Процесс Винера — это стохастический процесс со стационарными и независимыми приращениями, имеющими нормальное распределение, зависящее от величины приращения. Процесс Винера назван в честь Норберта Винера, доказавшего его математическое существование, но также называется процессом броуновского движения или просто броуновским движением из-за его исторической связи как модели броуновского движения в жидкостях. thumb|left|Реализации процессов Винера (или процессов броуновского движения) с дрейфом и без дрейфа.

Играя центральную роль в теории вероятностей, процесс Винера часто считается наиболее важным и изученным стохастическим процессом, связанным с другими стохастическими процессами. Его индексное множество и пространство состояний — неотрицательные числа и действительные числа соответственно, поэтому он имеет как непрерывное индексное множество, так и пространство состояний. Однако процесс можно определить более общим образом, чтобы его пространство состояний могло быть n-мерным евклидовым пространством. Если математическое ожидание любого приращения равно нулю, то получаемый процесс Винера или броуновского движения называется процессом с нулевым дрейфом. Если математическое ожидание приращения для любых двух моментов времени равно разности во времени, умноженной на некоторую константу, являющуюся действительным числом, то получаемый стохастический процесс называется процессом с дрейфом.

Почти наверняка траектория процесса Винера непрерывна в каждой точке, но нигде не дифференцируема. Его можно рассматривать как непрерывную версию простого случайного блуждания. Процесс возникает как математический предел других стохастических процессов, таких как определённые случайные блуждания, подвергнутые масштабированию, что является предметом теоремы Донскера или принципа инвариантности, также известного как функциональная центральная предельная теорема. Процесс Винера принадлежит к некоторым важным семействам стохастических процессов, включая процессы Маркова, процессы Леви и гауссовские процессы. Он играет центральную роль в количественном финансировании, где, например, используется в модели Блэка — Шоулза — Мертона. Процесс также применяется в различных областях, включая большинство естественных наук, а также некоторые отрасли социальных наук, в качестве математической модели для различных случайных явлений.

Процесс Пуассона

Процесс Пуассона — это стохастический процесс, имеющий различные формы и определения. Его можно определить как процесс подсчета, то есть стохастический процесс, представляющий собой случайное число точек или событий, произошедших к определенному моменту времени. Количество точек процесса, находящихся в интервале от нуля до заданного времени, является случайной величиной Пуассона, зависящей от этого времени и некоторого параметра. Пространством состояний этого процесса являются натуральные числа, а множеством индексов — неотрицательные числа. Этот процесс также называют процессом подсчета Пуассона, поскольку его можно рассматривать как пример процесса подсчета. Гомогенный процесс Пуассона относится к важным классам стохастических процессов, таким как процессы Маркова и процессы Леви. Если постоянный параметр процесса Пуассона заменить неотрицательной интегрируемой функцией, то полученный процесс называется неоднородным процессом Пуассона, при котором средняя плотность точек процесса перестает быть постоянной. Являясь фундаментальным процессом в теории массового обслуживания, процесс Пуассона важен для математического моделирования, находя применение в моделях случайных событий, происходящих в определенных временных интервалах. Определенный на вещественной прямой, процесс Пуассона может интерпретироваться как стохастический процесс, наряду с другими случайными объектами. Однако его можно определить и на n-мерном евклидовом пространстве или других математических пространствах, где он часто интерпретируется как случайное множество или случайная счетная мера, а не как стохастический процесс. При этом отмечается, что процесс Пуассона не получает должного внимания, отчасти из-за того, что его часто рассматривают только на вещественной прямой, а не в других математических пространствах.

Стохастический процесс

Стохастический процесс определяется как совокупность случайных переменных, определенных на общем вероятностном пространстве, где – пространство элементарных событий, – сигма-алгебра, а – мера вероятности; случайные переменные, индексированные некоторым множеством, принимают значения в одном и том же математическом пространстве, которое должно быть измеримым относительно некоторой сигма-алгебры. Исторически, во многих задачах естественных наук точка обозначала время, поэтому является случайной величиной, представляющей значение, наблюдаемое в момент времени . Стохастический процесс также можно записать как , чтобы подчеркнуть, что это функция двух переменных, и . Существуют и другие способы рассмотрения стохастического процесса, при этом приведенное выше определение считается классическим. Например, стохастический процесс можно интерпретировать или определить как случайную величину со значениями в , где – пространство всех возможных функций из множества в пространство .

Набор индексов

Набор называется индексным множеством стохастического процесса. Часто это множество является некоторым подмножеством вещественной прямой, например, натуральными числами или интервалом, придавая множеству интерпретацию времени. Или, например, декартовой плоскостью или n-мерным евклидовым пространством, где элемент может представлять точку в пространстве. Однако многие результаты и теоремы справедливы только для стохастических процессов с полностью упорядоченным индексным множеством.

Государственное пространство

Математическое пространство стохастического процесса называется пространством состояний. Это пространство может быть определено с помощью целых чисел, вещественной прямой, многомерных евклидовых пространств, комплексной плоскости или более абстрактных математических пространств. Пространство состояний определяется элементами, отражающими различные значения, которые может принимать стохастический процесс.

Функция выборки

Функция выборки — это один из возможных исходов стохастического процесса, формируемый путем выбора единственного значения для каждой случайной величины этого процесса. Более точно, если – стохастический процесс, то для любой точки , отображение

называется функцией выборки, реализацией или, в частности, когда интерпретируется как время, траекторией стохастического процесса. Это означает, что для фиксированного существует функция выборки, отображающая индексное множество в пространство состояний или траекторию.

Фильтрация

Фильтрация — это возрастающая последовательность сигма-алгебр, определенных относительно некоторого вероятностного пространства и индексирующего множества, обладающего отношением полного порядка, например, если индексирующее множество является подмножеством действительных чисел. Более формально, если стохастический процесс имеет индексирующее множество с отношением полного порядка, то фильтрация {ℱₜ} на вероятностном пространстве (Ω, ℱ, P) — это семейство сигма-алгебр, такое что ℱₛ ⊆ ℱₜ для всех s ≤ t, где ≤ обозначает отношение полного порядка индексирующего множества.

Изменение

Модификация стохастического процесса – это другой стохастический процесс, тесно связанный с исходным стохастическим процессом. Более точно, стохастический процесс, имеющий тот же индексный набор, пространство состояний и пространство вероятностей, что и другой стохастический процесс, называется модификацией этого процесса, если для всех t выполняется следующее условие. Два стохастических процесса, являющиеся модификациями друг друга, имеют одинаковый конечномерный закон и называются стохастически эквивалентными или просто эквивалентными. Вместо термина "модификация" также используется термин "версия", однако некоторые авторы используют термин "версия" для обозначения двух стохастических процессов, имеющих одинаковые конечномерные распределения, но определенных на разных пространствах вероятностей. Таким образом, два процесса, являющиеся модификациями друг друга, также являются версиями друг друга в последнем смысле, но не наоборот. Теорема также может быть обобщена на случайные поля, где индексный набор является n-мерным евклидовым пространством, а также на стохастические процессы с метрическими пространствами в качестве пространств состояний.

Отделимость

Отделимость — это свойство стохастического процесса, основанное на его множестве индексов по отношению к мере вероятности. Это свойство необходимо для того, чтобы функционалы стохастических процессов или случайных полей с несчётными множествами индексов могли формировать случайные величины. Чтобы стохастический процесс был отделимым, помимо прочих условий, его множество индексов должно быть отделимым пространством, на котором он определён, например, действительная прямая или n-мерное евклидово пространство. Другие стохастические процессы, такие как процессы обновления и счета, изучаются в теории точечных процессов, однако их анализ с точки зрения теории вероятностей был ограниченным. 1654 год часто считается годом рождения теории вероятностей, когда французские математики Пьер Ферма и Блез Паскаль вели переписку о вероятности, вызванную задачей, связанной с азартными играми. Однако более ранние математические работы были посвящены вероятности азартных игр, например, «Liber de Ludo Aleae» Джероламо Кардано, написанная в XVI веке, но опубликованная посмертно в 1663 году. После Кардано Якоб Бернулли написал «Ars Conjectandi», который считается важным событием в истории теории вероятностей. Несмотря на вклад таких выдающихся математиков, как Пьер-Симон Лаплас, Абраам де Муавр, Карл Фридрих Гаусс, Симеон Пуассон и Пафнутий Чебышёв, большинство математического сообщества не рассматривало теорию вероятностей как часть математики до XX века.

Статистическая механика

В физических науках в XIX веке ученые разработали дисциплину статистической механики, где физические системы, такие как сосуды, заполненные газами, рассматриваются или математически представляются как совокупности множества движущихся частиц. Хотя отдельные ученые, например Рудольф Клаузиус, предпринимали попытки ввести случайность в статистическую физику, большая часть работ практически не содержала элементов случайности. Ситуация изменилась в 1859 году, когда Джеймс Клерк Максвелл внес значительный вклад в эту область, в частности, в кинетическую теорию газов, представив работы, в которых он моделировал газовые частицы, движущиеся в случайных направлениях с различными случайными скоростями. Кинетическая теория газов и статистическая физика продолжали развиваться во второй половине XIX века, благодаря работам Клаузиуса, Людвига Больцмана и Джосайи Гиббса, которые впоследствии оказали влияние на математическую модель броуновского движения, предложенную Альбертом Эйнштейном.

Теория измерений и теория вероятности

На Международном конгрессе математиков в Париже в 1900 году Давид Гильберт представил список математических задач, в которой его шестая проблема заключалась в аксиоматическом математическом исследовании физики и теории вероятностей. В начале 1930-х годов Хинчин и Колмогоров организовали семинары по теории вероятностей, которые посещали такие исследователи, как Евгений Слуцкий и Николай Смирнов, а Хинчин дал первое математическое определение стохастического процесса как множества случайных величин, индексированных действительной прямой.

Процесс Бернулли

Процесс Бернулли, который может служить математической моделью для подбрасывания смещенной монеты, возможно, является первым из изученных стохастических процессов. Работы Бернулли, в том числе и о процессе Бернулли, были опубликованы в его книге Ars Conjectandi в 1713 году.

Случайные прогулки

В 1905 году Карл Пирсон ввел термин «случайное блуждание», сформулировав задачу, описывающую случайное блуждание на плоскости, которая была мотивирована применением в биологии, однако задачи, связанные со случайными блужданиями, уже изучались в других областях. Определенные азартные задачи, которые исследовались за столетия до этого, можно рассматривать как задачи, связанные со случайными блужданиями, и являются примером случайного блуждания с поглощающими барьерами. Паскаль, Ферма и Гюйгенс привели численные решения этой задачи, не вдаваясь в подробности своих методов, а затем более детальные решения были предложены Якобом Бернулли и Авраамом де Муавром. Для случайных блужданий в n-мерных целочисленных решетках, Джордж Пойя опубликовал в 1919 и 1921 годах работы, в которых изучал вероятность возвращения симметричного случайного блуждания в предыдущую позицию в решетке. Пойя показал, что симметричное случайное блуждание, имеющее равную вероятность продвижения в любом направлении в решетке, вернется в предыдущую позицию в решетке бесконечное число раз с вероятностью один в одном и двух измерениях, но с вероятностью нуль в трех и более измерениях.

Винерский процесс

Процесс Винера, или процесс броуновского движения, берет свое начало в различных областях, включая статистику, финансы и физику. В настоящее время эта работа считается ранним открытием статистического метода, известного как фильтр Калмана, однако она в значительной степени оставалась незамеченной. Считается, что идеи, представленные в работе Тиле, были слишком передовыми для понимания широким математическим и статистическим сообществом того времени. Чтобы смоделировать изменения цен на Парижской бирже, не зная о работе Тиле, Башелье разработал диссертацию, которая теперь считается основополагающей в области финансовой математики. Работа Эйнштейна, а также экспериментальные результаты, полученные Жаном Перреном, позже вдохновили Норберта Винера в 1920-х годах использовать тип теории меры, разработанный Перси Дэниеллом, и анализ Фурье для доказательства существования процесса Винера как математического объекта. Существует ряд утверждений о раннем использовании или открытии процесса Пуассона. Еще одно открытие произошло в Дании в 1909 году, когда А. К. Эрланг вывел распределение Пуассона при разработке математической модели для количества входящих телефонных звонков за конечный промежуток времени. Эрланг в то время не знал о более ранних работах Пуассона и предположил, что количество телефонных звонков, поступающих в каждый промежуток времени, было независимым друг от друга. Затем он нашел предельный случай, который фактически представляет собой переформулировку распределения Пуассона как предела биномиального распределения, которое обычно считалось необходимым условием для таких математических законов. Начиная с 1928 года, Морис Фреше заинтересовался цепями Маркова, что в конечном итоге привело к публикации им в 1938 году подробного исследования цепей Маркова. Андрей Колмогоров в статье 1931 года разработал значительную часть ранней теории непрерывных процессов Маркова. Он ввел и изучил определенный набор процессов Маркова, известных как диффузионные процессы, для которых он вывел набор дифференциальных уравнений, описывающих эти процессы. Независимо от работы Колмогорова, Сидни Чепмен в статье 1928 года вывел уравнение, теперь называемое уравнением Чепмана — Колмогорова, менее строгим математическим способом, чем Колмогоров, при изучении броуновского движения. Дифференциальные уравнения теперь называются уравнениями Колмогорова или уравнениями Колмогорова — Чепмана. Среди других математиков, внесших значительный вклад в основы процессов Маркова, можно выделить Уильяма Феллера, начиная с 1930-х годов, и Евгения Динкина, начиная с 1950-х годов. Помимо Леви, Хинчина и Колмогорова, ранние фундаментальные вклады в теорию процессов Леви внесли Бруно де Финетти и Киёси Ито. Другой подход заключается в определении набора случайных величин с конкретными конечномерными распределениями, а затем в использовании теоремы существования Колмогорова для доказательства существования соответствующего стохастического процесса. Эта теорема утверждает, что если любые конечномерные распределения удовлетворяют двум условиям, известным как условия согласованности, то существует стохастический процесс с этими конечномерными распределениями. Это означает, что распределение стохастического процесса не обязательно однозначно определяет свойства выборочных функций этого процесса. Другая проблема заключается в том, что функционалы непрерывного процесса времени, которые зависят от несчетного числа точек индексного множества, могут быть неизмеримыми, поэтому вероятности определенных событий могут быть не определены. Разделимость гарантирует, что бесконечномерные распределения определяют свойства выборочных функций, требуя, чтобы выборочные функции по существу определялись их значениями на плотном счетном подмножестве точек в индексном множестве. Кроме того, если стохастический процесс является разделимым, то функционалы несчетного числа точек индексного множества измеримы, и их вероятности можно изучать. Это справедливо для непрерывного стохастического процесса с любым метрическим пространством в качестве пространства состояний. Для построения такого стохастического процесса предполагается, что выборочные функции стохастического процесса принадлежат к некоторому подходящему функциональному пространству, которое обычно является пространством Скорохода, состоящим из всех правонепрерывных функций с левыми пределами. Этот подход используется чаще, чем предположение о разделимости, но стохастический процесс, основанный на этом подходе, будет автоматически разделимым. Хотя предположение о разделимости используется реже, оно считается более общим, поскольку каждый стохастический процесс имеет разделимую версию.