Введение

Статистическая модель
В теории вероятностей и статистике гауссовский процесс — это стохастический процесс (совокупность случайных величин, индексированных временем или пространством), для которого любая конечная совокупность этих случайных величин имеет многомерное нормальное распределение. Распределение гауссовского процесса — это совместное распределение всех этих (бесконечно многих) случайных величин, и, следовательно, это распределение по функциям с непрерывной областью определения, например, времени или пространства. Понятие гауссовских процессов названо в честь Карла Фридриха Гаусса, поскольку оно основано на понятии гауссовского (нормального) распределения. Гауссовские процессы можно рассматривать как бесконечномерное обобщение многомерных нормальных распределений. Гауссовские процессы полезны в статистическом моделировании, благодаря свойствам, унаследованным от нормального распределения. Например, если случайный процесс моделируется как гауссовский процесс, распределения различных производных величин можно получить аналитически. К таким величинам относятся среднее значение процесса на заданном интервале времени и ошибка при оценке среднего значения с использованием выборочных значений в небольшом наборе моментов времени. Хотя точные модели часто плохо масштабируются с увеличением объема данных, разработано множество методов приближения, которые часто сохраняют хорошую точность, значительно сокращая время вычислений.

Стационарность

Для общих стохастических процессов строгая стационарность подразумевает слабую стационарность, но не каждый слабо стационарный стохастический процесс является строго стационарным. Однако для гауссовского стохастического процесса эти два понятия эквивалентны. Простым примером такого представления является

где и – независимые случайные величины со стандартным нормальным распределением.

Ковариансные функции

Ключевым фактом гауссовских процессов является то, что они могут быть полностью определены их статистикой второго порядка. Таким образом, если гауссовский процесс предполагается имеющим нулевое среднее, определение ковариационной функции полностью определяет поведение процесса. Важно отметить, что неотрицательная определенность этой функции позволяет ее спектральному разложению с использованием разложения Карунена — Лоэва. Основными аспектами, которые можно определить через ковариационную функцию, являются стационарность, изотропия, гладкость и периодичность процесса. Стационарность относится к поведению процесса в зависимости от расстояния между любыми двумя точками, и если процесс стационарный, то ковариационная функция зависит только от этого расстояния. Например, процесс Орнштейна — Уленбека является стационарным. Если процесс зависит только от Евклидова расстояния (а не направления) между двумя точками, то процесс считается изотропным. Процесс, который одновременно является стационарным и изотропным, считается однородным; на практике эти свойства отражают различия (или, скорее, их отсутствие) в поведении процесса в зависимости от местоположения наблюдателя. В конечном счете, гауссовские процессы сводятся к заданию априорных распределений на функции, а гладкость этих распределений может быть задана ковариационной функцией.

Приложения

Гауссов процесс может использоваться как априорное распределение вероятностей по функциям в байесовском выводе. Для любого набора из N точек в желаемой области определения функций, возьмите многомерный гауссов, у которого матрица ковариации является грам-матрицей этих N точек с выбранным ядром, и выполните выборку из этого гауссиана. Для решения задачи многовыходного предсказания была разработана регрессия гауссовского процесса для векторно-значных функций. В этом методе строится "большая" матрица ковариации, описывающая корреляции между всеми входными и выходными переменными, измеренными в N точках в желаемой области. Этот подход был подробно разработан для матрично-значных гауссовских процессов и обобщен на процессы с "тяжелыми хвостами", такие как t-распределение Стьюдента. Вывод непрерывных значений с использованием априорного гауссовского процесса известен как гауссовская регрессия или кригинг; расширение гауссовской регрессии на несколько целевых переменных известно как кокригинг. Таким образом, гауссовские процессы являются мощным нелинейным инструментом многомерной интерполяции. Гауссовские процессы также часто используются для решения задач численного анализа, таких как численное интегрирование, решение дифференциальных уравнений или оптимизация в области вероятностной нумерики. Гауссовские процессы также могут применяться в контексте моделей смеси экспертов, например. Основная идея такой структуры обучения заключается в предположении, что заданное отображение не может быть адекватно представлено одной моделью гауссовского процесса. Вместо этого пространство наблюдений разбивается на подмножества, каждое из которых характеризуется своей функцией отображения; каждое из них изучается с помощью отдельного компонента гауссовского процесса в предложенной смеси. В естественных науках гауссовские процессы нашли применение в качестве вероятностных моделей астрономических временных рядов и для предсказания молекулярных свойств.

Прогноз гауссовского процесса или Кригинга

При рассмотрении общей задачи регрессии гауссовского процесса (кригинга) предполагается, что для гауссовского процесса, наблюдаемого в точках , вектор значений f(x) является лишь одной выборкой из многомерного гауссовского распределения размерности, равной числу наблюдаемых точек n. Следовательно, при допущении нулевого среднего распределения, f(x') ~ N(0, K(θ, x, x')), где K(θ, x, x') – матрица ковариации между всеми возможными парами (x, x') для заданного набора гиперпараметров θ. Метод кригинга может быть использован на латентном уровне нелинейной смешанной модели для пространственного функционального прогнозирования: эта техника называется латентным кригингом. Часто ковариация имеет вид , где – параметр масштаба. Примерами служат функции ковариации класса Матерна. Если этот параметр масштаба известен или неизвестен (то есть требует интегрирования по распределению), то апостериорная вероятность , то есть вероятность гиперпараметров θ при заданном наборе пар данных наблюдений (x, f(x)) и (x', f(x')), имеет аналитическое выражение.

Байесовские нейронные сети как гауссовские процессы

Бейсианские нейронные сети — это особый тип байесовской сети, возникающий при вероятностном подходе к моделям глубокого обучения и искусственных нейронных сетей, а также при назначении априорного распределения их параметрам. Вычисления в искусственных нейронных сетях обычно организованы в последовательные слои искусственных нейронов. Число нейронов в слое называется шириной слоя. При увеличении ширины слоя многие байесовские нейронные сети приближаются к гауссовскому процессу с замкнутым композиционным ядром. Этот гауссовский процесс называется гауссовским процессом нейронной сети (NNGP). Он позволяет более эффективно вычислять прогнозы байесовских нейронных сетей и предоставляет аналитический инструмент для изучения моделей глубокого обучения.

Вычислительные проблемы

В практических приложениях модели гауссовских процессов часто оцениваются на сетке, что приводит к многомерным нормальным распределениям. Использование этих моделей для предсказания или оценки параметров методом максимального правдоподобия требует вычисления многомерной плотности Гаусса, что включает в себя вычисление определителя и обратной матрицы ковариации. Обе эти операции имеют кубическую вычислительную сложность, а это означает, что даже для сеток умеренного размера они могут потребовать неприемлемо больших вычислительных ресурсов. Этот недостаток послужил стимулом для разработки множества методов приближения.