Введение
Метод приближенного вычисления интегралов
В математике метод Лапласа, названный в честь Пьера Симона Лапласа, — это техника, используемая для приближенного вычисления интегралов вида
где f — дважды дифференцируемая функция, M — большое число, а пределы интегрирования a и b могут быть бесконечными. Этот метод был впервые представлен в 1806 году. В байесовской статистике приближение Лапласа может относиться либо к приближению нормализующей константы апостериорного распределения методом Лапласа, либо к приближению самого апостериорного распределения гауссовым распределением, центрированным в точке максимального апостериорного правдоподобия. Приближения Лапласа используются в методе интегрированных вложенных приближений Лапласа для быстрого приближенного байесовского вывода.
In Bayesian statistics, Laplace's approximation can refer to either approximating the posterior normalizing constant with Laplace's method or approximating the posterior distribution with a Gaussian centered at the maximum a posteriori estimate. Laplace approximations are used in the integrated nested Laplace approximations method for fast approximate Bayesian inference.
Концепция
Предположим, что функция имеет единственный глобальный максимум в точке x0. Пусть M – константа и рассмотрим следующие две функции:
Обратите внимание, что x0 будет глобальным максимумом как для функции f(x), так и для g(x). Теперь заметим:
При увеличении M отношение для f(x) будет расти экспоненциально, в то время как отношение для g(x) останется неизменным. Таким образом, существенный вклад в интеграл данной функции внесут только точки x в окрестности x0, которые затем можно оценить.
Дальнейшие обобщения
Расширением метода наискорейшего спуска является так называемый нелинейный метод стационарной фазы/наискорейшего спуска. Здесь вместо интегралов требуется асимптотически оценивать решения задач факторизации Римана — Гильберта. Заданы контур C на комплексной сфере, функция, определенная на этом контуре, и специальная точка, например, бесконечность. Необходимо найти функцию M, голоморфную вне контура C, с предписанным разрывом на C и заданной нормализацией в бесконечности. Если и, следовательно, M являются матрицами, а не скалярами, то эта задача, как правило, не имеет явного решения. В этом случае возможна асимптотическая оценка, аналогичная методу линейной стационарной фазы/наискорейшего спуска. Идея заключается в асимптотическом сведении решения исходной задачи Римана — Гильберта к решению более простой, явно разрешимой задачи Римана — Гильберта. Теорема Коши используется для обоснования деформаций контура разрыва. Нелинейная стационарная фаза была введена Дэйфтом и Чжоу в 1993 году на основе более ранних работ Ицса. Нелинейный метод наискорейшего спуска был введен Камвиссисом, К. Маклафлином и П. Миллером в 2003 году на основе предыдущих работ Лакса, Левермора, Дэйфта, Венекида и Чжоу. Как и в линейном случае, "контуры наискорейшего спуска" решают задачу минимума и максимума. В нелинейном случае они оказываются "S-образными кривыми" (определенными в другом контексте еще в 80-х годах Сталлом, Гончаром и Рахмановым). Метод нелинейной стационарной фазы/наискорейшего спуска находит применение в теории уравнений солитонов и интегрируемых моделей, теории случайных матриц и комбинаторике.