Введение

Приблизительная интерференционная техника в байесовских сетях

Вариационный проход сообщений (VMP) — это метод приближённого вывода для байесовских сетей с непрерывными или дискретными значениями и сопряжёнными экспоненциальными родителями, разработанный Джоном Винном. VMP был разработан как способ обобщения приближённых вариационных методов, используемых в таких подходах, как латентное распределение Дирихле, и работает путём обновления приближённого распределения в каждом узле посредством сообщений в марковском покрытии этого узла.

Сообщения в вариационной передаче сообщений

Родители передают своим детям ожидание достаточной статистики, а дети – родителям свой естественный параметр, что также требует обмена сообщениями между совместно участвующими родителями узла.

Отношение к экспоненциальным семьям

Поскольку все узлы в VMP принадлежат экспоненциальным семействам и все родительские узлы сопряжены своим дочерним узлам, математическое ожидание достаточной статистики можно вычислить на основе коэффициента нормализации.

Алгоритм VMP

Алгоритм начинается с вычисления ожидаемого значения достаточной статистики для данного вектора. Затем, пока функция правдоподобия не сойдется к стабильному значению (обычно это достигается путем установки небольшого порогового значения и выполнения алгоритма до тех пор, пока ее увеличение не станет меньше этого порогового значения), для каждого узла выполняйте следующее:
Получите все сообщения от родительских узлов. Получите все сообщения от дочерних узлов (для этого дочерним узлам может потребоваться получить сообщения от сородителей). Вычислите ожидаемое значение достаточной статистики узла.

Ограничения

Поскольку каждый потомок должен быть сопряжён со своим родителем, это ограничило типы распределений, которые можно использовать в модели. Например, родителями гауссовского распределения должны быть гауссовское распределение (соответствующее среднему) и гамма-распределение (соответствующее точности, или обратной дисперсии в более распространенных параметризациях). Дискретные переменные могут иметь родителей, распределённых по Дирихле, а узлы, соответствующие распределениям Пуассона и экспоненты, должны иметь гамма-распределённых родителей. В последнее время VMP был расширен для работы с моделями, которые нарушают это ограничение условного сопряжения.