Введение

Вероятностная модель

Графическая модель, или вероятностная графическая модель (PGM), или структурированная вероятностная модель — это вероятностная модель, в которой граф выражает структуру условных зависимостей между случайными величинами. Они широко используются в теории вероятностей, статистике, особенно в байесовской статистике, и машинном обучении.

Типы графических моделей

Как правило, вероятностные графические модели используют графическое представление в качестве основы для кодирования распределения в многомерном пространстве, а также граф, являющийся компактным или факторизованным представлением множества независимых связей, выполняющихся для данного распределения. Наиболее часто используются два направления графического представления распределений, а именно, байесовские сети и марковские случайные поля. Обе эти группы моделей обладают свойствами факторизации и независимости, но различаются по набору независимых связей, которые они могут кодировать, и по факторизации распределения, которую они определяют.

Ненаправленная графическая модель

Указанный ненаправленный граф может иметь одну из нескольких интерпретаций; общая черта заключается в том, что наличие ребра подразумевает некоторую зависимость между соответствующими случайными величинами. Из этого графа мы можем заключить, что все взаимно независимы при известном , или (эквивалентно в данном случае), что

для некоторых неотрицательных функций .

Байесовская сеть

Если сетевая структура модели представляет собой направленный ациклический граф, то модель представляет собой факторизацию совместного распределения вероятностей всех случайных переменных. Более точно, если событиями являются , то совместная вероятность удовлетворяет следующему выражению:

где – множество родителей узла (узлов, имеющих ребра, направленные к ). Иными словами, совместное распределение раскладывается на произведение условных распределений. Например, в направленном ациклическом графе, показанном на рисунке, эта факторизация будет . Любые два узла условно независимы при известных значениях их родителей. В общем случае, любые два набора узлов условно независимы при заданном третьем наборе, если в графе выполняется критерий, называемый d-разделением. Локальные и глобальные независимости эквивалентны в байесовских сетях. Этот тип графической модели известен как направленная графическая модель, байесовская сеть или сеть верований. Классические модели машинного обучения, такие как скрытые марковские модели и нейронные сети, а также более новые модели, такие как марковские модели переменного порядка, можно рассматривать как частные случаи байесовских сетей. Одним из самых простых примеров байесовской сети является классификатор наивного Байеса.

Приложения

Фреймворк моделей, предоставляющий алгоритмы для выявления и анализа структуры в сложных распределениях с целью их лаконичного описания и извлечения неструктурированной информации, позволяет эффективно создавать и применять эти модели. Области применения графических моделей включают причинно-следственный вывод, извлечение информации, распознавание речи, компьютерное зрение, декодирование кодов с низкой плотностью проверки на четность, моделирование сетей регуляции генов, поиск генов, диагностику заболеваний и моделирование структуры белков.