Введение

Концепция теории вероятности

В теории вероятности условная независимость описывает ситуации, когда наблюдение не имеет значения или является избыточным при оценке достоверности гипотезы. Условная независимость обычно формулируется в терминах условной вероятности как частный случай, когда вероятность гипотезы при заданном неинформативном наблюдении равна вероятности без него. Если H – гипотеза, а X и Y – наблюдения, то условную независимость можно выразить следующим равенством:

где P(H|X,Y) – вероятность H при заданных X и Y. Поскольку вероятность H при заданном X такая же, как вероятность H при заданных X и Y, это равенство показывает, что Y не вносит никакого вклада в достоверность H. В этом случае говорят, что X и Y условно независимы при H, что символически записывается как: P(X|H) = P(X|H,Y). В обозначениях причинного равенства две функции f(X) и g(Y), обе зависящие от общей переменной Z, описываются как условно независимые с использованием обозначения P(f(X)|Z) = P(f(X)|g(Y),Z), что эквивалентно обозначению P(X|Z) = P(X|Y,Z). Концепция условной независимости имеет важное значение для графовых теорий статистического вывода, поскольку она устанавливает математическую связь между набором условных утверждений и графоидом.

Близость и задержки

Пусть события А и В определяются как вероятность того, что человек А и человек В вернутся домой вовремя к ужину, при этом оба человека выбираются случайным образом из населения всего мира. События А и В можно считать независимыми, то есть знание о том, что А опоздал, практически не влияет на вероятность того, что Б опоздает. Однако, если ввести третье событие – человек А и человек В живут в одном районе – эти два события становятся условно зависимыми. Дорожные условия и погодные явления, которые могут задержать человека А, могут задержать и человека Б. Учитывая третье событие и знание о том, что человек А опоздал, вероятность того, что человек Б тоже опоздает, существенно изменяется.

Бросание костей

Условная независимость зависит от характера третьего события. Если бросать две кости, можно предположить, что они ведут себя независимо друг от друга. Результат одной кости не даст информации о результате второй кости. (То есть, две кости независимы.) Однако, если результат первой кости – 3, и вам сообщают о третьем событии, а именно о том, что сумма двух результатов четная, то эта дополнительная информация ограничивает возможные результаты второй кости нечетными числами. Другими словами, два события могут быть независимыми, но не условно независимыми. где и принимают значения "умный" и "спортивный".

Условная независимость случайных векторов

Два случайных вектора **x** и **y** условно независимы при заданном третьем случайном векторе **z** тогда и только тогда, когда они независимы в их условном совместном распределении при заданном **z**. Формально:

P(x, y | z) = P(x | z)P(y | z),

где **x**, **y** и **z** – случайные векторы, а условные совместные распределения определены следующим образом.

Использование в байесовском выводе

Пусть p – доля избирателей, которые проголосуют "за" на предстоящем референдуме. При проведении опроса общественного мнения случайным образом из населения выбирают n избирателей. Для i = 1, …, n, пусть Xi = 1 или 0 в зависимости от того, проголосует ли i-й выбранный избиратель "за" или "против". В частотном подходе к статистическому выводу распределение вероятностей p не приписывается (если вероятности нельзя каким-либо образом интерпретировать как относительные частоты наступления какого-либо события или как пропорции в некоторой популяции), и можно сказать, что X1, …, Xn – независимые случайные величины. В отличие от этого, в байесовском подходе к статистическому выводу распределение вероятностей p назначается независимо от отсутствия какой-либо подобной интерпретации "частоты", а вероятности интерпретируются как степени уверенности в том, что p принадлежит любому интервалу, которому присвоена вероятность. В этой модели случайные величины X1, …, Xn не являются независимыми, но они условно независимы при заданном значении p. В частности, если большое число Xs наблюдается равным 1, это подразумевает высокую условную вероятность, учитывая это наблюдение, того, что p близко к 1, и, следовательно, высокую условную вероятность, учитывая это наблюдение, того, что следующий наблюдаемый X будет равен 1.