Введение

Критерий выбора модели

В статистике, байесовский информационный критерий (BIC) или критерий Шварца (также SIC, SBC, SBIC) является критерием выбора модели из конечного набора моделей; модели с меньшим значением BIC, как правило, предпочтительнее. Он частично основан на функции правдоподобия и тесно связан с информационным критерием Акаике (AIC). При подгонке моделей можно увеличить максимальное правдоподобие, добавляя параметры, но это может привести к переобучению. И BIC, и AIC стремятся решить эту проблему, вводя штраф за количество параметров в модели; штраф в BIC больше, чем в AIC при размере выборки более 7. BIC был разработан Гидеоном Э. Шварцем и опубликован в статье 1978 года, где он представил байесовское обоснование его использования.

Использование

При выборе из нескольких моделей, как правило, предпочтительны модели с более низкими значениями BIC. BIC является возрастающей функцией дисперсии ошибки и возрастающей функцией k. То есть, необъясненная изменчивость зависимой переменной и количество объясняющих переменных увеличивают значение BIC. Однако, более низкое значение BIC не обязательно указывает на то, что одна модель лучше другой. Поскольку BIC основан на приближениях, он является лишь эвристическим методом. В частности, различия в значениях BIC не следует интерпретировать как преобразованные коэффициенты Байеса. Важно помнить, что BIC можно использовать для сравнения оцененных моделей только в том случае, если числовые значения зависимой переменной одинаковы для всех сравниваемых моделей. Сравниваемые модели не обязательно должны быть вложенными, в отличие от случаев сравнения моделей с использованием F-теста или теста отношения правдоподобия.

Свойства

BIC обычно наказывает свободные параметры сильнее, чем критерий информации Акаике, хотя это зависит от величины n и соотношения между n и k.
Он не зависит от априорного распределения. Он позволяет оценить эффективность параметрической модели с точки зрения предсказания данных. Он штрафует сложность модели, под которой понимается количество параметров в модели. Он приблизительно равен критерию минимальной длины описания, но со знаком минус. Его можно использовать для выбора количества кластеров, исходя из внутренней сложности, присущей конкретному набору данных. Он тесно связан с другими штрафными критериями правдоподобия, такими как критерий информации о девиации и критерий информации Акаике.