Тест отношения правдоподобия на основе градиента функции правдоподобия.
Score test
Статистический тест отношения правдоподобия (score-test) оценивает ограничения параметров на основе градиента функции правдоподобия. Асимптотически χ²-распределен.
Сравнивайте с английским: нажмите на абзац — оригинал откроется в окне. Кнопка EN под абзацем показывает его прямо в тексте.
Содержание
Введение
Статистический тест, основанный на градиенте функции правдоподобия.
Statistical test based on the gradient of the likelihood function
В статистике, тест на оценку (score test) проверяет ограничения на статистические параметры на основе градиента функции правдоподобия – известного как оценка – вычисленного в гипотетическом значении параметра при нулевой гипотезе. Интуитивно, если ограниченная оценка близка к максимуму функции правдоподобия, то оценка не должна отличаться от нуля более чем на величину, обусловленную ошибкой выборки. Хотя распределения выборочных значений теста на оценку в конечном объеме выборки обычно неизвестны, они имеют асимптотическое χ²-распределение при нулевой гипотезе, что было впервые доказано К. Р. Рао в 1948 году, и это можно использовать для определения статистической значимости. Поскольку максимизация функции с учетом ограничений равенства наиболее удобно выполняется с использованием лагранжиана, тест на оценку можно рассматривать как эквивалентный тесту на величину множителей Лагранжа, связанных с ограничениями. В этом случае, если ограничения не являются активными в точке максимума правдоподобия, вектор множителей Лагранжа не должен отличаться от нуля более чем на величину, обусловленную ошибкой выборки. Эквивалентность этих двух подходов была впервые показана С. Д. Сильвеем в 1959 году, что привело к названию тест множителей Лагранжа (Lagrange multiplier test), который стал более распространенным, особенно в эконометрике, после широко цитируемой работы Бройша и Пагана 1980 года. Основное преимущество теста на оценку перед тестом Вальда и тестом отношения правдоподобия заключается в том, что для теста на оценку требуется только вычисление ограниченной оценки. Это делает проверку гипотез возможной, когда несвязанная оценка максимального правдоподобия является граничной точкой в пространстве параметров. Кроме того, поскольку тест на оценку требует только оценки функции правдоподобия при нулевой гипотезе, он менее специфичен по отношению к альтернативной гипотезе, чем тест отношения правдоподобия.
In statistics, the score test assesses constraints on statistical parameters based on the gradient of the likelihood function—known as the score—evaluated at the hypothesized parameter value under the null hypothesis. Intuitively, if the restricted estimator is near the maximum of the likelihood function, the score should not differ from zero by more than sampling error. While the finite sample distributions of score tests are generally unknown, they have an asymptotic χ2 distribution under the null hypothesis as first proved by C. R. Rao in 1948, a fact that can be used to determine statistical significance. Since function maximization subject to equality constraints is most conveniently done using a Lagrangean expression of the problem, the score test can be equivalently understood as a test of the magnitude of the Lagrange multipliers associated with the constraints where, again, if the constraints are non binding at the maximum likelihood, the vector of Lagrange multipliers should not differ from zero by more than sampling error. The equivalence of these two approaches was first shown by S. D. Silvey in 1959, which led to the name Lagrange multiplier test that has become more commonly used, particularly in econometrics, since Breusch and Pagan's much cited 1980 paper. The main advantage of the score test over the Wald test and likelihood ratio test is that the score test only requires the computation of the restricted estimator. This makes testing feasible when the unconstrained maximum likelihood estimate is a boundary point in the parameter space. Further, because the score test only requires the estimation of the likelihood function under the null hypothesis, it is less specific than the likelihood ratio test about the alternative hypothesis.
Примечание к обозначению
Обратите внимание, что в некоторых текстах используется альтернационная запись, в которой статистическая величина проверяется против нормального распределения. Этот подход равнозначен и даёт идентичные результаты.
Note that some texts use an alternative notation, in which the statistic is tested against a normal distribution. This approach is equivalent and gives identical results.
Связь с другими тестами гипотез
Если нулевая гипотеза верна, то тест отношения правдоподобия, тест Вальда и тест Скор являются асимптотически эквивалентными тестами гипотез. При проверке вложенных моделей статистики для каждого теста сходятся к хи-квадрат распределению со степенями свободы, равными разности степеней свободы между двумя моделями. Однако, если нулевая гипотеза не верна, статистики сходятся к нецентральному хи-квадрат распределению с возможно различными параметрами нецентральности.
If the null hypothesis is true, the likelihood ratio test, the Wald test, and the Score test are asymptotically equivalent tests of hypotheses. When testing nested models, the statistics for each test then converge to a Chi squared distribution with degrees of freedom equal to the difference in degrees of freedom in the two models. If the null hypothesis is not true, however, the statistics converge to a noncentral chi squared distribution with possibly different noncentrality parameters.
Особые случаи
Во многих ситуациях статистика баллов сводится к другой широко используемой статистике. В линейной регрессии тест множителя Лагранжа можно выразить как функцию F-теста. При нормальном распределении данных статистика баллов совпадает со статистикой t. При бинарных наблюдениях статистика баллов совпадает со статистикой хи-квадрат в тесте Пирсона.
In many situations, the score statistic reduces to another commonly used statistic. In linear regression, the Lagrange multiplier test can be expressed as a function of the F test. When the data follows a normal distribution, the score statistic is the same as the t statistic. When the data consists of binary observations, the score statistic is the same as the chi squared statistic in the Pearson's chi squared test.