Введение
Класс статистических оценок
В статистике, M-оценщики — это широкий класс экстремальных оценок, для которых целевая функция является выборочным средним. Нелинейный метод наименьших квадратов и оценка максимального правдоподобия являются частными случаями M-оценщиков. Определение M-оценщиков было мотивировано устойчивой статистикой, которая способствовала появлению новых типов M-оценщиков. Однако, M-оценщики не являются по своей природе устойчивыми, что очевидно из того факта, что они включают в себя оценки максимального правдоподобия, которые, как правило, не обладают устойчивостью. Статистическая процедура вычисления M-оценки на наборе данных называется M-оцениванием. В более общем смысле, M-оценщик может быть определен как ноль оценивающей функции. Эта оценивающая функция часто является производной другой статистической функции. Например, оценка максимального правдоподобия — это точка, в которой производная функции правдоподобия по параметру равна нулю; таким образом, оценка максимального правдоподобия является критической точкой функции оценки. Во многих приложениях такие M-оценщики можно рассматривать как оценки характеристик генеральной совокупности.
In statistics, M estimators are a broad class of extremum estimators for which the objective function is a sample average. Both non linear least squares and maximum likelihood estimation are special cases of M estimators. The definition of M estimators was motivated by robust statistics, which contributed new types of M estimators. However, M estimators are not inherently robust, as is clear from the fact that they include maximum likelihood estimators, which are in general not robust. The statistical procedure of evaluating an M estimator on a data set is called M estimation. More generally, an M estimator may be defined to be a zero of an estimating function. This estimating function is often the derivative of another statistical function. For example, a maximum likelihood estimate is the point where the derivative of the likelihood function with respect to the parameter is zero; thus, a maximum likelihood estimator is a critical point of the score function. In many applications, such M estimators can be thought of as estimating characteristics of the population.
Определение
В 1964 году Питер Юбер предложил обобщить метод максимального правдоподобия до минимизации
где ρ – функция, обладающая определенными свойствами (см. ниже). Решения
называются M-оценками ("M" как "типа максимального правдоподобия" (Huber, 1981, стр. 43)); другие типы устойчивых оценок включают L-оценки, R-оценки и S-оценки. Оценки максимального правдоподобия (MLE) таким образом являются частным случаем M-оценок. При соответствующем масштабировании M-оценки являются частными случаями экстремальных оценок (в которых могут использоваться более общие функции от наблюдений). Функция ρ или ее производная ψ могут быть выбраны таким образом, чтобы обеспечить оценке желаемые свойства (с точки зрения смещения и эффективности) при условии, что данные действительно соответствуют предполагаемому распределению, и приемлемое поведение, когда данные генерируются моделью, в некотором смысле близкой к предполагаемому распределению.
ψ-тип
Если функция дифференцируема по , вычисление обычно намного проще. M-оценка типа ψ, обозначаемая T, определяется посредством измеримой функции. Она отображает распределение вероятностей F на значении (если оно существует), которое является решением векторного уравнения:
Например, для оценки максимального правдоподобия, , где обозначает транспонирование вектора u и. Такая оценка не обязательно является M-оценкой типа ρ, но если ρ имеет непрерывную первую производную по , то необходимым условием для того, чтобы M-оценка типа ψ была M-оценкой типа ρ, является. Предыдущие определения легко обобщаются на конечные выборки. Если функция ψ убывает к нулю при , то оценка называется убывающей (redescending). Такие оценки обладают некоторыми дополнительными желательными свойствами, такими как полное исключение грубых выбросов.
Such an estimator is not necessarily an M estimator of ρ type, but if ρ has a continuous first derivative with respect to , then a necessary condition for an M estimator of ψ type to be an M estimator of ρ type is The previous definitions can easily be extended to finite samples. If the function ψ decreases to zero as , the estimator is called redescending. Such estimators have some additional desirable properties, such as complete rejection of gross outliers.
Вычисления
Для многих выборов ρ или ψ не существует аналитического решения, и требуется итерационный подход к вычислению. Можно использовать стандартные алгоритмы оптимизации функций, такие как метод Ньютона-Рафсона. Однако в большинстве случаев можно применить алгоритм итеративно перевзвешенных наименьших квадратов, который обычно является предпочтительным методом. Для некоторых выборов ψ, в частности, для убывающих функций, решение может быть не единственным. Эта проблема особенно актуальна в многомерных и регрессионных задачах. Поэтому необходимо проявлять осторожность при выборе начальных приближений. Распространены устойчивые начальные приближения, такие как медиана в качестве оценки положения и медиана абсолютных отклонений в качестве одномерной оценки масштаба.
Распространение
Можно показать, что M-оценки асимптотически нормально распределены. Следовательно, можно применять подходы, основанные на статистике Уолда, для построения доверительных интервалов и проверки гипотез. Однако, поскольку эта теория является асимптотической, часто целесообразно проверять распределение, например, исследуя перестановки или бутстрэп-распределение.
Функция влияния
Функция влияния M-оценщика заданного типа пропорциональна его определяющей функции. Пусть T – M-оценщик типа ψ, а G – распределение вероятности, для которого определена . Его функция влияния IF равна
при условии существования функции плотности . Доказательство этого свойства M-оценщиков можно найти в Huber (1981, раздел 3.2).
Приложения
M-оценки могут быть построены для параметров местоположения и параметров масштаба в одномерных и многомерных случаях, а также применяются в робастной регрессии.