Среднеквадратичная ошибка оценки

Введение

Мера ошибки оценщика

В статистике средняя квадратичная ошибка (MSE) или среднее квадратичное отклонение (MSD) оценщика (процедуры оценки ненаблюдаемой величины) измеряет среднее значение квадратов ошибок, то есть среднюю квадратичную разницу между оцененными значениями и фактическим значением. MSE является функцией риска, соответствующей математическому ожиданию квадратичной функции потерь. Тот факт, что MSE почти всегда строго положительна (а не равна нулю), обусловлен случайностью или тем, что оценщик не учитывает информацию, которая могла бы привести к более точной оценке. В машинном обучении, в частности при эмпирической минимизации риска, MSE может относиться к эмпирическому риску (средняя потеря на наблюдаемом наборе данных) как к оценке истинной MSE (истинного риска: средней потери на фактическом распределении генеральной совокупности). MSE является мерой качества оценщика. Поскольку она выводится из квадрата евклидова расстояния, это всегда положительное значение, которое уменьшается по мере приближения ошибки к нулю. MSE является вторым центральным моментом ошибки и, таким образом, включает в себя как дисперсию оценщика (насколько сильно разбросаны оценки от одной выборки данных к другой), так и его смещение (насколько среднее оценочное значение отличается от истинного значения). Для несмещенного оценщика MSE равна дисперсии оценщика. Как и дисперсия, MSE имеет те же единицы измерения, что и квадрат оцениваемой величины. По аналогии со стандартным отклонением, извлечение квадратного корня из MSE дает среднеквадратичную ошибку или среднеквадратичное отклонение (RMSE или RMSD), которое имеет те же единицы измерения, что и оцениваемая величина; для несмещенного оценщика RMSE является квадратным корнем дисперсии, известным как стандартная ошибка.

Определение и основные свойства

MSE оценивает качество предсказателя (то есть функции, отображающей произвольные входные данные в выборку значений некоторой случайной величины) или оценщика (то есть математической функции, отображающей выборку данных в оценку параметра генеральной совокупности, из которой эта выборка получена). В контексте предсказания полезно понимать интервал предсказания, поскольку он предоставляет диапазон, в пределах которого с определенной вероятностью будет находиться будущая реализация. Определение MSE различается в зависимости от того, описывается предсказатель или оценщик.

Доказательство отношения дисперсии и смещения

Еще более короткое доказательство можно получить, используя хорошо известную формулу для случайной величины , подставляя вместо , мы получаем . Однако в реальных задачах моделирования среднеквадратичная ошибка (MSE) может быть представлена как сумма дисперсии модели, смещения модели и необратимой неопределенности (см. компромисс между смещением и дисперсией). В соответствии с этой зависимостью, MSE оценок можно использовать для простого сравнения эффективности, учитывающего как дисперсию, так и смещение оценок. Это называется MSE-критерием.

В регрессии

В регрессионном анализе построение графиков является более естественным способом визуализации общей тенденции всех данных. Среднее расстояние от каждой точки до предсказанной регрессионной модели может быть вычислено и представлено как среднеквадратичная ошибка (MSE). Возведение в квадрат критически важно для упрощения расчетов, связанных с отрицательными значениями. Минимизация MSE позволяет повысить точность модели, то есть приблизить ее к фактическим данным. Одним из примеров линейной регрессии, использующей этот метод, является метод наименьших квадратов, который оценивает пригодность модели линейной регрессии для моделирования бивариантного набора данных, однако его ограничение связано с известным распределением данных. Термин среднеквадратичная ошибка иногда используется для обозначения несмещенной оценки дисперсии ошибки: остаточная сумма квадратов, деленная на число степеней свободы. Это определение для известной вычисленной величины отличается от вышеуказанного определения для вычисленной MSE предсказателя тем, что используется другой знаменатель. Знаменатель представляет собой размер выборки, уменьшенный на количество параметров модели, оцененных по тем же данным – (n–p) для p регрессоров или (n–p–1), если используется константа (см. раздел «Ошибки и остатки в статистике» для получения более подробной информации). Хотя MSE (как определено в данной статье) не является несмещенной оценкой дисперсии ошибки, она является состоятельной при условии состоятельности предсказателя. В регрессионном анализе «среднеквадратичная ошибка», часто называемая средней квадратичной ошибкой прогноза или «среднеквадратичной ошибкой вне выборки», также может относиться к среднему значению квадратов отклонений прогнозов от истинных значений, рассчитанному для тестовой выборки, сгенерированной моделью, оцененной на определенной обучающей выборке. Это также известная вычисленная величина, которая варьируется в зависимости от выборки и тестовой выборки. В контексте алгоритмов градиентного спуска для упрощения вычислений после взятия производной часто вводят коэффициент 1/2 в MSE. Таким образом, значение, которое технически является половиной средней квадратичной ошибки, может называться MSE.

In regression analysis, plotting is a more natural way to view the overall trend of the whole data. The mean of the distance from each point to the predicted regression model can be calculated, and shown as the mean squared error. The squaring is critical to reduce the complexity with negative signs. To minimize MSE, the model could be more accurate, which would mean the model is closer to actual data. One example of a linear regression using this method is the least squares method—which evaluates appropriateness of linear regression model to model bivariate dataset, but whose limitation is related to known distribution of the data. The term mean squared error is sometimes used to refer to the unbiased estimate of error variance: the residual sum of squares divided by the number of degrees of freedom. This definition for a known, computed quantity differs from the above definition for the computed MSE of a predictor, in that a different denominator is used. The denominator is the sample size reduced by the number of model parameters estimated from the same data, (n−p) for p regressors or (n−p−1) if an intercept is used (see errors and residuals in statistics for more details). Although the MSE (as defined in this article) is not an unbiased estimator of the error variance, it is consistent, given the consistency of the predictor. In regression analysis, "mean squared error", often referred to as mean squared prediction error or "out of sample mean squared error", can also refer to the mean value of the squared deviations of the predictions from the true values, over an out of sample test space, generated by a model estimated over a particular sample space. This also is a known, computed quantity, and it varies by sample and by out of sample test space. In the context of gradient descent algorithms, it is common to introduce a factor of to the MSE for ease of computation after taking the derivative. So a value which is technically half the mean of squared errors may be called the MSE.

Интерпретация

MSE, равный нулю, означает, что оценщик предсказывает значения параметра с абсолютной точностью, что является идеальным (но обычно недостижимым). Значения MSE могут использоваться для сравнительного анализа. Две или более статистических моделей можно сравнивать по их MSE – как по показателю того, насколько хорошо они объясняют заданный набор наблюдений. Бесcмeщенная оценка (полученная из статистической модели) с наименьшей дисперсией среди всех бесcмeщенных оценок является наилучшей бесcмeщенной оценкой или MVUE (оценкой с минимальной дисперсией среди бесcмeщенных оценок). Как дисперсионный анализ, так и методы линейной регрессии оценивают MSE в процессе анализа и используют оцененный MSE для определения статистической значимости изучаемых факторов или предикторов. Цель экспериментального планирования – построение экспериментов таким образом, чтобы при анализе наблюдений MSE был близок к нулю по отношению к величине хотя бы одного из оцениваемых эффектов воздействия. В однофакторном дисперсионном анализе MSE можно вычислить путем деления суммы квадратов ошибок на число степеней свободы. Кроме того, F-статистика является отношением средней квадратичной суммы воздействия к MSE. MSE также используется в ряде пошаговых методов регрессии для определения количества предикторов из набора кандидатов, которые следует включить в модель для заданного набора наблюдений.

Приложения

Минимизация MSE является ключевым критерием при выборе оценок: см. минимальную среднеквадратичную ошибку. Среди несмещенных оценок минимизация MSE эквивалентна минимизации дисперсии, а оценка, которая это делает, называется несмещенной оценкой с минимальной дисперсией. Однако смещенная оценка может иметь меньшую MSE; см. смещение оценки. В статистическом моделировании MSE может представлять разницу между фактическими наблюдениями и значениями наблюдений, предсказанными моделью. В этом контексте она используется для определения степени соответствия модели данным, а также для оценки возможности исключения некоторых объясняющих переменных без существенного ухудшения прогностической способности модели. В прогнозировании и предсказании, показатель Брайера является мерой точности прогноза, основанной на MSE.

Функция потерь

Квадратная ошибка является одной из наиболее широко используемых функций потерь в статистике, однако её широкое применение обусловлено скорее математической простотой, чем соображениями реальных потерь в практических задачах. Карл Фридрих Гаусс, который ввел использование среднеквадратичной ошибки, осознавал её условность и соглашался с возражениями против неё по этим причинам. Как и дисперсия, среднеквадратичная ошибка имеет недостаток – сильную чувствительность к выбросам. Это происходит из-за возведения в квадрат каждого слагаемого, что фактически придает большим ошибкам больший вес, чем малым. Это свойство, нежелательное во многих приложениях, побудило исследователей использовать альтернативные подходы, такие как средняя абсолютная ошибка или методы, основанные на медиане.