Сравнивайте с английским: нажмите на абзац — оригинал откроется в окне. Кнопка EN под абзацем показывает его прямо в тексте.
Содержание
Введение
Метод оценки, минимизирующий среднеквадратичную ошибку.
Estimation method that minimizes the mean square error
В статистике и обработке сигналов, оценщик с минимальной среднеквадратичной ошибкой (MMSE) – это метод оценки, который минимизирует среднеквадратичную ошибку (MSE), являющуюся распространенной мерой качества оценщика, для подстроенных значений зависимой переменной. В байесовском подходе термин MMSE более конкретно относится к оценке с квадратичной функцией потерь. В этом случае оценщик MMSE определяется как апостериорное среднее оцениваемого параметра. Поскольку вычисление апостериорного среднего может быть сложным, форма оценщика MMSE обычно ограничивается определенным классом функций. Линейные оценщики MMSE являются популярным выбором благодаря простоте использования, легкости вычислений и высокой универсальности. Они послужили основой для разработки многих известных оценщиков, таких как фильтр Винера-Колмогорова и фильтр Калмана.
In statistics and signal processing, a minimum mean square error (MMSE) estimator is an estimation method which minimizes the mean square error (MSE), which is a common measure of estimator quality, of the fitted values of a dependent variable. In the Bayesian setting, the term MMSE more specifically refers to estimation with quadratic loss function. In such case, the MMSE estimator is given by the posterior mean of the parameter to be estimated. Since the posterior mean is cumbersome to calculate, the form of the MMSE estimator is usually constrained to be within a certain class of functions. Linear MMSE estimators are a popular choice since they are easy to use, easy to calculate, and very versatile. It has given rise to many popular estimators such as the Wiener–Kolmogorov filter and Kalman filter.
Мотивация
Термин MMSE более конкретно относится к оценке в байесовской постановке с квадратичной функцией потерь. Основная идея байесовского подхода к оценке исходит из практических ситуаций, когда у нас часто есть априорная информация о параметре, который необходимо оценить. Например, мы можем располагать априорной информацией о диапазоне, который может принимать параметр; или у нас может быть предыдущая оценка параметра, которую мы хотим скорректировать при поступлении нового наблюдения; или статистика реального случайного сигнала, например, речи. Это отличается от небайесовского подхода, такого как минимальный несмещенный оценщик дисперсии (MVUE), где априори не предполагается ничего знать о параметре и не учитываются подобные ситуации. В байесовском подходе такая априорная информация описывается функцией априорной плотности вероятности параметров, и, основываясь непосредственно на теореме Байеса, позволяет получать более точные апостериорные оценки по мере поступления новых наблюдений. Таким образом, в отличие от небайесовского подхода, где интересующие нас параметры считаются детерминированными, но неизвестными константами, байесовский оценщик стремится оценить параметр, который сам является случайной величиной. Более того, байесовская оценка также может учитывать ситуации, когда последовательность наблюдений не обязательно независима. Таким образом, байесовская оценка представляет собой еще одну альтернативу MVUE, полезную в случаях, когда MVUE не существует или не может быть найден.
The term MMSE more specifically refers to estimation in a Bayesian setting with quadratic cost function. The basic idea behind the Bayesian approach to estimation stems from practical situations where we often have some prior information about the parameter to be estimated. For instance, we may have prior information about the range that the parameter can assume; or we may have an old estimate of the parameter that we want to modify when a new observation is made available; or the statistics of an actual random signal such as speech. This is in contrast to the non Bayesian approach like minimum variance unbiased estimator (MVUE) where absolutely nothing is assumed to be known about the parameter in advance and which does not account for such situations. In the Bayesian approach, such prior information is captured by the prior probability density function of the parameters; and based directly on Bayes theorem, it allows us to make better posterior estimates as more observations become available. Thus unlike non Bayesian approach where parameters of interest are assumed to be deterministic, but unknown constants, the Bayesian estimator seeks to estimate a parameter that is itself a random variable. Furthermore, Bayesian estimation can also deal with situations where the sequence of observations are not necessarily independent. Thus Bayesian estimation provides yet another alternative to the MVUE. This is useful when the MVUE does not exist or cannot be found.
Вычисления
Стандартный метод, такой как метод Гаусса, может быть использован для решения матричного уравнения. Более численно устойчивый метод обеспечивается QR-разложением. Поскольку матрица является симметричной положительно определенной, ее можно решить вдвое быстрее с помощью разложения Холецкого, а для больших разреженных систем более эффективен метод сопряженных градиентов. Рекурсия Левинсона – быстрый метод, когда матрица также является матрицей Топлица. Это может произойти, если матрица соответствует широкостационарному процессу. В таких стационарных случаях эти оценки также называют фильтрами Винера-Колмогорова.
Standard method like Gauss elimination can be used to solve the matrix equation for A more numerically stable method is provided by QR decomposition method. Since the matrix is a symmetric positive definite matrix, can be solved twice as fast with the Cholesky decomposition, while for large sparse systems conjugate gradient method is more effective. Levinson recursion is a fast method when is also a Toeplitz matrix. This can happen when is a wide sense stationary process. In such stationary cases, these estimators are also referred to as Wiener–Kolmogorov filters.
Специальный случай: наблюдение вектора с некоррелирующим шумом
Во многих практических приложениях наблюдаемый шум некоррелирован. То есть, является диагональной матрицей. В таких случаях, выгодно рассматривать компоненты как независимые скалярные измерения, а не векторное измерение. Это позволяет сократить время вычислений, обрабатывая вектор измерения как скалярных измерений. Использование скалярной формулы обновления позволяет избежать инверсии матрицы при реализации уравнений обновления ковариации, тем самым повышая численную устойчивость к ошибкам округления. Обновление может быть реализовано итеративно следующим образом:
In many practical applications, the observation noise is uncorrelated. That is, is a diagonal matrix. In such cases, it is advantageous to consider the components of as independent scalar measurements, rather than vector measurement. This allows us to reduce computation time by processing the measurement vector as scalar measurements. The use of scalar update formula avoids matrix inversion in the implementation of the covariance update equations, thus improving the numerical robustness against roundoff errors. The update can be implemented iteratively as:
где , используя начальные значения и . Промежуточные переменные являются -м диагональным элементом диагональной матрицы ; а - -й строкой матрицы . Окончательные значения равны и .
where , using the initial values and The intermediate variables is the th diagonal element of the diagonal matrix ; while is the th row of matrix The final values are and .