Квадратичный классификатор в статистике: определение, принцип работы и отличие от линейного. Обучение на основе тренировочных данных для определения класса объекта.
Сравнивайте с английским: нажмите на абзац — оригинал откроется в окне. Кнопка EN под абзацем показывает его прямо в тексте.
Содержание
Введение
статистическая классификация
statistical classification
В статистике квадратичный классификатор — это статистический классификатор, использующий квадратичную границу принятия решений для разделения измерений двух или более классов объектов или событий. Он является более общей версией линейного классификатора.
In statistics, a quadratic classifier is a statistical classifier that uses a quadratic decision surface to separate measurements of two or more classes of objects or events. It is a more general version of the linear classifier.
Проблема классификации
Статистическая классификация рассматривает набор векторов наблюдений "x" объекта или события, каждый из которых имеет известный тип y. Этот набор называется обучающей выборкой. Затем задача состоит в том, чтобы определить, к какому классу следует отнести данный новый вектор наблюдения. Для квадратичного классификатора предполагается, что правильное решение квадратично по измерениям, поэтому y определяется на основе
Statistical classification considers a set of vectors of observations 'x' of an object or event, each of which has a known type y. This set is referred to as the training set. The problem is then to determine, for a given new observation vector, what the best class should be. For a quadratic classifier, the correct solution is assumed to be quadratic in the measurements, so y will be decided based on
В частном случае, когда каждое наблюдение состоит из двух измерений, это означает, что поверхности, разделяющие классы, будут коническими сечениями (то есть линией, окружностью или эллипсом, параболой или гиперболой). В этом смысле можно утверждать, что квадратичная модель является обобщением линейной модели, и ее использование оправдано стремлением расширить способность классификатора представлять более сложные разделяющие поверхности.
In the special case where each observation consists of two measurements, this means that the surfaces separating the classes will be conic sections (i. e., either a line, a circle or ellipse, a parabola or a hyperbola). In this sense, we can state that a quadratic model is a generalization of the linear model, and its use is justified by the desire to extend the classifier's ability to represent more complex separating surfaces.
Квадратный дискриминантный анализ
Квадратный дискриминантный анализ (QDA) тесно связан с линейным дискриминантным анализом (LDA), при котором предполагается, что измерения для каждого класса имеют нормальное распределение. Однако, в отличие от LDA, в QDA не делается предположение об идентичности ковариационных матриц для каждого класса. Когда предположение о нормальности выполняется, наилучшим тестом для гипотезы о том, что данное измерение принадлежит к определенному классу, является тест отношения правдоподобия. Предположим, есть только две группы со средними значениями и ковариационными матрицами, соответствующими и соответственно. Тогда отношение правдоподобия задается выражением
Quadratic discriminant analysis (QDA) is closely related to linear discriminant analysis (LDA), where it is assumed that the measurements from each class are normally distributed. Unlike LDA however, in QDA there is no assumption that the covariance of each of the classes is identical. When the normality assumption is true, the best possible test for the hypothesis that a given measurement is from a given class is the likelihood ratio test. Suppose there are only two groups, with means and covariance matrices corresponding to and respectively. Then the likelihood ratio is given by
для некоторого порогового значения. После некоторых преобразований можно показать, что результирующая разделяющая поверхность между классами является квадратичной. Выборочные оценки векторa среднего и матриц ковариации заменят генеральные величины в этой формуле.
for some threshold After some rearrangement, it can be shown that the resulting separating surface between the classes is a quadratic. The sample estimates of the mean vector and variance covariance matrices will substitute the population quantities in this formula.