Введение
Гиперповерхность, используемая алгоритмом классификации NOTOC
В статистической задаче классификации с двумя классами граница принятия решения или поверхность принятия решения — это гиперповерхность, которая разделяет базовое векторное пространство на два множества, по одному для каждого класса. Классификатор отнесет все точки с одной стороны границы принятия решения к одному классу, а все точки с другой стороны — к другому классу. Граница принятия решения — это область в пространстве признаков, где выходная метка классификатора неоднозначна. Если поверхность принятия решения является гиперплоскостью, то задача классификации является линейной, и классы линейно разделимы. Границы принятия решений не всегда четко определены; переход от одного класса в пространстве признаков к другому не является резким, а постепенным. Этот эффект часто встречается в алгоритмах классификации, основанных на нечеткой логике, где принадлежность к тому или иному классу является размытой. Границы принятия решений могут быть приближениями оптимальных границ остановки. Граница принятия решения — это множество точек на этой гиперплоскости, которые соответствуют значению ноль. Например, угол между вектором и точками в множестве должен быть равен нулю для точек, лежащих на границе принятия решения или вблизи неё. Неустойчивость границы принятия решения может учитываться вместе с ошибкой обобщения как критерий выбора наиболее точного и стабильного классификатора.
NOTOC
In a statistical classification problem with two classes, a decision boundary or decision surface is a hypersurface that partitions the underlying vector space into two sets, one for each class. The classifier will classify all the points on one side of the decision boundary as belonging to one class and all those on the other side as belonging to the other class. A decision boundary is the region of a problem space in which the output label of a classifier is ambiguous. If the decision surface is a hyperplane, then the classification problem is linear, and the classes are linearly separable. Decision boundaries are not always clear cut. That is, the transition from one class in the feature space to another is not discontinuous, but gradual. This effect is common in fuzzy logic based classification algorithms, where membership in one class or another is ambiguous. Decision boundaries can be approximations of optimal stopping boundaries. The decision boundary is the set of points of that hyperplane that pass through zero. For example, the angle between a vector and points in a set must be zero for points that are on or close to the decision boundary. Decision boundary instability can be incorporated with generalization error as a standard for selecting the most accurate and stable classifier.
В нейронных сетях и поддерживающих векторных моделях
В случае искусственных нейронных сетей или перцептронов, основанных на обратном распространении ошибки, тип границы принятия решений, которую может выучить сеть, определяется количеством скрытых слоев. Если скрытых слоев нет, сеть способна выучить только линейные задачи. Если же есть один скрытый слой, то, как показала универсальная теорема аппроксимации, она может выучить любую непрерывную функцию на компактных подмножествах Rn, и, следовательно, иметь произвольную границу принятия решений. В частности, метод опорных векторов (SVM) находит гиперплоскость, разделяющую пространство признаков на два класса с максимальным зазором. Если задача изначально не является линейно разделимой, можно использовать метод ядер для преобразования её в линейно разделимую, увеличив размерность пространства. Таким образом, общая гиперповерхность в пространстве небольшой размерности преобразуется в гиперплоскость в пространстве гораздо большей размерности. Нейронные сети стремятся выучить границу принятия решений, минимизирующую эмпирическую ошибку, в то время как метод опорных векторов стремится выучить границу принятия решений, максимизирующую эмпирический зазор между границей и точками данных.