Введение
Элемент информации о содержимом изображения.
В компьютерном зрении и обработке изображений, признак – это элемент информации о содержимом изображения; как правило, информация о том, обладает ли определенная область изображения определенными свойствами. Признаками могут быть конкретные структуры в изображении, такие как точки, границы или объекты. Признаки также могут быть результатом операции над окрестностью или обнаружения признаков, примененных к изображению. Другие примеры признаков связаны с движением в последовательностях изображений или с формами, определяемыми в терминах кривых или границ между различными областями изображения. В более широком смысле, признак – это любой элемент информации, релевантный для решения вычислительной задачи, связанной с конкретным приложением. Это соответствует значению термина "признак" в машинном обучении и распознавании образов в целом, хотя обработка изображений располагает очень развитым набором признаков. Концепция признака очень общая, и выбор признаков в конкретной системе компьютерного зрения может сильно зависеть от специфики решаемой задачи.
Определение
Не существует универсального или точного определения того, что представляет собой признак, и точное определение часто зависит от решаемой задачи или типа приложения. Тем не менее, признак обычно определяется как "интересная" часть изображения, и признаки используются в качестве отправной точки для многих алгоритмов компьютерного зрения. Поскольку признаки служат отправной точкой и основными примитивами для последующих алгоритмов, эффективность всего алгоритма часто напрямую зависит от качества детектора признаков. Следовательно, желаемым свойством детектора признаков является повторяемость: способность обнаруживать один и тот же признак на двух или более различных изображениях одной и той же сцены. Обнаружение признаков – это операция обработки изображения низкого уровня. То есть, она обычно выполняется первой над изображением и анализирует каждый пиксель, чтобы определить, присутствует ли в нем какой-либо признак. Если это часть более сложного алгоритма, то алгоритм обычно анализирует изображение только в области обнаруженных признаков. В качестве обязательного предварительного этапа обнаружения признаков, входное изображение обычно сглаживается с помощью гауссова ядра в пространстве масштабов, и вычисляется одно или несколько изображений признаков, часто выраженных в терминах локальных операций вычисления производных изображения. Иногда, когда обнаружение признаков является вычислительно затратным и существуют ограничения по времени, алгоритм более высокого уровня может использоваться для управления этапом обнаружения признаков, чтобы поиск признаков осуществлялся только в определенных частях изображения. Существует множество алгоритмов компьютерного зрения, использующих обнаружение признаков в качестве начального шага, поэтому было разработано очень большое количество детекторов признаков. Они значительно различаются по типам обнаруживаемых признаков, вычислительной сложности и повторяемости. Когда признаки определяются с точки зрения локальных операций над окрестностями пикселей изображения, процедура, обычно называемая извлечением признаков, позволяет различать подходы к обнаружению признаков, которые принимают локальные решения о наличии признака определенного типа в заданной точке изображения, и те, которые выдают небинарные данные в качестве результата. Это различие становится важным, когда обнаруженные признаки относительно редки. Хотя принимаются локальные решения, выход этапа обнаружения признаков не обязательно должен быть двоичным изображением. Результат часто представляется в виде наборов (связанных или несвязанных) координат точек изображения, в которых были обнаружены признаки, иногда с субпиксельной точностью. Когда извлечение признаков выполняется без принятия локальных решений, результат часто называют изображением признаков. Следовательно, изображение признаков можно рассматривать как изображение в том смысле, что оно является функцией тех же пространственных (или временных) переменных, что и исходное изображение, но значения пикселей содержат информацию о признаках изображения вместо интенсивности или цвета. Это означает, что изображение признаков может быть обработано аналогичным образом, как обычное изображение, полученное с помощью датчика изображения. Изображения признаков также часто вычисляются как встроенный этап в алгоритмах обнаружения признаков.
Векторы и пространства признаков
В некоторых приложениях недостаточно извлекать только один тип признака для получения релевантной информации из данных изображения. Вместо этого извлекаются два или более различных признака, что приводит к формированию двух или более дескрипторов признаков в каждой точке изображения. Распространенной практикой является организация информации, предоставляемой всеми этими дескрипторами, в виде элементов единого вектора, обычно называемого вектором признаков. Совокупность всех возможных векторов признаков формирует пространство признаков. Типичным примером использования векторов признаков является задача классификации каждой точки изображения по принадлежности к определенному классу. Если для каждой точки изображения сформирован соответствующий вектор признаков на основе подходящего набора признаков, и каждый класс хорошо разделен в соответствующем пространстве признаков, то классификацию каждой точки изображения можно выполнить с помощью стандартного метода классификации. Другой, связанный пример возникает при обработке изображений с использованием нейронных сетей. Входные данные для нейронной сети часто представляются в виде вектора признаков для каждой точки изображения, который строится из нескольких различных признаков, извлеченных из данных изображения. В процессе обучения сеть может самостоятельно определить, какие комбинации признаков наиболее полезны для решения поставленной задачи.
Края
Края — это точки, где существует граница (или край) между двумя областями изображения. В общем случае, край может иметь практически произвольную форму и включать в себя точки соединения. На практике, края обычно определяются как набор точек в изображении, характеризующихся высоким значением градиента. Более того, некоторые распространенные алгоритмы объединяют точки с высоким градиентом, чтобы сформировать более полное описание края. Эти алгоритмы обычно накладывают определенные ограничения на свойства края, такие как форма, гладкость и величина градиента. Локально края обладают одномерной структурой.
Уголки / точки интереса
Термины "углы" и "точки интереса" используются несколько взаимозаменяемо и относятся к точечным признакам изображения, обладающим локальной двухмерной структурой. Название "Угол" появилось, поскольку первые алгоритмы сначала выполняли обнаружение границ, а затем анализировали эти границы для поиска резких изменений направления (углов). Впоследствии эти алгоритмы были усовершенствованы таким образом, что явное обнаружение границ стало необязательным, например, путем поиска областей с высокой кривизной в градиенте изображения. Тогда было замечено, что так называемые "углы" обнаруживаются также на участках изображения, которые не являются углами в традиционном понимании (например, небольшое яркое пятно на темном фоне может быть обнаружено). Эти точки часто называют "точками интереса", но термин "угол" используется по традиции.
Глобусы / регионы интересующих точек
Клочки предоставляют дополнительное описание структуры изображения с точки зрения областей, в отличие от углов, которые характеризуются точечной структурой. Тем не менее, дескрипторы клочков часто содержат предпочтительную точку (локальный максимум отклика оператора или центр тяжести), что означает, что многие детекторы клочков также можно рассматривать как операторы точек интереса. Детекторы клочков способны обнаруживать области изображения, которые слишком гладкие для углового детектора. Представьте себе уменьшение изображения с последующим обнаружением углов. Детектор будет реагировать на точки, которые выглядят резкими в уменьшенном изображении, но могут быть гладкими в исходном изображении. В этот момент различие между угловым детектором и детектором клочков становится несколько размытым. В значительной степени это различие можно устранить, включив подходящее понятие масштаба. Однако, благодаря своим характеристикам отклика на различные типы структур изображения в разных масштабах, детекторы LoG и DoH также упоминаются в статье об обнаружении углов.
Хребты
Для удлиненных объектов понятие гребней является естественным инструментом. Дескриптор гребня, вычисленный из изображения в оттенках серого, можно рассматривать как обобщение медиальной оси. С практической точки зрения, гребень можно представить как одномерную кривую, представляющую ось симметрии, и дополнительно обладающую атрибутом локальной ширины гребня, связанным с каждой точкой гребня. Однако, алгоритмически извлечь признаки гребней из общих классов изображений в оттенках серого сложнее, чем признаки границ, углов или пятен. Тем не менее, дескрипторы гребней часто используются для извлечения дорог на аэрофотоснимках и для извлечения кровеносных сосудов на медицинских изображениях – см. обнаружение гребней.
Экстракция
После обнаружения признаков можно извлечь локальный фрагмент изображения вокруг этого признака. Это извлечение может потребовать значительных вычислительных затрат на обработку изображения. Результатом является признаковый дескриптор или признаковый вектор. Среди методов, используемых для описания признаков, можно упомянуть N-джетов и локальные гистограммы (см. преобразование масштабно-инвариантных признаков в качестве примера локального гистограммного дескриптора). Помимо такой атрибутивной информации, сам этап обнаружения признаков может также предоставлять дополнительные атрибуты, такие как ориентация границы и величина градиента при обнаружении границ, а также полярность и интенсивность пятна при обнаружении пятен.
Кривота
Направление краев, изменение интенсивности, автокорреляция.
Движение изображения
Обнаружение движения. Подход, основанный на области, с использованием дифференциального анализа. Оптический поток.
Представительство
Определенная характеристика изображения, определяемая с точки зрения конкретной структуры в данных изображения, часто может быть представлена различными способами. Например, граница может быть представлена как логическая переменная в каждой точке изображения, указывающая на наличие границы в этой точке. В качестве альтернативы, можно использовать представление, которое предоставляет меру достоверности вместо логического утверждения о существовании границы и комбинировать это с информацией об ориентации границы. Аналогично, цвет определенной области может быть представлен либо в виде среднего цвета (три скаляра), либо в виде цветовой гистограммы (три функции). При разработке системы компьютерного зрения или алгоритма компьютерного зрения выбор представления признаков может быть критически важным. В некоторых случаях для решения задачи может потребоваться более высокая степень детализации в описании признака, но это достигается за счет необходимости работы с большим объемом данных и более сложной обработкой. Ниже обсуждаются некоторые факторы, важные для выбора подходящего представления. В данном обсуждении конкретный пример представления признака называется дескриптором признака или просто дескриптором.
Уверенность или уверенность
Два примера характеристик изображения — локальная ориентация границ и локальная скорость в последовательности изображений. В случае ориентации, значение этой характеристики может быть более или менее неопределённым, если в соответствующей окрестности присутствует более одной границы. Локальная скорость не определена, если соответствующий участок изображения не содержит пространственных изменений. В связи с этим наблюдением, может быть целесообразно использовать представление характеристики, включающее меру достоверности или уверенности в отношении значения этой характеристики. В противном случае, часто встречается ситуация, когда один и тот же дескриптор используется для представления значений характеристики с низкой достоверностью и значений, близких к нулю, что приводит к неоднозначности в интерпретации этого дескриптора. В зависимости от области применения, такая неоднозначность может быть допустимой или недопустимой. В частности, если изображение с выделенными характеристиками будет использоваться в дальнейшей обработке, может быть полезно использовать представление характеристики, включающее информацию о достоверности или уверенности. Это позволяет вычислить новый дескриптор характеристики на основе нескольких дескрипторов, например, вычисленных в одной и той же точке изображения, но в разных масштабах, или из разных, но соседних точек, в виде взвешенного среднего, где веса определяются соответствующими значениями достоверности. В простейшем случае, такое вычисление можно реализовать как фильтрацию нижних частот изображения с выделенными характеристиками. Полученное изображение характеристик, как правило, будет более устойчивым к шуму.
Среднеоцениваемость
В дополнение к наличию мер достоверности в представлении, само представление соответствующих значений признаков может быть или не быть подходящим для операции усреднения. Большинство представлений признаков можно усреднять на практике, но только в определенных случаях полученный дескриптор можно корректно интерпретировать как значение признака. Такие представления называются усредняемыми. Например, если ориентация границы представлена в виде угла, такое представление должно иметь разрыв в точке перехода угла от максимального к минимальному значению. Следовательно, может случиться, что две близкие ориентации будут представлены углами, среднее которых не близко ни к одному из исходных углов, и, следовательно, это представление не является усредняемым. Существуют другие представления ориентации границы, такие как тензор структуры, которые усредняемы. Другой пример связан с движением, где в некоторых случаях можно извлечь только нормальную скорость относительно некоторой границы. Если извлечены две такие характеристики и можно предположить, что они относятся к одной и той же истинной скорости, эта скорость не будет равна среднему значению нормальных векторов скорости. Следовательно, нормальные векторы скорости не являются усредняемыми. Вместо этого существуют другие представления движения, использующие матрицы или тензоры, которые позволяют получить истинную скорость посредством усреднения нормальных дескрипторов скорости.
Соответствие
Признаки, обнаруженные на каждом изображении, могут сопоставляться между несколькими изображениями для установления соответствующих признаков, таких как соответствующие точки. Алгоритм основан на сравнении и анализе соответствий точек между эталонным и целевым изображениями. Если какая-либо часть загроможденной сцены имеет соответствий больше, чем заданный порог, эта часть изображения загроможденной сцены выделяется как целевая и считается содержащей искомый объект.