Введение
Метод поиска изображений
Поиск изображений на основе содержания, также известный как запрос по содержанию изображения (QBIC) и извлечение визуальной информации на основе содержания (CBVIR), – это применение методов компьютерного зрения к задаче поиска изображений, то есть к проблеме поиска цифровых изображений в больших базах данных (см. этот обзор для научного обзора области CBIR). Поиск изображений на основе содержания противопоставляется традиционным подходам, основанным на понятиях (см. Индексирование изображений на основе понятий). "Основанный на содержании" означает, что поиск анализирует содержимое изображения, а не метаданные, такие как ключевые слова, теги или описания, связанные с изображением. Термин "содержание" в данном контексте может относиться к цветам, формам, текстурам или любой другой информации, которую можно извлечь из самого изображения. CBIR предпочтителен, поскольку поиск, основанный исключительно на метаданных, зависит от качества и полноты аннотаций.
Сравнение с поиском метаданных
Метапоиск изображений требует от людей ручной разметки изображений путем ввода ключевых слов или метаданных в большую базу данных, что может быть трудоемким и не всегда позволяет подобрать ключевые слова, точно описывающие изображение. Оценка эффективности поиска изображений по ключевым словам носит субъективный характер и не имеет четкого определения. Системы CBIR сталкиваются с аналогичными проблемами при определении успешности. "Ключевые слова также ограничивают область поиска заданным набором критериев", а "предварительная настройка" менее надежна, чем использование самого содержимого изображения. С тех пор этот термин стал использоваться для описания процесса извлечения нужных изображений из большой коллекции на основе синтаксических признаков изображения. Методы, инструменты и алгоритмы, используемые в этой области, берут свое начало из статистики, распознавания образов, обработки сигналов и компьютерного зрения. Недавние подходы, основанные на сетях и графах, представляют собой простую и привлекательную альтернативу существующим методам. Хотя хранение нескольких изображений в составе единого объекта предшествовало появлению термина BLOB (Binary Large OBject), возможность полноценного поиска по содержанию, а не по описанию, стала реальностью только с появлением QBIC от IBM.
Технический прогресс
Интерес к CBIR вырос из-за присущих системам, основанным на метаданных, ограничений, а также широкого спектра возможных применений для эффективного поиска изображений. Текстовую информацию об изображениях можно легко искать с помощью существующих технологий, но это требует, чтобы люди вручную описывали каждое изображение в базе данных. Это может быть непрактично для очень больших баз данных или для изображений, генерируемых автоматически, например, с камер видеонаблюдения. Существует также вероятность пропустить изображения, в описаниях которых используются разные синонимы. Системы, основанные на категоризации изображений по семантическим классам, например, "кошка" как подкласс "животное", могут избежать проблемы неверной категоризации, но пользователю потребуется больше усилий для поиска изображений, которые могут быть "кошками", но классифицированы только как "животное". Было разработано множество стандартов для категоризации изображений, но все они по-прежнему сталкиваются с проблемами масштабируемости и неверной категоризации. Один из подходов заключается в предоставлении CBIR-системе образца изображения, на основе которого будет выполняться поиск. Базовые алгоритмы поиска могут различаться в зависимости от приложения, но результирующие изображения должны иметь общие элементы с предоставленным образцом. Этот метод запроса устраняет трудности, возникающие при попытке описать изображения словами.
Семантическое извлечение
Семантический поиск начинается с запроса пользователя, например: "найти фотографии Авраама Линкольна". Выполнение такого рода открытых задач очень сложно для компьютеров. Линкольн может быть не всегда обращен лицом к камере или находиться в одной и той же позе. Поэтому многие системы CBIR обычно используют признаки более низкого уровня, такие как текстура, цвет и форма. Эти признаки используются либо в сочетании с интерфейсами, облегчающими ввод критериев, либо с базами данных, предварительно обученными сопоставлению признаков (например, лиц, отпечатков пальцев или форм). Однако, как правило, для определения концепций более высокого уровня требуется обратная связь от человека. Системы CBIR могут использовать релевантную обратную связь, когда пользователь постепенно уточняет результаты поиска, помечая изображения в результатах как "релевантные", "нерелевантные" или "нейтральные" по отношению к поисковому запросу, а затем повторяет поиск с учетом новой информации. Примеры подобных интерфейсов были разработаны.
Другие методы запроса
Другие методы запроса включают просмотр примеров изображений, навигацию по настроенным/иерархическим категориям, запрос по области изображения (а не по всему изображению целиком), запрос по нескольким примерам изображений, запрос по визуальному эскизу, запрос с помощью непосредственного указания характеристик изображения и мультимодальные запросы (например, объединение касаний, голоса и т.п.).
Сравнение содержания с использованием мер расстояния изображения
Наиболее распространенным методом сравнения двух изображений в контентно-ориентированном поиске изображений (как правило, образца и изображения из базы данных) является использование метрики расстояния между изображениями. Метрика расстояния между изображениями сравнивает сходство двух изображений по различным характеристикам, таким как цвет, текстура, форма и другие. Например, расстояние, равное 0, указывает на точное соответствие запросу по тем характеристикам, которые учитывались. Как можно предположить, значение больше 0 указывает на различные степени сходства между изображениями. Результаты поиска затем могут быть отсортированы в зависимости от их расстояния до запрошенного изображения.
Форма
Форма относится не к форме изображения, а к форме конкретной области, которую необходимо найти. Формы часто определяются путем первоначального применения сегментации или детекции границ к изображению. Другие методы используют фильтры формы для идентификации заданных форм на изображении. Дескрипторы формы также могут нуждаться в инвариантности к сдвигу, повороту и масштабу. Показано, что даже небольшие, незаметные для человека возмущения могут существенно изменить порядок результатов поиска. Кроме того, возможны переносимые состязательные примеры, не зависящие от конкретной модели, что позволяет проводить "черные ящик" атаки на глубокие системы ранжирования без доступа к их внутренней реализации. В то же время, устойчивость к таким атакам можно повысить с помощью состязательных защитных механизмов, таких как защита Мадри.
Оценка изображения
Метрики оценки поиска изображений можно определить с точки зрения точности и полноты. Однако рассматриваются и другие подходы.
Одновременное извлечение изображений в системе CBIR с помощью различных методов
В системе CBIR изображение извлекается путем одновременного использования нескольких методов, таких как интеграция индексации пиксельных кластеров, пересечение гистограмм и дискретное вейвлет-преобразование.