Введение

Картографирование данных в единую систему

Регистрация изображений – это процесс приведения различных наборов данных к единой системе координат. Данные могут представлять собой несколько фотографий, информацию от различных сенсоров, полученную в разное время, на разной глубине или с разных точек обзора. Она используется в компьютерном зрении, медицинской визуализации, военной автоматической идентификации целей, а также при компиляции и анализе изображений и данных со спутников. Регистрация необходима для сравнения или интеграции данных, полученных в результате этих различных измерений.

На основе интенсивности и на основе особенностей

Алгоритмы регистрации изображений или выравнивания изображений можно классифицировать на методы, основанные на интенсивности, и методы, основанные на выделении признаков. Одно из изображений называется подвижным или исходным, а остальные – целевым, фиксированным или воспринимаемым изображением. Регистрация изображений подразумевает пространственное преобразование исходного/подвижного изображения (или изображений) для приведения его в соответствие с целевым изображением. Целевое изображение служит неподвижной системой координат, а остальные наборы данных преобразуются для соответствия ей.

Модели преобразования

Алгоритмы регистрации изображений также могут быть классифицированы в зависимости от моделей преобразований, используемых для установления соответствия между пространством целевого изображения и пространством опорного изображения. Первая широкая категория моделей преобразований включает линейные преобразования, такие как вращение, масштабирование, сдвиг и другие аффинные преобразования. Линейные преобразования имеют глобальный характер и поэтому не способны моделировать локальные геометрические различия между изображениями. Существует ряд программ, реализующих как оценку, так и применение поля деформации. Они входят в состав программных пакетов SPM и AIR.

Преобразования координат по закону функции композиции, а не сложения

В качестве альтернативы, многие передовые методы пространственной нормализации основаны на структура-сохраняющих преобразованиях – гомеоморфизмах и диффеоморфизмах, поскольку они плавно переносят гладкие подмногообразия в процессе преобразования. Диффеоморфизмы генерируются в современной вычислительной анатомии на основе потоков, так как, хотя диффеоморфизмы и образуют группу по закону композиции функций, они не являются аддитивными. По этой причине потоки, обобщающие концепцию аддитивных групп, позволяют генерировать большие деформации, сохраняющие топологию, и обеспечивают взаимно однозначные и отображающие трансформации. Вычислительные методы для генерации таких преобразований часто называют LDDMM, которые используют потоки диффеоморфизмов в качестве основного вычислительного инструмента для сопоставления систем координат, соответствующих геодезическим потокам вычислительной анатомии. Существует ряд программ, генерирующих диффеоморфные преобразования координат посредством диффеоморфного отображения, включая MRI Studio и MRI Cloud.org.

Методы пространственной и частотной доменных отношений

Пространственные методы работают в области изображения, сопоставляя шаблоны или признаки интенсивности в изображениях. Некоторые алгоритмы сопоставления признаков являются развитием традиционных техник ручной регистрации изображений, в которых оператор выбирает соответствующие контрольные точки (КП) на изображениях. Когда количество контрольных точек превышает минимальное, необходимое для определения соответствующей модели преобразования, итеративные алгоритмы, такие как RANSAC, могут быть использованы для надежной оценки параметров определенного типа преобразования (например, аффинного) для регистрации изображений. Методы частотной области определяют параметры преобразования для регистрации изображений, работая в преобразованной области. Такие методы эффективны для простых преобразований, как сдвиг, вращение и масштабирование. Применение метода фазовой корреляции к паре изображений создает третье изображение, содержащее единственный пик. Положение этого пика соответствует относительному сдвигу между изображениями. В отличие от многих алгоритмов, работающих в пространственной области, метод фазовой корреляции устойчив к шуму, перекрытиям и другим дефектам, характерным для медицинских или спутниковых изображений. Кроме того, фазовая корреляция использует быстрое преобразование Фурье для вычисления перекрестной корреляции между двумя изображениями, что обычно обеспечивает значительный прирост производительности. Метод можно расширить для определения разницы в вращении и масштабировании между двумя изображениями, предварительно преобразовав изображения в логарифмические полярные координаты. Благодаря свойствам преобразования Фурье, параметры вращения и масштабирования могут быть определены инвариантно к сдвигу.

Методы одно- или мультимодальности

Другую классификацию можно провести между методами с одной модальностью и методами с несколькими модальностями. Методы с одной модальностью обычно регистрируют изображения, полученные с помощью одного и того же типа сканера/сенсора в одной и той же модальности, в то время как методы с несколькими модальностями обычно регистрируют изображения, полученные с помощью разных типов сканеров/сенсоров. Методы регистрации с несколькими модальностями часто используются в медицинской визуализации, поскольку изображения одного и того же пациента часто получают с разных сканеров. Примеры включают регистрацию изображений КТ/МРТ головного мозга или ПЭТ/КТ всего тела для локализации опухолей, регистрацию КТ-изображений с контрастным усилением по отношению к КТ-изображениям без контрастного усиления для сегментации определенных частей анатомии, а также регистрацию ультразвуковых и КТ-изображений для локализации простаты при лучевой терапии.

Автоматические и интерактивные методы

Методы регистрации могут быть классифицированы в зависимости от степени автоматизации, которую они обеспечивают. Разработаны ручные, интерактивные, полуавтоматические и автоматические методы. Ручные методы предоставляют инструменты для выравнивания изображений вручную. Интерактивные методы снижают влияние субъективных факторов со стороны пользователя, автоматически выполняя определенные ключевые операции, но при этом требуя от пользователя управления процессом регистрации. Полуавтоматические методы выполняют большую часть этапов регистрации автоматически, однако требуют от пользователя проверки корректности результатов. Автоматические методы не предусматривают никакого вмешательства пользователя и выполняют все этапы регистрации полностью автоматически.

Меры сходства для регистрации изображений

Сходство изображений широко используется в медицинской визуализации. Показатель сходства изображений количественно определяет степень соответствия между образцами интенсивности в двух изображениях. Однако многие подходы к количественной оценке неопределенности или оценке деформаций требуют больших вычислительных ресурсов или применимы только к ограниченному набору пространственных преобразований.

Приложения

Регистрация изображений находит применение в дистанционном зондировании (обновление картографических данных) и компьютерном зрении. Ввиду широкого спектра областей применения регистрации изображений, невозможно разработать универсальный метод, оптимизированный для всех задач. Регистрация медицинских изображений (для данных одного и того же пациента, полученных в разные моменты времени, например, для выявления изменений или мониторинга опухолей) часто дополнительно включает эластичную (также известную как нежесткую) регистрацию для компенсации деформации объекта (вызванной дыханием, анатомическими изменениями и т.п.). Нежесткая регистрация медицинских изображений также может использоваться для сопоставления данных пациента с анатомическим атласом, таким как атлас Талайраха для нейровизуализации. В астрофотографии выравнивание и объединение изображений часто применяются для повышения отношения сигнал/шум при съемке тусклых объектов. Без объединения это может быть использовано для создания таймлапса событий, таких как вращение планеты или прохождение планеты перед Солнцем. Используя контрольные точки (вводимые автоматически или вручную), компьютер выполняет преобразования одного изображения для совмещения ключевых элементов с другим или несколькими изображениями. Этот метод также может применяться к изображениям разных размеров, позволяя объединять изображения, полученные с помощью различных телескопов или объективов. В криоэлектронной микроскопии нестабильность вызывает смещение образца, и для сохранения высокого разрешения и получения изображений с высоким отношением сигнал/шум требуется множество быстрых снимков с точной регистрацией изображений. Для данных с низким отношением сигнал/шум наилучшая регистрация достигается путем перекрестной корреляции всех возможных комбинаций изображений в стеке. Регистрация изображений является важным этапом при создании панорамных изображений. Существует множество различных методов, которые могут быть реализованы в реальном времени и работать на встроенных устройствах, таких как камеры и камеры телефонов.