Введение

Процесс, используемый в видеокодировании/компрессии. В компьютерном зрении и обработке изображений оценка движения — это процесс определения векторов движения, описывающих преобразование из одного 2D-изображения в другое, как правило, между соседними кадрами видеопоследовательности. Это некорректно поставленная задача, поскольку движение происходит в трех измерениях (3D), а изображения являются проекцией 3D-сцены на 2D-плоскость. Векторы движения могут относиться ко всему изображению (оценка глобального движения) или к его отдельным частям, таким как прямоугольные блоки, области произвольной формы или даже к каждому пикселю. Векторы движения могут быть представлены трансляционной моделью или другими моделями, способными аппроксимировать движение реальной видеокамеры, например, вращением и перемещением во всех трех измерениях, а также масштабированием.

Связанные термины

Чаще всего термины "оценка движения" и "оптический поток" используются как взаимозаменяемые. Они также концептуально связаны с регистрацией изображений и стереосоответствием. Фактически, все эти термины относятся к процессу поиска соответствующих точек между двумя изображениями или видеокадрами. Точки, соответствующие друг другу в двух проекциях (изображениях или кадрах) реальной сцены или объекта, "обычно" представляют собой одну и ту же точку в этой сцене или на этом объекте. Прежде чем приступить к оценке движения, необходимо определить меру соответствия, то есть метрику сопоставления, которая измеряет степень сходства двух точек изображения. Здесь нет правильного или неправильного решения; выбор метрики сопоставления обычно зависит от того, для чего будет использоваться полученная оценка движения, а также от стратегии оптимизации в процессе оценки. Каждый вектор движения используется для представления макроблока в изображении, основываясь на положении этого макроблока (или аналогичного) в другом изображении, называемом опорным изображением. В стандарте H.264/MPEG 4 AVC вектор движения определяется следующим образом:

вектор движения: двумерный вектор, используемый для межкадрового предсказания, который задает смещение от координат в декодированном изображении к координатам в опорном изображении.

Алгоритмы

Методы поиска векторов движения можно разделить на методы, основанные на пикселях ("прямые") и методы, основанные на признаках ("косвенные"). Значительные дебаты привели к публикации двух статей от противостоящих сторон, чтобы попытаться прийти к определенному заключению.

Косвенные методы

Косвенные методы используют признаки, такие как детекция углов, и сопоставляют соответствующие признаки между кадрами, обычно с применением статистической функции к локальной или глобальной области. Цель статистической функции — отсеять сопоставления, не соответствующие реальному движению. Успешно использованными статистическими функциями являются, например, RANSAC.

Дополнительная записка о категоризации

Можно утверждать, что почти все методы требуют некоторого определения критериев сопоставления. Разница лишь в том, сначала суммируется информация по локальной области изображения, а затем сравниваются эти суммарные данные (например, в методах, основанных на признаках), или сначала сравнивается каждый пиксель (например, возведение разности в квадрат), а затем производится суммирование по локальной области изображения (движение на основе блоков и движение на основе фильтров). Новый тип критериев сопоставления сначала суммирует локальную область изображения для каждой позиции пикселя (с помощью преобразования признаков, например, преобразования Лапласа), сравнивает суммированные значения каждого пикселя и затем снова суммирует информацию по локальной области изображения. Некоторые критерии сопоставления способны исключать точки, которые на самом деле не соответствуют друг другу, несмотря на получение хорошей оценки сопоставления, другие такой способностью не обладают, но все равно являются критериями сопоставления.

Оценка аффинного движения

Оценка аффинного движения — это метод, используемый в компьютерном зрении и обработке изображений для оценки движения между двумя изображениями или кадрами. Он основан на предположении, что движение можно смоделировать как аффинное преобразование (сдвиг + вращение + масштабирование), представляющее собой линейное преобразование с последующим сдвигом.

Видео кодирование

Применение векторов движения к изображению для синтеза преобразования к следующему изображению называется компенсацией движения. Она наиболее легко реализуется в стандартах кодирования видео, основанных на дискретном косинусном преобразовании (DCT), поскольку кодирование выполняется блоками. Оценка движения и компенсация движения являются ключевыми элементами видеокомпрессии, позволяющими эффективно использовать временную избыточность. Почти все стандарты видеокодирования используют блочную оценку и компенсацию движения, такие как семейство MPEG, включая новейший HEVC.

3D-реконструкция

При одновременной локализации и построении карты трёхмерная модель сцены реконструируется на основе изображений с движущейся камеры.