Введение

В компьютерном зрении фундаментальная матрица — это матрица 3×3, которая связывает соответствующие точки в стереоизображениях. В эпиполярной геометрии, при использовании однородных координат изображения x и x′ соответствующих точек в паре стереоизображений, Fx описывает линию (эпиполярную линию), на которой должна лежать соответствующая точка x′ на другом изображении. Это означает, что для всех пар соответствующих точек выполняется следующее соотношение.

Имея ранг два и определяясь только с точностью до масштаба, фундаментальную матрицу можно оценить, имея по крайней мере семь точечных соответствий. Её семь параметров представляют собой единственную геометрическую информацию о камерах, которую можно получить только по точечным соответствиям. Термин "фундаментальная матрица" был введен QT Luong в его влиятельной докторской диссертации. Иногда её также называют "бифокальным тензором". Как тензор, она является тензором двух точек, поскольку представляет собой билинейную форму, связывающую точки в различных системах координат. Указанное выше соотношение, определяющее фундаментальную матрицу, было опубликовано в 1992 году Оливье Фугерасом и Ричардом Хартли. Хотя существенная матрица Х. Кристофера Лонгета Хиггинса удовлетворяет аналогичному соотношению, существенная матрица является метрическим объектом, относящимся к откалиброванным камерам, в то время как фундаментальная матрица описывает соответствие в более общих и фундаментальных терминах проективной геометрии. Это математически выражается связью между фундаментальной матрицей и соответствующей ей существенной матрицей, которая имеет вид

, где K и K′ — внутренние калибровочные матрицы двух изображений.

Введение

Фундаментальная матрица – это соотношение между любыми двумя изображениями одной и той же сцены, которое ограничивает возможное положение проекций точек сцены на обоих изображениях. Зная проекцию точки сцены на одно из изображений, положение соответствующей точки на другом изображении ограничивается линией, что упрощает поиск и позволяет выявлять ошибочные соответствия. Соотношение между соответствующими точками, которое описывается фундаментальной матрицей, называется эпиполярным ограничением, ограничением соответствия, дискретным ограничением соответствия или отношением принадлежности.

Теорема проективной реконструкции

Фундаментальную матрицу можно определить на основе набора соответствующих точек. Кроме того, эти соответствующие точки изображения могут быть триангулированы в точки в мировых координатах с использованием матриц камер, вычисленных непосредственно из этой фундаментальной матрицы. Сцена, построенная из этих точек в мировых координатах, находится в проективном преобразовании относительно истинной сцены.

Выведение фундаментальной матрицы с использованием условия сопланарности

Фундаментальную матрицу также можно вывести, используя условие компланарности.

Для спутниковых снимков

Фундаментальная матрица выражает эпиполярную геометрию в стереоизображениях. Эпиполярная геометрия на изображениях, полученных с перспективных камер, проявляется в виде прямых линий. Однако в спутниковых изображениях формирование изображения происходит в процессе движения сенсора по орбите (pushbroom-сенсор). Следовательно, для одной сцены изображения существует множество центров проекции, и эпиполярная линия формируется в виде эпиполярной кривой. Тем не менее, при определенных условиях, таких как использование небольших фрагментов изображений, спутниковые изображения могут быть преобразованы с помощью фундаментальной матрицы.

Свойства

Фундаментальная матрица имеет ранг 2. Ее ядро определяет эпиполь.