Мэтчмувинг: Техника интеграции компьютерной графики в видеосъемку.

Введение

Техника визуальных эффектов, позволяющая вставлять компьютерную графику в отснятый материал с живыми актерами.

В визуальных эффектах, мэч-мувинг – это техника, позволяющая вставлять 2D-элементы, другие фрагменты отснятого материала с живыми актерами или компьютерную графику в отснятый материал с живыми актерами с корректным положением, масштабом, ориентацией и движением относительно объектов, заснятых в кадре. Она также позволяет удалять элементы отснятого материала с живыми актерами из исходного кадра. Этот термин используется в широком смысле для описания различных методов извлечения информации о движении камеры из кинофильма. Мэч-мувинг, также известный как отслеживание движения или решение камеры, связан с ротоскопией и фотограмметрией. Мэч-мувинг часто путают с захватом движения, который записывает движение объектов, часто человеческих актеров, а не камеры. Как правило, для захвата движения требуются специальные камеры и датчики, а также контролируемая среда (хотя недавние разработки, такие как камера Kinect и Face ID от Apple, начинают это менять). Мэч-мувинг также отличается от фотосъемки с управлением движением, которая использует механическое оборудование для выполнения нескольких идентичных движений камеры. В отличие от этого, мэч-мувинг обычно представляет собой технологию, основанную на программном обеспечении, применяемую постфактум к обычному отснятому материалу, записанному в неконтролируемых условиях с помощью обычной камеры. Мэч-мувинг в основном используется для отслеживания движения камеры в кадре, чтобы идентичное виртуальное движение камеры можно было воспроизвести в программе 3D-анимации. Когда новые анимированные элементы компонуются обратно в исходный кадр, они выглядят в идеально совпадающей перспективе и, следовательно, кажутся бесшовными. Поскольку он в основном основан на программном обеспечении, мэч-мувинг стал все более доступным по мере снижения стоимости вычислительной мощности; теперь это общепринятый инструмент визуальных эффектов, который даже используется в прямых телевизионных трансляциях для создания эффектов, таких как желтая виртуальная линия в американском футболе.

Принцип

Процесс отслеживания движения можно разбить на два этапа.

Отслеживание

Первый шаг – выявление и отслеживание признаков. Признак – это конкретная точка на изображении, к которой алгоритм отслеживания может привязаться и следовать на протяжении нескольких кадров (SynthEyes называет их blips). Часто признаки выбираются, поскольку они представляют собой яркие/темные пятна, границы или углы, в зависимости от конкретного алгоритма отслеживания. Популярные программы используют сопоставление с образцом на основе оценки NCC и среднеквадратичной ошибки (RMS). Важно, что каждый признак представляет собой конкретную точку на поверхности реального объекта. По мере отслеживания признак становится последовательностью двумерных координат, представляющих положение признака в серии кадров. Эта последовательность называется «треком». После создания треков их можно сразу использовать для 2D-отслеживания движения или для вычисления 3D-информации.

Проекция облака точек

После определения положения камеры для каждого кадра становится возможным оценить положение каждой точки в реальном пространстве с помощью обратной проекции. Полученный набор точек часто называют облаком точек из-за его внешнего вида, напоминающего туманность. Поскольку облака точек часто отражают форму трехмерной сцены, они могут использоваться в качестве основы для размещения синтетических объектов или программой реконструкции для создания трехмерной модели реальной сцены.

Определение наземной плоскости

Камера и облако точек должны быть ориентированы в некотором пространстве. Поэтому, после завершения калибровки, необходимо определить плоскость земли (или опорную плоскость). Как правило, это единичная плоскость, которая задает масштаб, ориентацию и начало координат спроецированного пространства. Некоторые программы пытаются сделать это автоматически, однако чаще плоскость определяет пользователь. Поскольку изменение положения опорной плоскости приводит к простому преобразованию всех точек, её фактическое положение – это вопрос удобства.

Реконструкция

3D-реконструкция — это интерактивный процесс воссоздания объекта, запечатленного на фотографиях, с использованием данных отслеживания. Эта техника связана с фотограмметрией. В данном случае речь идет об использовании программного обеспечения для сопоставления движений (match moving) для реконструкции сцены из имеющихся видеоматериалов. Программа реконструкции может создавать трехмерные объекты, имитирующие реальные объекты в отснятой сцене. Используя данные из облака точек и оценки, предоставленной пользователем, программа может создать виртуальный объект, а затем извлечь текстуру из видеоматериалов, которую можно спроецировать на виртуальный объект как текстуру поверхности.

Автоматическое и интерактивное отслеживание

Существует два метода, с помощью которых можно извлечь информацию о движении из изображения. Интерактивное отслеживание, иногда называемое "ручным отслеживанием", предполагает, что пользователь следит за объектами в сцене. Автоматическое отслеживание опирается на компьютерные алгоритмы для идентификации и отслеживания объектов в кадре. Движения отслеживаемых точек затем используются для вычисления "решения". Это решение включает в себя всю информацию о камере, такую как движение, фокусное расстояние и искажение объектива. Преимущество автоматического отслеживания заключается в том, что компьютер может создать больше точек быстрее, чем человек. Большое количество точек можно анализировать статистически для определения наиболее надежных данных. Недостаток автоматического отслеживания в том, что компьютер, в зависимости от алгоритма, может легко ошибаться при отслеживании объектов в сцене. Методы автоматического отслеживания особенно неэффективны в кадрах с быстрым движением камеры, например, при съемке с рук, и в кадрах с повторяющимися элементами, такими как мелкая плитка или любой регулярный узор, где области недостаточно различимы. Этот метод отслеживания также страдает, когда кадр содержит значительное размытие движения, что затрудняет выделение мелких деталей. Преимущество интерактивного отслеживания в том, что пользователь может следить за объектами на протяжении всей сцены и не будет сбит с толку нежесткими объектами. Пользователь также может определить положение объектов в кадре с размытием движения, в то время как автоматическому трекеру чрезвычайно сложно правильно находить объекты с сильным размытием. Недостаток интерактивного отслеживания заключается в том, что пользователь неизбежно вносит небольшие ошибки при отслеживании объектов, что может привести к "дрейфу". Профессиональное отслеживание движения обычно достигается путем комбинирования интерактивных и автоматических методов. Художник может удалять явно аномальные точки и использовать "маски отслеживания" для исключения сложной информации из автоматического процесса отслеживания. Маски отслеживания также используются для закрытия областей кадра, содержащих движущиеся элементы, такие как актер или вращающийся потолочный вентилятор.

There are two methods by which motion information can be extracted from an image. Interactive tracking, sometimes referred to as "supervised tracking", relies on the user to follow features through a scene. Automatic tracking relies on computer algorithms to identify and track features through a shot. The tracked points movements are then used to calculate a "solution". This solution is composed of all the camera's information such as the motion, focal length, and lens distortion. The advantage of automatic tracking is that the computer can create many points faster than a human can. A large number of points can be analyzed with statistics to determine the most reliable data. The disadvantage of automatic tracking is that, depending on the algorithm, the computer can be easily confused as it tracks objects through the scene. Automatic tracking methods are particularly ineffective in shots involving fast camera motion such as that seen with hand held camera work and in shots with repetitive subject matter like small tiles or any sort of regular pattern where one area is not very distinct. This tracking method also suffers when a shot contains a large amount of motion blur, making the small details it needs harder to distinguish. The advantage of interactive tracking is that a human user can follow features through an entire scene and will not be confused by features that are not rigid. A human user can also determine where features are in a shot that suffers from motion blur; it is extremely difficult for an automatic tracker to correctly find features with high amounts of motion blur. The disadvantage of interactive tracking is that the user will inevitably introduce small errors as they follow objects through the scene, which can lead to what is called "drift". Professional level motion tracking is usually achieved using a combination of interactive and automatic techniques. An artist can remove points that are clearly anomalous and use "tracking mattes" to block confusing information out of the automatic tracking process. Tracking mattes are also employed to cover areas of the shot which contain moving elements such as an actor or a spinning ceiling fan.

Маты для слежения

Отслеживающий матт по своей концепции схож с мусорным матом, используемым в композитинге с движущейся маской. Однако, цель отслеживающего матта – не допустить использования алгоритмами отслеживания ненадежных, нерелевантных или нежестких точек для отслеживания. Например, в сцене, где актер идет на фоне заднего плана, художник по отслеживанию захочет использовать для отслеживания камеры только задний план, понимая, что движение актера исказит расчеты. В этом случае художник создаст отслеживающий матт, чтобы изолировать актера в сцене, исключая эту информацию из процесса отслеживания.

Рафинирование

Поскольку в процессе калибровки часто существует несколько возможных решений и может накапливаться значительное количество ошибок, финальный этап сопоставления движения часто включает в себя доработку решения вручную. Это может означать изменение движения камеры или предоставление подсказок механизму калибровки. Эта интерактивная калибровка называется "уточнение". Большинство приложений для match moving основаны на схожих алгоритмах отслеживания и калибровки. Часто первоначальные результаты получаются похожими. Однако каждая программа обладает различными возможностями уточнения.

Реальное время

На съемочной площадке отслеживание камеры в реальном времени все чаще используется в производстве художественных фильмов, чтобы визуализировать элементы, которые будут добавлены на этапе постпродакшна, непосредственно во время съемок. Это позволяет режиссеру и актерам улучшать игру, видя расширения декораций или CGI-персонажей в процессе (или сразу после) дубля. Больше нет необходимости снимать на хромакей (зеленый/синий экран) без возможности оценить результат. Теперь можно в реальном времени настраивать положение взгляда, позиционирование актеров и взаимодействие с CGI, что дает уверенность всем членам съемочной группы в корректности кадра и его успешной интеграции в финальную версию. Для этого необходимо объединить различные аппаратные и программные компоненты. Программное обеспечение собирает данные обо всех 360 степенях свободы движения камеры, а также метаданные, такие как зум, фокус, диафрагма и выдержка, поступающие с различных устройств: от систем захвата движения, таких как активная система на основе светодиодных маркеров от PhaseSpace, пассивные системы, такие как Motion Analysis или Vicon, до роторных энкодеров, установленных на кранах и тележках камеры, например, Technocranes и Fisher Dollies, или инерциальных и гироскопических датчиков, монтируемых непосредственно на камеру. Существуют также лазерные системы слежения, которые можно крепить к любому оборудованию, включая стедикамы, для отслеживания камер на открытом воздухе даже в дождь на расстоянии до 30 метров. Камеры управления движением также могут служить источником или получателем данных о 3D-камере. Движения камеры можно предварительно визуализировать, а затем преобразовать в данные управления движением, которые приводят в действие кран камеры точно по тому же пути, что и виртуальная 3D-камера. Энкодеры на кране также можно использовать в реальном времени на съемочной площадке для обратного процесса – генерации данных о 3D-камере в реальном времени. Данные можно передавать в различные 3D-приложения, позволяя 3D-художникам вносить изменения в свои CGI-элементы прямо на площадке. Главное преимущество заключается в том, что проблемы с дизайном декораций, которые в противном случае потребовали бы значительных затрат времени и средств на этапе постпродакшна, можно решить непосредственно в процессе съемок, гарантируя, что актеры органично вписываются в каждую среду для каждого кадра. Системы захвата движения в реальном времени также можно интегрировать в поток данных с камеры, что позволяет вставлять виртуальных персонажей в живые кадры на съемочной площадке. Это значительно улучшает взаимодействие между реальными актерами и виртуальными персонажами, созданными с помощью MoCap, поскольку и оригинальные кадры, и CGI-перформансы можно синхронизировать и хореографировать вместе.

On set, real time camera tracking is becoming more widely used in feature film production to allow elements that will be inserted in post production be visualised live on set. This has the benefit of helping the director and actors improve performances by actually seeing set extensions or CGI characters whilst (or shortly after) they do a take. No longer do they need to perform to green/blue screens and have no feedback of the result. Eye line references, actor positioning, and CGI interaction can now be done live on set giving everyone confidence that the shot is correct and going to work in the final composite. To achieve this, a number of components from hardware to software need to be combined. Software collects all of the 360 degrees of freedom movement of the camera as well as metadata such as zoom, focus, iris and shutter elements from many different types of hardware devices, ranging from motion capture systems such as active LED marker based system from PhaseSpace, passive systems such as Motion Analysis or Vicon, to rotary encoders fitted to camera cranes and dollies such as Technocranes and Fisher Dollies, or inertia & gyroscopic sensors mounted directly to the camera. There are also laser based tracking systems that can be attached to anything, including Steadicams, to track cameras outside in the rain at distances of up to 30 meters. Motion control cameras can also be used as a source or destination for 3D camera data. Camera moves can be pre visualised in advance and then converted into motion control data that drives a camera crane along precisely the same path as the 3 D camera. Encoders on the crane can also be used in real time on set to reverse this process to generate live 3D cameras. The data can be sent to any number of different 3D applications, allowing 3D artists to modify their CGI elements live on set as well. The main advantage being that set design issues that would be time consuming and costly issues later down the line can be sorted out during the shooting process, ensuring that the actors "fit" within each environment for each shot whilst they do their performances. Real time motion capture systems can also be mixed within camera data stream allowing virtual characters to be inserted into live shots on set. This dramatically improves the interaction between real and non real MoCap driven characters as both plate and CGI performances can be choreographed together.