Computer facial animation

Введение

Компьютерная анимация лица - это, прежде всего, область компьютерной графики, которая включает в себя методы и техники создания и анимирования изображений или моделей лица персонажа. Персонаж может быть человеком, гуманоидом, животным, легендарным существам или персонажем и т. д. Благодаря своему предмету и типу вывода, он также связан со многими другими научными и художественными областями от психологии до традиционной анимации. Важность человеческих лиц в вербальной и невербальной коммуникации и достижения в компьютерной графике аппаратного и программного обеспечения вызвали значительный научный, технологический и художественный интерес к компьютерной анимации лиц. Хотя разработка методов компьютерной графики для анимации лиц началась в начале 1970-х годов, основные достижения в этой области были получены в последнее время и произошли с конца 1980-х годов. Работы по компьютерной анимации лиц можно разделить на две основные области: методы генерации данных анимации и методы применения таких данных к персонажу. Такие методы, как захват движения и ключевые кадры, относятся к первой группе, в то время как анимация морфографических целей (более известная как анимация blendshape) и скелетная анимация относятся ко второй. Анимация лиц стала хорошо известной и популярной благодаря анимационным художественным фильмам и компьютерным играм, но ее применение включает в себя многие другие области, такие как коммуникация, образование, научная симуляция и системы, основанные на агентах (например, представители онлайн-услуг по обслуживанию клиентов). С недавним прогрессом в вычислительной мощности персональных и мобильных устройств, анимация лиц перешла от появления в предварительно отображаемом контенте к созданию во время выполнения.

История

Выражение лица человека уже более ста лет является предметом научных исследований. Изучение движений и выражений лица началось с биологической точки зрения. После некоторых более старых исследований, например, Джона Булвера в конце 1640-х годов, книгу Чарльза Дарвина "Выражение эмоций у людей и животных" можно считать основным отходом для современных исследований в поведенческой биологии. Компьютерное моделирование и анимация выражений лица - не новое дело. Самая ранняя работа с компьютерным представлением лица была сделана в начале 1970-х годов. Первая трехмерная анимация лица была создана Парком в 1972 году. В 1973 году Гилленсон разработал интерактивную систему для сборки и редактирования линейных изображений лиц. В 1974 году Парк разработал параметризированную трехмерную модель лица. Одной из самых важных попыток описать движения лица была система кодирования действий лица (FACS). Первоначально разработанный Карлом Херманом Хьортсё в 1960-х годах и обновленный Экманом и Фризеном в 1978 году, FACS определяет 46 основных единиц действий лица (AU). Основная группа этих единиц действия представляет собой примитивные движения мышц лица в таких действиях, как поднятие бровей, подмигивание и разговор. Восемь AU предназначены для жестких трехмерных движений головы (т.е. поворота и наклона влево и вправо, подъема, опускания, движения вперед и назад). FACS успешно используется для описания желаемых движений синтетических лиц, а также для отслеживания активности лица. В начале 1980-х годов была разработана первая физически основанная модель мышц, контролируемая Платт, и разработаны методы карикатур лица Бреннаном. В 1985 году короткометражный анимационный фильм Тони де Пелтри стал эталоном для анимации лица. Это было первое время, когда компьютерные мимика и речевая анимация были основной частью рассказа истории. В конце 1980-х годов Уотерс разработал новую модель, основанную на мышцах, Магненат Тальман и его коллеги разработали абстрактную модель мышечного действия, а Льюис и Хилл подходили к автоматической синхронизации речи. В 1990-х годах наблюдается рост активности в разработке методов анимации лиц и использовании компьютерной анимации лиц в качестве ключевого компонента повествования, как показано в анимационных фильмах, таких как Toy Story (1995), Antz (1998), Shrek и Monsters, Inc. (оба 2001), и компьютерных играх, таких как Sims. Каспер (1995), веха в этом десятилетии, был первым фильмом, в котором главный актер был произведен исключительно с использованием цифровой анимации лица. После 2000 года фильмы стали более сложными. В фильмах "Матрица перезагружена" и "Матрица революций" для захвата реалистичных движений лица в каждой точке лица использовался плотный оптический поток из нескольких камер высокой четкости. Полярный экспресс (фильм) использовал большую систему Vicon для захвата более 150 точек. Хотя эти системы автоматизированы, для того, чтобы сделать данные пригодными для использования, все же требуется большое количество ручной очистки. Еще одна веха в анимации лиц была достигнута в "Властелине колец", где была разработана система базы формы, специфическая для персонажей. Марк Сагар был первопроходцем в использовании FACS в развлекательной анимации лиц, а системы на основе FACS, разработанные Сагаром, использовались в фильмах "Дом монстров", "Кинг-Конг" и других.

Human facial expression has been the subject of scientific investigation for more than one hundred years. Study of facial movements and expressions started from a biological point of view. After some older investigations, for example by John Bulwer in the late 1640s, Charles Darwin's book The Expression of the Emotions in Men and Animals can be considered a major departure for modern research in behavioural biology. Computer based facial expression modelling and animation is not a new endeavour. The earliest work with computer based facial representation was done in the early 1970s. The first three dimensional facial animation was created by Parke in 1972. In 1973, Gillenson developed an interactive system to assemble and edit line drawn facial images. in 1974, Parke developed a parameterized three dimensional facial model. One of the most important attempts to describe facial movements was Facial Action Coding System (FACS). Originally developed by Carl Herman Hjortsjö in the 1960s and updated by Ekman and Friesen in 1978, FACS defines 46 basic facial Action Units (AUs). A major group of these Action Units represent primitive movements of facial muscles in actions such as raising brows, winking, and talking. Eight AU's are for rigid three dimensional head movements, (i. e. turning and tilting left and right and going up, down, forward and backward). FACS has been successfully used for describing desired movements of synthetic faces and also in tracking facial activities. The early 1980s saw the development of the first physically based muscle controlled face model by Platt and the development of techniques for facial caricatures by Brennan. In 1985, the animated short film Tony de Peltrie was a landmark for facial animation. This marked the first time computer facial expression and speech animation were a fundamental part of telling the story. The late 1980s saw the development of a new muscle based model by Waters, the development of an abstract muscle action model by Magnenat Thalmann and colleagues, and approaches to automatic speech synchronization by Lewis and Hill. The 1990s have seen increasing activity in the development of facial animation techniques and the use of computer facial animation as a key storytelling component as illustrated in animated films such as Toy Story (1995), Antz (1998), Shrek, and Monsters, Inc. (both 2001), and computer games such as Sims. Casper (1995), a milestone in this decade, was the first movie in which a lead actor was produced exclusively using digital facial animation. The sophistication of the films increased after 2000. In The Matrix Reloaded and The Matrix Revolutions, dense optical flow from several high definition cameras was used to capture realistic facial movement at every point on the face. Polar Express (film) used a large Vicon system to capture upward of 150 points. Although these systems are automated, a large amount of manual clean up effort is still needed to make the data usable. Another milestone in facial animation was reached by The Lord of the Rings, where a character specific shape base system was developed. Mark Sagar pioneered the use of FACS in entertainment facial animation, and FACS based systems developed by Sagar were used on Monster House, King Kong, and other films.

Генерация данных анимации лица

К генерации данных анимации лица можно подойти по-разному: 1.) Захват движения на основе маркеров на точках или отметках на лице исполнителя, 2.) методы захвата движения без маркерных знаков с использованием различных типов камер, 3.) аудиоприводящие технологии и 4.) анимация ключевого кадра. Для захвата движения используются камеры, расположенные вокруг объекта. Субъект обычно оснащается либо отражателями (пассивным захвателем движения), либо источниками (активным захвателем движения), которые точно определяют положение субъекта в пространстве. Затем данные, записанные камерами, оцифровываются и преобразуются в трехмерную компьютерную модель объекта. До недавнего времени размер детекторов/источников, используемых системами захвата движения, делал технологию непригодной для захвата лиц. Однако миниатюризация и другие достижения сделали захват движения жизнеспособным инструментом для компьютерной анимации лиц. Захват движения лица широко использовался в Polar Express от Imageworks, где были запечатлены сотни точек движения. Этот фильм был очень успешным, и хотя он пытался воссоздать реализм, его критиковали за то, что он попал в "необычную долину", область, где анимационный реализм достаточен для человеческого распознавания и передачи эмоционального сообщения, но где персонажи не воспринимаются как реалистичные. Основными трудностями захвата движения являются качество данных, которые могут включать вибрацию, а также перенаправление геометрии точек. Целью маркерного захвата движения является упрощение процесса захвата движения, избегая обременения исполнителя маркерами. Недавно появилось несколько методов, использующих различные датчики, среди которых стандартные видеокамеры, Kinect и датчики глубины или другие устройства на основе структурированного света. Системы, основанные на структурированном свете, могут достигать эффективности в реальном времени без использования каких-либо маркеров с использованием высокоскоростного сканера структурированного света. Система основана на надежной офлайн-платформе отслеживания лиц, которая обучает систему различным выражениям лица. Соответствующие последовательности используются для создания линейной модели лица, которая впоследствии используется для онлайн-отслеживания лиц и передачи выражения. Техники, основанные на звуке, особенно хорошо подходят для речевой анимации. Речь обычно рассматривается по-другому, чем анимация мимики, это связано с тем, что простые подходы к анимации, основанные на ключевых кадрах, обычно плохо подходят к реальной динамике речи. Часто виземы используются для представления ключевых поз в наблюдаемой речи (т. е. положение губ, челюсти и языка при производстве определенной фонемы), однако существует большое разнообразие в реализации виземов во время производства естественной речи. Источником этого изменения называется коартикуляция, которая представляет собой влияние окружающих виземов на текущие виземы (т.е. влияние контекста). Для учета коартикуляции существующие системы либо явно учитывают контекст при смешивании ключевых кадров, либо используют более длинные единицы, такие как дифон, трифон, слог или даже единицы длины слов и предложений. Одним из наиболее распространенных подходов к речевой анимации является использование доминирующих функций, введенных Коэном и Массаро. Каждая функция доминирования представляет влияние, которое визема оказывает на речевое выражение с течением времени. Как правило, влияние будет наиболее сильным в центре виземы и будет ухудшаться с расстоянием от центра виземы. Функции доминирования смешиваются вместе, чтобы создать траекторию речи, так же, как функции основы сплина смешиваются вместе, чтобы создать кривую. Форма каждой функции доминирования будет отличаться в зависимости от того, какую визу она представляет и какой аспект лица контролируется (например, ширина губ, вращение челюсти и т. Д.). Такой подход к компьютерной анимации речи можно увидеть в говорящей голове Балди. Другие модели базовых единиц использования речи, включающие контекст (например, дифоны, трифоны и т. д.) вместо виземов. Поскольку базовые единицы уже включают в себя вариации каждой виземы в зависимости от контекста и в некоторой степени динамику каждой виземы, модель коартикуляции не требуется. Речь создается путем выбора соответствующих единиц из базы данных и их смешивания. Это похоже на конкате�...

The generation of facial animation data can be approached in different ways: 1.) marker based motion capture on points or marks on the face of a performer, 2.) markerless motion capture techniques using different type of cameras, 3.) audio driven techniques, and 4.) keyframe animation. Motion capture uses cameras placed around a subject. The subject is generally fitted either with reflectors (passive motion capture) or sources (active motion capture) that precisely determine the subject's position in space. The data recorded by the cameras is then digitized and converted into a three dimensional computer model of the subject. Until recently, the size of the detectors/sources used by motion capture systems made the technology inappropriate for facial capture. However, miniaturization and other advancements have made motion capture a viable tool for computer facial animation. Facial motion capture was used extensively in Polar Express by Imageworks where hundreds of motion points were captured. This film was very accomplished and while it attempted to recreate realism, it was criticized for having fallen in the 'uncanny valley', the realm where animation realism is sufficient for human recognition and to convey the emotional message but where the characters fail to be perceived as realistic. The main difficulties of motion capture are the quality of the data which may include vibration as well as the retargeting of the geometry of the points. Markerless motion capture aims at simplifying the motion capture process by avoiding encumbering the performer with markers. Several techniques came out recently leveraging different sensors, among which standard video cameras, Kinect and depth sensors or other structured light based devices. Systems based on structured light may achieve real time performance without the use of any markers using a high speed structured light scanner. The system is based on a robust offline face tracking stage which trains the system with different facial expressions. The matched sequences are used to build a person specific linear face model that is subsequently used for online face tracking and expression transfer. Audio driven techniques are particularly well fitted for speech animation. Speech is usually treated in a different way to the animation of facial expressions, this is because simple keyframe based approaches to animation typically provide a poor approximation to real speech dynamics. Often visemes are used to represent the key poses in observed speech (i. e. the position of the lips, jaw and tongue when producing a particular phoneme), however there is a great deal of variation in the realisation of visemes during the production of natural speech. The source of this variation is termed coarticulation which is the influence of surrounding visemes upon the current viseme (i. e. the effect of context). To account for coarticulation current systems either explicitly take into account context when blending viseme keyframes or use longer units such as diphone, triphone, syllable or even word and sentence length units. One of the most common approaches to speech animation is the use of dominance functions introduced by Cohen and Massaro. Each dominance function represents the influence over time that a viseme has on a speech utterance. Typically the influence will be greatest at the center of the viseme and will degrade with distance from the viseme center. Dominance functions are blended together to generate a speech trajectory in much the same way that spline basis functions are blended together to generate a curve. The shape of each dominance function will be different according to both which viseme it represents and what aspect of the face is being controlled (e. g. lip width, jaw rotation etc.). This approach to computer generated speech animation can be seen in the Baldi talking head. Other models of speech use basis units which include context (e. g. diphones, triphones etc.) instead of visemes. As the basis units already incorporate the variation of each viseme according to context and to some degree the dynamics of each viseme, no model of coarticulation is required. Speech is simply generated by selecting appropriate units from a database and blending the units together. This is similar to concatenative techniques in audio speech synthesis. The disadvantage to these models is that a large amount of captured data is required to produce natural results, and whilst longer units produce more natural results the size of database required expands with the average length of each unit. Finally, some models directly generate speech animations from audio. These systems typically use hidden Markov models or neural nets to transform audio parameters into a stream of control parameters for a facial model. The advantage of this method is the capability of voice context handling, the natural rhythm, tempo, emotional and dynamics handling without complex approximation algorithms. The training database is not needed to be labeled since there are no phonemes or visemes needed; the only needed data is the voice and the animation parameters. Keyframe animation is the least automated of the processes to create animation data although it delivers the maximum amount of control over the animation. It is often used in combination with other techniques to deliver the final polish to the animation. The keyframe data can be made of scalar values defining the morph targets coefficients or rotation and translation values of the bones in models with a bone based rig. Often to speed up the keyframe animation process a control rig is used by the animation. The control rig represents a higher level of abstraction that can act on multiple morph targets coefficients or bones at the same time. For example, a "smile" control can act simultaneously on the mouth shape curving up and the eyes squinting.

Применение анимации лица персонажу

Основные методы, используемые для применения анимации лица к персонажу: 1.) анимация морф-целей, 2.) Костная анимация, 3.) анимация на основе текстуры (2D или 3D) и 4. физиологические модели. Системы, основанные на морфографических целях (также называемых "blendshapes"), предлагают быстрое воспроизведение, а также высокую степень точности выражений. Метод включает моделирование частей сетки лица для приближения выражений и виземов, а затем смешивание различных подсетей, известных как морф-мишени или смеси. Возможно, самым опытным персонажем, использующим эту технику, был Голлум из "Властелина колец". Недостатком этой техники является то, что она требует интенсивного ручного труда и специфична для каждого персонажа. В последнее время стали появляться новые концепции в 3D-моделировании. Недавно начинает появляться новая технология, отходящая от традиционных методов, например, моделирование с управляемым поворотом, которое подчеркивает моделирование движения 3D-объекта вместо традиционного моделирования статической формы. Анимация на основе костей очень широко используется в играх. Устройство костей может варьироваться от нескольких костей до сотни, чтобы позволить все тонкие выражения лица. Основными преимуществами костной анимации является то, что та же анимация может использоваться для разных персонажей, если морфология их лиц схожа, и во-вторых, они не требуют загрузки в память всех данных Morph-целей. Анимация, основанная на костях, наиболее широко поддерживается 3D-игровыми движками. Анимация, управляемая костями, может использоваться как для 2D, так и для 3D-анимации. Например, можно подстроить и анимировать с помощью костей 2D-персонаж с помощью Adobe Flash. Текстура основанная анимация использует цвет пикселя для создания анимации на лице персонажа. 2D-анимация лиц обычно основана на трансформации изображений, включая как изображения из неподвижной фотографии, так и последовательности видео. Морфирование изображения - это техника, которая позволяет генерировать переходные изображения между парой целевых неподвижных изображений или между кадрами из последовательностей видео. Эти методы морфирования обычно состоят из комбинации метода геометрической деформации, которая выравнивает целевые изображения, и перекрестного отблеска, который создает плавный переход в текстуре изображения. Ранний пример преобразования изображения можно увидеть в видео Майкла Джексона "Black Or White". В 3D-анимации анимация на основе текстуры может быть достигнута путем анимации самой текстуры или УФ-картировки. В последнем случае создается карта текстуры всех выражений лица, а анимация карты UV используется для перехода от одного выражения к другому. Физиологические модели, такие как системы скелетных мышц и модели головы на физической основе, образуют другой подход к моделированию головы и лица. Здесь имитируются физические и анатомические характеристики костей, тканей и кожи, чтобы обеспечить реалистичный внешний вид (например, пружинная эластичность). Такие методы могут быть очень мощными для создания реализма, но сложность структур лица делает их вычислительно дорогостоящими и трудными в создании. Учитывая эффективность параметризированных моделей в коммуникативных целях (как объяснено в следующем разделе), можно утверждать, что физически основанные модели не являются очень эффективным выбором во многих приложениях. Это не отрицает преимуществ физически основанных моделей и того факта, что они могут даже использоваться в контексте параметризированных моделей для предоставления местных деталей при необходимости.

The main techniques used to apply facial animation to a character are: 1.) morph targets animation, 2.) bone driven animation, 3.) texture based animation (2D or 3D), and 4.) physiological models. Morph targets (also called "blendshapes") based systems offer a fast playback as well as a high degree of fidelity of expressions. The technique involves modeling portions of the face mesh to approximate expressions and visemes and then blending the different sub meshes, known as morph targets or blendshapes. Perhaps the most accomplished character using this technique was Gollum, from The Lord of the Rings. Drawbacks of this technique are that they involve intensive manual labor and are specific to each character. Recently, new concepts in 3D modeling have started to emerge. Recently, a new technology departing from the traditional techniques starts to emerge, such as Curve Controlled Modeling that emphasizes the modeling of the movement of a 3D object instead of the traditional modeling of the static shape. Bone driven animation is very broadly used in games. The bones setup can vary between few bones to close to a hundred to allow all subtle facial expressions. The main advantages of bone driven animation is that the same animation can be used for different characters as long as the morphology of their faces is similar, and secondly they do not require loading in memory all the Morph targets data. Bone driven animation is most widely supported by 3D game engines. Bone driven animation can be used for both 2D and 3D animation. For example, it is possible to rig and animate using bones a 2D character using Adobe Flash. Texture based animation uses pixel color to create the animation on the character face. 2D facial animation is commonly based upon the transformation of images, including both images from still photography and sequences of video. Image morphing is a technique which allows in between transitional images to be generated between a pair of target still images or between frames from sequences of video. These morphing techniques usually consist of a combination of a geometric deformation technique, which aligns the target images, and a cross fade which creates the smooth transition in the image texture. An early example of image morphing can be seen in Michael Jackson's video for "Black Or White". In 3D animation texture based animation can be achieved by animating the texture itself or the UV mapping. In the latter case a texture map of all the facial expression is created and the UV map animation is used to transition from one expression to the next. Physiological models, such as skeletal muscle systems and physically based head models, form another approach in modeling the head and face. Here, the physical and anatomical characteristics of bones, tissues, and skin are simulated to provide a realistic appearance (e. g. spring like elasticity). Such methods can be very powerful for creating realism but the complexity of facial structures make them computationally expensive, and difficult to create. Considering the effectiveness of parameterized models for communicative purposes (as explained in the next section), it may be argued that physically based models are not a very efficient choice in many applications. This does not deny the advantages of physically based models and the fact that they can even be used within the context of parameterized models to provide local details when needed.