Алгебраические свойства цифрового компоновки изображений.

Введение

Цифровой композитинг — это процесс цифровой сборки нескольких изображений для создания финального изображения, как правило, для печати, кино или отображения на экране. Это цифровой аналог оптического компоновки киноплёнки. Это часть обработки визуальных эффектов.

Алгебраические свойства

Когда необходимо объединить множество частично прозрачных слоев, стоит рассмотреть алгебраические свойства используемых операторов композиции. В частности, ассоциативность и коммутативность определяют, когда повторного вычисления можно или нельзя избежать. Рассмотрим случай, когда у нас есть четыре слоя, которые необходимо объединить для получения финального изображения: F = A * (B * (C * D)), где A, B, C, D – частично прозрачные слои изображения, а "*" обозначает оператор композиции (при этом левый слой находится поверх правого). Если изменяется только слой C, необходимо найти способ избежать повторного объединения всех слоев при вычислении F. Без каких-либо специальных соображений потребуется выполнить четыре полных операции объединения изображений. Для коммутативных операторов композиции, таких как аддитивное смешивание, безопасно переупорядочивать операции объединения. В этом случае можно вычислить T = A * (B * D) только один раз и затем просто объединить T * C, чтобы получить F, выполнив всего одну операцию. К сожалению, большинство операторов не являются коммутативными. Однако многие из них ассоциативны, что позволяет предположить, что безопасно перегруппировать операции в F = (A * B) * (C * D), то есть не меняя их порядок. В этом случае можно вычислить S := A * B один раз и сохранить этот результат. Чтобы сформировать F с ассоциативным оператором, потребуется всего две дополнительные операции композиции для интеграции нового слоя S, вычислив F := S * (C * D). Это выражение означает объединение C со всеми слоями, находящимися ниже него, за один шаг, а затем объединение всех слоев, находящихся выше, с предыдущим результатом для получения финального изображения на втором шаге. Если все слои изображения регулярно меняются, но многие слои все еще необходимо объединять (например, при распределенном рендеринге), коммутативность оператора композиции все еще можно использовать для ускорения вычислений за счет параллелизма, даже если предварительное вычисление не дает выигрыша. Снова рассмотрим изображение F = A * (B * (C * D)). Каждая операция композиции в этом выражении зависит от следующей, что приводит к последовательному вычислению. Однако ассоциативность позволяет нам переписать F = (A * B) * (C * D), где явно есть две операции, не зависящие друг от друга и которые могут быть выполнены параллельно. В общем случае можно построить дерево попарных операций композиции с высотой, логарифмически зависящей от количества слоев.

When many partially transparent layers need to be composited together, it is worthwhile to consider the algebraic properties of compositing operators used. Specifically, the associativity and commutativity determine when repeated calculation can or cannot be avoided. Consider the case when we have four layers to blend to produce the final image: F=A*(B*(C*D)) where A, B, C, D are partially transparent image layers and "*" denotes a compositing operator (with the left layer on top of the right layer). If only layer C changes, we should find a way to avoid re blending all of the layers when computing F. Without any special considerations, four full image blends would need to occur. For compositing operators that are commutative, such as additive blending, it is safe to re order the blending operations. In this case, we might compute T=A*(B*D) only once and simply blend T*C to produce F, a single operation. Unfortunately, most operators are not commutative. However, many are associative, suggesting it is safe to re group operations to F=(A*B)*(C*D), i. e. without changing their order. In this case, we may compute S:=A*B once and save this result. To form F with an associative operator, we need only do two additional compositing operations to integrate the new layer S, by computing F:=S*(C*D). This expression indicates compositing C with all of the layers below it in one step, and then blending all of the layers on top of it with the previous result to produce the final image in the second step. If all layers of an image change regularly but many layers still need to be composited (such as in distributed rendering), the commutativity of a compositing operator can still be exploited to speed up computation through parallelism even when there is no gain from pre computation. Again, consider the image F=A*(B*(C*D)). Each compositing operation in this expression depends on the next, leading to serial computation. However, associativity can allow us to rewrite F=(A*B)*(C*D) where there are clearly two operations that do not depend on each other that may be executed in parallel. In general, we can build a tree of pair wise compositing operations with a height that is logarithmic in the number of layers.

Программное обеспечение

Наиболее исторически значимой нелинейной системой компоновки был Cineon, работавший в логарифмическом цветовом пространстве, которое точнее соответствует естественной светочувствительности пленочных эмульсий (Система Cineon, разработанная Kodak, больше не выпускается). Из-за ограничений скорости обработки и объема памяти художники по компоновке обычно не могли позволить себе, чтобы система выполняла промежуточные преобразования в линейное цветовое пространство для этапов компоновки. Со временем эти ограничения стали менее существенными, и теперь большинство компоновки выполняется в линейном цветовом пространстве, даже если исходные изображения находятся в логарифмическом цветовом пространстве. Компоновка часто также включает масштабирование, ретушь и цветокоррекцию изображений.

Композиция на основе узлов и слоев

Существует два принципиально разных цифровых рабочих процесса композитинга: композитинг на основе узлов и композитинг на основе слоев. Композитинг на основе узлов представляет собой весь композит в виде направленного ациклического графа, связывающего медиа-объекты и эффекты в процедурной карте, интуитивно отображая последовательность преобразований от исходного материала к конечному результату. Фактически, именно так все приложения для композитинга внутренне обрабатывают композиты. Этот тип интерфейса обеспечивает большую гибкость, включая возможность изменять параметры предыдущего этапа обработки изображения "в контексте" (непосредственно при просмотре финального композита). Программные пакеты для композитинга на основе узлов часто испытывают трудности с ключевыми кадрами и временными эффектами, поскольку их рабочий процесс не основан напрямую на временной шкале, в отличие от пакетов для композитинга на основе слоев. Программное обеспечение, использующее интерфейс на основе узлов, включает Natron, Shake, Blender, Blackmagic Fusion и Nuke. Узлы – отличный способ организовать эффекты в сложном кадре, сохраняя контроль над мелкими деталями. Композитинг на основе слоев представляет каждый медиа-объект в композите как отдельный слой во временной шкале, каждый со своими временными границами, эффектами и ключевыми кадрами. Все слои располагаются друг над другом в любом желаемом порядке, при этом нижний слой обычно рендерится как основание в конечном изображении, а каждый последующий слой рендерится поверх ранее откомпозированных слоев, поднимаясь вверх, пока все слои не будут объединены в финальный композит. Композитинг на основе слоев очень хорошо подходит для быстрой 2D и ограниченной 3D графики, например, в моушн-дизайне, но становится громоздким для более сложных композитов, содержащих множество слоев. Частичным решением является возможность некоторых программ визуализировать порядок композиции элементов (таких как изображения, эффекты или другие атрибуты) с помощью диаграммы, называемой блок-схемой, а также встраивать композиции, или "компы", непосредственно в другие композиции, тем самым усложняя порядок рендеринга: сначала происходит композитинг слоев в исходной композиции, затем полученное изображение объединяется со слоями из последующей композиции и так далее.

There are two radically different digital compositing workflows: node based compositing and layer based compositing. Node based compositing represents an entire composite as a directed acyclic graph, linking media objects and effects in a procedural map, intuitively laying out the progression from source input to final output, and is in fact the way all compositing applications internally handle composites. This type of compositing interface allows great flexibility, including the ability to modify the parameters of an earlier image processing step "in context" (while viewing the final composite). Node based compositing packages often handle keyframing and time effects poorly, as their workflow does not stem directly from a timeline, as do layer based compositing packages. Software which incorporates a node based interface include Natron, Shake, Blender, Blackmagic Fusion, and Nuke. Nodes are a great way to organize the effects in a complex shot while maintaining a grip on the smaller details. Layer based compositing represents each media object in a composite as a separate layer within a timeline, each with its own time bounds, effects, and keyframes. All the layers are stacked, one above the next, in any desired order; and the bottom layer is usually rendered as a base in the resultant image, with each higher layer being progressively rendered on top of the previously composited of layers, moving upward until all layers have been rendered into the final composite. Layer based compositing is very well suited for rapid 2D and limited 3D effects, such as in motion graphics, but becomes awkward for more complex composites entailing numerous layers. A partial solution to this is some programs' ability to view the composite order of elements (such as images, effects, or other attributes) with a visual diagram called a flowchart to nest compositions, or "comps," directly into other compositions, thereby adding complexity to the render order by first compositing layers in the beginning composition, then combining that resultant image with the layered images from the proceeding composition, and so on.