Цифрлік қосымның алгебралық қасиеттері және өңдеу тиімділігі

Кіріспе

Цифрлық композиция – бұл әдетте баспаға, киноға немесе экранға көрсету үшін бірнеше кескінді цифрлық түрде біріктіріп, түпкілікті кескін жасау процесі. Бұл оптикалық пленкалық композицияның цифрлық аналогы. Ол VFX өңдеу процесінің бір бөлігі болып табылады.

Алгебралық қасиеттер

Көптеген жартылай мөлдір қабаттарды біріктіру қажет болғанда, қолданылатын композиция операторларының алгебралық қасиеттерін қарастыру маңызды. Атап айтқанда, ассоциативтілік және коммутативтілік қайта есептеуді қашан болдырмауға болатынын немесе қашан қажет екенін анықтайды. Соңғы кескінді алу үшін төрт қабатты біріктіруді қарастырайық: F = A * (B * (C * D)), мұнда A, B, C, D – жартылай мөлдір кескін қабаттары, ал "*" – композиция операторын білдіреді (сол қабат оң қабаттың үстінде орналасқан). Егер тек C қабаты өзгерсе, F есептеу кезінде барлық қабаттарды қайтадан біріктіруден аулақ болудың жолын табу керек. Арнайы шаралар қолданбаса, төрт толық кескін біріктірілуі керек болады. Коммутативті операторлар үшін, мысалы, қосымша біріктіру үшін, біріктіру операцияларын қайта реттеу қауіпсіз. Бұл жағдайда біз T = A * (B * D) тек бір рет есептеп, содан кейін T * C біріктіру арқылы F-ті аламыз, яғни бір операция жасаймыз. Өкінішке орай, көптеген операторлар коммутативті емес. Дегенмен, олардың көпшілігі ассоциативті, бұл операцияларды F = (A * B) * (C * D) деп қайта топтастыру қауіпсіз екенін көрсетеді, яғни олардың ретін өзгертпейді. Бұл жағдайда біз S := A * B-ді бір рет есептеп, осы нәтижені сақтаймыз. Ассоциативті оператормен F-ті құру үшін, жаңа қабат S-ті интеграциялау үшін F := S * (C * D) есептеу арқылы тек екі қосымша композиция операциясын жасау жеткілікті. Бұл өрнек C қабатын төмендегі барлық қабаттармен бір қадамда біріктіруді, содан кейін оның үстіндегі барлық қабаттарды бұрынғы нәтижемен біріктіріп, екінші қадамда соңғы кескінді алуды көрсетеді. Егер кескіннің барлық қабаттары үнемі өзгеріп отырса, бірақ көптеген қабаттарды біріктіру қажет болса (мысалы, үлестірілген рендерингте), коммутативті композиция операторын параллелизм арқылы есептеуді жылдамдату үшін пайдалануға болады, тіпті алдын ала есептеуден пайда болмаған жағдайда да. Тағы да F = A * (B * (C * D)) кескінін қарастырайық. Бұл өрнектегі әрбір композиция операциясы келесісіне тәуелді, бұл тізбекті есептеуге әкеледі. Алайда, ассоциативтілік F = (A * B) * (C * D) деп қайта жазуға мүмкіндік береді, онда бір-біріне тәуелді емес екі операция бар, оларды параллель түрде орындауға болады. Жалпы, қабаттар санының логарифміне пропорционал биіктігі бар жұптық композиция операцияларының ағашын құруға болады.

When many partially transparent layers need to be composited together, it is worthwhile to consider the algebraic properties of compositing operators used. Specifically, the associativity and commutativity determine when repeated calculation can or cannot be avoided. Consider the case when we have four layers to blend to produce the final image: F=A*(B*(C*D)) where A, B, C, D are partially transparent image layers and "*" denotes a compositing operator (with the left layer on top of the right layer). If only layer C changes, we should find a way to avoid re blending all of the layers when computing F. Without any special considerations, four full image blends would need to occur. For compositing operators that are commutative, such as additive blending, it is safe to re order the blending operations. In this case, we might compute T=A*(B*D) only once and simply blend T*C to produce F, a single operation. Unfortunately, most operators are not commutative. However, many are associative, suggesting it is safe to re group operations to F=(A*B)*(C*D), i. e. without changing their order. In this case, we may compute S:=A*B once and save this result. To form F with an associative operator, we need only do two additional compositing operations to integrate the new layer S, by computing F:=S*(C*D). This expression indicates compositing C with all of the layers below it in one step, and then blending all of the layers on top of it with the previous result to produce the final image in the second step. If all layers of an image change regularly but many layers still need to be composited (such as in distributed rendering), the commutativity of a compositing operator can still be exploited to speed up computation through parallelism even when there is no gain from pre computation. Again, consider the image F=A*(B*(C*D)). Each compositing operation in this expression depends on the next, leading to serial computation. However, associativity can allow us to rewrite F=(A*B)*(C*D) where there are clearly two operations that do not depend on each other that may be executed in parallel. In general, we can build a tree of pair wise compositing operations with a height that is logarithmic in the number of layers.

Бағдарламалық жасақтама

Тарихи тұрғыдан ең маңызды сызықтық емес композициялау жүйесі – логарифмдік түстер кеңістігінде жұмыс істейтін Cineon болды, ол түсірілім материалдарының жарыққа жауабын жақынрақ бейнелейді (Kodak компаниясы жасаған Cineon жүйесі қазір өндірілмейді). Өңдеу жылдамдығы мен жадтың шектеулі болуына байланысты, композиторлар композициялау кезеңдері үшін жүйенің аралық сызықтық кеңістікке түрлендіруін жасау мүмкіндігіне ие болған жоқ. Уақыт өте келе, бұл шектеулердің маңыздылығы азайды және қазір композициялаудың көп бөлігі сызықтық түстер кеңістігінде жасалады, тіпті бастапқы суреттер логарифмдік түстер кеңістігінде болған жағдайларда да. Композициялауға көбінесе кескіндерді өлшемдеу, ретушьтеу және түс түзеу кіреді.

Тораптық және қабаттық композициялау

Екі түбегейлі түрлі цифрлық композициялау әдісі бар: түйінге негізделген композициялау және қабатқа негізделген композициялау. Түйінге негізделген композициялау бүкіл композицияны бағытталған ациклдік граф ретінде көрсетеді, медиа нысандарын және эффектілерді процедуралық картада байланыстырады, бастапқы дереккөзден соңғы нәтижеге дейінгі өрбуді интуитивті түрде көрсетеді және шындығында барлық композициялау қолданбалары композиттерді ішкі түрде осылай өңдейді. Осы типтегі композициялау интерфейсі үлкен икемділікті қамтамасыз етеді, соның ішінде ертерек кескін өңдеу қадамын "контексте" (соңғы композицияны қарап тұрып) өзгерту мүмкіндігі де бар. Түйінге негізделген композициялау пакеттері көбінесе негізгі кадрларды және уақыт эффектілерін нашар басқарады, өйткені олардың жұмыс ағыны қабатқа негізделген композициялау пакеттері сияқты тікелей уақыт шкаласынан туындамайды. Түйін интерфейсін қолданатын бағдарламалық құралдар: Natron, Shake, Blender, Blackmagic Fusion және Nuke. Түйіндер – бұл күрделі кадрдағы эффектілерді ұйымдастырудың және кішірек бөлшектерді бақылауда ұстаудың тамаша тәсілі. Қабатқа негізделген композициялау композиттегі әр медиа нысанын уақыт шкаласындағы жеке қабат ретінде көрсетеді, әрқайсысының өзіндік уақыт шегі, эффектілері және негізгі кадрлары болады. Барлық қабаттар бір-бірінің үстіне, кез келген ретпен жиналады; ал төменгі қабат әдетте алынған кескіннің негізі ретінде көрсетіледі, әр жоғары қабат бұрынғы композицияланған қабаттардың үстіне бірте-бірте салынады, барлық қабаттар соңғы композицияға біріктірілгенге дейін жоғары қарай жылжиды. Қабатқа негізделген композициялау жылдам 2D және шектеулі 3D эффектілер үшін өте қолайлы, мысалы, моушн-графикада, бірақ көптеген қабаттарды қамтитын күрделі композициялар үшін қиындық тудырады. Бұған жартылай шешім ретінде кейбір бағдарламалар элементтердің (мысалы, кескіндер, эффектілер немесе басқа атрибуттар) композициялық ретін ағымдық схема деп аталатын визуализациялық схема арқылы көруге мүмкіндік береді, сондай-ақ композицияларды ("комптерді") тікелей басқа композициялардың ішіне ендіруге болады, осылайша рендерлеу ретіне күрделілік қосылады – алдымен бастапқы композициядағы қабаттарды құрастыру, содан кейін алынған кескінді келесі композициядан алынған қабатты кескіндермен біріктіру және т.б.

There are two radically different digital compositing workflows: node based compositing and layer based compositing. Node based compositing represents an entire composite as a directed acyclic graph, linking media objects and effects in a procedural map, intuitively laying out the progression from source input to final output, and is in fact the way all compositing applications internally handle composites. This type of compositing interface allows great flexibility, including the ability to modify the parameters of an earlier image processing step "in context" (while viewing the final composite). Node based compositing packages often handle keyframing and time effects poorly, as their workflow does not stem directly from a timeline, as do layer based compositing packages. Software which incorporates a node based interface include Natron, Shake, Blender, Blackmagic Fusion, and Nuke. Nodes are a great way to organize the effects in a complex shot while maintaining a grip on the smaller details. Layer based compositing represents each media object in a composite as a separate layer within a timeline, each with its own time bounds, effects, and keyframes. All the layers are stacked, one above the next, in any desired order; and the bottom layer is usually rendered as a base in the resultant image, with each higher layer being progressively rendered on top of the previously composited of layers, moving upward until all layers have been rendered into the final composite. Layer based compositing is very well suited for rapid 2D and limited 3D effects, such as in motion graphics, but becomes awkward for more complex composites entailing numerous layers. A partial solution to this is some programs' ability to view the composite order of elements (such as images, effects, or other attributes) with a visual diagram called a flowchart to nest compositions, or "comps," directly into other compositions, thereby adding complexity to the render order by first compositing layers in the beginning composition, then combining that resultant image with the layered images from the proceeding composition, and so on.