Кіріспе

Жоғары динамикалық диапазонды (HDR) суреттер мен бейнелерді түсіру техникасы

Фотография және бейне түсіру саласында, көп экспозициялы HDR түсіру – бір тақырыптың әртүрлі экспозицияларда бірнеше суретін алып, біріктіру арқылы жоғары динамикалық диапазонды (HDR) суреттерді (немесе кеңейтілген динамикалық диапазонды суреттерді) жасау әдісі. Осылайша бірнеше суретті біріктіру нәтижесінде, бір суретті түсіру арқылы мүмкін болатыннан гөрі үлкен динамикалық диапазонды сурет алынады. Бұл техниканы бейне түсіру үшін де қолдануға болады, видеоның әрбір кадры үшін бірнеше экспозицияны алып, біріктіру арқылы. "HDR" термині көбінесе бірнеше экспозициядан HDR суреттерін жасау процесін білдіреді. Көптеген смартфондарда автоматты HDR функциясы бар, ол бірнеше экспозицияны түсіру және біріктіру үшін есептеулік бейнелеу техникаларын пайдаланады. Камера түсірген бір сурет, ол цифрлық сенсор немесе пленка болсын, ортаға тән жарықтық диапазонымен шектеледі. Бұл диапазоннан тыс жатқан тондық ақпарат жоғалады және ешқандай деталь көрінбейді; диапазоннан асып түсетін тондық мәндер "күйіп кетеді" және жарық бөліктерде ақ түспен, ал диапазоннан төмен түсетін тондық мәндер "құлап" қараңғы бөліктерде қара түспен көрінеді. Бір суреттегі ең жоғары және ең төмен тондық мәндер арасындағы қатынас динамикалық диапазон деп аталады. Фотографияда динамикалық диапазон экспозиция мәнінің (EV) айырмасымен өлшенеді, бұл "сатылар" деп те аталады. Адам көзінің жарыққа реакциясы сызықтық емес: жарық деңгейін екі есеге азайту кеңістіктің жарықтығын екі есеге азайта қоймайды, ол жарықты сәл ғана әлсіретеді. Көптеген жарық деңгейлері үшін реакция шамамен логарифмдік болып табылады. Адам көзі жарық деңгейінің өзгеруіне жылдам бейімделеді. Сондықтан HDR суреттер адам көзімен көрінгендей көрінеді. Бұл техниканы табиғи көрініс үшін жергілікті контрастты сақтайтын немесе көркемдік эффект үшін жергілікті контрастты күшейтетін суреттер жасау үшін қолдануға болады. HDR нақты әлемнің көптеген көріністерін жазу үшін пайдалы, олар тікелей түсіруге болатын жарықтықтың кең ауқымын қамтиды, әдетте жарық күн сәулесі мен терең көлеңкелерді. Басып шығару және дисплей контрастының шектеулеріне байланысты HDR суреттерінің кеңейтілген динамикалық диапазоны көрсетілетін диапазонға дейін сығылуы керек. Жоғары динамикалық диапазонды суретті стандартты мониторға немесе басып шығару құрылғысына көрсету әдісі тондық карталау деп аталады; ол HDR суретінің жалпы контрастын төмендетеді, осылайша оны төмен динамикалық диапазонды құрылғыларда немесе басып шығаруларда көрсетуге мүмкіндік береді.

Процесс

Жоғары динамикалық диапазонды фотосуреттер көбінесе экспозициялық қатар түсірілген бірнеше стандартты динамикалық диапазонды суреттерден жасалған композиттер болып табылады. Содан кейін фото өңдеу бағдарламалық жасақтамасы кіріс файлдарын бір HDR суретке біріктіреді, ол жоспарланған шығыс немесе дисплей мүмкіндіктеріне сәйкес тондық картаға түсіріледі.

Бірнеше суретті түсіру (экспозиция жақшасы)

Қолмен экспозицияны басқаруға мүмкіндік беретін кез келген камера көп экспозициялы HDR суреттерді түсіре алады, бірақ автоматты экспозициялық тізбектеме (AEB) функциясымен жабдықталған камера осы процесті жеңілдетеді. Кейбір камералардағы AEB мүмкіндігі басқаларына қарағанда әлдеқайда кең динамикалық диапазонды қамтиды, қарапайым камераларда ±0.6-дан бастап, кәсіби камераларда ±18 EV-ге дейін (lc=y деректері бойынша). Экспозиция мәні (EV) – жарыққа сезімтал детекторға, яғни пленкаға немесе CCD сияқты цифрлық сенсорға түсетін жарық мөлшерін көрсетеді. Бір тоқтаудың артуы немесе кемуі – түсірілген жарықтың екі есеге көбеюі немесе жартысына азаюы деп анықталады. Ең қараңғы көлеңкелердегі егжей-тегжейлі мәліметтерді ашу үшін EV-нің жоғарылауы қажет, ал өте жарық жағдайларда егжей-тегжейлі мәліметтерді сақтау үшін EV-нің төмендеуі қажет. EV екі фототехникалық параметрдің бірін өзгерту арқылы басқарылады: диафрагманың мөлшерін немесе экспозиция уақытын. HDR өңдеуге арналған бірнеше EV-лі суреттер жиынтығын түсіру кезінде тек экспозиция уақытын өзгерту керек; диафрагманың мөлшерін өзгерту тереңдік өрісіне де әсер етеді, сондықтан алынған суреттер өте әртүрлі болып шығады, оларды біріктіріп бір HDR суретін жасау мүмкін болмайды. Көп экспозициялы HDR фотосуреті көбінесе жылжымайтын көріністерге шектеледі, себебі тізбектелген суреттер арасындағы кез келген қозғалыс оларды кейін біріктіруге кедергі келтіруі немесе толығымен мүмкін болмай қоюы мүмкін. Сонымен қатар, фотографқа қажетті жарық диапазонын алу үшін үш немесе одан да көп сурет түсіру қажет болғандықтан, мұндай толық жиынтықты түсіруге қосымша уақыт кетіп, есептеу әдістері мен техникалармен осы қиындықтарды ішінара жеңуге болады, бірақ экспозициялар арасындағы айырмашылықтарды азайту үшін берік штативті пайдалану ұсынылады.

Суреттерді HDR кескінге біріктіру

Көлеңкелі аймақтардағы тональдық ақпарат пен егжей-тегжейлі мәліметтер қасақана артық жарықтандырылған суреттерден (яғни, дұрыс көрініс экспозициясына қарағанда оң EV мәнімен) қалпына келтірілуі мүмкін, ал жарқын аймақтардағы ұқсас тональдық ақпарат қасақана жетіспей жарықтандырылған суреттерден (терiс EV) қалпына келтірілуі мүмкін. Осылайша, артық немесе жетіспей жарықтандырылған суреттерден көлеңкелер мен жарқындарды таңдап алу және оларды бүкіл көрініс үшін дұрыс жарықтандырылған сурет(тер)мен біріктіру процесі экспозицияны біріктіру деп аталады. Экспозицияны біріктіруді HDR операторының пікіріне, тәжірибесіне және біліміне сүйене отырып қолмен жасауға болады, бірақ көбінесе бұл процесс бағдарламалық құралдар арқылы автоматты түрде жүзеге асырылады.

Сақтау

Жоғары динамикалық диапазонды бейнелерде сақталған ақпарат көбінесе нақты әлемде байқалатын жарық немесе сәулеленудің физикалық мәндеріне сәйкес келеді. Бұл дәстүрлі цифрлық бейнелерден өзгеше, себебі дәстүрлі бейнелер түстерді мониторда немесе қағаз басылымда қалай көрінуі керек болса, солай көрсетеді. Сондықтан HDR бейне форматтары көбінесе «сахнаға сілтемелі» деп аталады, ал дәстүрлі цифрлық бейнелер «құрылғыға сілтемелі» немесе «шығысқа сілтемелі» болып табылады. Сонымен қатар, дәстүрлі бейнелер әдетте адамның көру қабілетіне бейімделеді (белгілі бір биттер санында визуалды ақпаратты максималды деңгейде сақтау үшін), бұл гамма кодтау немесе гамма түзету деп аталады. HDR бейнелері үшін сақталатын мәндер көбінесе математикалық функциялар арқылы, мысалы, қуат заңдары, логарифмдер немесе қозғалмалы нүктелі сызықтық мәндер арқылы гамма-сығылған болады, себебі жоғары динамикалық диапазон үшін тұрақты нүктелі сызықтық кодтаулар тиімсіз. HDR бейнелері дәстүрлі бейнелерден айырмашылығы, әрбір түс арнасы үшін белгілі бір диапазонды пайдаланбайды, кеңірек динамикалық диапазонды (көптеген арналарды) қамту үшін көптеген түстерді көрсетеді. Осы мақсатта, олар жеке түс арналарын көрсету үшін бүтін сандық мәндерді (мысалы, қызыл, жасыл және көк түстер үшін 8 биттік пикселдік интервалда 0–255) қолданбайды, оның орнына қозғалмалы нүктелі бейнелеуді пайдаланады. HDR пикселдерін бейнелеу үшін жиі қолданылатын мәндер – 16 бит (жартылай нақтылық) немесе 32 биттік қозғалмалы нүктелі сандар. Дегенмен, тиісті трансферт функциясы қолданылғанда, кейбір қолданбалар үшін HDR пикселдерін көзге көрінетін кванттау артефактілерін тудырмай, жарықтық үшін 10–12 бит (мәндер) және түстілік үшін 8 бит (мәндер) тереңдігімен көрсетуге болады.

Тоналды карталау

Тоналды карталау бүкіл кескіннің динамикалық диапазонын немесе контраст қатынасын азайтады, бірақ жергілікті контрасты сақтайды. Бұл жеке операция болғанымен, тондық карталау көбінесе HDR файлдарына бір бағдарламалық қамтамасымен қолданылады. Тоналды карталау көбінесе қажет, себебі көрсетілуге болатын динамикалық диапазон түсірілген немесе өңделген кескіннің динамикалық диапазонынан әдетте төмен болады. HDR дисплейлері SDR дисплейлеріне қарағанда жоғары динамикалық диапазонды сигналды қабылдай алады, бұл тондық карталау қажеттілігін азайтады.

Фотография

Бірнеше камера өндірушілері көп экспозициялы HDR мүмкіндіктерін ұсынады. Мысалы, Pentax K 7 DSLR камерасында HDR режимі бар, ол 3 немесе 5 экспозиция жасап, JPEG файлы түрінде (тек) тондық карталанған HDR кескінін шығарады. Canon PowerShot G12, Canon PowerShot S95 және Canon PowerShot S100 модельдері ұқсас мүмкіндіктерді кіші форматта ұсынады. Nikon компаниясының «Active D Lighting» деп аталатын тәсілі сенсордан түсетін суреттің экспозициясын өтейді және тонуын карталайды, бұл реалистік эффект жасауға баса назар аударады. Кейбір смартфондар өз камералары үшін HDR режимдерін ұсынады, ал көптеген мобильді платформаларда көп экспозициялы HDR суреттер түсіруге арналған қосымшалар бар. Google 2014 жылы Nexus 5 және Nexus 6 смартфондары үшін HDR+ режимін шығарды, ол бірнеше суретті автоматты түрде түсіріп, оларды бір суретке біріктіреді, бұл туралы Марк Левой егжей-тегжейлі айтқан. Дәстүрлі HDR-ден айырмашылығы, Левойдың HDR+ жүйесі қысқа жапқыш жылдамдығын қолданып, бірнеше суретті жетіспей экспозициялайды, содан кейін олар пиксел бойынша келістіріліп, орташаланады, бұл динамикалық диапазонды жақсартады және шуды азайтады. Ең анық суретті бастапқы нүкте ретінде таңдау арқасында камераның дірілінің әсері азайтылады. Қазіргі заманғы телефондар мен камералардағы кейбір сенсорлар екі суретті чипте біріктіре алады, соның арқасында пикселдерді қысып алмастан, кең динамикалық диапазонды пайдаланушыға тікелей көрсетуге немесе өңдеуге болады.

Видео түсіру

Фотосуреттерді түсіруге қарағанда кең таралмағанмен, камераның динамикалық диапазонын арттыру үшін видеоның әрбір кадры үшін бірнеше суретті түсіріп, біріктіруге болады. Бұл әдістер арқылы жүзеге асырылуы мүмкін: Көп экспозициялы HDR техникасы арқылы жасалған жеке суреттердің уақыт өте қалыптасуын (time lapse) құру. Фреймдердің санын екі есе азайтып, әртүрлі экспозициямен екі суретті тізбектеп түсіру. Қауіпсіздік жүйелерінде қолдануға арналған кейбір камералар әр кадр үшін экспозицияны өзгертіп, автоматты түрде екі немесе одан көп сурет бере алады. Мысалы, 30 кадр/секундық (fps) бейне үшін сенсор 60 кадр/секундық (fps) шығарып, тақ кадрларды қысқа экспозициямен, ал жұп кадрларды ұзақ экспозициямен түсіреді. 2020 жылы Qualcomm Snapdragon 888 мобилдік SoC-ын жариялады, ол 4K сапасында есептеу арқылы көп экспозициялы HDR бейне түсіруге және оны HDR дисплейлерімен үйлесімді форматта сақтауға қабілетті. 2021 жылы Xiaomi Mi 11 Ultra смартфоны бейне түсіру үшін есептеулік көп экспозициялы HDR мүмкіндігін ұсынады.

Бақылау камералары

HDR түсірілімін тіпті арзан модельдегі бақылау камераларында да іске асыруға болады. Бұл әдетте кең динамикалық диапазон (WDR) функциясы деп аталады. Мысал ретінде CarCam Tiny, Prestige DVR 390 және DVR 478 камераларын келтіруге болады.

XIX ғасырдың ортасы

Аспан мен теңізді бірге бейнелеу үшін, тым кең жарық диапазонын дұрыс беру мақсатымен бірнеше суретке түсіру әдісін алғаш 1850 жылдары Густав Ле Грей ойлап тапқан. Осы әдіс стандартты тәсілдермен мүмкін емес еді, себебі жарықтылық диапазоны тым жоғары болды. Ле Грей аспанға арналған бір негативті, ал теңізге ұзақ экспозициямен түсірілген тағы бір негативті пайдаланып, екеуін бір оң көшірмеге біріктірді.

ХХ ғасырдың ортасы

Тоналдылықты қолмен карталау фотосуреттің аймақтарының экспозициясын таңдаулы түрде арттыру немесе азайту арқылы жүзеге асырылды, бұл жақсырақ тоналдық көшіруге мүмкіндік берді. Бұл тиімді болды, себебі негативтің динамикалық диапазоны, негатив арқылы біркелкі жарықтандырылған кездегі дайын оң қағаз басудағыдан әлдеқайда жоғары еді. Мысал ретінде В. Юджин Смиттің 1954 жылы түсірген «Швейцер шам жанында» фотосуретін келтіруге болады. Көріністің тоналды диапазонын – шамның жарығынан (көрініс бойынша) қараңғы көлеңкеге дейін – бейнелеуге бес күн кетті. Түсті фотосурет пайда болғаннан кейін, түсті пленканы өңдеу процесінде қажетті уақыттың нақтылығына байланысты, қараңғы бөлмеде тоналдылықты карталау мүмкін болмады. Фотографтар жаңа пленкалар жасау үшін пленка өндірушілеріне жүгінді немесе тоналдылықты карталау әдістерін пайдалану үшін қара-ақ түсіруді жалғастырды. Түсті пленканы жоғары динамикалық диапазонды суреттерді тікелей түсіруге қабілетті Чарльз Уайкофф және EG&G «Әуе күштері департаментімен шарт жасау барысында» әзірледі. Бұл XR пленкасы үш эмульсиялық қабаттан тұрды: жоғарғы қабатының ASA жылдамдығы 400, ортаңғы қабатының аралық көрсеткіші және төменгі қабатының ASA көрсеткіші 0,004. Пленка түсті пленкаларға ұқсас әдіспен өңделді, әр қабат әртүрлі түс шығарды. Бұл кеңейтілген диапазонды пленканың динамикалық диапазоны 1:108 деп есептелді. Ол ядролық жарылыстарды, астрономиялық фотосуреттерді, спектрографиялық зерттеулерді және медициналық бейнелеуді түсіру үшін қолданылды. Уайкоффтың ядролық жарылыстардың егжей-тегжейлі суреттері 1950 жылдардың ортасында «Лайф» журналының мұқабасында жарияланды.

ХХ ғасырдың аяғы

Жорж Корнуежольс және оның патенттерінің лицензиарлары (Brdi, Hymatom) 1986 жылы камераның бейне сенсорының алдына матрицалық LCD экранын қойып, HDR бейнесуреті принципін енгізді, бұл сенсорлардың динамикалық диапазонын бес сатыға дейін арттырды. 1988 жылы Израильдегі Технионнан келген топ, Оливер Хилсенрат пен Ехошуа Й. Зеви басшылығымен, видеокамераларға көршілік тонулық картасын құру концепциясын қолданды. Технион зерттеушілері 1991 жылы осы концепцияға патент алуға және 1992 және 1993 жылдары бірнеше байланысты патенттерге өтініш берді. 1990 жылдың ақпан және сәуір айларында Жорж Корнуежольс камераның сенсорымен немесе екі сенсорымен бірдей немесе тізбекпен түсірілген екі суретті біріктіретін алғашқы HDR камерасын ұсынды. Бұл процесс видеоағын үшін қолданылатын «бракетинг» деп аталады. 1991 жылы Жорж Корнуежольс компаниясының лицензиары Hymatom әртүрлі экспозициясы бар бірнеше суреттің нақты уақытта түсірілімін және HDR бейнесуретін жасауға мүмкіндік беретін алғашқы коммерциялық видеокамераны ұсынды. Сондай-ақ 1991 жылы Жорж Корнуежольс камераның сезімталдығын арттыру үшін суреттердің сызықтық емес жинақталуын қолданатын HDR+ сурет принципін енгізді, нәтижесінде Стив Манн мен Розалинд Пикард 1995 жылы жариялаған бірдей нысанның әртүрлі экспозицияланған суреттерінің математикалық теориясы пайда болды. 1998 жылдың 28 қазанында Бен Сарао NASA-ның Кеннеди ғарыш орталығындағы ұшыру алаңында STS 95-тің HDR+G (жоғары динамикалық диапазон + графикалық) түнгі суретінің бірін жасады. Суретте ғарыш кемесінің түнгі төрт суреті бейнеленген, олар қосымша сандық графикалық элементтермен сандық түрде біріктірілген. Сурет алғаш рет 1999 жылы Вашингтондағы NASA штаб-пәтерінің Ұлы залында көрсетілді, содан кейін Hasselblad Forum журналында жарияланды. Тұтынушылардың цифрлық камераларының пайда болуы цифрлық камера сенсорларының жарыққа жауап беруін жақсарту үшін HDR бейнелеуге жаңа сұраныс тудырды, олардың динамикалық диапазоны пленкаға қарағанда әлдеқайда төмен болды. Стив Манн MIT Media Lab-те кеңейтілген динамикалық диапазонды цифрлық суреттерді жасау үшін жаһандық HDR әдісін әзірледі және патенттеді. Маннның әдісі екі қадамды процедураны қамтиды: Біріншіден, тек жаһандық сурет операцияларын (барлық пикселдерге бірдей әсер ететін операциялар, олардың жергілікті көршілеріне қарамастан) қолданып, бір жылжымалы нүктелік сурет массивін жасау. Екіншіден, жергілікті көршілікті өңдеу (тонды қайта карталау және т.б.) арқылы осы сурет массивін HDR суретіне түрлендіру. Манн процесінің бірінші қадамынан алынған сурет массиві «жарық кеңістігі» суреті, «жарық кеңістігі» суреті немесе «сәулелік карта» деп аталады. Жаһандық HDR бейнелеудің тағы бір артықшылығы – ол компьютерлік көру және басқа да сурет өңдеу операцияларында қолданылатын аралық жарық немесе сәулелік картаға қол жеткізуді қамтамасыз етеді. 2000-жылдардың басында бірнеше ғылыми зерттеулер тұтынушы деңгейіндегі сенсорлар мен камераларды қолданды. RED және Arri сияқты бірнеше компания жоғары динамикалық диапазонға қабілетті цифрлық сенсорларды әзірлеп келеді. RED EPIC X уақыт бойынша тізбектелген HDRx суреттерін «x» арнасында 1–3 сатыға дейін қосымша жарықтарды таңдау мүмкіндігімен түсіре алады. «x» арнасын постөндірістік бағдарламалық жасақтамада стандартты арнамен біріктіруге болады. Arri Alexa камерасы бір уақытта түсірілген екі экспозициядан HDR суретін жасау үшін екі күшейткіш архитектурасын қолданады. Арзан тұтынушылық цифрлық камералардың пайда болуымен көптеген әуесқойлар Интернетке тондық картасы бар HDR уақыт аралығындағы бейнелерді жариялай бастады, бұл негізінен жылдам тізбекпен түсірілген фотосуреттердің тізбегі. 2010 жылы тәуелсіз студия Soviet Montage сәуле бөлгіш пен тұтынушы деңгейіндегі HD бейнекамераларды пайдалана отырып, HDR бейнесінің мысалын жасады. Осыған ұқсас әдістер 2001 және 2007 жылдары ғылыми әдебиеттерде сипатталған. 2005 жылы Adobe Systems Photoshop CS2-де бірнеше жаңа мүмкіндіктерді енгізді, соның ішінде HDR-ге біріктіру, 32 биттік жылжымалы нүктелік суреттерді қолдау және HDR тональдық карталау. 2016 жылдың 30 маусымында Microsoft Windows 10 жүйесіне Universal Windows Platform платформасын пайдалана отырып HDR суреттерін цифрлық түрде біріктіру мүмкіндігін қосты.