Суреттерді тіркеу және панорама жасау әдістері

Кіріспе

Бірнеше фотосуретті үстіртен жабатын көрініс өрістерімен біріктіру

Суретті тікелей қосу немесе фотосуретті сырау – бұл сегменттелген панорама немесе жоғары ажыратымдылықтағы сурет жасау үшін үстіртен жабатын көрініс өрістеріне ие бірнеше фотосуретті біріктіру процесі. Көбінесе компьютерлік бағдарламалық қамтамасыз ету арқылы орындалатын, суретті тікелей қосудың көптеген тәсілдері суреттердің бір-бірімен дәл үйлесуін және бірдей экспозицияны қажет етеді, бірақ кейбір тікелей қосу алгоритмдері үстіртен жабатын аймақтарда жоғары динамикалық диапазонды бейнелеу арқылы әртүрлі экспозицияланған суреттерден тиімді пайдаланады. Кейбір цифрлық камералар өздерінің суреттерін ішкі түрде тікелей қоса алады.

Процесс

Суретті тігу процесін үш негізгі компонентке бөлуге болады: суреттерді тіркеу, калибрлеу және үйлестіру.

Суретті тігу алгоритмдері

Суреттерді туралауды бағалау үшін, бір суреттегі пиксель координаталарын екінші суреттегі пиксель координаталарымен байланыстыратын тиісті математикалық модельді анықтауға арналған алгоритмдер қажет. Бұл параметрлерді бағалау үшін, градиенттік түсу (және басқа да оңтайландыру техникаларымен) тікелей пиксельдік салыстыруларды біріктіретін алгоритмдерді қолдануға болады. Әр суретте ерекше белгілер табылғаннан кейін, суреттер жұптары арасындағы сәйкестіктерді жылдам орнату үшін тиімді түрде салыстырылады. Панорамада бірнеше сурет болған жағдайда, жаһандық тұрақтылықты қамтамасыз ететін туралау жиынтығын есептеу және суреттердің қайсысы бірімен-бірі жапсасып жатқанын анықтау үшін әдістер әзірленді. Барлық тураланған суреттерді бұру немесе проективті түрлендіру арқылы орналастыру үшін соңғы композициялық бет қажет, сондай-ақ, параллакс, линза бұрмалануы, көрініс қозғалысы және экспозицияның айырмашылықтары болған жағдайда да, жапсасқан суреттерді біріктіретін алгоритмдер де қажет.

Суретті тігу мәселесі

Екі көріністің жарықтандыруы бірдей болатынына кепілдік жоқ болғандықтан, екі суретті тіркеу көзге көрінетін тігіс тудыруы мүмкін. Тігістердің пайда болуына басқа себептердің бірі – бір үзділіссіз алдыңғы план үшін екі суретте фонның өзгеруі болуы мүмкін. Сонымен қатар, параллакс, линзаның бұрмалануы, көріністің қозғалысы және экспозицияның айырмашылығы сияқты маңызды мәселелерге де назар аудару керек. Шын өмірдегі жағдайларда, интенсивтілік пен контраст бүкіл көрініс бойынша, сондай-ақ кадрлар арасында да өзгереді. Бұдан өзге, көзді қуантарлық композиция жасау үшін панорамалық суреттің қатынасын ескеру қажет. Панораманы тіркеу үшін суреттердің идеалды жиынтығында линзаның бұрмалануын жеңу және анықтамалы ерекшеліктерді қамтамасыз ету үшін жеткілікті жабысу (кем дегенде 15–30%) болуы тиіс. Суреттер жиынтығы кадрлар арасындағы экспозицияның тұрақтылығын қамтамасыз етеді, бұл тігістердің пайда болу мүмкіндігін азайтады.

Кілт нүктесін анықтау

Ерекшеліктерді анықтау суреттер арасындағы сәйкестіктерді автоматты түрде табу үшін қажет. Суретті басқа суретпен біріктіру үшін қажетті түрлендіруді есептеу үшін берік сәйкестіктер қажет. Бұрыштар, дақтар, Харрис бұрыштары және Харрис бұрыштарының Гаусс айырмашылықтары жақсы ерекшеліктер болып табылады, себебі олар қайталанады және ерекшеленеді. Қызығушылық нүктелерін анықтаудың алғашқы операторларының бірін 1977 жылы Ханс П. Моравек кластерлі ортада роботтың автоматты түрде навигациясын зерттеу үшін жасаған. Моравек сондай-ақ суреттегі "қызығушылық нүктелері" деген ұғымды анықтады және осы қызығушылық нүктелерін әртүрлі суреттердегі сәйкес келетін аймақтарды табу үшін қолдануға болатынын көрсетті. Моравек операторы бұрыш анықтағыш деп есептеледі, өйткені ол қызығушылық нүктелерін барлық бағытта қарқындылықтың үлкен өзгеруін көрсететін нүктелер ретінде анықтайды. Бұрыштарда осылай жиі кездеседі. Дегенмен, Моравек бұрыштарды табуға емес, суреттерді тіркеу үшін қолданылатын суреттегі ерекше аймақтарды табуға қызығушылық танытқан. Харрис және Стивенс Моравек бұрыш анықтағышын бұрыштық баллдың бағытқа қатысты дифференциалын қарастыру арқылы жақсартты. Оларға роботтың суреттер тізбегі негізінде қоршаған ортасын түсіндіру үшін бұл қадам қажет болды. Моравек сияқты, оларға тізбекті сурет кадрларындағы сәйкес нүктелерді сәйкестендіру әдісі қажет болды, бірақ кадрлар арасындағы бұрыштар мен шеттерді қадағалауға қызығушылық танытты. SIFT және SURF – жақындағы негізгі немесе қызығушылық нүктелерін анықтау алгоритмдері, бірақ SURF патенттелген және оның коммерциялық қолданылуы шектелген. Ерекшелік анықталғаннан кейін, оларды кейін сәйкестендіру үшін SIFT дескрипторы сияқты дескриптор әдісін қолдануға болады.

Тіркеу

Суретті тіркеу — суреттер жиынтығындағы ерекшеліктерді сәйкестендіруді немесе бір-біріне қатысты пиксельдер арасындағы абсолютті айырмашылықтардың қосындысын ең төменге дейін азайтатын сурет сәйкестендірулерін табу үшін тікелей сәйкестендіру әдістерін қолдануды қамтиды. Тікелей сәйкестендіру әдістерін қолданғанда, жақсы нәтиже алу үшін суреттерді алдымен калибрлеуге болады. Сонымен қатар, пайдаланушылар панораманың жуық модельін енгізе алады, мысалы, сәйкес ерекшеліктерді іздеу үшін тек көршілес суреттер қарастырылады. Сәйкестікті табу үшін функциялардың шағын тобы болғандықтан, іздеу нәтижесі дәлірек болады және салыстыру орындалуы жылдамырақ. Деректерден тұрақты модельді бағалау үшін RANSAC деп аталатын әдіс жиі қолданылады. RANSAC атауы "RANdom SAmple Consensus" сөздерінің қысқартылған түрі. Бұл, бақыланған деректер нүктелерінің жиынтығынан математикалық модельдерді сәйкестендіру үшін берік параметрлік бағалаудың итеративтік әдісі, мұнда ауытқулар болуы мүмкін. Алгоритм детерминистік емес, яғни ол белгілі бір ықтималдықпен ғана ақылға қонымды нәтиже береді, ал қайталаулар саны артқан сайын бұл ықтималдық өседі. Бұл ықтималдық әдіс болғандықтан, алгоритм әр рет орындалғанда әртүрлі нәтижелер алынады. RANSAC алгоритмі компьютерлік көруде кеңінен қолданылады, соның ішінде сәйкестік мәселесін бір уақытта шешу және стереокамералар жұбына қатысты негізгі матрицаны бағалау. Әдістің негізгі болжамы — деректердің "ішкі нүктелерден", яғни математикалық модельмен түсіндірілетін деректерден және модельге сәйкес келмейтін "сыртқы нүктелерден" тұрады. Сыртқы нүктелер шудан, қате өлшемдерден немесе жай ғана дұрыс емес деректерден туындаған нүктелер деп есептеледі. Гомография бағалау мәселесі үшін RANSAC кейбір нүктелік жұптарды пайдаланып бірнеше модельдерді сәйкестендіруге тырысады, содан кейін модельдердің көптеген нүктелерді байланыстыра алатынын тексереді. Ең жақсы модель — гомография, ол ең көп дұрыс сәйкестіктерді қамтамасыз етеді — мәселенің жауабы ретінде таңдалады; демек, егер сыртқы нүктелер мен деректер нүктелерінің арақатынасы өте төмен болса, RANSAC деректерге сәйкес келетін лайықты модельді шығарады.

Image registration involves matching features in a set of images or using direct alignment methods to search for image alignments that minimize the sum of absolute differences between overlapping pixels. When using direct alignment methods one might first calibrate one's images to get better results. Additionally, users may input a rough model of the panorama to help the feature matching stage, so that e. g. only neighboring images are searched for matching features. Since there are smaller group of features for matching, the result of the search is more accurate and execution of the comparison is faster. To estimate a robust model from the data, a common method used is known as RANSAC. The name RANSAC is an abbreviation for "RANdom SAmple Consensus". It is an iterative method for robust parameter estimation to fit mathematical models from sets of observed data points which may contain outliers. The algorithm is non deterministic in the sense that it produces a reasonable result only with a certain probability, with this probability increasing as more iterations are performed. It being a probabilistic method means that different results will be obtained for every time the algorithm is run. The RANSAC algorithm has found many applications in computer vision, including the simultaneous solving of the correspondence problem and the estimation of the fundamental matrix related to a pair of stereo cameras. The basic assumption of the method is that the data consists of "inliers", i. e., data whose distribution can be explained by some mathematical model, and "outliers" which are data that do not fit the model. Outliers are considered points which come from noise, erroneous measurements, or simply incorrect data. For the problem of homography estimation, RANSAC works by trying to fit several models using some of the point pairs and then checking if the models were able to relate most of the points. The best model – the homography, which produces the highest number of correct matches – is then chosen as the answer for the problem; thus, if the ratio of number of outliers to data points is very low, the RANSAC outputs a decent model fitting the data.

Калибрлеу

Суретті калибрлеудің мақсаты – идеалды линза модельдері мен қолданылған камера линзаларының комбинациясы арасындағы айырмашылықтарды, сондай-ақ бұрмалау, суреттер арасындағы экспозицияның өзгешеліктері, виньеттеу, камераның сезімталдығы және хроматикалық аберрациялар сияқты оптикалық кемшіліктерді азайту болып табылады. Егер суреттерді тіркеу үшін белгілерді анықтау әдістері қолданылса және белгілердің нақты координаттары жазылып, сақталса, тігіп қосу бағдарламалық құралы суреттерді панорамаға орналастырумен қатар, суреттердің геометриялық оңтайландырылуы үшін де осы деректерді пайдалана алады. Panotools және оның түрлі туынды бағдарламалары осы әдісті қолданады.

Композициялау

Композициялау – түзетілген кескіндерді бір-біріне сәйкес келтіріп, оларды бір көріністің бір түсірілімі ретінде көрсету процесі. Алгоритм енді қай сәйкестіктер үстіне түсетінін білгендіктен, композициялау автоматты түрде жүзеге асырылуы мүмкін.

Жобалау кестелері

Бір ғарыздық нүктеден алынған кескіндердің бөліктерін тігіп біріктірілген суреттерді әртүрлі карта проекцияларының көмегімен орналастыруға болады.

Тікелей

Тік сызықты проекция, онда тігілген сурет паносфераны бір нүктеде қиып өтетін екі өлшемді жазықтықта қарастырылады. Нақты өмірде түзу болатын сызықтар, олардың бағытына қарамастан, суретте түзу болып көрсетіледі. Шамамен 120° бұрышпен алынған кең көріністер сурет шекараларына жақын жерде айқын бұрмалануды көрсете бастайды. Тік сызықты проекцияның бір түрі – панораманы қарау үшін куб картасын пайдаланатын куб беттері. Панорама алты квадратқа бейнеленеді, әрбір куб беті панораманың 90х90 градустық бөлігін көрсетеді.

Цилиндрлік

Цилиндрлік проекция, онда тігілген кескін 360° көлденең және шектеулі тік көру бұрышын көрсетеді. Осы проекциядағы панорамалар кескінді цилиндрге оралғандай және ішінен қарағандай көруге арналған. 2D жазықтықта қарағанда көлденең сызықтар қисық, ал тік сызықтар түзу болып көрінеді. Паносфераның жоғарғы бөлігіне жақындағанда тік бұрмалану жылдам артады. Паносфераның полюстеріне жақын жерде бұрмалануы азырақ болатын Меркатор және Миллер цилиндрлері сияқты басқа да цилиндрлік форматтар бар.

Сфералық

Сфералық проекция немесе теңтөлемді тіктөртбұрышты проекция – бұл, әдетте, тағы бір цилиндрлік проекция, онда тігілген кескін 360° көлденең және 180° тік көру бұрышын көрсетеді, яғни толық сфераны. Осы проекциядағы панорамалар сурет шарға оралғандай және іштен қарағандай көруге арналған. 2D жазықтықта қарағанда көлденең сызықтар цилиндрлік проекциядағыдай қисық көрінеді, ал тік сызықтар тік күйінде қалады. Бұл проекция итальяндық ведуттизм суретшісі Джованни Паоло Панини немесе PTgui-дың Vedutismo проекциясының атымен аталады. Соңғы кескіннің түрін жақсарту үшін бір суретте әртүрлі проекцияларды біріктіруге болады.

Стереографиялық

Стереографиялық проекция немесе балық көзі проекциясы виртуалды камераны тік төмен бағыттап, бүкіл жер бетін және оның үстіндегі аймақтарды көрсетуге жететіндей көру бұрышын орнату арқылы кішкентай планета панорамасын жасауға қолданылуы мүмкін; виртуалды камераны жоғары бағыттау туннель эффектін тудырады. Стереографиялық проекцияның конформдығы, стереографиялық проекция туралы мақалада талданғандай, тең ауданды балық көзі проекциясына қарағанда көз тартарлық нәтиже беруі мүмкін.

Өнер бұйымдары

Бір мезгілде түсірілмеген суреттерді пайдалану (камераның кіреберіс бұрышы бойынша) түпкі өнімде параллакс қателіктеріне алып келуі мүмкін. Түсірілген көріністе жылдам қозғалыс немесе динамикалық өзгерістер болған жағдайда, сурет бөліктері арасындағы уақыттың өзгешелігінен артефакттар пайда болуы мүмкін. Ерекшеліктерге негізделген сәйкестендіру әдістерімен ("көрінбейтін тігу" – автотігуді қараңыз) қолмен таңдау және тігуге қарағанда панораманы құрастыруда ақаулар тудыруы мүмкін.

Бағдарламалық жасақтама

Арнайы бағдарламаларға Autostitch, Hugin, Ptgui, Panorama Tools, Microsoft Research Image Composite Editor және CleVR Stitcher жатады. Көптеген басқа бағдарламалар да бірнеше суретті тігіп біріктіруге мүмкіндік береді; мысалы, Adobe Systems-тің Photoshop бағдарламасында Photomerge құралы және соңғы нұсқаларында жаңа Auto Blend функциясы бар. VideoStitch сияқты басқа бағдарламалар бейнелерді тігуге, ал Vahana VR – нақты уақыт режимінде бейне тігуге мүмкіндік береді. QuickPHOTO микроскоп бағдарламалық жасақтамасының Image Stitching модулі камераның тікелей бейнесі арқылы микроскоптан алынған бірнеше көрініс өрісін өзара әрекеттестікте біріктіруге мүмкіндік береді. Оны микроскопиялық үлгілерді қолмен тігу үшін де пайдалануға болады.