Кіріспе

Цифрлық кескінді өңдеудегі техника
Цифрлық кескінді өңдеудегі үлгіні сәйкестендіру

Үлгіні сәйкестендіру – бұл цифрлық кескінді өңдеудегі кескіннің кіші бөліктерін, үлгі кескінімен сәйкес келетін бөліктерді табуға арналған техника. Оны өндірісте сапаны бақылау, мобильді роботтарды бағыттау немесе кескіндердегі жиектерді анықтау үшін қолдануға болады. Үлгіні сәйкестендіру міндетінің негізгі қиындықтары: ізделіп отырған нысан кескінде жартылай жасырылған кездегі тосқауылды анықтау; нысан бұрмаланған немесе әртүрлі бұрыштардан түсірілген кездегі қатаң емес түрлендірулерді анықтау; жарықтандыру мен фонның өзгеруіне сезімталдық; фондағы араласу; және масштабтың өзгеруі.

Өзіндік ерекшеліктерге негізделген тәсіл

Үлгіні сәйкестендірудің ерекшеліктерге негізделген тәсілі, мақсатты сурет немесе кадрға сәйкес келетін пішіндер, текстуралар және түстер сияқты бейнелік ерекшеліктерді анықтауға негізделген. Бұл тәсіл көбінесе нейрондық желілер мен VGG, AlexNet және ResNet сияқты терең оқыту жіктегіштерін пайдалану арқылы іске асырылады. Көптеген қазіргі заманғы жіктегіштердің негізінде жатқан конволюциялық нейрондық желілер (CNN) суретті әртүрлі жасырын қабаттар арқылы өңдейді, әр қабатта сурет туралы жіктеу ақпараты бар вектор жасайды. Бұл векторлар желіден алынып, сурет ерекшеліктері ретінде қолданылады. CNN сияқты терең нейрондық желілерді пайдалану арқылы ерекшеліктерді анықтау өте тиімді екені дәлелденді және қазіргі заманғы үлгіні сәйкестендіру алгоритмдерінде стандартқа айналды. Бұл ерекшеліктерге негізделген тәсіл көбінесе төменде сипатталған үлгіге негізделген тәсілге қарағанда сенімдірек. Сондықтан, бұл үлгіні сәйкестендірудің ең озық әдісіне айналды, себебі ол қатаң емес және жазықтықтан тыс өзгерістермен, сондай-ақ күрделі фон және жарықтандыру өзгерістерімен үлгілерді сәйкестендіре алады.

Үлгіге негізделген тәсіл

Ерекше қасиеттері нашар дамыған үлгілер үшін, немесе егер үлгі кескінінің көп бөлігі ізделіп отырған кескіннің толық бөлігін құраса, үлгіге негізделген тәсіл тиімді болуы мүмкін. Үлгіге негізделген сәйкестікті табу үшін көптеген дерек нүктелерін қарастыру қажет болғандықтан, іздеу және үлгі кескіндерінің ажыратымдылығын бірдей коэффициентпен төмендету арқылы қарастырылатын нүктелер санын азайту жиі қажет болады. Бұл алдын ала өңдеу әдісі көп масштабты немесе пирамида тәрізді кескіндерді құрады, іздеу кескініндегі дерек нүктелерінің іздеу терезесін қысқартады, соның салдарынан үлгінің әрбір мүмкін дерек нүктесімен салыстырылуына қажеттілік тумайды. Пирамида тәрізді кескіндеу – бұл өлшемді азайту әдісі, және өлшемділік апатқа ұшыраған деректер жиынтығындағы машиналық оқытудың кең таралған мақсаты болып табылады.

Ортақ қиындықтар

Шаблон тікелей сәйкес келмейтін жағдайларда, сәйкес келетін нысанды әртүрлі жағдайларда, мысалы, әртүрлі перспективалар, жарықтандыру, түс контрасттары немесе нысанның позасы сияқты егжей-тегжейлі сипаттайтын шаблонды құру үшін өзіндік кеңістіктерді (eigenspaces) қолдану пайдалы болуы мүмкін. Мысалы, егер алгоритм бет іздесе, оның шаблондық өзіндік кеңістіктері камераға қатысты әртүрлі позициядағы, әртүрлі жарық жағдайларындағы немесе әртүрлі мінездемелердегі (яғни, позалардағы) беттердің суреттерінен (яғни, шаблонды суреттерден) тұруы мүмкін. Сондай-ақ, сәйкес келетін сурет нысанмен жасырылуы немесе жабылуы мүмкін. Мұндай жағдайларда, әрбір мүмкін жабылуды қамту үшін көптеген шаблонды ұсынудың қажеті жоқ. Мысалы, ізделіп отырған нысан ойын картасы болуы мүмкін, ал кейбір іздеу суреттерінде картаны ұстап тұрған адамның саусақтарымен, үстіне қойылған басқа картамен немесе камера алдындағы басқа нысанмен жасырылуы мүмкін. Нысан иілгіш немесе түрлендірілетін болса, қозғалыс қосымша қиындық тудырады, ал қозғалыс пен жабылуға байланысты мәселелердің шешімі күмәнді болуы мүмкін. Мұндай жағдайларда, бір шешім – шаблонды бірнеше кіші суреттерге бөліп, әрбір кіші сурет бойынша сәйкестікті жүзеге асыру.

Есептеулік анатомиядағы деформацияланатын шаблондар

Үлгілерді сәйкестендіру есептеу анатомиясының (АА) маңызды құралы болып табылады. Бұл саласында адам анатомиясының кеңістігі мен олардың орбиталарын диффеоморфизмдер тобы бойынша модельдеу үшін деформацияланатын үлгі модельі қолданылады, диффеоморфизмдер – бұл нысанды тегіс деформациялайтын функциялар. Үлгіні сәйкестендіру – мақсатты суретпен сәйкестіру үшін үлгі суретке әсер ететін белгісіз диффеоморфизмді табуға бағытталған тәсіл. АА-дағы үлгіні сәйкестендіру алгоритмдері үлкен деформациялы диффеоморфты метрикалық сәйкестендірулер (LDDMM) деп аталады. Қазіргі кезде анатомиялық нүктелерді, қисықтарды, беттерді және көлемдерді сәйкестендіруге арналған LDDMM үлгіні сәйкестендіру алгоритмдері бар.

Үлгіге негізделген сәйкестікті қиылысқан байланысты немесе абсолютті айырмалардың қосындысын қолдану арқылы түсіндіріледі

Шаблонды сәйкестендірудің негізгі әдісі, кейде "Сызықтық кеңістіктік сүзгілеу" деп аталады, іздеу суреттерінің белгілі бір ерекшелігіне сәйкес жасалған кескін бөлігін (яғни "шаблон суреті" немесе "сүзгілеу маскасы") пайдаланады. Бұл әдісті сұр немесе жиек суреттерінде оңай орындауға болады, онда түс айырмашылығы жоқ немесе маңызды емес. Крос-корреляция әдістері іздеу және шаблон суреттерінің ұқсастығын салыстырады. Олардың нәтижелері кескін құрылымы шаблон құрылымына сәйкес келетін жерлерде, яғни іздеу суретінің жоғары мәндері шаблон суретінің жоғары мәндерімен көбейтілген жерлерде ең жоғары болуы керек. Бұл әдіс әдетте іздеу суретінің бөлігін шаблон ретінде таңдау арқылы іске асырылады. іздеу суретінің пикселінің мәнін білдіреді, мұнда іздеу суретіндегі пикселдің координаттарын көрсетеді. Жеңілдік үшін пиксел мәндері скалярлық деп есептеңіз, мысалы, сұр түсті суреттердегідей. Сол сияқты, шаблон пикселінің мәнін білдіреді, мұнда шаблон суретіндегі пикселдің координаттарын көрсетеді. Сүзгіні қолдану үшін, шаблон суретінің ортасын (немесе бастапқы нүктесін) іздеу суретінің әрбір нүктесіне жылжытып, іздеу және шаблон суреттеріндегі пикселдердің мәндері арасындағы көбейтінділердің қосындысын есептеңіз, бұл нүктелік көбейтуге ұқсас. Формалдырақ айтқанда, егер шаблон суретінің ортасы (немесе бастапқы нүктесі) болса, онда іздеу суретінің әрбір нүктесіндегі кросс-корреляция былай есептелуі мүмкін: Ыңғайлылық үшін, шаблон суретінің пикселдік мәндерін де, оның доменін де, яғни шаблонның шектерін де білдіреді. Шаблонның іздеу суретіне қатысты барлық мүмкін орналасулары қарастырылады. Крос-корреляция мәндері іздеу және шаблон пикселдерінің мәндері сәйкес келгенде ең жоғары болғандықтан, ең жақсы сәйкес келетін орын мәнінің максималды мәніне сәйкес келеді. Суреттердегі ауысу мәселелерін шешудің тағы бір жолы шаблонды сәйкестендіруді пайдаланып пикселдердің қарқындылығын салыстыру, абсолютті айырмашылықтардың қосындысын (SAD) өлшеу арқылы. Бұл үшін іздеу және шаблон суреттеріндегі пикселдердің жарық қарқындылығын тиісінше және координаттарымен белгілеңіз. Содан кейін, бұрынғыдай, шаблонның ортасын іздеу суретіндегі нүктесіне жылжыту арқылы, сол нүктедегі шаблон мен іздеу пикселдерінің қарқындылығы арасындағы абсолютті айырмашылықтардың қосындысы:Бұл өлшеммен ең төменгі SAD шаблоны үшін ең жақсы орынды көрсетеді, кросс-корреляциядағыдай ең жоғары мән емес. SAD-ді іске асыру және түсіну салыстырмалы түрде оңай, бірақ оны орындау салыстырмалы түрде баяу болуы мүмкін. SAD шаблонын сәйкестендірудің қарапайым C++ іске асырылуы төменде келтірілген.

Процесті жеделдету

Бұрын, кеңістіктік сүзгілеудің осы түрі операцияның есептеу күрделілігіне байланысты арнайы аппараттық шешімдерде ғана қолданылатын. Дегенмен, суреттің жиілік доменінде сүзгілеу арқылы бұл күрделілікті азайтуға болады, бұл 'жиілік доменінде сүзгілеу' деп аталады және ол конволюция теоремасын қолдану арқылы іске асырылады. Сәйкестікті жылдамдатудың тағы бір жолы – сурет пирамидасын пайдалану. Бұл – әртүрлі масштабтағы суреттердің тізбегі, олар бастапқы суретті қайта-қайта сүзгілеу және төмендету арқылы құрылады, нәтижесінде төмен ажыратымдылықтағы суреттер тізбегі пайда болады. Осы төмен ажыратымдылықтағы суреттерді шаблонмен (сондай-ақ төмендетілген) іздеуге болады, бұл үлкен масштабта іздеу үшін ықтимал бастапқы орналасу орындарын анықтауға мүмкіндік береді. Содан кейін үлкен суреттерді бастапқы орналасу орнының төңірегіндегі шағын терезеде іздеу арқылы ең жақсы шаблон орнын табуға болады. Басқа әдістер аударма, масштабтау, суретті бұру және тіпті барлық аффиндік түрлендірулер сияқты мәселелерді шеше алады.

Сәйкестіктің дәлдігін арттыру

Бiрнеше үлгi (өзiндiк кеңiстiктер) қолдану арқылы сәйкестендiру әдiсiн жақсартуға болады, олардың әртүрлi масштабтары мен бұрылыстары болуы мүмкiн. Ерекшелiктерге негізделген және үлгiлерге негізделген тәсiлдердi бiрiктiру арқылы сәйкестендiру әдiсiнiң дәлдігін арттыру да мүмкiн. Әрине, бұл іздеу және үлгi суреттерiнде ерекшелiктердi сәйкестендiруге жетерлiк деңгейде көрiнетiн белгiлер болуын қажет етедi.

Ұқсас әдістер

Басқа ұқсас әдістерге "Стерео сәйкестендіру", "Кейіндегі бейнелерді тіркеу" және "Масштабқа тәуелсіз ерекшеліктерді түрлендіру" жатады.

Пайдалану үлгілері

Үлгілерді сәйкестендірудің түрлі қолданыстары бар және олар бетті тану (бетті тану жүйесін қараңыз) және медициналық кескіндерді өңдеу сияқты салаларда қолданылады. Бұрын, көпірдің бір бөлігінен белгілі бір уақыт ішінде өтетін адамдардың беттерін санайтын жүйелер жасалып, пайдаланылған. Басқа жүйелерге цифрлық кеуде рентген суреттеріндегі кальцийленген түйіндерді автоматты түрде анықтау кіреді. Соңғы кезде бұл әдіс геостатистикалық модельдеуде қолданылды, бұл жылдам алгоритмді ұсынуға мүмкіндік береді.