Кіріспе

Цифрлық кескінді сегменттерге бөлу

Цифрлық кескінді өңдеу және компьютерлік көруде кескінді сегменттеу – цифрлық кескінді бірнеше кескін сегменттеріне, сондай-ақ кескін аймақтары немесе кескін объектілеріне (пиксельдер жиынтығы) бөлу процесі. Сегменттеудің мақсаты – кескінді қарапайымдастыру және/немесе оны мағыналырақ және талдауға оңай нәрсеге өзгерту. Кескінді сегменттеу көбінесе кескіндердегі объектілер мен шекараларды (сызықтар, қисықтар және т.б.) табу үшін қолданылады. Нақтырақ айтқанда, кескінді сегменттеу – кескіндегі әрбір пикселге белгі тағайындау процесі, мұнда бірдей белгісі бар пикселдер белгілі бір қасиеттермен ортақ болады. Кескінді сегменттеудің нәтижесі – бүкіл кескінді қамтитын сегменттер жиынтығы немесе кескінден алынған контурлар жиынтығы (қараңыз: жиектерді анықтау). Бір аймақтағы пикселдердің әрқайсысы түс, қарқындылық немесе текстура сияқты кейбір қасиеттеріне немесе есептелген мәліметтеріне қатысты ұқсас болады. Қосымша аймақтар осы қасиеттерге қатысты түстері айқын түрде ерекшеленеді.

Шектілік

Суретті сегменттеудің ең қарапайым әдісі – шектік әдіс деп аталады. Бұл әдіс сұр түсті кескінді екілік кескінге айналдыру үшін шекті деңгейді (немесе шектік мәнді) пайдаланады. Әдістің негізгі мәселесі – шектік мәнді (немесе бірнеше деңгей таңдалған жағдайда мәндерді) таңдау болып табылады. Өнеркәсіпте максималды энтропия әдісі, теңгерілген гистограммалық шектеу, Оцу әдісі (максималды дисперсия), және k-орталықтар кластерлеуі сияқты бірнеше танымал әдістер қолданылады. Соңғы уақыттарда компьютерлік томография (КТ) суреттері үшін шектеу әдістері әзірленді. Басты идеясы – Оцу әдісінен өзгеше, шектерді (қайта құрылған) суреттен емес, рентген суреттерінен алу болып табылады. Жаңа әдістер көп өлшемді бұлыңғыр ережелерге негізделген сызықтық емес шектерді қолдануды ұсынады. Бұл жұмыстарда әр пикселдің сегментке жататындығы туралы шешім, суреттің жарықтандыру ортасы мен қолданысына байланысты бұлыңғыр логикадан және эволюциялық алгоритмдерден туындаған көп өлшемді ережелерге негізделеді.

Қозғалыс және интерактивті сегментация

Қозғалыс негізінде сегментациялау – кескіндегі қозғалысты пайдаланып сегментациялауды жүзеге асыратын техника. Ідеясы қарапайым: екі кескіннің арасындағы айырмашылықтарды қарастыру. Егер қызығушылық тудыратын объект қозғалса, айырмашылық сол объектінің өзі болады деп есептелінеді. Бұл идеяны жетілдіре түсу үшін Кенни және авторлар интерактивті сегментациялауды ұсынды. Олар қозғалыс негізінде сегментациялау үшін қажетті қозғалыс сигналын жасау мақсатында объектілерге тиістіңдеу үшін роботты пайдаланады. Интерактивті сегментациялау Дов Кац пен Оливер Брок ұсынған интерактивті қабылдау аясын қолданады. Қозғалысқа негізделген тағы бір техника – қатаң қозғалыс сегментациялау.

Сығымдауға негізделген әдістер

Сығымдауға негізделген әдістер оптималды сегментацияның барлық мүмкін сегментациялар арасында деректердің кодтау ұзындығын ең төменге дейін азайту екенін жорамалдайды. Бұл екі ұғымның арасындағы байланыс – сегментация кескіндегі үлгілерді табуға тырысады, ал кескіндегі кез келген реттелілік оны сығымдау үшін қолданылуы мүмкін. Әдіс әр сегментті оның текстурасы және шекара пішіні арқылы сипаттайды. Бұл компоненттердің әрқайсысы ықтималдық үлестіру функциясымен модельделеді және оның кодтау ұзындығы келесідей есептеледі:

Шекараны кодтау табиғи кескіндердегі аймақтардың тегіс контурға бейім екенін пайдаланады. Бұл алдын ала мәліметтер Хэффман кодтау арқылы кескіндегі контурлардың айырмашылық тізбек кодтарын кодтау үшін қолданылады. Осылайша, шекара неғұрлым тегіс болса, оның кодтау ұзындығы соғұрлым қысқа болады. Текстура ең аз сипаттама ұзындығы (MDL) принципіне ұқсас жоғалтулы сығымдау арқылы кодталады, бірақ мұнда модельге берілген деректердің ұзындығы үлгілер санының модельдің энтропиясына көбейтілуімен жуықталады. Әр аймақтағы текстура энтропиясы жабық формадағы өрнегі бар көпөлшемді қалыпты үлестіріммен модельделеді. Бұл модельдің қызықты қасиеті – есептелген энтропия деректердің нақты энтропиясын жоғарыдан шектейді. Өйткені, берілген орташа және ковариациясы бар барлық үлестірімдердің ішінде қалыпты үлестірімде энтропия ең жоғары болады. Осылайша, нақты кодтау ұзындығы алгоритмнің азайтуға тырысқаннан артық болмайды. Кескіннің кез келген сегментациясы үшін бұл схема берілген сегментацияға негізделген кескінді кодтау үшін қажетті биттер санын береді. Осылайша, кескіннің барлық мүмкін сегментацияларының ішінде мақсат – ең қысқа кодтау ұзындығын беретін сегментацияны табу. Бұл қарапайым агломеративтік кластерлеу әдісімен жүзеге асырылады. Жоғалтулы сығымдаудағы бұрмалау сегментацияның дөңгелектеуін анықтайды және оның оңтайлы мәні әр кескін үшін өзгеше болуы мүмкін. Бұл параметр кескіндегі текстуралардың контрастынан эвристикалық түрде бағалануы мүмкін. Мысалы, кескіндегі текстуралар ұқсас болған кезде, мысалы, камуфляж кескіндерінде, күшті сезімталдық және төмендетілген кванттау қажет.

Гистограммаға негізделген әдістер

Гистограммаға негізделген әдістер басқа кескінді сегменттеу әдістерімен салыстырғанда өте тиімді, себебі олар көбінесе пиксельдер арқылы бір рет өтуді ғана қажет етеді. Бұл техникада кескінді құрайтын барлық пиксельдер үшін гистограмма есептеледі, ал гистограммадағы жоғары нүктелер мен төмендіктері кескіндегі топтарды анықтау үшін пайдаланылады. Гистограмма іздеу әдісінің бір кемшілігі – кескіндегі маңызды жоғары нүктелер мен төмендіктерін анықтау қиын болуы мүмкін. Гистограммаға негізделген тәсілдер өздерінің бір реттік өту тиімділігін сақтай отырып, бірнеше кадрға жылдам бейімделуге болады. Егер бірнеше кадр қарастырылса, гистограмманы әртүрлі жолдармен жасауға болады. Бір кадрға қолданылған тәсілді бірнеше кадрға қолдануға болады, ал нәтижелер біріктірілгеннен кейін бұрын анықтау қиын болған жоғары нүктелер мен төмендіктерін анықтау ықтималдығы артады. Гистограмманы пикселдер бойынша да қолдануға болады, мұнда алынған ақпарат пиксел орны үшін ең көп кездесетін түсті анықтау үшін пайдаланылады. Бұл тәсіл белсенді нысандар мен статикалық ортаға негізделген сегменттерді құрайды, нәтижесінде бейне қадағалауда пайдалы болатын сегментацияның басқа түрі пайда болады.

Шегін анықтау

Шегін анықтау – бейне өңдеудің өзінің жақсы дамыған саласы. Аймақ шекаралары мен шеттері тығыз байланысты, себебі аймақ шекараларында қарқындылықтың күрт өзгеруі жиі кездеседі. Сондықтан, шеттерді анықтау техникалары басқа сегментация техникасының негізі ретінде пайдаланылған. Шеттерді анықтау арқылы анықталған шеттер көбінесе үзіліспен келеді. Дегенмен, суреттен объектіні бөліп шығару үшін жабық аймақ шекаралары қажет. Көзге көрінетін шеттер – осындай объектілердің немесе кеңістіктік таксондардың арасындағы шекаралар болып табылады. Кеңістіктік таксондар – бұл иерархиялық ұялы көрініс архитектурасының ішіндегі абстракция деңгейлерінде орналасқан, нақты пиксельдік аймақтан тұратын ақпараттық бөлшектер. Олар гештальт психологиясының фигура-фон ұғымына ұқсас, бірақ олар алдыңғы планға, объектілер тобына, объектілерге және көзге түсетін объектінің бөліктеріне дейін кеңейтілген. Шеттерді анықтау әдістерін кеңістіктік таксон аймағына, силуэтке қолданылатындай қолдануға болады. Бұл әдіс, әсіресе, үзіліспен келген шет иллюзиялық контурдың бөлігі болған кезде тиімді. Сегментация әдістерін шеттерді анықтағыштардан алынған шеттерге де қолдануға болады. Линдеберг пен Ли элементтерге негізделген объектіні тану үшін шеттерді түзу және қисық шеттерге бөлетін біріктірілген әдіс жасады. Бұл әдіс ең аз сипаттама ұзындығы (MDL) критерийіне негізделген және бөлу және біріктіру сияқты әдіспен, толықтырылатын түйісу белгілерінен алынған үзілу нүктелерін пайдаланып оңтайландырылды, бұл әртүрлі сегменттерге бөлуді қарастыру үшін ықтимал нүктелерді анықтауға көмектеседі.

Рентгендік суреттерді өңдеуде оқшауланған нүктелерді анықтауды қолдану

Оқшауланған нүктелерді анықтау рентгендік бейнелерді өңдеуді қоса алғанда, түрлі салаларда маңызды қолданыстарға ие. Мысалы, турбина пернесінің түпнұсқа рентгендік суретін пернесінің оң жақ жоғарғы төрттен білігіндегі қалыңдықтарды анықтау үшін пиксель бойынша қарастыруға болады. Бұл рентгендік суретке шеттік детектордың жауабын қолдану нәтижесін шамамен бағалауға мүмкіндік береді. Бұл бір пикселдік зондтардың көмегімен суреттегі оқшауланған нүктелерді бөліп шығаруды көрсетеді.

Екілік кластерлеу әдісі

Бұл әдіс кескіннің үш сипаттамасын біріктіреді: гистограммалық талдау бойынша кескіннің бөлінуі кластерлердің (объектілердің) жоғары тығыздығымен және олардың шекараларының жоғары градиенттерімен тексеріледі. Осы үшін екі кеңістік енгізілуі керек: біріншісі – жарықтықтың H = H(B) бір өлшемді гистограммасы; екіншісі – бастапқы кескіннің үш өлшемді кеңістігі B = B(x, y). Бірінші кеңістік кескіннің жарықтығының қаншалықты тығыз таралып орналасқанын ең кіші кластерлеу kmin арқылы өлшеуге мүмкіндік береді. kmin-ге сәйкес келетін T шекті жарықтық екілік (қара және ақ) кескінді анықтайды – биттік карта b = φ(x, y), мұнда φ(x, y) = 0, егер B(x, y) < T болса, ал φ(x, y) = 1, егер B(x, y) ≥ T болса. b биттік картасы – екілік кеңістіктегі объект. Осы биттік картада қара (немесе ақ) пикселдердің қаншалықты тығыз таралып орналасқандығын көрсететін өлшем анықталуы керек. Сондықтан, мақсат – жақсы шекаралары бар объектілерді табу. Барлық T үшін MDC = G/(k × L) өлшемін есептеу қажет (мұнда k – объект пен фон арасындағы жарықтықтың айырмасы, L – барлық шекаралардың ұзындығы, ал G – шекаралардағы орташа градиент). MDC-нің максималды мәні сегментацияны анықтайды.

Қисма дифференциалдық теңдеуге негізделген әдістер

Бөлшек дифференциалдық теңдеуге (БДТ) негізделген әдіс қолданып және БДТ теңдеуін сандық схема арқылы шешу арқылы кескінді сегменттеуге болады. Бұл санаттағы танымал техника – қисық тарату, ол нысанды бөліп алу, нысанды қадағалау, стерео реконструкция және т.б. сияқты көптеген қолданыстарда қолданылады. Негізгі идея – шығын функциясының ең төменгі потенциалына қарай бастапқы қисықты өзгерту болып табылады, мұнда оның анықтамасы шешілуге тиіс міндетті көрсетеді. Көптеген кері проблемалар сияқты, шығын функционалын минимумдау оңай емес және шешімге белгілі бір тегісдік талаптарын қояды, бұл жағдайда дамитын қисыққа геометриялық талаптар ретінде қойылуы мүмкін.

Параметрлік әдістер

Лагранждық әдістер контурды белгілі бір үлгі алу стратегиясы бойынша параметрлеуге және содан кейін әрбір элементті сурет және ішкі факторлар бойынша өзгертуге негізделген. Мұндай әдістер жылдам және тиімді, бірақ бастапқы "таза параметрлік" тұжырымдама (1987 жылы Kass, Witkin және Terzopoulos еңбектерінде ұсынылған және "жыландар" деп белгілі) үлгі алу стратегиясын таңдау, қисықтың ішкі геометриялық қасиеттері, топологиялық өзгерістер (қисықтың бөлінуі және бірігуі), жоғары өлшемдік мәселелерді шешу сияқты шектеулері үшін сынға ұшырайды. Қазіргі кезде осы шектеулерді жою үшін, бірақ жоғары тиімділікті сақтай отырып, тиімді "дискреттелген" тұжырымдамалар жасалған. Екі жағдайда да энергияны азайту әдетте ең тік градиент бойынша жүргізіледі, мұнда туындылар, мысалы, шекті айырмашылықтар арқылы есептеледі.

Жазықтарды белгілеу әдістері

Деңгейлік жиынтық әдісін қозғалатын интерфейстерді қадағалау үшін алғаш рет 1979 және 1981 жылдары Дервио мен Томэсет ұсынды, ал кейіннен 1988 жылы Ошер мен Сетиан қайта ойлап тапты. Бұл 1990-шы жылдардың соңында әртүрлі бейнелеу салаларында кеңінен тарады. Оны қисықтардың/беттердің/т.б. таралу мәселесін тиімді түрде, жасырын жолмен шешуге болады. Басты идея – эволюцияға ұшыраған контурды нөлдік деңгейі нақты контурға сәйкес келетін белгілі функция арқылы көрсету. Содан кейін контурдың қозғалыс теңдеуіне сәйкес, нөлдік деңгейге қолданғанда контурдың таралуын көрсететін имплицитті бет үшін ұқсас ағынды алуға болады. Деңгейлік жиынтық әдісі көптеген артықшылықтар ұсынады: ол жасырын, параметрлерді қажет етпейді, дамушы құрылымның геометриялық қасиеттерін тікелей бағалауға мүмкіндік береді, топологиялық өзгерістерге жол береді және ішкі қасиеттеріне ие. Оны 1996 жылы Жао, Мерриман және Ошер ұсынғандай, оптимизациялық аяны анықтау үшін де қолдануға болады. Қорыта айтқанда, бұл компьютерлік көру және медициналық бейнелерді талдау салаларындағы көптеген қолданулар үшін өте ыңғайлы құрал. Деңгейлік жиынтық деректер құрылымдарын зерттеу осы әдістің тиімді жүзеге асырылуына әкелді.

Жылдам жүгіру әдістері

Тез жүріп өту әдісі кескіндік сегментацияда қолданылды, ал бұл модель оң және теріс таралу жылдамдықтарын қабылдауға мүмкіндік беретін, жалпыланған тез жүріп өту әдісі деп аталатын тәсілмен жетілдірілді.

Графты бөлу әдістері

Графты бөлу әдістері – кескіндерді сегменттеудің тиімді құралы, себебі олар кескіндердегі біртектілік туралы болжам жасап, пиксельдер немесе пиксельдер кластеріне пиксельдердің көршілігінің әсерін модельдейді. Бұл әдістерде кескін салмақталған, бағытталмаған граф ретінде модеделденеді. Әдетте, пиксель немесе пиксельдер тобы түйіндермен байланыстырылады, ал қабырғалардың салмағы көрші пиксельдер арасындағы ұқсастық немесе ұқсаспаушылықты анықтайды. Содан кейін граф (кескін) "жақсы" кластерлерді модельдеуге арналған белгілі бір критерий бойынша бөлінеді. Бұл алгоритмдерден шығатын түйіндердің (пиксельдердің) әрбір бөлігі кескіндегі объектінің сегменті болып есептеледі; Segmentation based object categorization қараңыз. Осы санаттағы танымал алгоритмдерге қалыпты кесулер (normalized cuts), кездейсоқ жүргінші (random walker), ең аз кесу (minimum cut), изопериметриялық бөлу (isoperimetric partitioning), ең аз аралық ағашқа негізделген сегментация (minimum spanning tree based segmentation) және сегментацияға негізделген объектілерді жіктеу (segmentation based object categorization) жатады.

Марковтың кездейсоқ өрістері

Марковтың кездейсоқ өрістерін (MRF) кескіндерге қолдануды 1984 жылдың басында Геман мен Геман ұсынды. Олардың берік математикалық негізі және тіпті жергілікті ерекшеліктермен анықталған жағдайда да жаһандық оптимумды қамтамасыз ету қабілеті, кескіндерді талдау, шуды жою және сегментациялау саласындағы жаңа зерттеулерге негіз болды. MRF-тар алдын ала ықтималдық үлестірімдерімен, маргиналды ықтималдық үлестірімдерімен, кликалармен, тегістеу шектеулерімен және мәндерді жаңарту критерийлерімен толық сипатталады. MRF-тарды қолдану арқылы кескінді сегменттеу критерийі, берілген ерекшеліктер жиынтығы үшін максималды ықтималдыққа ие болатын таңбалау схемасын табу ретінде қайтадан тұжырымдалады. MRF-тарды пайдаланатын кескінді сегменттеудің негізгі санаттары – бақыланатын және бақыланбайтын сегменттеу.

Оптимизациялау алгоритмдері

Әрбір оңтайландыру алгоритмі – түрлі салалардан алынған модельдердің өңделген түрі және олардың ерекшелігі – бірегей шығын функциялары. Шығын функцияларының ортақ қасиеті – көрші пикселдердің белгілерімен салыстырғанда пиксел мәнінің өзгеруіне және пиксел белгісінің айырмашылығына санкция салу болып табылады.

Симуляциялық оттану (SA)

Металлургиядағы кермеуді жою процесінің аналогы ретінде алынған, симуляциялық кермеуді жою (SA) итерациялар бойынша пиксель міндеттемесін өзгертеді және әрбір жаңадан құрылған графтың бастапқы деректерге шағылысқан энергия айырмасын бағалайды. Егер жаңадан құрылған граф төмен энергия тұтыну тұрғысынан тиімдірек болса, яғни:

алгоритм жаңадан құрылған графты таңдайды. Симуляциялық кермеуді жою үшін температура кестелерін енгізу қажет, бұл жүйенің конвергенция жылдамдығына тікелей әсер етеді, сондай-ақ минималдану үшін энергия шегі де қажет.

Баламалы алгоритмдер

Қарапайым және күрделі МРФ-терді шешу үшін тағы да бірнеше әдістер бар. Оларға артқы маргиналды максимизациялау, көп масштабты MAP бағалау, көп ажыратымдылықта сегментациялау және тағы да басқалары жатады. Ықтималдық бағалаудан өзге, МРФ-терді шешу үшін максималды ағын арқылы графикті кесу және басқа да күшті шектеулерге бағынған график негізді әдістер де бар.

МРФ және күтуді максимизациялау арқылы сурет сегменттеу

Күтуді-максимизациялау алгоритмі тренингтік деректер болмағанда және сегментация моделінің бағалауын жасау мүмкін болмағанда, таңбалаудың апостериорлық ықтималдықтары мен үлестірімдерін итеративті түрде бағалау үшін қолданылады. Жалпы тәсіл – сурет ерекшеліктерін көрсету үшін гистограммаларды пайдалану және осы үш қадамдық алгоритмде қысқаша сипатталғандай әрекет ету:

1. Модель параметрлерінің кездейсоқ бағасы қолданылады. 2. E қадамы: Анықталған кездейсоқ сегментациялау моделіне сүйене отырып, сыныптық статистиканы бағалау. Оларды пайдаланып, белгіге тиесілі болудың шартты ықтималдығы, яғни белгілер жиынтығы наив Байес теоремасы арқылы есептеледі. Мұнда – барлық мүмкін таңбалар жиынтығы. 3. M қадамы: Белгілі бір ерекшелік жиынтығының белгілеу схемасына қатыстылығы енді алгоритмнің екінші бөлігінде берілген белгінің априорлық бағасын есептеу үшін қолданылады. Белгілердің нақты саны белгісіз болғандықтан (тренингтік деректер жиынтығынан), есептеулерде пайдаланушы берген белгілер санының жасырын бағасы пайдаланылады. – барлық мүмкін ерекшеліктер жиынтығы.

MAP және EM негізделген суреттерді сегменттеудің кемшіліктері

Дәл МАС бағалауларын есептеу оңай емес. Шамамен МАС бағалауларын есептеуге көп еңбек жұмсалады. Көп сыныпты белгілеуге кеңейту өнімділікті нашарлатады және қажетті сақтау көлемін арттырады. ЭМ үшін параметрлерді сенімді бағалау, жаһандық оптималдыққа жету үшін қажет. Оптимизациялау әдісіне байланысты, сегментация жергілікті минимумдарға жиналуы мүмкін.

Су айдынын қайта құру

Суайдынының түрленуі кескіннің градиент шамасын топографиялық бет ретінде қарастырады. Ең жоғары градиент шамасы интенсивтілігіне (ГМИ) ие пиксельдер суайдыны сызықтарына сәйкес келеді, олар аймақ шекараларын көрсетеді. Ортақ суайдыны сызығымен қоршалған кез келген пикселге құйылған су, ортақ жергілікті ең төменгі интенсивтілікке (LIM) қарай ағып төмендейді. Ортақ ең төменгі деңгейге ағып жиналған пиксельдер сегментті көрсететін су жинау алабын құрайды.

Модельге негізделген сегментация

Модельге негізделген тәсілдердің басты қағидасы – қызығушылық тудыратын құрылымдар белгілі бір пішінге ұмтылуға бейім. Сондықтан, пішін мен оның өзгерісін сипаттайтын ықтималдық модельді табуға болады. Кескінді сегменттеу кезінде осы модельді алдын ала шектеу ретінде қолдануға болады. Мұндай міндеттерге (i) оқу үлгілерін ортақ күйге келтіру, (ii) тіркелген үлгілердің өзгерісін ықтималдықпен бейнелеу және (iii) модель мен кескінді арасындағы статистикалық қорытынды жасау кіруі мүмкін. Модельге негізделген сегментацияға қатысты әдебиеттегі басқа маңызды әдістерге белсенді пішін моделі және белсенді көрініс моделі жатады.

Көп масштабты сегменттеу

Сурет сегментациясы масштаб кеңістігінде әртүрлі масштабтарда есептеледі және кейде жалпы масштабтан нақты масштабқа таратылады; масштаб кеңістігінде сегментациялау туралы қараңыз. Сегментация критерийлері кез келген деңгейде күрделі болуы мүмкін және жаһандық, сондай-ақ жергілікті критерийлерді де ескере алады. Әдеттегі талап – әрбір аймақ қандай да бір жағынан байланысты болуы керек.

Бір өлшемді иерархиялық сигнал сегментациясы

Виткиннің масштаб кеңістігіндегі маңызды еңбегі бір өлшемді сигналды аймақтарға біржақты бөлу мүмкіндігін қамтиды, мұнда сегментация масштабын бір масштаб параметрі басқарады. Маңызды байқау – сигналдың көп масштабты тегістелген түрлерінің екінші туындыларының нөлдік өтулері (бірінші туындының немесе еңістің минимум және максимумдары) ұялы ағаш құрайды, ол әртүрлі масштабтағы сегменттер арасындағы иерархиялық қатынастарды анықтайды. Атап айтқанда, ірі масштабтағы еңіс экстремумдарын ұсақ масштабтағы сәйкес белгілерге дейін табуға болады. Еңіс максимумы мен еңіс минимумы үлкен масштабта бір-бірін жойғанда, олар бөлген үш сегмент бірегей сегментке бірігеді, осылайша сегменттердің иерархиясын анықтайды.

Суретті сегменттеу және бастапқы эскиз

Бұл салада көптеген зерттеу жұмыстары жүргізілді, олардың кейбіреулері қазір интерактивті қолмен араласу арқылы (әдетте медициналық бейнелеуде қолданылады) немесе толық автоматтандырылған түрде қолдануға болатын деңгейге жетті. Төменде қазіргі талдамдардың негізін құрайтын негізгі зерттеу идеяларының қысқаша шолуы келтірілген. Дегенмен, Виткин сипаттаған ұялы құрылым бір өлшемді сигналдарға тән және жоғары өлшемді бейнелерге тікелей көшпейді. Соған қарамастан, бұл жалпы идея бірнеше авторларды бейнелерді сегменттеудің жалпыдан нақтыға қарай схемаларын зерттеуге ынталандырды. Коендеринк изоинтенсивті контурлардың масштабтар бойынша қалай өзгеретінін зерттеуді ұсынды, ал Лифшиц пен Пизер бұл тәсілді егжей-тегжейлі қарастырды. Алайда, бейне ерекшеліктерінің қарқындылығы масштабтар бойынша өзгереді, бұл изоинтенсивті ақпаратты пайдалана отырып, ірі масштабтағы бейне ерекшеліктерін ұсақ масштабтарға дейін табу қиын екенін көрсетеді. Линдеберг масштабтардағы жергілікті экстремумдар мен еріксіз нүктелерді байланыстыру мәселесін зерттеді және масштабты кеңістіктік бастапқы эскиз деп аталатын бейне ұсынысын ұсынды, ол әртүрлі масштабтағы құрылымдар арасындағы қатынастарды нақты көрсетеді, сондай-ақ масштабтың кең ауқымында, соның ішінде жергілікті масштабтарда тұрақты болатын бейне ерекшеліктерін анықтайды. Бергхолм масштаб кеңістігінде ірі масштабтағы жиектерді анықтап, содан кейін оларды ірі анықтау масштабы мен ұсақ орналасу масштабын қолмен таңдау арқылы ұсақ масштабтарға іздеуді ұсынды. Гаух пен Пизер бірнеше масштабтағы қырқалар мен аңғарлардың толықтыратын мәселесін зерттеді және көп масштабты суайдындарына негізделген интерактивті бейне сегментациялау құралын жасады. Градиент картасына қолданылатын көп масштабты суайдындарын пайдалануды Олсен мен Нильсен де зерттеді, ал Дам оны клиникалық қолдануға енгізді. Винкен және авторлар әртүрлі масштабтағы бейне құрылымдары арасындағы ықтималдық қатынастарды анықтау үшін гиперстек ұсынды. Ахуджа және оның әріптестері масштабтар бойынша тұрақты бейне құрылымдарын пайдалануды толық автоматтандырылған жүйеге дейін жетілдірді. Көп масштабты суайдындарының өзара байланысты идеяларына негізделген толық автоматты ми сегментациялау алгоритмін Ундеман мен Линдеберг ұсынды және ми дерекқорында кеңінен сынап көрді. Бейнелерді масштабтар бойынша құрылымдарды байланыстырып сегменттеудің бұл идеяларын Флорак пен Куйпер де қабылдады. Бижауи мен Руэ ең төменгі шу деңгейінен жоғары масштабтағы кеңістікте анықталған құрылымдарды бірнеше масштабты қамтитын және бастапқы сигналдың бір түріне сәйкес келетін объект ағашына біріктірді. Алынған ерекшеліктер итеративті конъюгат градиент матрицалық әдісті қолдана отырып, дәл қайта құрылды.

Жартылай автоматты сегменттеу

Сегменттеудің бір түрінде пайдаланушы қызығушылық танытқан аймақты тышқанның түртуі арқылы белгілейді, ал алгоритмдер суреттің шетіне ең жақсы сәйкес келетін жолды көрсету үшін қолданылады. Осы сегменттеуде SIOX, Livewire, Intelligent Scissors немесе IT SNAPS сияқты техникалар қолданылады. Баламалы, жартылай автоматты сегменттеу түрінде алгоритмдер пайдаланушы таңдаған немесе алдын ала белгіленген ықтималдықтар арқылы анықталған кеңістіктік таксономды (яғни, алдыңғы план, объектілер тобы, объект немесе объектінің бөлігі) қайтарады.

Оқытуды қамтамасыз ететін сегменттеу

Жоғарыда аталған сегменттеу әдістерінің көпшілігі тек суреттегі пикселдердің түс ақпаратына негізделген. Адамдар суреттерді сегменттеу кезінде әлдеқайда көп білімді пайдаланады, бірақ бұл білімді іске асыру үшін инженерлік және есептеу уақытының көп жұмсалуы және қазіргі кезде жоқ үлкен салалық білім базасы қажет. Нейрондық желілерді сегменттеу сияқты оқыту мүмкіндігін беретін әдістер, белгіленген пикселдер жиынтығынан салалық білімді модельдеу арқылы осы мәселелерді шешеді. Суретті сегменттеуге арналған нейрондық желі суреттің кішігірім аймақтарын өңдеп, жиектер сияқты қарапайым ерекшеліктерді шығарады. Басқа нейрондық желі немесе шешім қабылдау механизмі осы ерекшеліктерді біріктіріп, суреттің аймақтарын сәйкес белгілейді. Осылай құрылған желілердің бір түрі – Кохонен картасы. Импульстік байланысқан нейрондық желілер (PCNN) – мысықтың көру қабығын модельдеу арқылы ұсынылған және жоғары өнімді биомиметикалық бейне өңдеу үшін әзірленген нейрондық модельдер. 1989 жылы Рейнхард Экхорн мысықтың көру қабығының жұмыс ілу механизмын еліктейтін нейрондық модельді ұсынды. Экхорн моделі кіші сүтқоректілердің көру қабығын зерттеу үшін қарапайым және тиімді құрал болды және көп ұзамай бейне өңдеуде маңызды қолдану мүмкіндігі бар екені анықталды. 1994 жылы Джон Л. Джонсон Экхорн моделін бейне өңдеу алгоритміне бейімдеді және бұл алгоритмді «Импульстік байланысқан нейрондық желі» деп атады. Соңғы он жылда PCNN бейне сегментациясы, ерекшеліктерді жасау, бетті анықтау, қозғалысты анықтау, аймақты кеңейту, шуды азайту және т.б. сияқты әртүрлі бейне өңдеу салаларында қолданылды. PCNN – екі өлшемді нейрондық желі. Желідегі әрбір нейрон кіріс суретіндегі бір пикселге сәйкес келеді және оның сәйкес пикселінің түс ақпаратын (мысалы, қарқындылығын) сыртқы стимул ретінде қабылдайды. Әрбір нейрон көршілес нейрондармен байланысып, олардан жергілікті стимулдар алады. Сыртқы және жергілікті стимулдар ішкі белсенділік жүйесінде біріктіріледі, ол стимулдарды динамикалық шектен асып кеткенше жинақтап, импульсті шығарады. Итеративті есептеулер арқылы PCNN нейрондары импульстік шығыстардың уақытша тізбегін жасайды. Импульстік шығыстардың уақытша тізбегі кіріс суреттері туралы ақпаратты қамтиды және оны суретті сегменттеу және ерекшеліктерді жасау сияқты әртүрлі бейне өңдеу салаларында пайдалануға болады. Дәстүрлі бейне өңдеу құралдарымен салыстырғанда, PCNN шуға төзімділік, кіріс үлгілеріндегі геометриялық өзгерістерге тәуелсіздік, кіріс үлгілеріндегі шағын қарқындылық өзгерістерін жою мүмкіндігі және т.б. сияқты бірнеше маңызды артықшылықтарға ие. U Net – кіріс ретінде суретті қабылдап, әрбір пиксел үшін белгі шығаратын конволюциялық нейрондық желі. U Net бастапқыда биомедициналық суреттердегі жасуша шекараларын анықтау үшін әзірленген. U Net классикалық автокодер архитектурасын ұстанады, сондықтан ол екі кіші құрылымды қамтиды. Энкодер құрылымы қабаттар арқылы өтетін қабылдау өрісін ұлғайту үшін конволюциялық және максималды жинақтау қабаттарының дәстүрлі тізбегін пайдаланады. Бұл суреттегі контекстті түсіру үшін қолданылады. Декодер құрылымы өрісті кеңейту үшін транспозицияланған конволюциялық қабаттарды пайдаланады, сондықтан соңғы өлшемдер кіріс суретінің өлшемдеріне жақын болады. Бөлшектерді сақтау үшін, басқа жағдайда жоғалып кететін, бірдей пішіндегі конволюциялық және транспозицияланған конволюциялық қабаттар арасында «skip» байланыстары орналастырылады. Әр пикселге белгілі бір санатты тағайындайтын пикселдік деңгейдегі семантикалық сегментациялау міндеттерінен басқа, қазіргі сегментациялау қолданбаларына берілген санаттағы әрбір нысанды бірегей түрде анықтауды талап ететін инстанциялық деңгейдегі семантикалық сегментациялау міндеттері, сондай-ақ осы екі міндетті біріктіріп, толық көрініс сегментациясын қамтамасыз ететін паноптикалық сегментациялау міндеттері кіреді. Байланысты суреттерден немесе бейне кадрларынан көріністерді бір мезгілде сегменттеу міндеті косегментация деп аталады.