Суреттерден ақпаратты автоматты түрде алу

Кіріспе

Суреттерден компьютерлік ақпаратты алу

Компьютерлік көру міндеттеріне цифрлық суреттерді алу, өңдеу, талдау және түсіну әдістері, сондай-ақ сандық немесе символдық ақпарат алу үшін нақты әлемнен жоғары өлшемді деректерді шығару кіреді, мысалы, шешімдер түрінде. Компьютерлік көру – суреттерден ақпаратты шығаратын жасанды жүйелердің теориясын зерттейтін ғылыми сала. Сурет деректері түрлі форматта болуы мүмкін, мысалы, бейне тізбектері, бірнеше камерадан алынған көріністер немесе медициналық сканерден алынған көп өлшемді деректер. Технологиялық пән ретінде компьютерлік көру өз теориялары мен модельдерін компьютерлік көру жүйелерін құру үшін қолдануға бағытталған. Машиналық көру – жүйелік инженерия саласы, әсіресе зауытты автоматтандыру контекстінде. Соңғы кезде компьютерлік көру және машиналық көру терминдері жақындасып, бірігуде.

Тарих

1960 жылдардың соңында компьютерлік көру, жасанды интеллекттің алға басушылары болған университеттерде басталды. Оның мақсаты – роботтарға интеллектуалды мінез-құлық беруге бастапқы қадам ретінде адамның көру жүйесін имитациялау болды. Бұл компьютерге камераны қосып, ол "көргенін сипаттасын" деп талап ету арқылы іске асырылды. 1990 жылдары бұрынғы зерттеу тақырыптарының кейбіреуі өзгелеріне қарағанда жандана түсті. 3D проекциялық реконструкцияларға жасалған зерттеулер камераларды калибрлеуді жақсырақ түсінуге мүмкіндік берді. Камераларды калибрлеудің оңтайландыру әдістерінің пайда болуымен, көптеген идеялар фотограмметрия саласынан бундельді реттеу теориясында бұрыннан зерттелгені анықталды. Бұл бірнеше суреттен 3D көріністерді қайта құру әдістеріне әкелді. Тығыз стерео сәйкестік мәселесі және одан әрі көп көріністі стерео техникалары бойынша прогресс жасалды. Сонымен қатар, кескінді сегменттеуді шешу үшін график кесудің түрлері қолданылды. Осы онжылдық суреттердегі бет-әлпеттерді тану үшін статистикалық оқыту техникаларының алғаш рет тәжірибеде қолданылған кезі болды (Eigenface қараңыз). 1990 жылдардың соңында компьютерлік графика және компьютерлік көру салалары арасындағы өзара әрекеттесудің күшеюі маңызды өзгеріске алып келді. Бұл сурет негізіндегі рендеринг, сурет морфингі, көрініс интерполяциясы, панорамалық суретті тігу және алғашқы жарық өрісі рендерингін қамтыды. Терең оқыту техникаларының дамуы компьютерлік көру саласына жаңа серпіліс берді. Классификация, сегментация және оптикалық ағын сияқты міндеттерді орындау үшін бірнеше компьютерлік көру деректер жиынтығындағы терең оқыту алгоритмдерінің дәлдігі бұрынғы әдістерден асып түсті.

Қатты дене физикасы

Қатты күй физикасы – компьютерлік көрумен тығыз байланысты тағы бір сала. Көптеген компьютерлік көру жүйелері бейне сенсорларына сүйенеді, олар электромагниттік сәулеленуді анықтайды, әдетте көрінетін, инфрақызыл немесе ультракүлгін сәуле түрінде. Сенсорлар кванттық физика негізінде жасалған. Жарықтың беткейлермен өзара әрекеттесу процесі физика арқылы түсіндіріледі. Физика оптиканың қалай жұмыс істейтінін түсіндіреді, ол көптеген бейнелеу жүйелерінің маңызды бөлігі болып табылады. Күрделі бейне сенсорларына суретті қалыптастыру процесін толық түсіну үшін кванттық механика қажет. Желі дұрыс түрде теңіз жұлдызын анықтайды. Дегенмен, сақина тәрізді текстура мен теңіз кірпісі арасындағы нашар байланыс, екі аралық түйіннің бірінен соңғысына әлсіз сигнал жібереді. Сонымен қатар, оқуға қолданылмаған қабықша дөңгелек пішінге әлсіз сигнал береді, бұл теңіз кірпісінің нәтижесі үшін де әлсіз сигналға әкеледі. Бұл әлсіз сигналдар теңіз кірпісіне қатысты жалған оң нәтижеге алып келуі мүмкін. Шындығында, текстуралар мен контурлар жеке түйіндермен емес, көптеген түйіндердің байланысты салмақтарының үлгілерімен ұсынылатын болады. Нейробиология компьютерлік көру алгоритмдерінің дамуына үлкен әсер етті. Соңғы ғасырда көздер, нейрондар және ми құрылымдарына қатысты визуалды стимулдарды өңдеуге арналған кең ауқымды зерттеулер жүргізілді. Бұл табиғи көру жүйелерінің кейбір көруге қатысты міндеттерді шешу үшін қалай жұмыс істейтінін қарапайым, бірақ күрделі сипаттауға әкелді. Бұл нәтижелер компьютерлік көрудің ішкі саласына алып келді, онда жасанды жүйелер әртүрлі күрделілік деңгейлерінде биологиялық жүйелердің өңдеу және мінез-құлқына ұқсауға тырысады. Сонымен қатар, компьютерлік көруде әзірленген кейбір оқуға негізделген әдістер (мысалы, нейрондық желілер және терең оқуға негізделген суреттер мен ерекшеліктерді талдау және жіктеу) нейробиологиядан бастау алады. 1970 жылдары Кунихико Фукусима жасаған нейрондық желі – Неокогнитрон, компьютерлік көрудің алғашқы мысалы, нейробиологиядан, әсіресе негізгі визуалды қабықтан тікелей шабыт алды. Компьютерлік көруді зерттеудің кейбір салалары биологиялық көруді зерттеумен тығыз байланысты, және жасанды интеллектті зерттеудің көптеген салалары адам интеллектін және сақталған білімді пайдалануды зерттеумен тығыз байланысты, визуалды ақпаратты түсіндіру, біріктіру және пайдалану үшін. Биологиялық көру саласы адамдар мен басқа жануарлардағы визуалды қабылдаудың физиологиялық процестерін зерттейді және модельдейді. Ал компьютерлік көру жасанды көру жүйелерінің артындағы бағдарламалық және аппараттық құралдарда іске асырылатын алгоритмдерді әзірлейді және сипаттайды. Биологиялық және компьютерлік көру арасындағы пәраралық алмасу екі сала үшін де жемісті болып табылды. Бұл ортаны бағдарлау үшін оның егжей-тегжейлі түсінігі қажет. Компьютерлік көру жүйесі, көру сенсоры ретінде әрекет ете отырып, орта туралы ақпаратты ұсынуы мүмкін, орта және робот туралы жоғары деңгейдегі ақпаратты қамтамасыз етеді.

Solid state physics is another field that is closely related to computer vision. Most computer vision systems rely on image sensors, which detect electromagnetic radiation, which is typically in the form of either visible, infrared or ultraviolet light. The sensors are designed using quantum physics. The process by which light interacts with surfaces is explained using physics. Physics explains the behavior of optics which are a core part of most imaging systems. Sophisticated image sensors even require quantum mechanics to provide a complete understanding of the image formation process. The network correctly detects the starfish. However, the weakly weighted association between ringed texture and sea urchin also confers a weak signal to the latter from one of two intermediate nodes. In addition, a shell that was not included in the training gives a weak signal for the oval shape, also resulting in a weak signal for the sea urchin output. These weak signals may result in a false positive result for sea urchin. In reality, textures and outlines would not be represented by single nodes, but rather by associated weight patterns of multiple nodes. Neurobiology has greatly influenced the development of computer vision algorithms. Over the last century, there has been an extensive study of eyes, neurons, and brain structures devoted to the processing of visual stimuli in both humans and various animals. This has led to a coarse yet convoluted description of how natural vision systems operate in order to solve certain vision related tasks. These results have led to a sub field within computer vision where artificial systems are designed to mimic the processing and behavior of biological systems at different levels of complexity. Also, some of the learning based methods developed within computer vision (e. g. neural net and deep learning based image and feature analysis and classification) have their background in neurobiology. The Neocognitron, a neural network developed in the 1970s by Kunihiko Fukushima, is an early example of computer vision taking direct inspiration from neurobiology, specifically the primary visual cortex. Some strands of computer vision research are closely related to the study of biological vision—indeed, just as many strands of AI research are closely tied with research into human intelligence and the use of stored knowledge to interpret, integrate, and utilize visual information. The field of biological vision studies and models the physiological processes behind visual perception in humans and other animals. Computer vision, on the other hand, develops and describes the algorithms implemented in software and hardware behind artificial vision systems. An interdisciplinary exchange between biological and computer vision has proven fruitful for both fields. A detailed understanding of these environments is required to navigate through them. Information about the environment could be provided by a computer vision system, acting as a vision sensor and providing high level information about the environment and the robot.

Басқа салалар

Компьютерлік көру туралы жоғарыда айтылған пікірлерден өзге, көптеген байланысты зерттеу тақырыптарын да таза математикалық тұрғыдан қарастыруға болады. Мысалы, компьютерлік көрудегі көптеген әдістер статистика, оптимизация немесе геометрия негізінде құрылған. Сонымен қатар, осы саланың маңызды бөлігі компьютерлік көруді іске асыру мәселелеріне арналған; қолданыстағы әдістерді бағдарламалық және аппараттық құралдардың түрлі комбинацияларында қалай жүзеге асыруға болады, немесе осы әдістерді өнімділікті күрт төмендетпестен өңдеу жылдамдығын арттыру үшін қалай өзгертуге болады. Компьютерлік көру сәндік электрондық саудада, қойманы басқаруда, патенттерді іздеуде, жиһаз және әсемдік индустриясында да қолданылады.

Қолданбалар

Қолданбалар өндірістік машиналық көру жүйелері сияқты міндеттерден басталады, мысалы, өндіріс желісінде жылдам қозғалатын бөтелкелерді тексеру, сондай-ақ жасанды интеллект, компьютерлер немесе қоршаған ортаны түсіне алатын роботтарды зерттеу. Компьютерлік көру және машиналық көру салалары үлкен байланысқа ие. Компьютерлік көру – көптеген салаларда қолданылатын автоматтандырылған бейне талдауының негізгі технологиясын қамтиды. Машиналық көру әдетте өнеркәсіптік қолданыстарда автоматтандырылған тексеру және роботты басқаруды қамтамасыз ету үшін автоматтандырылған бейне талдауын басқа әдістермен және технологиялармен біріктіру процесін білдіреді. Көптеген компьютерлік көру қолданыстарында компьютерлер белгілі бір міндетті орындау үшін алдын ала бағдарламаланған, бірақ білім беруге негізделген әдістер қазірде жиі қолданылады. Компьютерлік көрутің қолданылуының мысалдары: терең генеративтік желілер арқылы көп көріністі тереңдік карталары мен силуэттерді модельдеу арқылы 3D пішіндерді синтездеу. Компьютерлік көруде 3D пішіндерді үйрену қиын міндет болып келді. Терең оқытудағы соңғы жетістіктер зерттеушілерге бір немесе бірнеше көрініс тереңдік карталарынан немесе силуэттерден 3D пішіндерді үздіксіз және тиімді түрде жасауға және қайта құруға қабілетті модельдер құруға мүмкіндік берді. Процестерді басқару, мысалы, өнеркәсіптік роботты; оқиғаларды анықтау, мысалы, бейне бақылау немесе адамдарды санау, мысалы, мейрамхана бизнесінде; өзара әрекеттесу, мысалы, компьютерлік-адамдық өзара әрекеттесу құрылғысына кіріс ретінде; объектілерді немесе ортаны модельдеу, мысалы, медициналық бейнелерді талдау немесе топографиялық модельдеу; навигация, мысалы, автономды көлік немесе мобильді робот арқылы; ақпаратты ұйымдастыру, мысалы, суреттер мен бейне тізбектерінің индексін жасау үшін. 3D координаттардағы беттерді немесе жазықтықтарды бақылау, кеңейтілген шындық тәжірибесін қамтамасыз ету үшін.

Әдеттегі тапсырмалар

Жоғарыда сипатталған қолдану салаларының әрқайсысы компьютерлік көрудің түрлі тапсырмаларын қолданады; әртүрлі әдістермен шешілетін, нашар немесе жақсы анықталған өлшемдерге қатысты мәселелер немесе өңдеу мәселелері. Төменде компьютерлік көру тапсырмаларының бірнеше мысалы келтірілген. Компьютерлік көру тапсырмалары цифрлық кескіндерді алу, өңдеу, талдау және түсіну әдістерін, сондай-ақ нақты әлемнен сандық немесе символдық ақпарат алу үшін жоғары өлшемді деректерді алуды қамтиды, мысалы, шешімдер түрінде. Объектіні тану (объектіні жіктеу деп те аталады) – бұл бір немесе бірнеше алдын ала анықталған немесе оқытылған объектілерді немесе объектілер кластарын, әдетте кескіндегі 2D орналасуымен немесе сахнадағы 3D позасымен бірге тану. Blippar, Google Goggles және LikeThat осы мүмкіндікті көрсететін жеке бағдарламаларды ұсынады. Сәйкестендіру – объектінің жеке данасы танылады. Мысалдарға белгілі бір адамның бетін немесе саусақ ізін анықтау, қолмен жазылған цифрларды анықтау немесе нақты бір көлікті анықтау жатады. Іздеу – кескіндердегі деректер нақты объектілерді және олардың орналасқан жерін табу үшін сканерленеді. Мысалдарға көліктің көру аймағындағы кедергілерді, медициналық кескіндердегі аномальды жасушаларды немесе тіндерді анықтау, сондай-ақ автоматты жол төлемі жүйесінде көлікті анықтау жатады. Шамалы және жылдам есептеулерге негізделген іздеу кейде қызықты кескіндердің кішкентай бөліктерін табу үшін қолданылады, оларды одан әрі талдауға болады, бұл дұрыс түсіндіру үшін күшті есептеулерді қажет етеді. Қазіргі уақытта мұндай тапсырмалар үшін ең жақсы алгоритмдер конволюциялық нейрондық желілерге негізделген. Олардың мүмкіндіктерін ImageNet үлкен масштабты визуалды тану сынағы көрсетеді; бұл объектіні жіктеу және іздеудегі эталон болып табылады, бәсекеде миллиондаған кескіндер мен 1000 объектілер класы қолданылады. ImageNet сынақтарында конволюциялық нейрондық желілердің көрсеткіштері қазір адамдардың көрсеткіштеріне жақын. Эмоцияны тану – бұл адам эмоцияларын жіктеу процесі, бет-әлпетін танудың бір бөлігі. Психологтар, алайда, ішкі эмоцияларды бет-әлпетінен сенімді түрде анықтау мүмкін емес екенін ескертеді. Адамдарды (бас пен иық пішіндері) объектілерден ажырататын пішін тану технологиясы (SRT) адамдарды санау жүйелерінде қолданылады. Адамның қимылын тану – бұл видео кадрлар тізбегінен қимылды танумен айналысады, мысалы, адам бір затты көтеріп жатыр ма әлде жүріп бара жатыр ма.

Each of the application areas described above employ a range of computer vision tasks; more or less well defined measurement problems or processing problems, which can be solved using a variety of methods. Some examples of typical computer vision tasks are presented below. Computer vision tasks include methods for acquiring, processing, analyzing and understanding digital images, and extraction of high dimensional data from the real world in order to produce numerical or symbolic information, e. g., in the forms of decisions. Object recognition (also called object classification)one or several pre specified or learned objects or object classes can be recognized, usually together with their 2D positions in the image or 3D poses in the scene. Blippar, Google Goggles, and LikeThat provide stand alone programs that illustrate this functionality. Identificationan individual instance of an object is recognized. Examples include identification of a specific person's face or fingerprint, identification of handwritten digits, or the identification of a specific vehicle. Detectionthe image data are scanned for specific objects along with their locations. Examples include the detection of an obstacle in the car's field of view and possible abnormal cells or tissues in medical images or the detection of a vehicle in an automatic road toll system. Detection based on relatively simple and fast computations is sometimes used for finding smaller regions of interesting image data which can be further analyzed by more computationally demanding techniques to produce a correct interpretation. Currently, the best algorithms for such tasks are based on convolutional neural networks. An illustration of their capabilities is given by the ImageNet Large Scale Visual Recognition Challenge; this is a benchmark in object classification and detection, with millions of images and 1000 object classes used in the competition. Performance of convolutional neural networks on the ImageNet tests is now close to that of humans. Emotion recognitiona subset of facial recognition, emotion recognition refers to the process of classifying human emotions. Psychologists caution, however, that internal emotions cannot be reliably detected from faces. Shape Recognition Technology (SRT) in people counter systems differentiating human beings (head and shoulder patterns) from objects. Human activity recognition deals with recognizing the activity from a series of video frames, such as, if the person is picking up an object or walking.

Қозғалыс талдауы

Бірнеше тапсырмалар қозғалыс бағалауға қатысты, онда бейнелер тізбегі кескіннің әр нүктесіндегі, 3D кеңістіктегі немесе бейнелерді түсіретін камераның жылдамдығын анықтау үшін өңделеді. Мұндай тапсырмалардың мысалдары: Egomotion – камерадан түсірілген бейне тізбегі бойынша камераның 3D қатты қозғалысын (бұрылу және орын ауыстыру) анықтау. Қызығушылық тудыратын нүктелер немесе объектілердің (мысалы, көліктер, заттар, адамдар немесе басқа организмдердің бөліктері) қозғалысын қадағалау (бұл кеңістіктік таксондық сахна иерархиясы деп те аталады), визуалды айқындық көбінесе кеңістіктік және уақыттық назар ретінде іске асырылады. Бір немесе бірнеше бейнені кадр бойынша алдыңғы план маскаларының тізбегіне бөлу немесе бірге бөлу, уақытша семантикалық байланыстылығын сақтай отырып. Жоғары деңгейдегі өңдеу – Бұл қадамда кіріс әдетте шағын деректер жиынтығы болып табылады, мысалы, нүктелер жиынтығы немесе бейне аймағы, онда белгілі бір объектінің бар екені ескеріледі.