Көз қозғалысын зерттеу және оның қолданылуы

Кіріспе

Көздің басына қатысты көздің қарауының нүктесін немесе қозғалысын өлшеу – көз қозғалысын зерттеу. Көзді қадағалау – көздің қарауының нүктесін (адам неге қарайды) немесе көздің басына қатысты қозғалысын өлшеу процесі. Көзді қадағалау құрылғысы – көздің орналасуын және қозғалысын өлшейтін құрал. Көзді қадағалау құрылғылары көру жүйесін, психологияны, психолингвистиканы, маркетингде, адам мен компьютердің өзара әрекеттесуі үшін қолданылатын құрылғы ретінде және өнім дизайнында пайдаланылады. Сонымен қатар, көзді қадағалау құрылғылары көмекші және оңалту мақсатында, мысалы, мүгедектер коляскасын басқару, робот қолдар мен протездерді басқару үшін де жиі қолданылады. Соңғы кезде көзді қадағалау аутизм спектріндегі бұзылыстарды ерте анықтау құралы ретінде зерттелді. Көз қозғалысын өлшеудің бірнеше әдістері бар, ең көп таралғаны – көздің орнын анықтау үшін бейнелерді пайдалану. Басқа әдістер іздеу тізбектерін немесе электроокулограмманы қолданады.

Тарих

1800 жылдары көз қозғалысын зерттеу тікелей бақылау арқылы жүргізілді. Мысалы, 1879 жылы Луи Эмиль Жаваль оқу кезінде көздің мәтін бойында біртегіс жылжу жасайтыны емес, қысқа тоқтап тұрулар (фиксациялар деп аталады) мен жылдам саккадалар болатынын байқады. Бұл байқау оқу туралы маңызды сұрақтар тудырды, олар 1900 жылдары зерттелді: Көздер қай сөздерде тоқтайды? Қанша уақытқа? Олар бұрын көрген сөздерге қашан қайта оралады? Эдмунд Хьюи алғашқы көзді бақылау құрылғысын жасады, ол қарамағыстың тесігі бар контактты линзаны пайдаланды. Линза көздің қозғалысына байланысты қозғалатын алюминий көрсеткішпен жалғастырылды. Хьюи регрессияларды зерттеді және сандық түрде анықтады (саккадалардың аз бөлігі ғана регрессиялар болып табылады) және сөйлемдегі кейбір сөздерге фиксация жасалмайтынын көрсетті. Гай Томас Бусвелл Чикагода алғашқы инвазивті емес көзді бақылау құрылғысын жасады, ол көзге шағылысқан жарық сәулелерін пайдаланып, оларды фильмге түсірді. Бусвелл оқу және суреттерді қарауды жүйелі түрде зерттеді. 1950 жылдары Альфред Л. Ярбус көзді бақылау бойынша зерттеулер жүргізді, оның 1967 жылғы кітабы жиі сілтеме жасалады. Ол зерттеуге берілген тапсырманың зерттеушінің көзінің қозғалысына үлкен әсер ететінін көрсетті. Ол сондай-ақ фиксациялар мен қызығушылық арасындағы байланыс туралы жазды:

Суреттерді зерттеудегі циклдік үлгі "суретте көрсетілген нәрсеге ғана емес, сонымен қатар бақылаушының алдындағы проблемаға және суреттен алуға үміттенетін ақпаратқа байланысты". [[Сурет:Сызба арқылы көзді бақылау.JPG|thumb|Хунзикердің (1970) осы зерттеуі көзді бақылауды проблемаларды шешуде қолданды, көз қозғалысын бақылау үшін қарапайым 8 мм фильмді пайдаланды, онда визуалды проблема көрсетілген шыны пластина арқылы тақырыпты түсірді. 1980 жылы Джаст пен Карпентер "көздің фиксациялануы мен өңделуі арасында айтарлықтай кешігу жоқ" деген ықпалды гипотезаны ұсынды. Егер бұл гипотеза дұрыс болса, онда субъект сөзге немесе объектіге қарағанда, ол туралы да ойлайды (танымдық түрде өңдейді) және тіркелген фиксация уақыты бойы. Бұл гипотеза көзді бақылауды қолданатын зерттеушілер арасында жиі қабылданады. Дегенмен, көзқарасқа байланысты әдістер ашық және жасырын назарды ажыратуға, фиксацияланған және өңделгенді ажыратуға мүмкіндік береді. 1980 жылдары көз-ақыл гипотезасы жасырын назарға, адам қарамайтын нәрсеге назар аударуға күмән келтірді, бұл адамдар жиі жасайды. Егер жасырын назар көзді бақылау тіркелімдерінде жиі кездесетін болса, нәтижелі сканерлеу жолы мен фиксация үлгілері көбінесе назардың қайда болғанын емес, тек көздің қайда қарағанын көрсетеді, бұл танымдық өңдеуді көрсетпейді. 1980 жылдары адам-компьютерлік өзара әрекеттесуге қатысты сұрақтарға жауап беру үшін көзді бақылау пайда болды. Зерттеушілер пайдаланушылардың компьютерлік мәзірлерде командаларды қалай іздейтінін зерттеді. Сонымен қатар, компьютерлер зерттеушілерге көзді бақылау нәтижелерін нақты уақытта пайдалануға мүмкіндік берді, негізінен мүгедектерге көмектесу үшін. Хоффманның айтуынша, қазіргі консенсус визуалды назар көздің алдында аздап (100-250 мс) озады. Бірақ назар жаңа орынға ауысқан кезде, көздер оны ұстауға тырысады. Белгілі бір танымдық процестерді көріністегі белгілі бір объектіге қарау арқылы тікелей қорытуға болмайды. Мысалы, суреттегі бетке қарау тануды, ұнатуды, ұнамауды, қызығушылықты білдіруі мүмкін және т.б. Сондықтан, көзді бақылау жиі басқа әдістермен, мысалы, интроспективті ауызша хаттамалармен біріктіріледі. Портативті электрондық құрылғылардың жетістіктерінің арқасында қазіргі уақытта портативті басқа орнатылған көзді бақылау құрылғылары жоғары өнімділікке қол жеткізе алады және күнделікті өмірде қолданылатын зерттеулер мен нарықтық қолданбаларда жиі қолданылады. Осы жетістіктер зертханада да, қолданбалы жағдайларда да фиксация кезінде болатын кішкентай көз қозғалыстарын зерттеуді арттырды. 21-ғасырда жасанды интеллект (AI) және жасанды нейрондық желілерді пайдалану көзді бақылау және талдау жұмыстарын орындаудың тиімді тәсіліне айналды. Әсіресе, конволюциялық нейрондық желі көзді бақылауға ыңғайлы, өйткені ол бейнеге бағытталған тапсырмалар үшін жасалған. Жәндік саналы санамен көзді бақылау және зерттеулер адам бақылаушыларына жетпейтін қосымша ақпарат бере алады. Терең оқыту әдісі сондай-ақ, белгілі бір нейрондық желіге жеткілікті үлгілік деректер берілген кезде берілген тапсырманы жақсартуға мүмкіндік береді. Дегенмен, бұл үшін салыстырмалы түрде көп мөлшерде оқу деректері қажет.

The cyclical pattern in the examination of pictures "is dependent on not only what is shown on the picture, but also the problem facing the observer and the information that he hopes to gain from the picture." [[Image:Eye tracking thru glass. JPG|thumb|This study by Hunziker (1970) on eye tracking in problem solving used simple 8 mm film to track eye movement by filming the subject through a glass plate on which the visual problem was displayed. In 1980, Just and Carpenter formulated the influential Strong eye mind hypothesis, that "there is no appreciable lag between what is fixated and what is processed". If this hypothesis is correct, then when a subject looks at a word or object, he or she also thinks about it (process cognitively), and for exactly as long as the recorded fixation. The hypothesis is often taken for granted by researchers using eye tracking. However, gaze contingent techniques offer an interesting option in order to disentangle overt and covert attentions, to differentiate what is fixated and what is processed. During the 1980s, the eye mind hypothesis was often questioned in light of covert attention, the attention to something that one is not looking at, which people often do. If covert attention is common during eye tracking recordings, the resulting scan path and fixation patterns would often show not where attention has been, but only where the eye has been looking, failing to indicate cognitive processing. The 1980s also saw the birth of using eye tracking to answer questions related to human computer interaction. Specifically, researchers investigated how users search for commands in computer menus. Additionally, computers allowed researchers to use eye tracking results in real time, primarily to help disabled users. According to Hoffman, current consensus is that visual attention is always slightly (100 to 250 ms) ahead of the eye. But as soon as attention moves to a new position, the eyes will want to follow. Specific cognitive processes still cannot be inferred directly from a fixation on a particular object in a scene. For instance, a fixation on a face in a picture may indicate recognition, liking, dislike, puzzlement etc. Therefore, eye tracking is often coupled with other methodologies, such as introspective verbal protocols. Thanks to advancement in portable electronic devices, portable head mounted eye trackers currently can achieve excellent performance and are being increasingly used in research and market applications targeting daily life settings. These same advances have led to increases in the study of small eye movements that occur during fixation, both in the lab and in applied settings. In the 21st century, the use of artificial intelligence (AI) and artificial neural networks has become a viable way to complete eye tracking tasks and analysis. In particular, the convolutional neural network lends itself to eye tracking, as it is designed for image centric tasks. With AI, eye tracking tasks and studies can yield additional information that may not have been detected by human observers. The practice of deep learning also allows for a given neural network to improve at a given task when given enough sample data. This requires a relatively large supply of training data, however. to driver safety

Көзге бекітілген бақылау

Бірінші түрі көзге тіркелетін құрылғыны пайдаланады, мысалы, ішкі айнасы немесе магниттік өріс сенсоры бар арнайы контактты линза. Құрылғының қозғалысы көздің айналуы кезінде елеулі түрде жылғалмайды деген болжаммен өлшенеді. Жапсырылып тұратын контактты линзалар көз қозғалысын өте сезімтал түрде жазуға мүмкіндік береді, ал магниттік іздеу орамдары көз қозғалысының динамикасы мен негізгі физиологиясын зерттеушілер үшін басты әдіс болып табылады. Бұл әдіс көздің көлденең, тік және бұрылу бағыттарындағы қозғалысын өлшеуге мүмкіндік береді.

Оптикалық бақылау

Екінші кең санат көздің қозғалысын өлшеу үшін контактісіз оптикалық әдіс қолданады. Жықын инфрақызыл сәуле көзден шағылысып, бейнекамера немесе басқа арнайы оптикалық сенсормен қабылданады. Алынған мәліметтер талданып, шағылыстардың өзгеруі арқылы көздің айналуы анықталады. Бейнеге негізделген көзді қадағалау құралдары көбінесе мүйіз қабығының шағылысын (бірінші Пуркинье бейнесі) және оқушының ортасын уақыт өте келе қадағалау үшін анықтамалық белгілер ретінде пайдаланады. Көзді қадағалаудың жоғары сезімтал түрі – қос Пуркинье көзді қадағалауы, мүйіз қабығының алдыңғы бетінен (бірінші Пуркинье бейнесі) және линзаның артқы бетінен (төртінші Пуркинье бейнесі) шағылыстарды қадағалау үшін қолданады. Тағы да сезімтал әдіс – көздің ішкі құрылымдарын, мысалы, тор қабықтағы қан тамырларын бейнелеп, көздің айналуы кезінде осы белгілерді қадағалау болып табылады. Оптикалық әдістер, әсіресе бейнежазуға негізделгендер, көздің қозғалысын қадағалау үшін кеңінен қолданылады, себебі олар инвазивті емес және қолжетімді.

Электрлік потенциалды өлшеу

Үшінші санатта көздің айналасына орналастырылған электродтармен өлшенетін электр потенциалдары қолданылады. Көздер тұрақты электр потенциалы өрісінің бастауы болып табылады, оны толық қараңғыда да, көздері жабық болғанда да анықтауға болады. Оны диполь арқылы модельдеуге болады, оның оң полюсі – мүйіз қабығында, ал теріс полюсі – торлық қабатта орналасқан. Көздің айналасындағы теріге орналастырылған екі жұп контактілік электродтарды пайдаланып алынатын электр сигналы Электроокулограмма (ЭОГ) деп аталады. Егер көздер орталықтан шетке қарай қозғалса, торлық қабат бір электродқа, ал мүйіз қабығы қарсы электродқа жақындайды. Дипольдің бағытының өзгеруі және оның салдарынан электр потенциалы өрісінің өзгеруі өлшенген ЭОГ сигналының өзгеруіне әкеледі. Керісінше, осы көз қозғалысы өзгерістерін талдау арқылы оны бақылауға болады. Қолданылатын электродтардың дискреттілігіне байланысты екі бөлек қозғалыс компонентін – көлденең және тік қозғалысты анықтауға болады. Үшінші ЭОГ компоненті – радиалды ЭОГ каналы, ол кейбір артқы бас сүйек электродтарына қатысты ЭОГ каналдарының орташа мәнін білдіреді. Бұл радиалды ЭОГ каналы сакадалардың басталу кезіндегі экстраокулярлық бұлшықеттерден туындайтын сакадалық шыңдық потенциалдарына сезімтал және тіпті ұсақ сакадаларды да сенімді анықтауға мүмкіндік береді. ЭОГ сигналының амплитудасы мен сакадалардың мөлшері арасындағы ықтимал ауытқулар мен өзгермелі байланыстарға байланысты, ЭОГ-ны көздің баяу қозғалысын өлшеу және көздің бағытын анықтау үшін пайдалану қиын. Дегенмен, ЭОГ көздің сакадалық қозғалысын өлшеуге және көздің қозғалысын ауыстырумен байланысты жыпылықтауды анықтауға өте сенімді әдіс болып табылады. Видеоға негізделген көзді іздеу құрылғыларынан айырмашылығы, ЭОГ көзді жұмып, көздері жабық болғанда да қозғалысты тіркеуге мүмкіндік береді, сондықтан оны ұйқы зерттеулерінде қолдануға болады. Бұл өте жеңіл тәсіл, қазіргі видеоға негізделген көзді іздеу құрылғыларынан айырмашылығы, ол аз есептеу қуатын қажет етеді, әртүрлі жарық жағдайларында жұмыс істейді және кіріктірілген, автономды жүйе ретінде жүзеге асырылуы мүмкін. Осылайша, бұл күнделікті өмірдегі мобильді жағдайларда және ұйқы кезіндегі REM фазаларында көз қозғалысын өлшеу үшін таңдаулы әдіс. ЭОГ-ның басты кемшілігі – видеоға негізделген көзді іздеу құрылғысына қарағанда көздің бағытына қатысты салыстырмалы түрде нашар дәлдік. Яғни, субъектінің қайда қарап тұрғанын дәл анықтау қиын, бірақ көздің қозғалысының уақытын анықтауға болады.

The third category uses electric potentials measured with electrodes placed around the eyes. The eyes are the origin of a steady electric potential field which can also be detected in total darkness and if the eyes are closed. It can be modelled to be generated by a dipole with its positive pole at the cornea and its negative pole at the retina. The electric signal that can be derived using two pairs of contact electrodes placed on the skin around one eye is called Electrooculogram (EOG). If the eyes move from the centre position towards the periphery, the retina approaches one electrode while the cornea approaches the opposing one. This change in the orientation of the dipole and consequently the electric potential field results in a change in the measured EOG signal. Inversely, by analysing these changes in eye movement can be tracked. Due to the discretisation given by the common electrode setup, two separate movement components – a horizontal and a vertical – can be identified. A third EOG component is the radial EOG channel, which is the average of the EOG channels referenced to some posterior scalp electrode. This radial EOG channel is sensitive to the saccadic spike potentials stemming from the extra ocular muscles at the onset of saccades, and allows reliable detection of even miniature saccades. Due to potential drifts and variable relations between the EOG signal amplitudes and the saccade sizes, it is challenging to use EOG for measuring slow eye movement and detecting gaze direction. EOG is, however, a very robust technique for measuring saccadic eye movement associated with gaze shifts and detecting blinks. Contrary to video based eye trackers, EOG allows recording of eye movements even with eyes closed, and can thus be used in sleep research. It is a very light weight approach that, in contrast to current video based eye trackers, requires low computational power, works under different lighting conditions and can be implemented as an embedded, self contained wearable system. It is thus the method of choice for measuring eye movement in mobile daily life situations and REM phases during sleep. The major disadvantage of EOG is its relatively poor gaze direction accuracy compared to a video tracker. That is, it is difficult to determine with good accuracy exactly where a subject is looking, though the time of eye movements can be determined.

Технологиялар мен әдістер

Қазіргі кезде ең көп қолданылатын дизайндар – бейнеге негізделген көзді бақылау құрылғылары. Камера бір немесе екі көзге шоғырланады және көрерменнің қандай да бір нысанға қараған кезде көздің қозғалысын тіркейді. Көптеген қазіргі заманғы көзді бақылау құрылғылары шоқжұлдыздың ортасын және инфрақызыл/инфрақызылға жақын жарықты пайдаланып, мүйіз қабығының шағылысуын (CR) жасайды. Шоқжұлдыздың ортасы мен мүйіз қабығының шағылысуы арасындағы векторды беттегі көздің бағытын немесе қарау нүктесін анықтау үшін пайдалануға болады. Көзді бақылау құрылғысын пайдалану алдында, әдетте, адамның қарапайым калибрлеу процедурасы қажет. Инфрақызыл/жақын инфрақызыл (активті жарық деп те аталады) көзді бақылаудың екі негізгі түрі бар: жарқын оқушы және қара оқушы. Олардың айырмашылығы жарықтандыру көзінің оптикалық жүйеге қатысты орналасуына байланысты. Егер жарық оптикалық жолмен коаксиалды болса, көз жарықтарды желке қабығынан кері шағылыстырып, ретрорефлектор рөлін атқарады, бұл қызыл көз эффектісіне ұқсас жарқын оқушы эффектін тудырады. Егер жарық көзі оптикалық жолдан ығысса, онда оқушы қараңғы болып көрінеді, себебі желке қабығынан кері шағылыс камерадан алыстатылады. Жарқын оқушыны бақылау ирис/оқушының контрастын арттырады, ирис пигментациясының кез келген түрімен көзді сенімді бақылауға мүмкіндік береді және кірпіктер және басқа да кедергі келтіретін факторлардың әсерін азайтады. Бұл жарық жағдайының диапазонында, толық қараңғылықтан бастап өте жарыққа дейін бақылауға мүмкіндік береді. Басқа, сирек қолданылатын әдіс – пассивті жарық. Ол жарықтандыру үшін көрінетін жарықты пайдаланады, бұл пайдаланушылардың назарын ауыртпауы мүмкін. Бұл есептеуде ирис шегі мен ақ склераны (лимбус ізін қадағалау) анықтау қажет. Бұл көздің тік қозғалысына қосымша қиындық тудырады, себебі қабақтар кедергі келтіреді. Көзді бақылау жүйелері әртүрлі болады. Кейбіреулері басқа бекітіледі, ал кейбіреулері бас тұрақты болуын талап етеді (мысалы, иек тірегімен), ал кейбіреулері қашықтан жұмыс істейді және қозғалыс кезінде басты автоматты түрде қадағалайды. Көбінесе 30 Гц-тен жоғары дискретизация жиілігі қолданылады. 50/60 Гц жиірек қолданылса да, қазіргі кезде көптеген бейнеге негізделген көзді бақылау құрылғылары 240, 350 немесе тіпті 1000/1250 Гц жылдамдықта жұмыс істейді, бұл фиксациялық көз қозғалысын тіркеу немесе сакад динамикасын дұрыс өлшеу үшін қажетті жылдамдықтар. Көздің қозғалысы әдетте фиксациялар мен сакадтарға бөлінеді – көздің қарауы белгілі бір нүктеде тоқтағанда және басқа нүктеге жылғанда. Фиксациялар мен сакадтардың тізбегіне сканерлеу жолы (scanpath) деп аталады. Тегіс іздену – көздің қозғалатын нысанды қадағалауы. Фиксациялық көз қозғалыстары микросакадтарды қамтиды: фиксация кезінде болатын шағын, ерікті емес сакадтар. Көзден алынған ақпараттың көп бөлігі фиксация немесе тегіс іздену кезінде қол жетімді, бірақ сакад кезінде емес. Сканерлеу жолдары танымдық мақсатты, қызығушылықты және маңыздылықты талдау үшін пайдалы. Басқа биологиялық факторлар (жыныс сияқты қарапайым факторлар) сканерлеу жолына да әсер етуі мүмкін. Адам-компьютер өзара әрекеттесуінде (HCI) көзді бақылау әдетте сканерлеу жолын пайдалану мақсатында немесе көзге байланысты дисплейлердегі (gaze-contingent displays) енгізу әдісі ретінде, сондай-ақ көзге негізделген интерфейстерде қолданылады.

The most widely used current designs are video based eye trackers. A camera focuses on one or both eyes and records eye movement as the viewer looks at some kind of stimulus. Most modern eye trackers use the center of the pupil and infrared / near infrared non collimated light to create corneal reflections (CR). The vector between the pupil center and the corneal reflections can be used to compute the point of regard on surface or the gaze direction. A simple calibration procedure of the individual is usually needed before using the eye tracker. Two general types of infrared / near infrared (also known as active light) eye tracking techniques are used: bright pupil and dark pupil. Their difference is based on the location of the illumination source with respect to the optics. If the illumination is coaxial with the optical path, then the eye acts as a retroreflector as the light reflects off the retina creating a bright pupil effect similar to red eye. If the illumination source is offset from the optical path, then the pupil appears dark because the retroreflection from the retina is directed away from the camera. Bright pupil tracking creates greater iris/pupil contrast, allowing more robust eye tracking with all iris pigmentation, and greatly reduces interference caused by eyelashes and other obscuring features. It also allows tracking in lighting conditions ranging from total darkness to very bright. Another, less used, method is known as passive light. It uses visible light to illuminate, something which may cause some distractions to users. This calculation needs to detect the boundary of the iris and the white sclera (limbus tracking). It presents another challenge for vertical eye movements due to obstruction of eyelids. Eye tracking setups vary greatly. Some are head mounted, some require the head to be stable (for example, with a chin rest), and some function remotely and automatically track the head during motion. Most use a sampling rate of at least 30 Hz. Although 50/60 Hz is more common, today many video based eye trackers run at 240, 350 or even 1000/1250 Hz, speeds needed to capture fixational eye movements or correctly measure saccade dynamics. Eye movements are typically divided into fixations and saccades – when the eye gaze pauses in a certain position, and when it moves to another position, respectively. The resulting series of fixations and saccades is called a scanpath. Smooth pursuit describes the eye following a moving object. Fixational eye movements include microsaccades: small, involuntary saccades that occur during attempted fixation. Most information from the eye is made available during a fixation or smooth pursuit, but not during a saccade. Scanpaths are useful for analyzing cognitive intent, interest, and salience. Other biological factors (some as simple as gender) may affect the scanpath as well. Eye tracking in human–computer interaction (HCI) typically investigates the scanpath for usability purposes, or as a method of input in gaze contingent displays, also known as gaze based interfaces.

Көзбен бақылау және көзбен бақылау

Көзді бақылау құрылғысы көздің белгілі бір эталондық жүйеге қатысты айналуын өлшеуге міндетті. Бұл әдетте өлшеу жүйесімен байланысты. Осылайша, егер өлшеу жүйесі басқа орнатылған болса, мысалы, EOG немесе қалқанға орнатылған бейнеге негізделген жүйе болса, көздің басқа қатысты бұрыштары өлшенеді. Әлемдік координаттардағы көздің бағытын анықтау үшін бас тұрақты күйде болуы керек немесе оның қозғалысын да қадағалау қажет. Мұндай жағдайларда, көздің бағытын анықтау үшін бас бағыты көздің басқа қатысты бағытына қосылады. Дегенмен, егер бас қозғалысы шағын болса, көз тұрақты күйде қалады. Егер өлшеу жүйесі үстелге орнатылған болса, мысалы, склеральды іздеу орамдары немесе үстелге орнатылған камера (қашықтан басқару) жүйелері болса, қарау бұрыштары тікелей әлемдік координаттарда өлшенеді. Әдетте, мұндай жағдайларда бас қозғалысына тыйым салынады. Мысалы, бас орны тістеу арқалық немесе маңдай тіреуіш арқылы бекітіледі. Онда бас ортасындағы эталондық жүйе әлем ортасындағы эталондық жүйемен сәйкес келеді. Яғни, қарапайым тілмен айтқанда, көздің басқа қатысты орны тікелей қарау бағытын анықтайды. Бас қозғалысына рұқсат етілген жағдайдағы адам көзінің қозғалысы туралы да деректер бар. Көз бен бас арасындағы салыстырмалы орналасу, тіпті тұрақты қарау бағытында да, жоғары көру аймақтарындағы нейрондық белсенділікке әсер етеді.

Практика

Көздің айналу механизмдері мен динамикасын зерттеуге көптеген зерттеулер арналған, бірақ көзді бақылаудың басты мақсаты көздің бағытын анықтау болып табылады. Мысалы, пайдаланушылар суретте көзді қандай элементтер тартып алатынына қызығушылық танытуы мүмкін. Көзді бақылау құрылымы абсолютті көз бағытын емес, көз бағытының өзгеруін ғана өлшейтінін түсіну маңызды. Зерттелушінің не қарап тұрғанын дәл анықтау үшін, зерттелуші бір немесе бірнеше нүктелерге қарауы керек, ал көзді бақылау құрылымы әрбір көзқарас позициясына сәйкес келетін мәнді тіркейді. (Торлық қабықтың ерекшеліктерін қадағалайтын тіпті технологиялар да нақты көз бағытын анықтай алмайды, себебі көріс осі торлық қабықпен қайда қиылысатынын нақты белгілейтін нақты анатомиялық белгі жоқ, егер мұндай бір тұрақты нүкте болса да.) Дұрыс және сенімді көз қозғалысы деректерін алу үшін дәл калибрлеу өте маңызды, бұл сөйлей алмайтын немесе тұрақсыз көз бағыты бар зерттелушілер үшін қиындық тудыруы мүмкін. Көзді бақылаудың әрбір әдісінің артықшылықтары мен кемшіліктері бар, ал көзді бақылау жүйесін таңдау құны мен қолданылуына байланысты. AttentionTracking сияқты офлайн әдістер мен онлайн процедуралар бар. Құн мен сезімталдық арасындағы қарым-қатынас бар, ең сезімтал жүйелер ондаған мың доллар тұрады және дұрыс жұмыс істеу үшін маңызды тәжірибе қажет. Компьютерлік және бейне технологияның жетістіктері көптеген қолданулар үшін пайдалы және пайдалануға оңай, салыстырмалы түрде арзан жүйелерді жасауға мүмкіндік берді. Дегенмен, нәтижелерді түсіндіру үшін де белгілі бір білік қажет, өйткені дұрыс емес немесе нашар калибрленген жүйе қате деректерді тудыруы мүмкін.

Қиын жағдайда көлік жүргізу кезінде көзді бақылау

upright=1.5| бас бармақ| оң | Бұл бөлімде тарық жолмен жүргізу кезінде жасалған көз қозғалысын бақылау кадрлары сипатталған.

Швейцария Федералдық Технология институтының командасы екі топ жүргізушінің – жаңадан бастағандар мен тәжірибелілердің – көз қозғалысын арнайы бас камерасымен жазды. Жүргізушілер тарық жолдың қисығына жақындағанда олардың көздерінің қозғалысы тіркелді. Суреттер тізімі түпнұсқа фильм кадрларынан жинақталды, жақсы түсіну үшін әр суретте 2 көз тігуі көрсетілді. Бұл суреттердің әрқайсысы нақты уақытта шамамен 0,5 секундқа сәйкес келеді. Суреттер тізімінде әдеттегі жаңадан бастаған және тәжірибелі жүргізушінің көз тігуінің 9-дан 14-ке дейінгі мысалы көрсетілген. Жоғарыдағы суреттерді салыстырғанда, тәжірибелі жүргізуші қисықты тексеріп, тіпті 9-шы тігуін солға бұрып, жағына қараса, жаңадан бастаған жүргізуші жолды тексеруге және тұрақталған көлікке дейінгі қашықтығын бағалауға мұқтаж. Ортаңғы суреттерде тәжірибелі жүргізуші енді қарсыдан келе жатқан көлікті көруге болатын жерге толық назар аударады. Жаңадан бастаған жүргізуші көзін тұрақталған көлікке тікелей қаратып отыр. Төменгі суретте жаңадан бастаған жүргізуші сол қабырға мен тұрақталған көлік арасындағы қашықтықты бағалаумен айналысса, тәжірибелі жүргізуші осы мақсатта шеткерлегіш көруін пайдаланып, қисықтың қауіпті нүктесіне назар аудара алады: Егер онда көлік пайда болса, жүргізуші жол беруге тиіс, яғни тұрақталған көліктен өтудің орнына оңға тоқтауы керек. Жақындағы зерттеулерде де нақты жүргізу жағдайларында көз қозғалысын өлшеу үшін басқа орнатылған көзді бақылау құралдары қолданылды.

Қолданбалар

Көптеген салалар көзді қадағалау техникаларын қолданады, оның ішінде танымдық ғылымдар; психология (әсіресе психолингвистика; визуалды әлем парадигмасы); адам-компьютер өзара әрекеттесуі (ХКИ); адам факторы және эргономика; маркетингтік зерттеулер және медициналық зерттеулер (нейрологиялық диагноз қою). Нақты қолданылуларына тілді оқу, музыканы оқу, адамның қызметін тану, жарнаманы қабылдау, спортпен айналысу, назарды аударуды анықтау және жүргізушілер мен ұшқыштардың танымдық жүктемесін бағалау, сондай-ақ қозғалыс мүшелері шектеулі адамдардың компьютерлерді басқару құралы ретінде пайдалану жатады.

Коммерциялық қолдану

Соңғы жылдары көзді бақылау технологиясының жетілдірілуі және қолжетімділігінің артуы коммерциялық секторда үлкен қызығушылық тудырды. Оған веб-пайдалану, жарнама, демеушілік, қаптама дизайны және автомобиль құрылысы сияқты қолданыстар кіреді. Әдетте, коммерциялық көзді бақылау зерттеулері тұтынушылардың тобына мақсатты стимулды ұсыну арқылы жүргізіледі, ал көзді бақылау құрылғысы көздің қозғалысын тіркейді. Мақсатты стимулдарға веб-сайттар, телебағдарламалар, спорттық іс-шаралар, фильмдер мен жарнамалар, журналдар мен газеттер, қаптамалар, дүкен сөрелері, тұтынушылар жүйелері (банкоматтар, касса аппараты, киосктар) және бағдарламалық қамтамасыздар жатуы мүмкін. Алынған деректерді статистикалық талдауға және нақты визуалды үлгілерді көрсетуге болады. Көздің тоқтауы, саккадасы, оқушының кеңеюі, қабақтың жыбыры және басқа да әрекеттерді зерттеу арқылы зерттеушілер белгілі бір ортаның немесе өнімнің тиімділігін анықтай алады. Кейбір компаниялар мұндай зерттеулерді өздері жүргізсе, көптеген жеке компаниялар көзді бақылау және талдау қызметтерін ұсынады. Коммерциялық көзді бақылау зерттеулерінің бір саласы – веб-пайдалану. Дәстүрлі пайдалану әдістері көбінесе басу және прокрутка үлгілері туралы ақпарат беруде тиімді болғанымен, көзді бақылау пайдаланушының басулар арасындағы өзара әрекеттесуін және басулар арасындағы уақытты талдау мүмкіндігін ұсынады, соның арқасында қай мүмкіндіктерге көбірек назар аударылатынын, қайсысы шатастыратынын және қайсысы мүлдем назардан тыс қалатынын білуге болады. Көзді бақылау іздеу тиімділігін, брендті, онлайн жарнамаларды, навигациялық қолдануды, жалпы дизайнды және көптеген басқа сайт компоненттерін бағалау үшін де қолданылуы мүмкін. Талдаулар негізгі клиенттік сайттан басқа прототиптік немесе бәсекелес сайттарға да бағытталуы мүмкін. Көзді бақылау жарнамалық медианың әртүрлі түрлерінде кеңінен қолданылады. Коммерциялық роликтер, баспа жарнамалары, онлайн жарнамалар және демеушілік бағдарламаларының барлығы қазіргі көзді бақылау технологиясымен талдауға жарамды. Мысалы, сары беттердегі жарнамаларға көздің қозғалысын талдау. Бір зерттеуде адамдардың жарнаманы қандай ерекшеліктеріне назар аударатыны, жарнамаларды қандай ретпен қарағаны және қарау уақытының қанша болғаны анықталды. Зерттеу көрсеткендей, жарнаманың мөлшері, графикасы, түсі және мәтіні жарнамаға назар аударуға әсер етеді. Бұл ақпаратты білу зерттеушілерге тұтынушылардың мақсатты логотипке, өнімге немесе жарнамаға қаншалықты жиі назар аударатынын егжей-тегжейлі бағалауға мүмкіндік береді. Осылайша, жарнама берушілер нақты визуалды назар тұрғысынан берілген науқанның табыстылығын сандық түрде өлшеуге болады. Мысалы, іздеу жүйесінің нәтижелер бетінде авторлық фрагменттерге ақылы жарнамаларға немесе тіпті алғашқы органикалық нәтижелерге қарағанда көбірек назар аударылатынын анықтаған зерттеу бар. Коммерциялық көзді бақылау зерттеулерінің тағы бір мысалы – жұмысқа орналастыру саласы. Бір зерттеуде рекрутерлер LinkedIn профильдерін қалай шолып қарастыратыны талданды және нәтижелер жылу карталары түрінде ұсынылды.

In recent years, the increased sophistication and accessibility of eye tracking technologies have generated a great deal of interest in the commercial sector. Applications include web usability, advertising, sponsorship, package design and automotive engineering. In general, commercial eye tracking studies function by presenting a target stimulus to a sample of consumers while an eye tracker records eye activity. Examples of target stimuli may include websites, television programs, sporting events, films and commercials, magazines and newspapers, packages, shelf displays, consumer systems (ATMs, checkout systems, kiosks) and software. The resulting data can be statistically analyzed and graphically rendered to provide evidence of specific visual patterns. By examining fixations, saccades, pupil dilation, blinks and a variety of other behaviors, researchers can determine a great deal about the effectiveness of a given medium or product. While some companies complete this type of research internally, there are many private companies that offer eye tracking services and analysis. One field of commercial eye tracking research is web usability. While traditional usability techniques are often quite powerful in providing information on clicking and scrolling patterns, eye tracking offers the ability to analyze user interaction between the clicks and how much time a user spends between clicks, thereby providing valuable insight into which features are the most eye catching, which features cause confusion and which are ignored altogether. Specifically, eye tracking can be used to assess search efficiency, branding, online advertisements, navigation usability, overall design and many other site components. Analyses may target a prototype or competitor site in addition to the main client site. Eye tracking is commonly used in a variety of different advertising media. Commercials, print ads, online ads and sponsored programs are all conducive to analysis with current eye tracking technology. One example is the analysis of eye movements over advertisements in the Yellow Pages. One study focused on what particular features caused people to notice an ad, whether they viewed ads in a particular order and how viewing times varied. The study revealed that ad size, graphics, color, and copy all influence attention to advertisements. Knowing this allows researchers to assess in great detail how often a sample of consumers fixates on the target logo, product or ad. Hence an advertiser can quantify the success of a given campaign in terms of actual visual attention. Another example of this is a study that found that in a search engine results page, authorship snippets received more attention than the paid ads or even the first organic result. Yet another example of commercial eye tracking research comes from the field of recruitment. A study analyzed how recruiters screen LinkedIn profiles and presented results as heat maps.

Қауіпсіздік қолданбалары

2017 жылы ғалымдар Deep Neural Network және конволюциялық нейрондық желіден Deep Integrated Neural Network (DINN) құрастырды. Мақсаты – терең оқытуды пайдаланып, жүргізушілердің суреттерін зерттеу және олардың шаршау деңгейін анықтау, «көздің күйін жіктеу» арқылы. Көптеген суреттер болған жағдайда, ұсынылған DINN жүргізушілердің қашан, қанша рет және қанша уақытқа көзді жыпылықтататынын анықтай алады. Осы деректердің негізінде ол жүргізушінің қаншалықты шаршағанын бағалап, көзді қадағалау жаттығуын тиімді жүргізеді. DINN 2400-ден астам қатысушыдан алынған деректерді пайдаланып, олардың жағдайын 96%-дан 99,5%-ға дейін дұрыс диагностикалады. Басқа жасанды интеллект модельдерінің көпшілігі 90%-дан жоғары нәтиже көрсетті. Содан кейін, оған әртүрлі деңгейдегі 30 шахматшының көзді қадағалау деректері берілді. Осы деректерді пайдаланып, CNN ойыншының шахмат тақтасының қай бөліктеріне назар аударып отырғанын анықтады. Одан кейін, осы бөліктерді көрсету үшін назар аудару картасын (saliency map) жасады. Ақырында, CNN тақта мен фигуралар туралы білімін және назар аудару картасын біріктіріп, ойыншының келесі қадамын болжады. Нейрондық желі жүйесі қандай да бір оқу деректерінде оқытылған болса да, кез келген мүмкін қадамды кездейсоқ таңдағаннан гөрі келесі қадамды дәлірек болжады, ал кез келген ойыншы мен жағдай үшін жасалған назар аудару карталары 54%-дан астам ұқсас болды. Бұл, бір ғана қосқышпен сканерлеу әдістеріне қарағанда жылдам және интуитивті жұмыс істеуге мүмкіндік береді. Церебралдық паралич немесе амиотрофиялық бүйірлік склероз салдарынан туындаған моторлық бұзылыстар көбінесе сөйлеуге әсер етеді, ал ауыр сөйлеу және моторлық бұзылыстары бар пайдаланушылар кеңейтілген және баламалы коммуникация (AAC) құралын қолданады, ол экранда белгілер, сөздер және әріптерді көрсетеді және сөйлеуді шығару үшін мәтінді сөйлеу бағдарламалық жасақтамасын пайдаланады. Соңғы уақыттарда ғалымдар робот қолдар мен электрлі коляскаларды басқару үшін көзді қадағалауды да зерттеді. Көзді қадағалау визуалды іздеу үлгілерін талдау, нистагмның болуын анықтау және оқу кезінде көздің қозғалысын талдау арқылы оқу қабілетінің бұзылуының ерте белгілерін анықтау үшін де пайдалы.

Scientists in 2017 constructed a Deep Integrated Neural Network (DINN) out of a Deep Neural Network and a convolutional neural network. The goal was to use deep learning to examine images of drivers and determine their level of drowsiness by "classify[ing] eye states." With enough images, the proposed DINN could ideally determine when drivers blink, how often they blink, and for how long. From there, it could judge how tired a given driver appears to be, effectively conducting an eye tracking exercise. The DINN was trained on data from over 2,400 subjects and correctly diagnosed their states 96% 99.5% of the time. Most other artificial intelligence models performed at rates above 90%. It was then fed eye tracking input data from 30 chess players of various skill levels. With this data, the CNN used gaze estimation to determine parts of the chess board to which a player was paying close attention. It then generated a saliency map to illustrate those parts of the board. Ultimately, the CNN would combine its knowledge of the board and pieces with its saliency map to predict the players' next move. Regardless of the training dataset the neural network system was trained upon, it predicted the next move more accurately than if it had selected any possible move at random, and the saliency maps drawn for any given player and situation were more than 54% similar. as it is faster than single switch scanning techniques and intuitive to operate. Motor impairment caused by Cerebral Palsy or Amyotrophic lateral sclerosis often affects speech, and users with Severe Speech and Motor Impairment (SSMI) use a type of software known as Augmentative and Alternative Communication (AAC) aid, that displays icons, words and letters on screen and uses text to speech software to generate spoken output. In recent times, researchers also explored eye tracking to control robotic arms and powered wheelchairs. Eye tracking is also helpful in analysing visual search patterns, detecting presence of Nystagmus and detecting early signs of learning disability by analysing eye gaze movement during reading.

Әуе қатынасы қолданбалары

Көзді бақылау технологиясы ұшу қауіпсіздігін арттыру мақсатында, ұшқыш шәкірттерінің жетістіктерін бағалау, ұшқыштардың біліктілігін анықтау, экипаждың бірлескен назарын және ортақ жағдайлық сезімін талдау үшін сканерлеу жолдары мен бекіту ұзақтығын салыстыру арқылы зерттелді. Бұл технология әскери ұшақтардағы каскаға орнатылған дисплей жүйелерімен өзара әрекеттесуді қамтамасыз ету үшін де пайдаланылды. Зерттеулер басты нысананы құлыптау және басты нысананы анықтау үшін көзді бақылаудың тиімділігін анықтауға бағышталды. Ұшқыштардың пікірлеріне сәйкес, технология перспективалы болғанымен, оның аппараттық және бағдарламалық құрамдас бөліктері әлі толық жетілмеген. Көзді бақылау ұшқыштардың шаршағандағы жай-күйін анықтауға да көмектеседі. Көңілді аударуды анықтаумен қатар, көзді бақылау IVIS жүйесімен өзара әрекеттесу үшін де қолданылады. Алғашқы зерттеулер HDD (Head Down Display) құрылғысымен өзара әрекеттесу үшін көзді бақылау жүйесінің тиімділігін зерткенімен, жүргізушілердің екінші тапсырманы орындау кезінде көздерін жолдан айыру қажеттігі анықталды. Жақындағы зерттеулер HUD (Head Up Display) құрылғысымен көздің қозғалысын бақылау арқылы жүргізушінің назарын жолдан аудармайтын өзара әрекеттесуді зертті. Көзді бақылау сонымен қатар жүргізушілердің когнитивтік жүктемесін бақылауға және ықтимал көңіл алаңдатушылықты анықтауға пайдаланылады. Зерттеушілер жүргізушілердің когнитивтік жүктемесін бағалау үшін әртүрлі физиологиялық параметрлерді зерттегенмен, көз параметрлерін пайдалану IVIS-пен өзара әрекеттесуден өзге, қолданыстағы көз трекерлерін жүргізушілердің когнитивтік жүктемесін бақылау үшін пайдаланудың жаңа тәсілін ұсынды.

Көңіл көтеру бағдарламалары

2021 жылғы Before Your Eyes видеоойыны ойыншының қабақ шығарғанын тіркейді және оны ойынмен өзара әрекеттесудің басты жолы ретінде қолданады.

Инженерлік қолданбалар

Көзді бақылау технологиясының кеңінен қолданылуы соңғы жылдары эмпирикалық бағдарламалық инженерияда оның қолданылуын жарыққа шығарды. Зерттеушілер бағдарламалық инженерия тұжырымдамаларын түсінуді зерттеу үшін көзді бақылау технологиясы мен деректерді талдау әдістерін пайдаланады. Бұған бизнес-процестердің модельдерін түсіну және UML белсенділік диаграммалары мен EER диаграммалары сияқты бағдарламалық жасақтамада қолданылатын диаграммалар кіреді. Көзді бақылау көрсеткіштері, мысалы, тоқтау, сканерлеу жолы, сканерлеу жолының дәлдігі, сканерлеу жолының сақталуы, қызығушылық аймағы/маңызды аймақтағы тоқтаулар модельдер мен диаграммаларды түсіну тұрғысынан есептеледі, талданады және түсіндіріледі. Алынған нәтижелер модельдерге қатысты тиісті шешімдер арқылы және бағдарламалық жасақтама инженерлері мен модельдеушілердің жұмыс жадының сыйымдылығы, танымдық жүктеме, оқу стилі және стратегиясы сияқты жеке факторларын жақсарту арқылы диаграммалар мен модельдерді түсінуді жақсарту үшін қолданылады.

Картографиялық қолдану

Картографиялық зерттеулер көзді бақылау әдістерін кеңінен пайдаланады. Зерттеушілер оларды адамдардың карталарды қабылдау және түсіндіру жолдарын анықтау үшін қолданды. Мысалы, көзді бақылау 2D және 3D визуализацияның қабылдаудағы айырмашылықтарын зерттеуге, жаңадан бастаушылар мен сарапшылар немесе студенттер мен олардың география пәнінің мұғалімдері арасындағы карта оқу стратегияларын салыстыруға, сондай-ақ карталардың картографиялық сапасын бағалауға қолданылды. Бұдан бөлек, картографтар карта оқуға әсер ететін түрлі факторларды, оның ішінде түс сияқты атрибуттар мен символдардың тығыздығын зерттеу үшін көзді бақылауды қолданды. Көптеген зерттеулер карталық қолданбалардың қолдануға ыңғайлылығын бағалауда көзді бақылаудан пайдаланды. Картографиялық қауымдастықтың визуалды және кеңістіктік деректермен күнделікті жұмысы, оны көзді бақылау деректерін визуализациялау әдістері мен құралдарын дамытуға зор үлес қосуға мүмкіндік берді. Мысалы, картографтар GIS бағдарламалық қамтамасымен көзді бақылау деректерін GIS-ке біріктіру әдістерін жасады, осы бағдарламалық қамтамасты одан әрі визуализациялау және талдау үшін пайдаланды. Қауымдастық сондай-ақ көзді бақылау деректерін визуализациялауға арналған құралдарды ұсынды.

Құпиялылық мәселесі

Көзді қадағалау смартфондар, ноутбуктер және жасанды шындық гарнитуралары сияқты әртүрлі тұтынушы электроникасында кең таралған мүмкіндікке айналуы күтілуде, бұл тұтынушылардың жеке өміріне технологияның тигізетін әсері туралы алаңдаушылықтарды тудырды. Машиналық оқыту техникаларын пайдалану арқылы көзді қадағалау деректері пайдаланушының этникалық тегі, мінез-құлқы, қорқулары, эмоциялары, қызығушылықтары, біліктері және физикалық және психикалық денсаулығы туралы ақпаратты тікелей көрсетпестен ашуы мүмкін. Егер мұндай қорытындылар пайдаланушының білуі немесе келісімі болмастан жасалса, бұл қорытынды шабуыл деп есептелуі мүмкін. Көздің қимылдары әрқашан саналы бақылауда болмайды, мысалы, "стимулға байланысты қараулар, көздің қарамағының кеңеюі, көздің дірілі және рефлексті жыпылықтау көбінесе еңкейіп, ас қорыту және тыныс алу сияқты саналы күш-жігерді қажет етпейді". Сондықтан, көзді қадағалауды пайдаланушылар үшін өздері туралы қанша ақпарат ашатынын бағалау немесе бақылау қиын болуы мүмкін.