Отслеживание движения глаз: методы, история и применение.

Отслеживание взгляда: измерение движения глаз и точки фиксации. Применение в психологии, маркетинге, медицине и управлении устройствами.

21 мин чтения

100%

Источник: Eye tracking — Wikipedia

Сравнивайте с английским: нажмите на абзац — оригинал откроется в окне. Кнопка EN под абзацем показывает его прямо в тексте.

Содержание

Введение

Измерение точки фиксации взгляда или движения глаза относительно головы – это изучение движения глаз. Отслеживание взгляда – это процесс измерения либо точки фиксации взгляда (на что смотрит человек), либо движения глаза относительно головы. Устройство для отслеживания взгляда – это прибор для измерения положения глаз и движений глаз. Устройства для отслеживания взгляда используются в исследованиях зрительной системы, психологии, психолингвистике, маркетинге, в качестве устройства ввода для взаимодействия человека с компьютером и в разработке дизайна продукции. Кроме того, устройства для отслеживания взгляда все чаще применяются в вспомогательных и реабилитационных целях, например, для управления инвалидными колясками, роботизированными руками и протезами. В последнее время отслеживание взгляда изучается как инструмент для ранней диагностики расстройств аутистического спектра. Существует несколько методов измерения движения глаз, наиболее распространенный из которых использует видеоизображения для определения положения глаз. Другие методы используют поисковые катушки или основаны на электроокулограмме.

История

В 1800-х годах исследования движения глаз проводились с использованием прямых наблюдений. Например, в 1879 году Луи Эмиль Жаваль заметил, что чтение не предполагает плавного перемещения глаз по тексту, как считалось ранее, а состоит из серии коротких остановок (так называемых фиксаций) и быстрых саккад. Это наблюдение подняло важные вопросы о чтении, которые исследовались в 1900-х: на каких словах останавливаются глаза? Как долго? Когда они возвращаются к уже прочитанным словам? Эдмунд Хьюи создал один из первых приборов для отслеживания движения глаз, используя своего рода контактную линзу с отверстием для зрачка. Линза была соединена с алюминиевым указателем, который двигался в ответ на движение глаза. Хьюи изучал и количественно оценивал регрессии (регрессии составляют лишь небольшую часть саккад) и показал, что некоторые слова в предложении не фиксируются. Первые неинтрузивные устройства для отслеживания глаз были созданы Гаем Томасом Бусвеллом в Чикаго, с использованием лучей света, отражающихся от глаза и записываемых на пленку. Бусвелл проводил систематические исследования чтения и рассматривания изображений. В 1950-х годах Альфред Л. Ярбус проводил исследования отслеживания движения глаз, и его книга 1967 года часто цитируется. Он показал, что задача, поставленная перед испытуемым, оказывает очень большое влияние на движение его глаз. Он также писал о связи между фиксациями и интересом: циклический паттерн изучения изображений "зависит не только от того, что изображено на картинке, но и от проблемы, стоящей перед наблюдателем, и от информации, которую он надеется получить из изображения". [[Изображение:Eye tracking thru glass. JPG|thumb|В этом исследовании Хунзикера (1970) по отслеживанию движения глаз при решении задач использовалась простая 8-миллиметровая пленка для записи движения глаз при съемке испытуемого через стеклянную пластину, на которой отображалась визуальная задача. В 1980 году Джаст и Карпентер сформулировали влиятельную гипотезу "сильного глаза-разума", согласно которой "нет существенной задержки между тем, на чем зафиксирован взгляд, и тем, что обрабатывается". Если эта гипотеза верна, то когда испытуемый смотрит на слово или объект, он также думает об этом (когнитивно обрабатывает) и ровно столько времени, сколько длится зафиксированная фиксация. Эта гипотеза часто принимается исследователями, использующими отслеживание движения глаз, как данность. Однако методы, зависящие от направления взгляда, предлагают интересный способ разделить явное и скрытое внимание, чтобы дифференцировать то, на что зафиксирован взгляд, и то, что обрабатывается. В 1980-х годах гипотеза "глаз-разум" часто подвергалась сомнению в свете скрытого внимания – внимания к тому, на что человек не смотрит, что люди часто делают. Если скрытое внимание часто встречается во время записи движения глаз, то полученные траектории сканирования и паттерны фиксаций часто показывают не то, где было внимание, а только то, куда смотрел глаз, не указывая на когнитивную обработку. В 1980-х годах также началось использование отслеживания движения глаз для ответов на вопросы, связанные с взаимодействием человека и компьютера. В частности, исследователи изучали, как пользователи ищут команды в компьютерных меню. Кроме того, компьютеры позволили исследователям использовать результаты отслеживания движения глаз в режиме реального времени, в основном для помощи людям с ограниченными возможностями. По мнению Хоффмана, современный консенсус заключается в том, что зрительное внимание всегда немного (100–250 мс) опережает движение глаз. Но как только внимание перемещается в новое положение, глаза стремятся следовать за ним. Конкретные когнитивные процессы до сих пор нельзя напрямую вывести из фиксации на конкретном объекте в сцене. Например, фиксация на лице на картинке может указывать на узнавание, симпатию, антипатию, недоумение и т. д. Поэтому отслеживание движения глаз часто сочетается с другими методологиями, такими как интроспективные вербальные протоколы. Благодаря развитию портативных электронных устройств, портативные головные устройства для отслеживания движения глаз в настоящее время могут достигать отличных характеристик и все чаще используются в исследованиях и маркетинговых приложениях, ориентированных на повседневную жизнь. Эти же достижения привели к увеличению изучения небольших движений глаз, которые происходят во время фиксации, как в лаборатории, так и в прикладных условиях. В XXI веке использование искусственного интеллекта (ИИ) и искусственных нейронных сетей стало жизнеспособным способом выполнения задач и анализа отслеживания движения глаз. В частности, сверточная нейронная сеть хорошо подходит для отслеживания движения глаз, поскольку она предназначена для задач, ориентированных на изображения. С помощью ИИ задачи и исследования отслеживания движения глаз могут давать дополнительную информацию, которая могла быть не обнаружена человеческими наблюдателями. Практика глубокого обучения также позволяет данной нейронной сети улучшать выполнение конкретной задачи при наличии достаточного количества данных для обучения. Однако для этого требуется относительно большой объем обучающих данных, например, для обеспечения безопасности вождения.

In the 1800s, studies of eye movement were made using direct observations. For example, Louis Émile Javal observed in 1879 that reading does not involve a smooth sweeping of the eyes along the text, as previously assumed, but a series of short stops (called fixations) and quick saccades. This observation raised important questions about reading, questions which were explored during the 1900s: On which words do the eyes stop? For how long? When do they regress to already seen words? Edmund Huey built an early eye tracker, using a sort of contact lens with a hole for the pupil. The lens was connected to an aluminum pointer that moved in response to the movement of the eye. Huey studied and quantified regressions (only a small proportion of saccades are regressions), and he showed that some words in a sentence are not fixated. The first non intrusive eye trackers were built by Guy Thomas Buswell in Chicago, using beams of light that were reflected on the eye, then recording on film. Buswell made systematic studies into reading and picture viewing. In the 1950s, Alfred L. Yarbus performed eye tracking research, and his 1967 book is often quoted. He showed that the task given to a subject has a very large influence on the subject's eye movement. He also wrote about the relation between fixations and interest:

The cyclical pattern in the examination of pictures "is dependent on not only what is shown on the picture, but also the problem facing the observer and the information that he hopes to gain from the picture." [[Image:Eye tracking thru glass. JPG|thumb|This study by Hunziker (1970) on eye tracking in problem solving used simple 8 mm film to track eye movement by filming the subject through a glass plate on which the visual problem was displayed. In 1980, Just and Carpenter formulated the influential Strong eye mind hypothesis, that "there is no appreciable lag between what is fixated and what is processed". If this hypothesis is correct, then when a subject looks at a word or object, he or she also thinks about it (process cognitively), and for exactly as long as the recorded fixation. The hypothesis is often taken for granted by researchers using eye tracking. However, gaze contingent techniques offer an interesting option in order to disentangle overt and covert attentions, to differentiate what is fixated and what is processed. During the 1980s, the eye mind hypothesis was often questioned in light of covert attention, the attention to something that one is not looking at, which people often do. If covert attention is common during eye tracking recordings, the resulting scan path and fixation patterns would often show not where attention has been, but only where the eye has been looking, failing to indicate cognitive processing. The 1980s also saw the birth of using eye tracking to answer questions related to human computer interaction. Specifically, researchers investigated how users search for commands in computer menus. Additionally, computers allowed researchers to use eye tracking results in real time, primarily to help disabled users. According to Hoffman, current consensus is that visual attention is always slightly (100 to 250 ms) ahead of the eye. But as soon as attention moves to a new position, the eyes will want to follow. Specific cognitive processes still cannot be inferred directly from a fixation on a particular object in a scene. For instance, a fixation on a face in a picture may indicate recognition, liking, dislike, puzzlement etc. Therefore, eye tracking is often coupled with other methodologies, such as introspective verbal protocols. Thanks to advancement in portable electronic devices, portable head mounted eye trackers currently can achieve excellent performance and are being increasingly used in research and market applications targeting daily life settings. These same advances have led to increases in the study of small eye movements that occur during fixation, both in the lab and in applied settings. In the 21st century, the use of artificial intelligence (AI) and artificial neural networks has become a viable way to complete eye tracking tasks and analysis. In particular, the convolutional neural network lends itself to eye tracking, as it is designed for image centric tasks. With AI, eye tracking tasks and studies can yield additional information that may not have been detected by human observers. The practice of deep learning also allows for a given neural network to improve at a given task when given enough sample data. This requires a relatively large supply of training data, however. to driver safety

Следование за глазами

Первый тип использует приспособление, крепящееся к глазу, такое как специальная контактная линза со встроенным зеркалом или датчиком магнитного поля, и движение этого приспособления измеряется, исходя из предположения о незначительном смещении при вращении глаза. Измерения с плотно прилегающими контактными линзами обеспечивают исключительно чувствительную регистрацию движений глаз, а магнитные поисковые катушки являются методом выбора для исследователей, изучающих динамику и физиологические основы движений глаз. Этот метод позволяет измерять движения глаз в горизонтальной, вертикальной и торсионной плоскостях.

Оптическое отслеживание

Вторая широкая категория использует неконтактный оптический метод для измерения движения глаз. Свет, как правило инфракрасный, отражается от глаза и регистрируется видеокамерой или другим специально разработанным оптическим сенсором. Затем информация анализируется для определения вращения глаза по изменениям отражений. Видео-трекеры обычно используют отражение от роговицы (первое изображение Пуркинье) и центр зрачка в качестве признаков для отслеживания во времени. Более чувствительный тип трекера, двойной трекер Пуркинье, использует отражения от передней поверхности роговицы (первое изображение Пуркинье) и задней поверхности хрусталика (четвертое изображение Пуркинье) в качестве признаков для отслеживания. Еще более чувствительный метод отслеживания заключается в визуализации особенностей внутри глаза, таких как кровеносные сосуды сетчатки, и отслеживании этих особенностей при вращении глаза. Оптические методы, особенно основанные на видеозаписи, широко используются для отслеживания направления взгляда и предпочтительны благодаря своей неинвазивности и низкой стоимости.

Измерение электрического потенциала

Третья категория использует электрические потенциалы, измеряемые электродами, расположенными вокруг глаз. Глаза являются источником постоянного электрического поля, которое можно обнаружить даже в полной темноте и с закрытыми глазами. Это поле можно смоделировать как генерируемое диполем, с положительным полюсом на роговице и отрицательным – на сетчатке. Электрический сигнал, получаемый с помощью двух пар контактных электродов, размещенных на коже вокруг одного глаза, называется электроокулограммой (ЭОГ). При перемещении глаз из центрального положения к периферии сетчатка приближается к одному электроду, а роговица – к противоположному. Это изменение ориентации диполя и, как следствие, электрического поля приводит к изменению измеряемого сигнала ЭОГ. И наоборот, анализируя эти изменения, можно отслеживать движения глаз. Благодаря дискретизации, обусловленной стандартной схемой расположения электродов, можно выделить два отдельных компонента движения – горизонтальный и вертикальный. Третий компонент ЭОГ – радиальный канал ЭОГ, который представляет собой среднее значение ЭОГ-каналов, отнесенных к заднему электроду кожи головы. Этот радиальный канал ЭОГ чувствителен к потенциалам саккадического всплеска, возникающим в экстраокулярных мышцах в момент саккад, и позволяет надежно регистрировать даже миниатюрные саккады. Из-за возможных отклонений и непостоянной связи между амплитудами сигнала ЭОГ и размерами саккад, использование ЭОГ для измерения медленных движений глаз и определения направления взгляда затруднено. Однако ЭОГ – очень надежный метод для измерения саккадических движений глаз, связанных со сдвигами взгляда, и регистрации морганий. В отличие от видео-трекеров, ЭОГ позволяет регистрировать движения глаз даже с закрытыми глазами, что делает его полезным в исследованиях сна. Это легкий метод, который, в отличие от современных видео-трекеров, требует небольших вычислительных ресурсов, работает в различных условиях освещения и может быть реализован как встроенная, автономная носимая система. Таким образом, это предпочтительный метод для измерения движений глаз в мобильных ситуациях повседневной жизни и во время фазы быстрого сна (REM). Основным недостатком ЭОГ является его относительно низкая точность определения направления взгляда по сравнению с видео-трекером. То есть, сложно с высокой точностью определить, куда именно смотрит испытуемый, хотя время движений глаз можно установить.

The third category uses electric potentials measured with electrodes placed around the eyes. The eyes are the origin of a steady electric potential field which can also be detected in total darkness and if the eyes are closed. It can be modelled to be generated by a dipole with its positive pole at the cornea and its negative pole at the retina. The electric signal that can be derived using two pairs of contact electrodes placed on the skin around one eye is called Electrooculogram (EOG). If the eyes move from the centre position towards the periphery, the retina approaches one electrode while the cornea approaches the opposing one. This change in the orientation of the dipole and consequently the electric potential field results in a change in the measured EOG signal. Inversely, by analysing these changes in eye movement can be tracked. Due to the discretisation given by the common electrode setup, two separate movement components – a horizontal and a vertical – can be identified. A third EOG component is the radial EOG channel, which is the average of the EOG channels referenced to some posterior scalp electrode. This radial EOG channel is sensitive to the saccadic spike potentials stemming from the extra ocular muscles at the onset of saccades, and allows reliable detection of even miniature saccades. Due to potential drifts and variable relations between the EOG signal amplitudes and the saccade sizes, it is challenging to use EOG for measuring slow eye movement and detecting gaze direction. EOG is, however, a very robust technique for measuring saccadic eye movement associated with gaze shifts and detecting blinks. Contrary to video based eye trackers, EOG allows recording of eye movements even with eyes closed, and can thus be used in sleep research. It is a very light weight approach that, in contrast to current video based eye trackers, requires low computational power, works under different lighting conditions and can be implemented as an embedded, self contained wearable system. It is thus the method of choice for measuring eye movement in mobile daily life situations and REM phases during sleep. The major disadvantage of EOG is its relatively poor gaze direction accuracy compared to a video tracker. That is, it is difficult to determine with good accuracy exactly where a subject is looking, though the time of eye movements can be determined.

Технологии и приемы

Наиболее широко используемые современные устройства – видео-следящие устройства. Камера фокусируется на одном или обоих глазах и регистрирует движение глаз, когда испытуемый смотрит на определенный стимул. Большинство современных устройств отслеживания глаз используют центр зрачка и инфракрасный / ближний инфракрасный неколлимированный свет для создания отражений роговицы (CR). Вектор между центром зрачка и отражениями роговицы может быть использован для вычисления точки фиксации взгляда на поверхности или направления взгляда. Перед использованием устройства отслеживания глаз обычно требуется простая процедура калибровки. Используются два основных типа инфракрасных / ближнего инфракрасных (также известных как активный свет) методов отслеживания глаз: «яркий зрачок» и «темный зрачок». Их различие основано на расположении источника освещения относительно оптической системы. Если освещение коаксиально с оптическим путем, то глаз действует как ретрорефлектор, поскольку свет отражается от сетчатки, создавая эффект «яркого зрачка», аналогичный «красным глазам». Если источник освещения смещен от оптического пути, зрачок выглядит темным, поскольку ретрорефлексия от сетчатки направлена в сторону от камеры. Отслеживание с «ярким зрачком» создает больший контраст между радужной оболочкой и зрачком, обеспечивая более надежное отслеживание глаз при любой пигментации радужной оболочки и значительно снижая помехи, вызванные ресницами и другими закрывающими элементами. Оно также позволяет отслеживать в условиях освещения, варьирующихся от полной темноты до очень яркого света. Другой, менее распространенный метод известен как «пассивный свет». Он использует видимый свет для освещения, что может отвлекать пользователей. Этот расчет требует определения границы радужной оболочки и белой склеры (отслеживание лимба). Это создает дополнительную проблему для вертикальных движений глаз из-за перекрытия веками. Конфигурации отслеживания глаз сильно различаются. Некоторые крепятся к голове, другие требуют стабилизации головы (например, с помощью подбородника), а третьи функционируют дистанционно и автоматически отслеживают голову во время движения. Большинство устройств используют частоту дискретизации не менее 30 Гц. Хотя 50/60 Гц более распространено, сегодня многие видео-следящие устройства работают на частоте 240, 350 или даже 1000/1250 Гц, что необходимо для регистрации фиксационных движений глаз или точного измерения динамики саккад. Движения глаз обычно делятся на фиксации и саккады – соответственно, когда взгляд задерживается в определенной позиции и когда он перемещается в другую позицию. Полученная последовательность фиксаций и саккад называется скановым путем (scanpath). Плавное слежение описывает движение глаз за движущимся объектом. Фиксационные движения глаз включают микросаккады: небольшие, непроизвольные саккады, возникающие во время попытки фиксации. Большая часть информации, получаемой от глаз, доступна во время фиксации или плавного слежения, но не во время саккад. Скановые пути полезны для анализа когнитивных намерений, интересов и значимости. Другие биологические факторы (включая такие простые, как пол) также могут влиять на скановый путь. Отслеживание глаз во взаимодействии человека и компьютера (HCI) обычно исследует скановый путь с целью оценки удобства использования или в качестве метода ввода в дисплеи, зависящие от направления взгляда, также известные как интерфейсы на основе взгляда.

The most widely used current designs are video based eye trackers. A camera focuses on one or both eyes and records eye movement as the viewer looks at some kind of stimulus. Most modern eye trackers use the center of the pupil and infrared / near infrared non collimated light to create corneal reflections (CR). The vector between the pupil center and the corneal reflections can be used to compute the point of regard on surface or the gaze direction. A simple calibration procedure of the individual is usually needed before using the eye tracker. Two general types of infrared / near infrared (also known as active light) eye tracking techniques are used: bright pupil and dark pupil. Their difference is based on the location of the illumination source with respect to the optics. If the illumination is coaxial with the optical path, then the eye acts as a retroreflector as the light reflects off the retina creating a bright pupil effect similar to red eye. If the illumination source is offset from the optical path, then the pupil appears dark because the retroreflection from the retina is directed away from the camera. Bright pupil tracking creates greater iris/pupil contrast, allowing more robust eye tracking with all iris pigmentation, and greatly reduces interference caused by eyelashes and other obscuring features. It also allows tracking in lighting conditions ranging from total darkness to very bright. Another, less used, method is known as passive light. It uses visible light to illuminate, something which may cause some distractions to users. This calculation needs to detect the boundary of the iris and the white sclera (limbus tracking). It presents another challenge for vertical eye movements due to obstruction of eyelids. Eye tracking setups vary greatly. Some are head mounted, some require the head to be stable (for example, with a chin rest), and some function remotely and automatically track the head during motion. Most use a sampling rate of at least 30 Hz. Although 50/60 Hz is more common, today many video based eye trackers run at 240, 350 or even 1000/1250 Hz, speeds needed to capture fixational eye movements or correctly measure saccade dynamics. Eye movements are typically divided into fixations and saccades – when the eye gaze pauses in a certain position, and when it moves to another position, respectively. The resulting series of fixations and saccades is called a scanpath. Smooth pursuit describes the eye following a moving object. Fixational eye movements include microsaccades: small, involuntary saccades that occur during attempted fixation. Most information from the eye is made available during a fixation or smooth pursuit, but not during a saccade. Scanpaths are useful for analyzing cognitive intent, interest, and salience. Other biological factors (some as simple as gender) may affect the scanpath as well. Eye tracking in human–computer interaction (HCI) typically investigates the scanpath for usability purposes, or as a method of input in gaze contingent displays, also known as gaze based interfaces.

Отслеживание глаз против отслеживания взгляда

Окулотрекеры неизбежно измеряют вращение глаза относительно некоторой системы отсчета. Эта система обычно привязана к измерительной аппаратуре. Таким образом, если измерительная система закреплена на голове, как в случае с ЭОГ или видеосистемой, установленной на шлеме, измеряются углы положения глаз относительно головы. Для определения линии взгляда в мировых координатах голову необходимо удерживать в фиксированном положении или отслеживать ее движения. В этих случаях направление движения головы добавляется к углу положения глаз относительно головы для определения направления взгляда. Однако, если движения головы незначительны, положение глаз относительно головы остается постоянным. Если измерительная система установлена на столе, как в случае со склеральными поисковыми катушками или настольными камерами (дистанционными) системами, углы взгляда измеряются непосредственно в мировых координатах. Как правило, в таких ситуациях движения головы запрещены. Например, положение головы фиксируется с помощью прикуса или подголовника. Тогда система отсчета, центрированная на голове, совпадает с системой отсчета, центрированной на мире. Иными словами, положение глаз относительно головы напрямую определяет направление взгляда. Имеются данные о движениях глаз человека в естественных условиях, когда разрешены движения головы. Относительное положение глаз и головы, даже при постоянном направлении взгляда, влияет на нейронную активность в высших зрительных областях.

Практика

Много исследований было посвящено изучению механизмов и динамики вращения глаз, но целью отслеживания взгляда чаще всего является оценка направления взгляда. Пользователей может интересовать, например, какие элементы изображения привлекают внимание. Важно понимать, что устройство отслеживания взгляда не предоставляет абсолютное направление взгляда, а измеряет лишь изменения в направлении взгляда. Для точного определения того, на что смотрит испытуемый, требуется процедура калибровки, в ходе которой испытуемый фокусируется на точке или серии точек, а устройство отслеживания взгляда регистрирует значение, соответствующее каждой позиции взгляда. (Даже те методы, которые отслеживают особенности сетчатки, не могут обеспечить точное направление взгляда, поскольку не существует конкретной анатомической структуры, обозначающей точную точку пересечения зрительной оси с сетчаткой, если вообще существует такая единственная, стабильная точка.) Точная и надежная калибровка необходима для получения валидных и воспроизводимых данных о движении глаз, и это может представлять значительную сложность для невербальных испытуемых или тех, у кого нестабильный взгляд. Каждый метод отслеживания взгляда имеет свои преимущества и недостатки, а выбор системы отслеживания взгляда зависит от соображений стоимости и области применения. Существуют офлайн-методы и онлайн-процедуры, такие как AttentionTracking. Существует компромисс между стоимостью и чувствительностью: самые чувствительные системы стоят десятки тысяч долларов и требуют значительной квалификации для правильной эксплуатации. Достижения в компьютерных и видеотехнологиях привели к разработке относительно недорогих систем, которые полезны для многих приложений и достаточно просты в использовании. Однако интерпретация результатов все равно требует определенного уровня квалификации, поскольку неправильно настроенная или плохо откалиброванная система может выдавать грубо ошибочные данные.

Отслеживание глаз во время вождения автомобиля в сложной ситуации

upright=1.5| thumb| right |Кадры отслеживания взгляда при движении по узкой дороге, описанные в этом разделе.

Движение глаз двух групп водителей было зафиксировано командой Швейцарского федерального технологического института с помощью специальной камеры, установленной на голове. Новичкам и опытным водителям записывали движение глаз при приближении к повороту узкой дороги. Серия изображений была сжата из оригинальных кадров фильма, чтобы для лучшего понимания отображать по 2 точки фиксации взгляда на каждом изображении. Каждый снимок соответствует примерно 0,5 секунды реального времени. Серия изображений демонстрирует пример точек фиксации взгляда №9–№14 типичного водителя-новичка и опытного водителя. Сравнение верхних изображений показывает, что опытный водитель проверяет поворот и даже имеет точку фиксации №9, направленную в сторону, в то время как водителю-новичку необходимо проверить дорогу и оценить расстояние до припаркованного автомобиля. На средних изображениях опытный водитель полностью сосредоточен на месте, где может появиться встречный автомобиль. Водитель-новичок концентрирует взгляд на припаркованном автомобиле. На нижнем изображении водитель-новичок занят оценкой расстояния между левой стеной и припаркованным автомобилем, в то время как опытный водитель может использовать периферическое зрение для этого и одновременно концентрировать взгляд на опасном участке поворота: если там появится автомобиль, водителю необходимо уступить дорогу, то есть остановиться справа, а не обгонять припаркованный автомобиль. В более поздних исследованиях также использовалось оборудование для отслеживания взгляда, установленное на голове, для измерения движений глаз в реальных условиях вождения.

Приложения

В широком спектре дисциплин используются методы отслеживания движения глаз, включая когнитивные науки; психологию (в частности, психолингвистику и парадигму «визуальный мир»); взаимодействие человека с компьютером (HCI); факторы, влияющие на человека, и эргономику; маркетинговые и медицинские исследования (неврологическую диагностику). Конкретные области применения включают отслеживание движения глаз при чтении текста и нот, распознавании человеческой деятельности, восприятии рекламы, в спорте, обнаружении отвлекающих факторов, а также оценку когнитивной нагрузки водителей и пилотов и использование в качестве средства управления компьютером для людей с серьезными двигательными нарушениями.

Коммерческие применения

В последние годы возросшая сложность и доступность технологий отслеживания взгляда вызвали значительный интерес в коммерческом секторе. Области применения включают в себя удобство использования веб-сайтов, рекламу, спонсорство, дизайн упаковки и автомобилестроение. Как правило, коммерческие исследования с использованием отслеживания взгляда проводятся путем демонстрации целевого стимула выборке потребителей, в то время как устройство для отслеживания взгляда регистрирует активность глаз. Примеры целевых стимулов могут включать веб-сайты, телевизионные программы, спортивные мероприятия, фильмы и рекламные ролики, журналы и газеты, упаковку, выкладку товаров на полках, пользовательские системы (банкоматы, кассы самообслуживания, киоски) и программное обеспечение. Полученные данные могут быть подвергнуты статистическому анализу и графическому представлению для подтверждения конкретных визуальных паттернов. Изучая фиксации, саккады, расширение зрачка, моргание и другие поведенческие реакции, исследователи могут получить обширную информацию об эффективности той или иной среды или продукта. Некоторые компании проводят подобные исследования самостоятельно, однако существует множество частных компаний, предлагающих услуги отслеживания взгляда и анализа данных. Одной из областей коммерческих исследований с использованием отслеживания взгляда является юзабилити веб-сайтов. В то время как традиционные методы юзабилити-тестирования часто весьма эффективны для получения информации о паттернах кликов и прокрутки, отслеживание взгляда позволяет анализировать взаимодействие пользователя между кликами и время, затрачиваемое на это, предоставляя ценные сведения о том, какие элементы наиболее привлекают внимание, какие вызывают затруднения, а какие игнорируются вовсе. В частности, отслеживание взгляда может использоваться для оценки эффективности поиска, брендинга, онлайн-рекламы, удобства навигации, общего дизайна и многих других компонентов сайта. Анализ может быть направлен на прототип или сайт конкурента, помимо основного сайта клиента. Отслеживание взгляда широко используется в различных рекламных медиа. Рекламные ролики, печатная реклама, онлайн-реклама и спонсорские программы – все это подходит для анализа с использованием современных технологий отслеживания взгляда. Примером может служить анализ движений глаз при просмотре рекламы в телефонном справочнике. В одном исследовании изучалось, какие элементы рекламы привлекают внимание людей, просматривают ли они рекламу в определенном порядке и как меняется время просмотра. Исследование показало, что размер рекламы, графика, цвет и текст влияют на привлечение внимания. Это позволяет исследователям детально оценить, как часто выборка потребителей фиксирует взгляд на целевом логотипе, продукте или рекламном объявлении. Таким образом, рекламодатель может количественно оценить успех кампании с точки зрения фактического визуального внимания. Другой пример – исследование, показавшее, что на странице результатов поисковой выдачи фрагменты с информацией об авторе привлекают больше внимания, чем платные объявления или даже первый органический результат. Еще один пример коммерческого исследования с использованием отслеживания взгляда – область подбора персонала. В одном исследовании анализировалось, как рекрутеры просматривают профили в LinkedIn, а результаты были представлены в виде тепловых карт.

In recent years, the increased sophistication and accessibility of eye tracking technologies have generated a great deal of interest in the commercial sector. Applications include web usability, advertising, sponsorship, package design and automotive engineering. In general, commercial eye tracking studies function by presenting a target stimulus to a sample of consumers while an eye tracker records eye activity. Examples of target stimuli may include websites, television programs, sporting events, films and commercials, magazines and newspapers, packages, shelf displays, consumer systems (ATMs, checkout systems, kiosks) and software. The resulting data can be statistically analyzed and graphically rendered to provide evidence of specific visual patterns. By examining fixations, saccades, pupil dilation, blinks and a variety of other behaviors, researchers can determine a great deal about the effectiveness of a given medium or product. While some companies complete this type of research internally, there are many private companies that offer eye tracking services and analysis. One field of commercial eye tracking research is web usability. While traditional usability techniques are often quite powerful in providing information on clicking and scrolling patterns, eye tracking offers the ability to analyze user interaction between the clicks and how much time a user spends between clicks, thereby providing valuable insight into which features are the most eye catching, which features cause confusion and which are ignored altogether. Specifically, eye tracking can be used to assess search efficiency, branding, online advertisements, navigation usability, overall design and many other site components. Analyses may target a prototype or competitor site in addition to the main client site. Eye tracking is commonly used in a variety of different advertising media. Commercials, print ads, online ads and sponsored programs are all conducive to analysis with current eye tracking technology. One example is the analysis of eye movements over advertisements in the Yellow Pages. One study focused on what particular features caused people to notice an ad, whether they viewed ads in a particular order and how viewing times varied. The study revealed that ad size, graphics, color, and copy all influence attention to advertisements. Knowing this allows researchers to assess in great detail how often a sample of consumers fixates on the target logo, product or ad. Hence an advertiser can quantify the success of a given campaign in terms of actual visual attention. Another example of this is a study that found that in a search engine results page, authorship snippets received more attention than the paid ads or even the first organic result. Yet another example of commercial eye tracking research comes from the field of recruitment. A study analyzed how recruiters screen LinkedIn profiles and presented results as heat maps.

Приложения безопасности

Ученые в 2017 году построили глубокую интегрированную нейронную сеть (DINN) из глубокой нейронной сети и сверточной нейронной сети. Целью было использование глубокого обучения для анализа изображений водителей и определения их уровня сонливости путем "классификации состояний глаз". При наличии достаточного количества изображений, разработанная DINN в идеале могла бы определять моменты моргания водителей, частоту и продолжительность морганий. На основе этих данных она могла бы оценивать степень усталости водителя, фактически проводя упражнение по отслеживанию взгляда. DINN была обучена на данных более 2400 испытуемых и правильно диагностировала их состояние в 96–99,5% случаев. Большинство других моделей искусственного интеллекта демонстрировали эффективность выше 90%. Затем ей были предоставлены данные отслеживания взгляда 30 шахматистов различного уровня мастерства. Используя эти данные, CNN применяла оценку направления взгляда для определения частей шахматной доски, на которые игрок обращал наибольшее внимание. После этого она генерировала карту заметности, иллюстрирующую эти части доски. В конечном итоге, CNN объединяла свои знания о доске и фигурах с картой заметности для предсказания следующего хода игроков. Независимо от набора данных, на котором была обучена нейросетевая система, она предсказывала следующий ход точнее, чем при случайном выборе, а карты заметности, составленные для каждого игрока и ситуации, были похожи более чем на 54%. Это обусловлено тем, что она быстрее, чем методы сканирования с одним переключателем, и интуитивно понятна в использовании. Нарушения моторики, вызванные церебральным параличом или боковым амиотрофическим склерозом, часто влияют на речь, и пользователи с тяжелыми нарушениями речи и моторики (SSMI) используют тип программного обеспечения, известный как средства альтернативной и дополнительной коммуникации (AAC), которое отображает на экране значки, слова и буквы и использует программное обеспечение для преобразования текста в речь для генерации звукового вывода. В последнее время исследователи также изучают возможность использования отслеживания взгляда для управления роботизированными руками и инвалидными колясками. Отслеживание взгляда также полезно для анализа моделей визуального поиска, выявления нистагма и обнаружения ранних признаков нарушений обучаемости путем анализа движения взгляда во время чтения.

Scientists in 2017 constructed a Deep Integrated Neural Network (DINN) out of a Deep Neural Network and a convolutional neural network. The goal was to use deep learning to examine images of drivers and determine their level of drowsiness by "classify[ing] eye states." With enough images, the proposed DINN could ideally determine when drivers blink, how often they blink, and for how long. From there, it could judge how tired a given driver appears to be, effectively conducting an eye tracking exercise. The DINN was trained on data from over 2,400 subjects and correctly diagnosed their states 96% 99.5% of the time. Most other artificial intelligence models performed at rates above 90%. It was then fed eye tracking input data from 30 chess players of various skill levels. With this data, the CNN used gaze estimation to determine parts of the chess board to which a player was paying close attention. It then generated a saliency map to illustrate those parts of the board. Ultimately, the CNN would combine its knowledge of the board and pieces with its saliency map to predict the players' next move. Regardless of the training dataset the neural network system was trained upon, it predicted the next move more accurately than if it had selected any possible move at random, and the saliency maps drawn for any given player and situation were more than 54% similar. as it is faster than single switch scanning techniques and intuitive to operate. Motor impairment caused by Cerebral Palsy or Amyotrophic lateral sclerosis often affects speech, and users with Severe Speech and Motor Impairment (SSMI) use a type of software known as Augmentative and Alternative Communication (AAC) aid, that displays icons, words and letters on screen and uses text to speech software to generate spoken output. In recent times, researchers also explored eye tracking to control robotic arms and powered wheelchairs. Eye tracking is also helpful in analysing visual search patterns, detecting presence of Nystagmus and detecting early signs of learning disability by analysing eye gaze movement during reading.

Приложения в авиации

Отслеживание взгляда уже изучалось в контексте безопасности полетов путем сравнения траекторий сканирования и длительности фиксаций для оценки прогресса подготовки пилотов, оценки их навыков, анализа совместного внимания экипажа и общей ситуационной осведомленности. Технология отслеживания взгляда также исследовалась для взаимодействия с системами отображения информации на шлеме в военных самолетах. Проводились исследования для оценки применимости отслеживания взгляда для захвата и идентификации целей с помощью систем отображения на шлеме (HMDS). Отзывы пилотов показали, что, несмотря на перспективность технологии, ее аппаратные и программные компоненты еще требуют доработки. Отслеживание взгляда также полезно для выявления усталости пилотов. Помимо обнаружения отвлекающих факторов, отслеживание взгляда используется для взаимодействия с IVIS. Хотя первоначальные исследования изучали эффективность системы отслеживания взгляда для взаимодействия с дисплеем, расположенным ниже уровня глаз (HDD), водителям все же приходилось отвлекаться от дороги при выполнении дополнительных задач. Недавние исследования посвящены управлению взаимодействием с дисплеем на лобовом стекле (HUD) посредством взгляда, что позволяет избежать отвлечения внимания от дороги. Отслеживание взгляда также используется для мониторинга когнитивной нагрузки водителей с целью выявления потенциального отвлечения. Хотя исследователи изучали различные методы оценки когнитивной нагрузки водителей на основе различных физиологических параметров, использование окулярных параметров открыло новый способ применения существующих систем отслеживания взгляда для мониторинга когнитивной нагрузки водителей в дополнение к взаимодействию с IVIS.

Развлекательные приложения

Видеоигра Before Your Eyes, выпущенная в 2021 году, регистрирует и интерпретирует моргания игрока, используя их как основной способ взаимодействия с игровым процессом.

Инженерные приложения

Широкое распространение технологии отслеживания взгляда позволило по-новому взглянуть на её применение в эмпирической разработке программного обеспечения в последние годы. Технология отслеживания взгляда и методы анализа данных используются исследователями для изучения понимания концепций разработки программного обеспечения. Это включает в себя понимание моделей бизнес-процессов, а также диаграмм, используемых в разработке программного обеспечения, таких как диаграммы деятельности UML и диаграммы ERD. Метрики отслеживания взгляда, такие как фиксация, траектория сканирования, точность траектории сканирования, воспроизводимость траектории сканирования, фиксации на областях интереса/релевантных областях, вычисляются, анализируются и интерпретируются с точки зрения понимания моделей и диаграмм. Полученные результаты используются для повышения понятности диаграмм и моделей посредством соответствующих решений, связанных с моделями, а также за счет улучшения индивидуальных факторов, таких как объем рабочей памяти, когнитивная нагрузка, стиль обучения и стратегия работы инженеров-программистов и разработчиков моделей.

Картографические приложения

Картографические исследования широко применяют методы отслеживания движения глаз. Исследователи используют их для изучения того, как люди воспринимают и интерпретируют карты. Например, отслеживание движения глаз применялось для изучения различий в восприятии 2D и 3D визуализаций, сравнения стратегий чтения карт у начинающих и опытных пользователей, студентов и их преподавателей географии, а также для оценки картографического качества карт. Помимо этого, картографы использовали отслеживание движения глаз для исследования различных факторов, влияющих на чтение карт, включая такие атрибуты, как цвет или плотность символов. Многие исследования, посвященные удобству использования картографических приложений, также использовали отслеживание движения глаз. Ежедневная работа картографического сообщества с визуальными и пространственными данными позволила ему внести значительный вклад в разработку методов и инструментов визуализации данных отслеживания движения глаз. Например, картографы разработали методы интеграции данных отслеживания движения глаз с ГИС, используя ГИС-программное обеспечение для дальнейшей визуализации и анализа. Сообщество также создало инструменты для визуализации данных отслеживания движения глаз.

Проблемы конфиденциальности

С учетом того, что отслеживание взгляда, как ожидается, станет распространенной функцией в различных потребительских электронных устройствах, включая смартфоны, ноутбуки и гарнитуры виртуальной реальности, возникли опасения относительно влияния этой технологии на конфиденциальность пользователей. С помощью методов машинного обучения данные отслеживания взгляда могут косвенно раскрывать информацию об этнической принадлежности пользователя, чертах личности, страхах, эмоциях, интересах, навыках, а также о его физическом и психическом состоянии. Если подобные выводы делаются без ведома или согласия пользователя, это можно квалифицировать как атака по выводам. Активность глаз не всегда находится под сознательным контролем, например, "взгляды, вызванные стимулом, расширение зрачка, тремор глаз и спонтанные моргания в основном происходят без сознательных усилий, подобно пищеварению и дыханию". Поэтому пользователям, использующим отслеживание взгляда, может быть сложно оценить или контролировать объем информации, которую они о себе раскрывают.