Введение

Область исследований в информатике, направленная на понимание эмоционального состояния пользователей.

Аффективные вычисления – это изучение и разработка систем и устройств, способных распознавать, интерпретировать, обрабатывать и моделировать человеческие аффекты. Это междисциплинарная область, объединяющая информатику, психологию и когнитивные науки. Хотя некоторые основополагающие идеи в этой области восходят к ранним философским размышлениям об эмоциях, более современное направление в информатике возникло благодаря работе Розалинд Пикард 1995 года, посвященной аффективным вычислениям, и ее книге «Affective Computing», изданной MIT Press. Одной из целей исследований является наделение машин эмоциональным интеллектом, включая способность к эмпатии. Машина должна интерпретировать эмоциональное состояние человека и адаптировать свое поведение в соответствии с ним, давая адекватный ответ на эти эмоции.

Обнаружение и распознавание эмоциональной информации

Обнаружение эмоциональной информации обычно начинается с пассивных датчиков, которые собирают данные о физическом состоянии или поведении пользователя, не интерпретируя входные данные. Собранные данные аналогичны сигналам, которые люди используют для распознавания эмоций у других. Например, видеокамера может фиксировать выражения лица, позу и жесты, а микрофон – речь. Другие датчики обнаруживают эмоциональные сигналы, напрямую измеряя физиологические данные, такие как температура кожи и гальваническое сопротивление. Распознавание эмоциональной информации требует извлечения значимых закономерностей из собранных данных. Это достигается с помощью методов машинного обучения, которые обрабатывают различные модальности, такие как распознавание речи, обработка естественного языка или обнаружение выражений лица. Цель большинства этих методов – присвоить метки, которые соответствовали бы меткам, которые человек дал бы в той же ситуации: например, если человек хмурит брови, то система компьютерного зрения может быть обучена маркировать его лицо как "растерянное", "сосредоточенное" или "слегка негативное" (в отличие от позитивного, которое система могла бы присвоить, если бы человек улыбался). Эти метки могут как соответствовать, так и не соответствовать тому, что человек на самом деле чувствует.

Эмоции в машинах

Другая область аффективных вычислений – это разработка вычислительных устройств, предназначенных для проявления либо врожденных эмоциональных способностей, либо убедительного имитирования эмоций. Более практичный подход, основанный на текущих технологических возможностях, заключается в моделировании эмоций в разговорных агентах для обогащения и упрощения взаимодействия между человеком и машиной. Марвин Минский, один из пионеров компьютерной науки в области искусственного интеллекта, связывает эмоции с более широкими вопросами машинного интеллекта, утверждая в книге «Машина эмоций», что эмоции «не сильно отличаются от процессов, которые мы называем «мышлением»». Инновационный подход, известный как «цифровые люди» или виртуальные люди, включает в себя попытку наделить эти программы, имитирующие людей, и эмоциональным измерением, в том числе реакциями, соответствующими тому, как отреагировал бы реальный человек в определенной эмоционально стимулирующей ситуации, а также выражениями лица и жестами.

Технологии

В психологии, когнитивной науке и нейробиологии выделяют два основных подхода к описанию того, как люди воспринимают и классифицируют эмоции: континуальный или категориальный. Континуальный подход обычно оперирует измерениями, такими как негативное/позитивное, спокойное/возбужденное. Категориальный подход, как правило, использует дискретные категории, такие как радость, грусть, гнев, страх, удивление, отвращение. Для обучения машин выдавать континуальные или дискретные метки могут применяться различные модели регрессии и классификации машинного обучения. Иногда создаются модели, позволяющие комбинировать категории, например, радостно-удивленное или испуганно-удивленное выражение лица. В следующих разделах будут рассмотрены различные типы входных данных, используемые для задачи распознавания эмоций.

Эмоциональная речь

Различные изменения в автономной нервной системе могут косвенно влиять на речь человека, а аффективные технологии могут использовать эту информацию для распознавания эмоций. Например, речь, произносимая в состоянии страха, гнева или радости, становится быстрой, громкой и чёткой, с более высоким и широким диапазоном высоты тона, в то время как эмоции, такие как усталость, скука или печаль, как правило, проявляются в медленной, тихой и невнятной речи. Некоторые эмоции, например гнев, легче поддаются вычислительной идентификации.

Технологии обработки эмоциональной речи распознают эмоциональное состояние пользователя посредством вычислительного анализа речевых характеристик. Вокальные параметры и просодические признаки, такие как переменные высоты тона и темп речи, могут быть проанализированы с использованием методов распознавания образов. Анализ речи является эффективным способом определения аффективного состояния, демонстрируя среднюю точность от 70 до 80% в исследованиях, проведённых в 2003 и 2006 годах. Эти системы, как правило, показывают результаты лучше, чем средняя точность распознавания человеком (около 60%). Однако, поскольку многие речевые характеристики не зависят от семантики или культуры, этот метод считается перспективным направлением для дальнейших исследований.

Алгоритмы

Процесс обнаружения речевых/текстовых аффектов требует создания надежной базы данных, базы знаний или модели векторного пространства, достаточно широкой для удовлетворения всех потребностей ее применения, а также выбора эффективного классификатора, обеспечивающего быстрое и точное распознавание эмоций. Наиболее часто используемыми классификаторами были классификаторы линейных дискриминантов (LDC), k ближайших соседей (k NN), модель гауссовской смеси (GMM), векторные машины поддержки (SVM), искусственные нейронные сети (ANN), алгоритмы деревьев решений и скрытые модели Маркова (HMM). Различные исследования показали, что выбор подходящего классификатора может значительно повысить общую производительность системы. SVM – это тип (обычно двоичного) линейного классификатора, определяющего, к какому из двух (или более) возможных классов относится каждый входной объект. ANN – это математическая модель, вдохновленная биологическими нейронными сетями, способная лучше учитывать возможные нелинейности пространства признаков. Алгоритмы деревьев решений работают, следуя дереву решений, где листья представляют результат классификации, а ветви – сочетание последовательных признаков, приводящих к классификации. HMM – статистическая модель Маркова, в которой состояния и переходы между состояниями не поддаются непосредственному наблюдению. Вместо этого наблюдается последовательность выходных данных, зависящая от состояний. В случае распознавания аффектов выходные данные представляют собой последовательность векторов речевых признаков, позволяющих вывести последовательность состояний, через которые прошла модель. Состояния могут состоять из различных промежуточных этапов выражения эмоции, и каждое из них имеет распределение вероятностей по возможным выходным векторам. Последовательность состояний позволяет предсказать аффективное состояние, которое мы пытаемся классифицировать, и это один из наиболее распространенных методов в области обнаружения речевых аффектов. Доказано, что при наличии достаточного количества акустических данных эмоциональное состояние человека можно классифицировать с помощью ансамбля классификаторов, использующих метод голосования большинства. Предлагаемый ансамбль классификаторов основан на трех основных: kNN, C4.5 и SVM с радиальным базисным ядром (RBF Kernel). Этот ансамбль демонстрирует более высокую производительность, чем каждый базовый классификатор, взятый по отдельности. Он сравнивается с двумя другими ансамблями: многоклассовым SVM с гибридными ядрами, использующим стратегию "один против всех" (OAA), и ансамблем, состоящим из двух базовых классификаторов: C5.0 и нейронной сети. Предлагаемый вариант показывает лучшие результаты, чем два других ансамбля.

Базы данных

Подавляющее большинство существующих систем зависимы от данных. Это создает одну из самых больших проблем в обнаружении эмоций по речи, поскольку подразумевает выбор подходящей базы данных для обучения классификатора. Большая часть имеющихся данных была получена от актеров и, следовательно, представляет собой отображение архетипических эмоций. Эти так называемые "сыгранные" базы данных обычно основаны на теории базовых эмоций (Пола Экмана), которая предполагает существование шести основных эмоций (гнев, страх, отвращение, удивление, радость, печаль), а все остальные – это лишь их комбинации. Тем не менее, они по-прежнему обеспечивают высокое качество звука и сбалансированные классы (хотя часто и в недостаточном количестве), что способствует высокой точности распознавания эмоций. Однако для практического применения предпочтительны натуралистические данные. Натуралистическую базу данных можно создать путем наблюдения и анализа испытуемых в их естественной среде. В конечном итоге, такая база данных должна позволить системе распознавать эмоции, учитывая их контекст, а также определять цели и результаты взаимодействия. Характер этих данных позволяет использовать их в реальных условиях, поскольку они описывают состояния, возникающие естественным образом в процессе взаимодействия человека и компьютера (HCI). Несмотря на многочисленные преимущества натуралистических данных перед "сыгранными", их сложно получить, и они обычно характеризуются низкой эмоциональной интенсивностью. Кроме того, данные, полученные в естественной среде, имеют более низкое качество сигнала из-за фонового шума и расстояния испытуемых от микрофона. Первой попыткой создания такой базы данных стала FAU Aibo Emotion Corpus для CEICES (Combining Efforts for Improving Automatic Classification of Emotional User States), разработанная на основе реалистичного сценария игры детей (в возрасте 10–13 лет) с роботом-питомцем Aibo от Sony. Создание единой стандартной базы данных для всех исследований эмоций также предоставило бы метод оценки и сравнения различных систем распознавания аффектов.

Обнаружение аффектов лица

Обнаружение и обработка выражений лица достигаются различными методами, такими как оптический поток, скрытые марковские модели, обработка нейронными сетями или модели активных форм. Для более надежной оценки эмоционального состояния испытуемого можно комбинировать или объединять несколько модальностей (мультимодальное распознавание, например, выражения лица и речевая просодия, выражения лица и жесты рук, или выражения лица с речью и текстом для анализа мультимодальных данных и метаданных).

Базы данных выражений лица

Создание базы данных эмоций – сложная и трудоемкая задача. Однако создание базы данных является необходимым шагом в разработке системы, способной распознавать человеческие эмоции. Большинство общедоступных баз данных эмоций содержат только позированные выражения лица. В базах данных с позированными выражениями участников просят продемонстрировать различные основные эмоциональные выражения, в то время как в базах данных со спонтанными выражениями выражения возникают естественным образом. Вызов спонтанных эмоций требует значительных усилий по подбору подходящих стимулов, способных вызвать широкий спектр желаемых эмоций. Кроме того, процесс включает в себя ручную разметку эмоций обученными специалистами, что обеспечивает высокую надежность баз данных. Поскольку восприятие выражений и их интенсивность субъективно, аннотирование экспертами необходимо для валидации. Исследователи используют три типа баз данных: базы данных, содержащие только изображения пиковых выражений, базы данных последовательностей изображений, показывающие переход эмоции от нейтрального состояния к пику, и видеоклипы с эмоциональными аннотациями. Для целей распознавания выражений лица было создано и опубликовано множество баз данных выражений лица. Две из наиболее широко используемых баз данных – CK+ и JAFFE.

Жест тела

Жесты могут эффективно использоваться для определения определенного эмоционального состояния пользователя, особенно в сочетании с речью и распознаванием лиц. В зависимости от конкретного действия, жесты могут быть простыми рефлекторными реакциями, например, поднятие плеч, когда вы не знаете ответа на вопрос, или сложными и осмысленными, как при общении на языке жестов. Не прибегая к использованию каких-либо предметов или окружающей среды, мы можем махать руками, хлопать или звать кого-либо. С другой стороны, используя предметы, мы можем указывать на них, перемещать, касаться или манипулировать ими. Компьютер должен уметь распознавать эти действия, анализировать контекст и реагировать осмысленно, чтобы эффективно использоваться во взаимодействии человека и компьютера. Существует множество предлагаемых методов для обнаружения жестов тела. Некоторые исследования выделяют два различных подхода к распознаванию жестов: основанный на 3D-модели и основанный на анализе изображения. Первый метод использует 3D-информацию о ключевых точках тела для получения важных параметров, таких как положение ладони или углы суставов. Второй подход, основанный на анализе изображения, использует изображения или видео для непосредственной интерпретации. Жесты рук часто являются объектом внимания при разработке методов обнаружения жестов тела. Пики волн указывают на сердечный цикл, когда сердце перекачивает кровь к конечностям. Если человек испытывает страх или пугается, его сердце обычно учащается и на некоторое время "подпрыгивает", что приводит к увеличению амплитуды сердечного цикла. Это отчетливо видно на фотоплетисмограмме, когда расстояние между впадиной и пиком волны уменьшается. По мере того, как человек успокаивается и внутренние органы тела расслабляются, позволяя большему количеству крови возвращаться к конечностям, цикл возвращается к норме.

Методология

Инфракрасный свет направляется на кожу с помощью специального сенсорного оборудования, и измеряется количество отраженного света. Количество отраженного и прошедшего света коррелирует с вариацией фотоплетизмограммы (BVP), так как свет поглощается гемоглобином, который в большом количестве содержится в крови.

Недостатки

Может быть затруднительно обеспечить, чтобы датчик, излучающий инфракрасный свет и регистрирующий отраженный свет, всегда был направлен на одну и ту же конечность, особенно учитывая, что испытуемые часто тянутся и меняют положение тела во время работы за компьютером. Существуют и другие факторы, которые могут влиять на пульсовую волну объема крови. Поскольку это показатель кровотока в конечностях, если испытуемому жарко или, наоборот, холодно, его организм может увеличивать или уменьшать приток крови к конечностям, и все это вне зависимости от эмоционального состояния испытуемого.

Гальваническая реакция кожи

Гальванический отклик кожи (ГРК) — устаревший термин для более общего явления, известного как [Электродермальная активность] или ЭДА. ЭДА — это общее явление, при котором изменяются электрические свойства кожи. Кожа иннервируется [симпатической нервной системой], поэтому измерение её сопротивления или проводимости позволяет количественно оценить небольшие изменения в симпатической ветви автономной нервной системы. По мере активации потовых желез, даже до того, как кожа становится влажной от пота, уровень ЭДА может быть зафиксирован (обычно с использованием проводимости) и использован для выявления незначительных изменений в автономном возбуждении. Чем выше уровень возбуждения испытуемого, тем выше, как правило, проводимость кожи.

Методология

Подходы основаны на изменениях цвета лица. Треуголизация Делоне используется для создания треугольных локальных областей. Некоторые из этих треугольников, определяющих внутреннюю часть рта и глаз (склеру и радужную оболочку), удаляются. Для создания векторов признаков используются пиксели левых треугольных областей. Каналы LMS показывают лучшие результаты при работе с изображениями лиц. Поэтому отобразите полученный вектор в оптимальное цветовое пространство и разложите его на каналы красного, зеленого, желтого и синего. Затем примените методы глубокого обучения для определения соответствующих эмоций.

Визуальная эстетика

Эстетика в мире искусства и фотографии относится к принципам, определяющим природу и восприятие красоты. Оценка красоты и других эстетических качеств – задача крайне субъективная. Компьютерные ученые из Университета штата Пенсильвания рассматривают задачу автоматического определения эстетического качества изображений на основе их визуального содержания как задачу машинного обучения, используя веб-сайт обмена фотографиями с пользовательскими оценками в качестве источника данных. Они извлекают определенные визуальные признаки, основываясь на предположении, что эти признаки позволяют различать эстетически привлекательные и непривлекательные изображения.

Образование

Эмоциональное состояние влияет на процесс обучения учащихся. Используя технологии аффективных вычислений, компьютеры могут определять эмоциональное состояние и учебную вовлеченность учащихся по их выражению лица. В образовании преподаватель может использовать результаты анализа для понимания способности ученика к обучению и восприятию информации, а затем разрабатывать обоснованные планы обучения. Кроме того, это позволяет уделять внимание внутреннему состоянию учеников, что положительно сказывается на их психологическом здоровье. Особенно это актуально для дистанционного образования, где из-за разделения во времени и пространстве отсутствует эмоциональная поддержка и двустороннее взаимодействие между преподавателем и учеником. Без атмосферы, свойственной традиционным занятиям, ученикам легко заскучать, что негативно влияет на эффективность обучения. Внедрение аффективных вычислений в систему дистанционного образования может эффективно решить эту проблему.

Транспортировка

Применение сенсорных вычислений может способствовать повышению безопасности дорожного движения. Например, автомобиль может отслеживать эмоциональное состояние всех находящихся в нем людей и активировать дополнительные меры безопасности, такие как оповещение других транспортных средств, если обнаружено, что водитель испытывает гнев. Кроме того, системы аффективных вычислений для мониторинга уровня стресса водителя могут обеспечивать различные виды вмешательств, например, адаптацию систем помощи водителю в зависимости от уровня стресса, а также минимальные и целенаправленные воздействия для изменения эмоционального состояния водителя.

Здравоохранение

Социальные роботы, равно как и все большее число роботов, используемых в здравоохранении, выигрывают от наличия эмоционального интеллекта, поскольку это позволяет им точнее определять эмоциональное состояние пользователей и пациентов и соответствующим образом корректировать свои действия или программу. Это особенно важно в странах со стареющим населением и/или нехваткой молодых работников для удовлетворения их потребностей. Аффективные вычисления также применяются при разработке коммуникативных технологий для людей с аутизмом. Эмоциональная составляющая текста также привлекает все больше внимания, особенно в контексте так называемого эмоционального или аффективного интернета.

Видеоигры

Эмоциональные видеоигры могут получать доступ к эмоциональному состоянию игроков с помощью устройств биообратной связи. Особенно простая форма биообратной связи реализована в геймпадах, измеряющих силу нажатия на кнопки: исследования показали, что это сильно коррелирует с уровнем возбуждения игрока. На другом конце спектра находятся интерфейсы "мозг-компьютер". Эмоциональные игры применяются в медицинских исследованиях для поддержки эмоционального развития детей с аутизмом.

Психомоторная тренировка

Методы обучения психомоторным операциям, таким как управление и маневрирование, применяются в различных областях, включая авиацию, транспорт и медицину. Интеграция возможностей аффективных вычислений в такие системы обучения, в соответствии с принципами адаптивной автоматизации, доказала свою эффективность в повышении качества обучения и сокращении необходимой продолжительности подготовки.

Другие применения

Аффективные вычисления имеют потенциальные применения во взаимодействии человека и компьютера, например, аффективные зеркала, позволяющие пользователю видеть свою производительность; агенты мониторинга эмоций, предупреждающие перед отправкой гневного письма; или даже музыкальные плееры, подбирающие композиции в зависимости от настроения. Румынский исследователь доктор Нику Себе в одном из интервью предложил анализировать выражение лица человека во время использования определенного продукта (в качестве примера он привел мороженое). Компании могли бы использовать такой анализ, чтобы оценить, насколько хорошо продукт будет воспринят целевой аудиторией. Распознавание аффективного состояния также можно использовать для оценки воздействия телевизионной рекламы, записывая реакцию человека в режиме реального времени и анализируя его выражение лица. Усреднив результаты, полученные от большой группы испытуемых, можно определить, достигает ли рекламная кампания (или фильм) желаемого эффекта и какие элементы привлекают зрителя больше всего.

Когнитивные и интеракционные подходы

В области взаимодействия человека и компьютера когнитивистская или "информационная модель" эмоций, предложенная Розалинд Пикард, подвергалась критике и противопоставлялась "посткогнитивистскому" или "интеракциональному" прагматическому подходу, развиваемому Кирстен Бёнер и другими, которые рассматривают эмоции как изначально социальные. Пикард фокусируется на взаимодействии человека и компьютера, и ее цель в области аффективных вычислений – "наделить компьютеры способностью распознавать, выражать и, в некоторых случаях, 'испытывать' эмоции".