Введение
Сенсорная замена — это преобразование характеристик одной сенсорной модальности в стимулы другой сенсорной модальности. Система сенсорной замены состоит из трех компонентов: сенсора, системы сопоставления и стимулятора. Сенсор регистрирует стимулы и передает их системе сопоставления, которая интерпретирует эти сигналы и передает их стимулятору. Если сенсор получает сигналы, которые изначально были недоступны пользователю, это является случаем сенсорного расширения. Сенсорная замена связана с человеческим восприятием и пластичностью человеческого мозга и, следовательно, позволяет более глубоко изучать эти аспекты нейронауки с помощью нейровизуализации. Системы сенсорной замены могут помочь людям восстановить способность воспринимать определенную нарушенную сенсорную модальность, используя сенсорную информацию от работающей сенсорной модальности.
История
Идея сенсорной замены была предложена в 1980-х годах Полом Бахом-и-Ритой как способ использования одной сенсорной модальности, преимущественно тактильной, для получения информации об окружающей среде, которая затем используется другой сенсорной модальностью, преимущественно зрением. Впоследствии, вся эта область была рассмотрена Хаимом Мейером Шеффом в работе "Экспериментальная модель для изучения изменений в организации обработки сенсорной информации у человека посредством разработки и тестирования неинвазивных протезов для людей с сенсорными нарушениями". Первая система сенсорной замены была разработана Бахом-и-Ритой и соавторами для изучения пластичности мозга у людей, слепых от рождения. После этого исторического изобретения сенсорная замена стала основой для множества исследований в области перцептивной и когнитивной нейронауки. Сенсорная замена часто используется для проверки предсказаний, вытекающих из концепции воплощенного познания. В рамках этой теоретической модели, в частности, исследуется концепция сенсомоторных контингенций с использованием сенсорной замены. Более того, сенсорная замена внесла вклад в изучение функций мозга, человеческого познания и реабилитации.
Физиология
Когда человек слепнет или глухеет, он обычно не теряет способности слышать или видеть; он просто теряет способность передавать сенсорные сигналы от периферии (сетчатки для зрения и улитки для слуха) в мозг. Поскольку пути обработки зрительной информации остаются неповрежденными, человек, потерявший способность извлекать данные из сетчатки, все еще может видеть субъективные образы, используя данные, полученные из других сенсорных модальностей, таких как осязание или слух. В обычной зрительной системе данные, собранные сетчаткой, преобразуются в электрический импульс в зрительном нерве и передаются в мозг, который воссоздает изображение и воспринимает его. Поскольку именно мозг отвечает за конечное восприятие, возможно сенсорное замещение. При сенсорном замещении неповрежденная сенсорная модальность передает информацию в области зрительного восприятия мозга, позволяя человеку воспринимать зрение. При сенсорном замещении информация, полученная от одной сенсорной модальности, может достигать мозговых структур, физиологически связанных с другими сенсорными модальностями. Сенсорное замещение осязания на зрение передает информацию от тактильных рецепторов в зрительную кору для интерпретации и восприятия. Например, с помощью фМРТ можно определить, какие части мозга активируются во время сенсорного восприятия. У слепых людей наблюдается, что, хотя они получают только тактильную информацию, их зрительная кора также активируется при восприятии зрительных объектов. Также возможно сенсорное замещение осязания на осязание, когда информация от тактильных рецепторов одной части тела используется для восприятия осязания в другой части. Например, в одном эксперименте, проведенном Бахом-и-Рита, удалось восстановить тактильное восприятие у пациента, потерявшего периферическую чувствительность из-за лепры.
Технологическая поддержка
Для достижения сенсорной замены и стимуляции мозга в отсутствие функционирующих органов чувств, способных передавать информацию, машины могут использоваться для осуществления трансдукции сигнала вместо этих органов. Этот интерфейс "мозг-машина" собирает внешние сигналы и преобразует их в электрические сигналы, которые мозг интерпретирует. Обычно для сбора визуальных или слуховых стимулов, заменяющих утраченное зрение и слух соответственно, используются камера или микрофон. Визуальные или слуховые данные, полученные с датчиков, преобразуются в тактильные стимулы, которые затем передаются в мозг для визуального и слухового восприятия. Ключевым является то, что это преобразование сохраняет сенсомоторную взаимосвязь, присущую соответствующей сенсорной модальности. Это и все другие виды сенсорной замены возможны только благодаря нейропластичности. Подобная кросс-модальная пластичность была также выявлена при функциональной нейровизуализации врожденно слепых пациентов, которая показала кросс-модальную активацию затылочной коры при выполнении перцептивных задач, таких как чтение шрифта Брайля, тактильное восприятие, распознавание тактильных объектов, локализация звука и различение звуков.
Восприятие против ощущения
Рассматривая физиологические аспекты сенсорной замены, важно различать ощущение и восприятие. Основной вопрос, возникающий в связи с этим разграничением, заключается в следующем: видят ли слепые люди или воспринимают возможность видеть, собирая воедино различные сенсорные данные? В то время как ощущение поступает по одной модальности – зрительной, слуховой, тактильной и т.д. – восприятие, возникающее в результате сенсорной замены, не является одной модальностью, а результатом межмодальных взаимодействий. Таким образом, можно заключить, что сенсорная замена зрения вызывает зрительное восприятие у зрячих, а у слепых – слуховое или тактильное. Иными словами, слепые люди воспринимают, что видят, посредством осязания и слуха при использовании сенсорной замены. В экспериментах с устройством тактильной визуальной сенсорной замены (TVSS), разработанным Бах-и-Рита, испытуемые описывали опыт восприятия от TVSS как особенно зрительный, так что объекты воспринимались как находящиеся во внешнем пространстве, а не на спине или коже. Последующие исследования с использованием TVSS показали, что такие изменения восприятия возможны только тогда, когда участники могли активно исследовать окружающую среду с помощью TVSS. Эти результаты были подтверждены многими другими исследованиями, в которых тестировались различные системы замены у слепых испытуемых, такие как замена зрения тактильной стимуляцией, замена зрения слуховой стимуляцией и замена зрения вестибулярной стимуляцией. Аналогичные результаты были получены и у зрячих испытуемых с завязанными глазами, что дополнительно подтверждает теорию сенсомоторной контингентности.
Различные применения
Приложения не ограничиваются людьми с инвалидностью, но также включают в себя художественные представления, игры и дополненную реальность. Некоторые примеры – это замена визуальных стимулов на аудио- или тактильные, а также аудиостимулов на тактильные. К наиболее известным относятся, вероятно, тактильная сенсорная замена зрения (ТСЗЗ) Пола Баха и Риты, разработанная совместно с Картером Коллинзом в Институте Смита-Кеттлвелла, и подход Питера Мейджера «Видеть со звуком» (The vOICe). Технические разработки, такие как миниатюризация и электрическая стимуляция, способствуют прогрессу в создании устройств сенсорной замены. В системах сенсорной замены обычно используются датчики для сбора данных из внешней среды. Эти данные затем передаются в систему сопряжения, которая интерпретирует и преобразует информацию, после чего передает ее стимулятору. Этот стимулятор, в конечном итоге, стимулирует функционирующую сенсорную модальность. Из-за быстрой адаптации некоторых рецепторов к продолжительному воздействию, для их оптимальной активации требуются быстро меняющиеся тактильные стимуляционные системы. Среди всех этих механорецепторов, корпускула Пачиния обладает наибольшей чувствительностью к высокочастотным вибрациям в диапазоне от нескольких десятков Гц до нескольких кГц благодаря своему специализированному механизму механотрансдукции. Существуют два основных типа стимуляторов: электротактильные и вибротактильные. Электротактильные стимуляторы используют непосредственную электрическую стимуляцию нервных окончаний в коже для инициирования потенциалов действия; возникающие ощущения – жжение, зуд, боль, давление и т.д. – зависят от стимулирующего напряжения. Вибротактильные стимуляторы используют давление и свойства механорецепторов кожи для инициирования потенциалов действия. Обе системы стимуляции имеют свои преимущества и недостатки. В электротактильных системах стимуляции на вызванное ощущение влияет множество факторов: стимулирующее напряжение, ток, форма волны, размер электрода, материал, сила контакта, местоположение на коже, ее толщина и гидратация. Эта последняя техника проходит клинические испытания для различных применений и одобрена для помощи слепым в Великобритании. В качестве альтернативы, предложено использовать нёбо как область, где можно ощущать слабые токи. Электростатические матрицы исследуются как устройства взаимодействия человека и компьютера для сенсорных экранов. Они основаны на явлении, называемом электровибрацией, которое позволяет ощущать токи микроамперного уровня как шероховатость поверхности. Вибротактильные системы используют свойства механорецепторов кожи, поэтому для них требуется меньше параметров, подлежащих контролю, по сравнению с электротактильной стимуляцией. Однако системы вибротактильной стимуляции должны учитывать быструю адаптацию тактильного восприятия. Другим важным аспектом тактильных систем сенсорной замены является местоположение тактильной стимуляции. Тактильные рецепторы обильно представлены на кончиках пальцев, лице и языке, но редки на спине, ногах и руках. Необходимо учитывать пространственное разрешение рецептора, поскольку оно оказывает существенное влияние на разрешение сенсорной замены, а также на создание карт препятствий. Ниже представлены описания некоторых современных тактильных систем замещения.
Тактильно-визуальное
Одной из самых ранних и известных форм устройств сенсорной замены был TVSS, разработанный Полом Бахом-и-Рита, который преобразовывал изображение с видеокамеры в тактильное и передавал его на тактильные рецепторы на спине слепого испытуемого. Таким образом, тактильные ощущения могут использоваться для визуального восприятия. Устройства сенсорной замены также добились успеха с появлением носимых тактильных актуаторов, таких как вибротактильные двигатели, соленоиды, диоды Пельтье и другие. В Центре когнитивных повсеместных вычислений при Университете штата Аризона исследователи разработали технологии, позволяющие слепым людям воспринимать информацию об окружающей социальной обстановке с помощью вибротактильных ремней (Haptic Belt) и перчаток (VibroGlove). Обе технологии используют миниатюрные камеры, которые крепятся к очкам, носимым слепым пользователем. Haptic Belt передает вибрации, указывающие направление и расстояние до человека, стоящего перед пользователем, а VibroGlove использует пространственно-временное отображение вибрационных паттернов для передачи мимики собеседника. Кроме того, было показано, что даже очень простые сигналы, указывающие на наличие или отсутствие препятствий (с помощью небольших вибрационных модулей, расположенных в стратегически важных точках тела), могут быть полезны для навигации, стабилизации походки и снижения тревожности при перемещении в незнакомом пространстве. Этот подход, известный как "хаптический радар", изучается с 2005 года исследователями Токийского университета в сотрудничестве с Университетом Рио-де-Жанейро. К аналогичным продуктам относятся жилет и ремень Eyeronman, а также система стимуляции сетчатки лба.
Тактильная и слуховая
Нейробиолог Дэвид Иглман представил новое устройство, преобразующее звук в тактильные ощущения, на TED в 2015 году. Его лабораторные исследования впоследствии выросли в компанию Neosensory, базирующуюся в Пало-Альто, Калифорния. Устройства Neosensory захватывают звук и преобразуют его в сложные паттерны прикосновений на коже. Эксперименты, проведенные Schurmann и др., показали, что тактильные ощущения могут активировать слуховую кору головного мозга человека. В настоящее время вибротактильные стимулы могут использоваться для улучшения слуха у людей с нормальным слухом и нарушениями слуха. Чтобы проверить, какие слуховые области активируются прикосновением, Schurmann и др. тестировали испытуемых, стимулируя их пальцы и ладони вибрационными импульсами, а кончики пальцев – тактильным давлением. Они обнаружили, что тактильная стимуляция пальцев приводит к активации слухового пояса, что указывает на связь между слухом и осязанием. Устройство предназначено для передачи нормального диапазона слуха в девять октав через 216 электродов в последовательные зоны нервов, расположенные рядом с позвоночником.
Тактильная вестибулярная
У некоторых людей с нарушениями равновесия или побочными реакциями на антибиотики развивается двустороннее поражение вестибулярного аппарата (ДПВА). У них возникают трудности с поддержанием позы, неустойчивая походка и осциллопсия. Тайлер и соавторы исследовали восстановление контроля над позой посредством тактильной замены вестибулярной сенсорной информации. Поскольку пациенты с ДПВА не могут интегрировать визуальные и тактильные сигналы, им очень трудно стоять. Используя акселерометр, закрепленный на голове, и интерфейс мозг-компьютер, использующий электротактильную стимуляцию языка, информация об ориентации головы и тела передавалась пациенту, чтобы предоставить новый источник данных для ориентации и поддержания правильной позы.
Система тактильной обратной связи для протезных конечностей
Развитие новых технологий сделало возможным оснащение пациентов протезами рук, обладающими тактильной и кинестетической чувствительностью. Хотя это и не является системой чистого сенсорного замещения, она использует те же принципы для восстановления восприятия ощущений. Некоторые методы тактильной обратной связи для восстановления ощущения прикосновения у ампутированных включают прямую или микростимуляцию афферентов тактильных нервов. Технология vOICe была изобретена в 1990-х годах Питером Мейером и использует общее преобразование видео в звук, сопоставляя высоту с тоном и яркость с громкостью при сканировании любого видеокадра слева направо.
LibreAudioView (включает в себя
Этот проект, представленный в 2015 году, предлагает новое универсальное мобильное устройство и метод сонофикации, специально разработанный для пешеходного передвижения незрячих и слабовидящих людей. Он осуществляет сонофикацию пространственной информации из видеопотока в реальном времени, полученного при стандартной частоте кадров. Устройство состоит из миниатюрной камеры, интегрированной в оправу очков, которая подключена к мини-компьютеру, работающему от аккумулятора, и носится на шее с помощью ремня. Аудиосигнал передается пользователю через наушники. Эта система имеет два режима работы. В первом режиме, когда пользователь неподвижен, сонофицируются только границы движущихся объектов. Во втором режиме, когда пользователь движется, сонофицируются границы как статических, так и движущихся объектов. Таким образом, видеопоток упрощается путем выделения только границ объектов, которые могут представлять собой опасные препятствия. Система позволяет локализовать движущиеся объекты, оценивать их траектории и обнаруживать приближающиеся объекты.
ПСВА
Еще одним успешным устройством для сенсорной замены зрения слухом является протез, заменяющий зрение слухом (PSVA). Эта система использует головную телекамеру, обеспечивающую преобразование визуальных образов в звук в режиме реального времени. Когда пациент перемещается, устройство захватывает визуальные кадры с высокой частотой и генерирует соответствующие сложные звуки, позволяющие осуществлять распознавание. Другие устройства визуально-слуховой замены отличаются от шкального отображения изображений в системе vOICe. Кромофон Зака Капалбо использует базовый цветовой спектр, сопоставленный с различными звуками и тембрами, предоставляя пользователям информацию о восприятии, выходящую за пределы возможностей vOICe.
Имплантаты нервной системы
С помощью стимулирующих электродов, имплантированных в нервную систему человека, можно подавать электрические импульсы, которые получатель способен выучить и надежно распознавать. Кевин Уорвик успешно продемонстрировал в экспериментах, что сигналы от датчиков силы/прикосновения на роботизированной руке могут быть использованы в качестве средства коммуникации.
Терминология
Было высказано мнение, что термин "замещение" вводит в заблуждение, поскольку речь идет скорее о "дополнении" или "расширении", а не о замене сенсорной модальности.
Сенсорная агментация
Основываясь на исследованиях в области сенсорной замены, сейчас начинаются исследования возможности расширения сенсорного аппарата тела. Цель состоит в том, чтобы расширить способность тела воспринимать аспекты окружающей среды, которые обычно не доступны для восприятия в естественном состоянии. Более того, эта новая информация об окружающей среде может использоваться не для прямой замены сенсорного органа, а для предоставления сенсорной информации, обычно воспринимаемой посредством другой, потенциально поврежденной, сенсорной модальности. Таким образом, сенсорное усиление широко используется как в реабилитационных целях, так и для изучения перцептивной и когнитивной нейронауки.
Активная работа в этом направлении ведется, в частности, в рамках проектов e sense Открытого университета и Эдинбургского университета, feelSpace Университета Оснабрюка и hearSpace Парижского университета. Результаты исследований сенсорного усиления (а также сенсорной замены в целом), изучающие возникновение перцептивного опыта (квалиа) из активности нейронов, имеют значение для понимания сознания.