Сезімдік алмастыру – бір сезімдік модальдықты екіншісіне түрлендіру. Жүйе сенсор, байланыс және стимулятордан тұрады. Ми пластикалық қабілетін зерттеуге көмектеседі.
Ағылшыншамен салыстырыңыз: абзацты басыңыз — түпнұсқа терезеде ашылады. Абзац астындағы EN түймесі оны мәтін ішінде көрсетеді.
Мазмұны
Кіріспе
Сенсорлық алмастыру – бір сенсорлық модальділіктің қасиеттерін басқа сенсорлық модальділіктің стимулдарына түрлендіру. Сенсорлық алмастыру жүйесі үш бөліктен тұрады: сенсор, байланыс жүйесі және стимулятор. Сенсор стимулдарды тіркеп, оларды байланыс жүйесіне жібереді, ол осы сигналдарды интерпрециялап, стимуляторға таратады. Егер сенсор оның иесіне бастапқыда қолжетімсіз сигналдарды алатын болса, онда бұл сенсорлық күшейту болып табылады. Сенсорлық алмастыру адамның сезім қабылдауы және мидың пластикалық қасиеттерін зерттейді, сондықтан нейровизуализация арқылы нейробиологияның осы аспектілерін одан әрі зерттеуге мүмкіндік береді. Сенсорлық алмастыру жүйелері жұмыс істейтін сенсорлық модальділіктен алынған сенсорлық ақпаратты пайдалану арқылы, бұзылған сенсорлық модальділікті қабылдау қабілетін қалпына келтіру арқылы адамдарға көмектесе алады.
Sensory substitution is a change of the characteristics of one sensory modality into stimuli of another sensory modality. A sensory substitution system consists of three parts: a sensor, a coupling system, and a stimulator. The sensor records stimuli and gives them to a coupling system which interprets these signals and transmits them to a stimulator. In case the sensor obtains signals of a kind not originally available to the bearer it is a case of sensory augmentation. Sensory substitution concerns human perception and the plasticity of the human brain; and therefore, allows us to study these aspects of neuroscience more through neuroimaging. Sensory substitution systems may help people by restoring their ability to perceive certain defective sensory modality by using sensory information from a functioning sensory modality.
Тарих
Сезімдік алмастыру идеясы 1980-ші жылдары Пол Бах-и Рита тарапынан бір сезімдік жолмен, негізінен тактильді сезім арқылы, қоршаған орта туралы ақпаратты алу және оны басқа сезімдік жолмен, әсіресе көру арқылы пайдалану құралы ретінде ұсынылды. Кейіннен, Хайм Мейер Шефф "Дендік қабілеттері бұзылған адамдарға арналған инвазивті емес протездік құрылғыларды жобалау және сынау арқылы адамның сезімдік ақпаратты өңдеу ұйымындағы өзгерістерді зерттеудің тәжірибелік моделі" деген еңбегінде осы саланың барлық аспектілерін талқылады. Алғашқы сезімдік алмастыру жүйесі Бах-и Рита және авторлар тобы туғаннан соқыр адамдардың миының пластикалық қабілетін арттыру мақсатында жасалды. Осы тарихи өнертабыстан кейін сезімдік алмастыру көптеген зерттеулердің негізіне айналды, олар сезімталдық және когнитивтік нейроғылымды зерттейді. Сезімдік алмастыру жиі денелі танымдық аясының болжамдарын зерттеу үшін қолданылады. Теориялық тұрғыда, сенсорлық-моторлық байланыстар тұжырымдамасы сезімдік алмастыруды пайдалану арқылы зерттеледі. Бұдан әрі, сезімдік алмастыру мидың қызметін, адамның танымдық қабілеттерін және оңалтуды зерттеуге үлкен үлес қосты.
The idea of sensory substitution was introduced in the 1980s by Paul Bach y Rita as a means of using one sensory modality, mainly tactition, to gain environmental information to be used by another sensory modality, mainly vision. Thereafter, the entire field was discussed by Chaim Meyer Scheff in "Experimental model for the study of changes in the organization of human sensory information processing through the design and testing of non invasive prosthetic devices for sensory impaired people". The first sensory substitution system was developed by Bach y Rita et al. as a means of brain plasticity in congenitally blind individuals. After this historic invention, sensory substitution has been the basis of many studies investigating perceptive and cognitive neuroscience. Sensory substitution is often employed to investigate predictions of the embodied cognition framework. Within the theoretical framework specifically the concept of sensorimotor contingencies is investigated utilizing sensory substitution. Furthermore, sensory substitution has contributed to the study of brain function, human cognition and rehabilitation.
Физиологиясы
Адам соқыр немесе саңырау болғанда, көру немесе есту қабілетін әдетте жоғалтпайды; олар жай ғана перифериядан (көру үшін торша, есту үшін кохлеа) миға сезімдік сигналдарды жеткізу қабілетін жоғалтады. Көзбен қарау процестерінің жолдары сақталып қалғандықтан, торшадан мәліметтерді алу қабілетін жоғалтқан адам, басқа сезімдік түрлер – тиіс немесе есту арқылы жиналған мәліметтерді пайдаланып, субъективті бейнелерді көре алады. Қалыпты көру жүйесінде торша жинаған мәліметтер көру нервісінде электрлік стимулға айналып, миға жіберіледі, ол бейнені қайта жасайды және оны қабылдайды. Соңғы қабылдау үшін ми жауапты болғандықтан, сезімдік алмастыру мүмкін. Сезімдік алмастыру кезінде сақталған сезімдік түр мидың көру қабылдау аймақтарына ақпаратты жеткізеді, соның арқасында адам көруді сезіне алады. Сезімдік алмастыру арқылы бір сезімдік түрден алынған ақпарат физиологиялық тұрғыдан басқа сезімдік түрлермен байланысты ми құрылымдарына жете алады. Тиіс сезімдік алмастыру сенсорлық рецепторлардан ақпаратты интерпретация мен қабылдау үшін көру қабығына жібереді. Мысалы, функционалдық МРТ (fMRI) арқылы сезімдік қабылдау кезінде мидың қай бөліктері белсенді болатынын анықтауға болады. Соқыр адамдарда, олар тек тиіс ақпаратты қабылдағанда, көру объектілерін қабылдаған кезде көру қабықтарының да белсенді болатыны байқалады. Дене мүшелерінің бір аймағындағы тиіс рецепторлардан алынған ақпаратты басқа аймақтағы тиіс сезіну үшін пайдалануға болатын тиіс сезімдік алмастыру да мүмкін. Мысалы, Бах и Ританың тәжірибесінде маза ауруынан шеткі сезімін жоғалтқан науқаста тиіс сезінуді қалпына келтіруге қол жеткізілді.
When a person becomes blind or deaf they generally do not lose the ability to hear or see; they simply lose their ability to transmit the sensory signals from the periphery (retina for visions and cochlea for hearing) to brain. Since the vision processing pathways are still intact, a person who has lost the ability to retrieve data from the retina can still see subjective images by using data gathered from other sensory modalities such as touch or audition. In a regular visual system, the data collected by the retina is converted into an electrical stimulus in the optic nerve and relayed to the brain, which re creates the image and perceives it. Because it is the brain that is responsible for the final perception, sensory substitution is possible. During sensory substitution an intact sensory modality relays information to the visual perception areas of the brain so that the person can perceive sight. With sensory substitution, information gained from one sensory modality can reach brain structures physiologically related to other sensory modalities. Touch to visual sensory substitution transfers information from touch receptors to the visual cortex for interpretation and perception. For example, through fMRI, one can determine which parts of the brain are activated during sensory perception. In blind persons, it is seen that while they are only receiving tactile information, their visual cortex is also activated as they perceive sight objects. Touch to touch sensory substitution is also possible, wherein information from touch receptors of one region of the body can be used to perceive touch in another region. For example, in one experiment by Bach y Rita, touch perception was able to be restored in a patient who lost peripheral sensation due to leprosy.
Технологиялық қолдау
Сезім мүшелерінің жұмысын толықтыру және сезім мүшелерінің зақымдануына қарамастан миды стимуляциялау үшін, сигналдарды беру үшін сезім мүшелерінің орнына машиналар қолданылуы мүмкін. Бұл ми-машина интерфейсі сыртқы сигналдарды жинап, миға түсіндіру үшін оларды электр сигналдарына түрлендіреді. Көбінесе, жоғалған көру және есту қабілетін алмастыру үшін камера немесе микрофон көру немесе есту стимулдарын жинау үшін пайдаланылады. Сенсорлардан алынған визуалды немесе аудиторлық деректер тактильді стимулдарға айналдырылып, содан кейін миға көру және есту сезімі үшін жіберіледі. Маңыздысы, бұл түрлендіру әрбір сезімдік режимге тән сенсомоторлық байланысты сақтайды. Осы және барлық сезімдік алмастыру түрлері тек нейропластикалық қабілеттердің арқасында ғана мүмкін. Туа біткен соқыр пациенттердің функционалдық бейнелеуі арқылы осындай кросс-модальды пластикалық өзгерістер де анықталды, ол Брайльді оқу, тактильді сезіну, тактильді объектілерді тану, дыбыстың орнын анықтау және дыбысты ажырату сияқты қабылдау тапсырмалары кезінде омыртқа қабығының кросс-модальды жұмылдырылуын көрсетті.
In order to achieve sensory substitution and stimulate the brain without intact sensory organs to relay the information, machines can be used to do the signal transduction, rather than the sensory organs. This brain–machine interface collects external signals and transforms them into electrical signals for the brain to interpret. Generally, a camera or a microphone is used to collect visual or auditory stimuli that are used to replace lost sight and hearing, respectively. The visual or auditory data collected from the sensors is transformed into tactile stimuli that are then relayed to the brain for visual and auditory perception. Crucially, this transformation sustains the sensorimotor contingency inherent to the respective sensory modality. This and all types of sensory substitution are only possible due to neuroplasticity. Such cross modal plasticity was also found through functional imaging of congenitally blind patients which showed a cross modal recruitment of the occipital cortex during perceptual tasks such as Braille reading, tactile perception, tactual object recognition, sound localization, and sound discrimination.
Түсінік пен сезім
Сезім алмастырудың физиологиялық аспектілерін қарастырғанда, сезіну мен қабылдауды ажырату маңызды. Осы ерекшелену тудыратын басты сұрақ: соқыр адамдар түрлі сезімдік деректерді біріктіре отырып көреді ме, әлде көруді қабылдайды ма? Сезіну бір арнамен келеді – көру, есту, сезу сияқты, ал сезім алмастыру арқылы қабылдау бір арна емес, түрлі арналардың өзара әрекеттесуінің нәтижесі. Сондықтан, көруді сезімдік алмастырумен ауыстыру көретін адамдарда көруге ұқсас қабылдауды тудырса, соқыр адамдарда есту немесе сезіну арқылы қабылдауға әкеледі деген қорытындыға келді. Қысқасы, соқыр адамдар сезімдік алмастыру арқылы сезіну және есту арқылы көруді қабылдайды. Bach y Rita әзірлеген тактильді көру сезімдік алмастыру (TVSS) құрылғысымен жасалған тәжірибелерде қатысушылар TVSS арқылы алатын қабылдау тәжірибесін ерекше көру ретінде сипаттады, сондай-ақ заттар сыртқы кеңістікте, емес, артқы жағында немесе теріде орналасқандай сезілді. TVSS қолданып жүргізілген қосымша зерттеулер көрсеткендей, мұндай қабылдау өзгерістері қатысушылар TVSS арқылы ортаны белсенді зерттеген кезде ғана мүмкін. Бұл нәтижелер соқыр адамдармен түрлі алмастыру жүйелерін сынаған көптеген басқа зерттеулермен расталды, мысалы, көруді сезінуге, көруді естуге және көруді вестибулярлық сезімге алмастыру. Осындай нәтижелер көздері байланған көретін адамдарда да байқалды, бұл сенсомоторлық байланыс теориясын одан әрі қолдайды.
While considering the physiological aspects of sensory substitution, it is essential to distinguish between sensing and perceiving. The general question posed by this differentiation is: Are blind people seeing or perceiving to see by putting together different sensory data? While sensation comes in one modality – visual, auditory, tactile etc. – perception due to sensory substitution is not one modality but a result of cross modal interactions. It is therefore concluded that while sensory substitution for vision induces visual like perception in sighted individuals, it induces auditory or tactile perception in blind individuals. In short, blind people perceive to see through touch and audition with sensory substitution. Through experiments with a Tactile visual sensory substitution (TVSS) device developed by Bach y Rita subjects described the perceptual experience of the TVSS as particularly visual, such that objects were perceived as if located in the external space and not on the back or skin. Further studies using the TVSS showed that such perceptual changes were only possible when the participants could actively explore their environment with the TVSS. These results have been underpinned by many other studies testing different substitution systems with blind subjects such as vision to tactile substitution, vision to auditory substitution and vision to vestibular substitution Such results are also reported in sighted subjects, when blindfolded and deliver further support for the sensorimotor contingency theory.
Әртүрлі қолдану түрлері
Қолданбалар мүгедектерге ғана емес, сонымен қатар көркемдік көрсетілімдерге, ойындарға және толықтырылған шындыққа да арналған. Кейбір мысалдар – визуалды стимулдарды аудио немесе тактильді стимулдармен, ал аудио стимулдарды тактильді стимулдармен алмастыру. Ең танымал мысалдардың бірі – Пол Бах и Ританың Картер Коллинзбен бірлесіп Смит Кеттлвелл институтында жасаған Тактильдік Көру Сенсорлық Ауыстыру (ТККК) және Питер Мейжердің «Дыбыспен көру» әдісі (The vOICe). Минимизация және электрлік стимуляция сияқты техникалық жетістіктер сезімдік алмастыру құрылғыларының дамуына көмектеседі. Сезімдік алмастыру жүйелерінде әдетте сыртқы ортадан деректерді жинап алатын сенсорлар болады. Бұл деректер содан кейін ақпаратты түсіндіріп, түрлендіретін және оны стимуляторға жіберетін біріктіру жүйесіне беріледі. Бұл стимулятор соңында жұмыс істейтін сенсорлық жолды ынталандырады. Кейбір рецепторлардың тұрақты стимулдарға тез бейімделуіне байланысты, оларды оңтайлы белсендіру үшін жылдам өзгеріп отыратын тактильді стимулдар қажет. Барлық механорецепторлардың ішінде Пачини денешігі жоғары жиілікті дірілге ең жоғары сезімталдықты ұсынады, оның арнайы механотрансдукция механизмі арқасында бірнеше ондаған Гц-тен бірнеше кГц-ға дейін. Стимуляторлардың екі түрі бар: электротактильді және вибротактильді. Электротактильді стимуляторлар терідегі нерв аяқтарын тікелей электрлік стимуляция арқылы әрекет потенциалын тудырады; күйік, қышыма, ауырсыну, қысым сияқты сезімдер стимуляциялық кернеуге байланысты. Вибротактильді стимуляторлар қысымды және терінің механорецепторларының қасиеттерін пайдаланып әрекет потенциалын тудырады. Бұл екі стимуляция жүйесінің де артықшылықтары мен кемшіліктері бар. Электротактильді стимуляциялау жүйелерінде стимуляциялық кернеу, ток, толқын пішіні, электродтың көлемі, материалы, контактілік күші, терінің орны, қалыңдығы және гидратациясы сияқты көптеген факторлар сезімге әсер етеді. Бұл әдіс түрлі қолданулар үшін клиникалық сынақтардан өтуде және Ұлыбританияда көзі нашар көрушілерге көмек көрсету үшін бекітілген. Балама ретінде, ауыздың төбесі төменгі токтарды сезінуге қолайлы орын ретінде ұсынылған. Электростатикалық массивтер сенсорлық экрандар үшін адам-компьютерлік өзара әрекеттесу құрылғылары ретінде зерттеледі. Олар микроамперлік токтарды беттегі тегіссіздік ретінде сезінетін электровибрация деп аталатын құбылысқа негізделген. Вибротактильді жүйелер терідегі механорецепторлардың қасиеттерін пайдаланады, сондықтан электротактильді стимуляциямен салыстырғанда бақылауды қажет ететін параметрлердің саны аз. Дегенмен, вибротактильді стимуляция жүйелері тактильді сезімнің тез бейімделуін ескеруі керек. Тактильдік сезімдік алмастыру жүйелерінің тағы бір маңызды аспектісі – тактильдік стимуляцияның орналасуы. Тактильді рецепторлар саусақтардың ұштарында, бетте және тілде көп, ал арқада, аяқтарда және қолдарда сирек кездеседі. Рецептордың кеңістіктік ажыратымдылығын ескеру өте маңызды, өйткені ол сезімдік алмастырудың ажыратымдылығына үлкен әсер етеді. және кедергілердің карталарын жасауға көмектеседі. Төменде қазіргі тактильдік алмастыру жүйелерінің сипаттамаларын таба аласыз.
Applications are not restricted to disabled persons, but also include artistic presentations, games, and augmented reality. Some examples are substitution of visual stimuli to audio or tactile, and of audio stimuli to tactile. Some of the most popular are probably Paul Bach y Rita's Tactile Vision Sensory Substitution (TVSS), developed with Carter Collins at Smith Kettlewell Institute and Peter Meijer's Seeing with Sound approach (The vOICe). Technical developments, such as miniaturization and electrical stimulation help the advance of sensory substitution devices. In sensory substitution systems, we generally have sensors that collect the data from the external environment. This data is then relayed to a coupling system that interprets and transduces the information and then replays it to a stimulator. This stimulator ultimately stimulates a functioning sensory modality. Because of the rapid adaptation of some of these receptors to sustained stimuli, those receptors require rapidly changing tactile stimulation systems in order to be optimally activated. Among all these mechanoreceptors Pacinian corpuscle offers the highest sensitivity to high frequency vibration starting from a few tens of Hz to a few kHz with the help of its specialized mechanotransduction mechanism. There have been two different types of stimulators: electrotactile or vibrotactile. Electrotactile stimulators use direct electrical stimulation of the nerve ending in the skin to initiate the action potentials; the sensation triggered, burn, itch, pain, pressure etc. depends on the stimulating voltage. Vibrotactile stimulators use pressure and the properties of the mechanoreceptors of the skin to initiate action potentials. There are advantages and disadvantages for both these stimulation systems. With the electrotactile stimulating systems a lot of factors affect the sensation triggered: stimulating voltage, current, waveform, electrode size, material, contact force, skin location, thickness and hydration. This latter technique is undergoing clinical trials for various applications, and been approved for assistance to the blind in the UK. Alternatively, the roof of the mouth has been proposed as another area where low currents can be felt. Electrostatic arrays are explored as human–computer interaction devices for touch screens. These are based on a phenomenon called electrovibration, which allows microamperre level currents to be felt as roughness on a surface. Vibrotactile systems use the properties of mechanoreceptors in the skin so they have fewer parameters that need to be monitored as compared to electrotactile stimulation. However, vibrotactile stimulation systems need to account for the rapid adaptation of the tactile sense. Another important aspect of tactile sensory substitution systems is the location of the tactile stimulation. Tactile receptors are abundant on the fingertips, face, and tongue while sparse on the back, legs and arms. It is essential to take into account the spatial resolution of the receptor as it has a major effect on the resolution of the sensory substitution. and obstacle maps. Below you can find some descriptions of current tactile substitution systems.
Тактильді-визуалды
Сезімдік алмастыру құрылғыларының ең ерте және ең танымал түрлерінің бірі – Пол Бах-и Ританың TVSS құрылғысы еді. Ол бейнекамерадан алынған бейнені тактильді бейнеге айналдырып, соқыр адамның денесіндегі тактильді рецепторлармен байланыстырды. Осылайша, тактильді сезімді көру қабылдауы үшін пайдалануға болады. Сезімдік алмастырулар вибротактильді моторлар, соленоидтар, пельтье диодтары сияқты киілетін тактильді актуаторлардың пайда болуымен де сәтті қолданылды. Аризона мемлекеттік университетінің когнитивтік және кең таралған есептеулер орталығындағы зерттеушілер соқыр адамдарға әлеуметтік жағдай туралы ақпаратты вибротактильді белбеулер (Haptic Belt) және қолғаптар (VibroGlove) арқылы қабылдауға мүмкіндік беретін технологиялар жасады. Екі технология да соқыр пайдаланушының көзілдірігіне орнатылған кішкентай камераларды пайдаланады. Haptic Belt пайдаланушының алдында тұрған адамның бағытын және қашықтығын білдіретін дірілдерді қамтамасыз етеді, ал VibroGlove әрекеттесу серігінің бет әлпетін жеткізу үшін дірілдердің кеңістіктік-уақыттық картасын қолданады. Сонымен қатар, кедергілердің болуын немесе болмауын көрсететін тіпті өте қарапайым сигналдар (дененің стратегиялық жерлерінде орналасқан кішкентай діріл модульдері арқылы) навигацияға, қадамдарды тұрақтандыруға және бейтаныс кеңістікте қозғалғандағы алаңдаушылықты азайтуға көмектеседі. Бұл тәсіл, "Haptic Radar" деп аталады және 2005 жылдан бері Токио университетінің зерттеушілері Рио-де-Жанейро университетімен бірлесіп зерттеп келеді. Осыған ұқсас өнімдерге Eyeronman жилеті мен белбеуі, сондай-ақ маңдайдың торлы жүйесі жатады.
One of the earliest and most well known form of sensory substitution devices was Paul Bach y Rita's TVSS that converted the image from a video camera into a tactile image and coupled it to the tactile receptors on the back of his blind subject. In this way, tactile sensation can be used for visual perception. Sensory substitutions have also been successful with the emergence of wearable haptic actuators like vibrotactile motors, solenoids, peltier diodes, etc. At the Center for Cognitive Ubiquitous Computing at Arizona State University, researchers have developed technologies that enable people who are blind to perceive social situational information using wearable vibrotactile belts (Haptic Belt) and gloves (VibroGlove). Both technologies use miniature cameras that are mounted on a pair of glasses worn by the user who is blind. The Haptic Belt provides vibrations that convey the direction and distance at which a person is standing in front of a user, while the VibroGlove uses spatio temporal mapping of vibration patterns to convey facial expressions of the interaction partner. Alternatively, it has been shown that even very simple cues indicating the presence or absence of obstacles (through small vibration modules located at strategic places in the body) can be useful for navigation, gait stabilization and reduced anxiety when evolving in an unknown space. This approach, called the "Haptic Radar" has been studied since 2005 by researchers at the University of Tokyo in collaboration with the University of Rio de Janeiro. Similar products include the Eyeronman vest and belt, and the forehead retina system.
Тактильді-аудиторлық
Нейробиолог Дэвид Иглман 2015 жылы TED-те дыбысты сезіну арқылы естуге мүмкіндік беретін жаңа құрылғысын ұсынды. Оның зертханалық зерттеулері кейін Калифорния штатының Пало-Альто қаласында орналасқан Neosensory атты компанияға дамыды. Neosensory құрылғылары дыбысты қабылдап, оны терідегі жоғары өлшемді сезімдік үлгілерге айналдырады. Schurmann және авторлардың эксперименттері тактильді сезімдердің адамның есту қабығын белсендіруге қабілетті екенін көрсетті. Қазіргі уақытта дірілдік стимулдар есту қабілеті бар және нашар естіп қалатын адамдардың естуын жақсарту үшін қолданылуы мүмкін. Есту аймақтарының сезіну арқылы белсендірілуін тексеру үшін Schurmann және авторлар қатысушылардың саусақтары мен алақандарын дірілмен, ал саусақ ұштарын тактильді қысыммен стимуляциялады. Олар саусақтың тактильді стимуляциясы есту белдеуінің белсенділігіне әкелетінін анықтады, бұл есту және тактильдік сезім арасында байланыс бар екенін көрсетеді. Бұл құрылғы 216 электрод арқылы 9 октавалық есту диапазонын тіреукеннің жанындағы сезімтал жүйке аймақтарына жеткізуге бағытталған.
Neuroscientist David Eagleman presented a new device for sound to touch hearing at TED in 2015; his laboratory research then expanded into a company based in Palo Alto, California, called Neosensory. Neosensory devices capture sound and turn them into high dimensional patterns of touch on the skin. Experiments by Schurmann et al. show that tactile senses can activate the human auditory cortex. Currently vibrotactile stimuli can be used to facilitate hearing in normal and hearing impaired people. To test for the auditory areas activated by touch, Schurmann et al. tested subjects while stimulating their fingers and palms with vibration bursts and their fingertips with tactile pressure. They found that tactile stimulation of the fingers lead to activation of the auditory belt area, which suggests that there is a relationship between audition and tactition. which aims at delivering a normal hearing range of nine octaves via 216 electrodes to sequential touch nerve zones, next to the spine.
Тактильді вестибулярлық
Тепе-теңдік бұзылысы немесе антибиотиктерге жағымсыз реакциясы бар кейбір адамдар екі жақты вестибулярлық зақымдануға (ВВЗ) шалдығады. Олар дене күйін сақтауда қиындық, тұрақсыз қадам және осциллопсияны бастан кешіреді. Тайлер және авторлар тобы вестибулярлық сезімдік алмастыру арқылы дене күйін бақылауды қалпына келтіруді зерттеді. BVD пациенттері көру және тактильді сигналдарды біріктіре алмайтындықтан, тұрып тұруда үлкен қиындықтарға тап болады. Басына бекітілген акселерометр және тілге электротактильді стимуляция қолданатын ми-компьютер интерфейсі арқылы науқасқа бас-дене бағдары туралы ақпарат жіберілді, осылайша олар өзін бағдарлау және дұрыс дене күйін сақтау үшін жаңа деректер көзіне қол жеткізді.
Some people with balance disorders or adverse reactions to antibiotics develop bilateral vestibular damage (BVD). They experience difficulty maintaining posture, unstable gait, and oscillopsia. Tyler et al. studied the restitution of postural control through a tactile for vestibular sensory substitution. Because BVD patients cannot integrate visual and tactile cues, they have a lot of difficulty standing. Using a head mounted accelerometer and a brain–computer interface that employs electrotactile stimulation on the tongue, information about head body orientation was relayed to the patient so that a new source of data is available to orient themselves and maintain good posture.
Протездік аяқ-қолдарға арналған тактильді кері байланыс жүйесі
Жаңа технологиялардың дамуы қазірде науқастарға тактильді және кинестетикалық сезімталдығы бар протездік қолдар ұсынуды ықтимал етті. Бұл толығымен сезімдік алмастыру жүйесі болмаса да, сезімдерді қабылдауды қалпына келтіру үшін соған ұқсас принциптерді пайдаланады. Ампутациядан өткендерге жанасу сезімін қайтарудың кейбір тактильді кері байланыс әдістері – тактильді жүйке афференттерін тікелей немесе микростимуляциялау болып табылады. vOICe технологиясы 1990 жылдары Питер Мейермен ойлап табылды және кез келген бейне кадрды солдан оңға қарай сканерлеу арқылы биіктікті дыбыс биіктігімен, ал жарықтылықты дыбыс күшімен байланыстыратын бейнеден дыбысқа жалпы карталауды қолданады.
The development of new technologies has now made it plausible to provide patients with prosthetic arms with tactile and kinesthetic sensibilities. While this is not purely a sensory substitution system, it uses the same principles to restore perception of senses. Some tactile feedback methods of restoring a perception of touch to amputees would be direct or micro stimulation of the tactile nerve afferents. The technology of the vOICe was invented in the 1990s by Peter Meijer and uses general video to audio mapping by associating height to pitch and brightness with loudness in a left to right scan of any video frame.
LibreAudioView дегенді көрсету
2015 жылы ұсынылған бұл жобада жаңа әмбебап мобильді құрылғы және көзі нашар адамдардың жаяу қозғалысы үшін арнайы жасалған дыбыстау әдісі ұсынылады. Ол стандартты кадр жылдамдығымен түсірілген бейне ағынынан кеңістіктік ақпаратты нақты уақыт режимінде дыбыстайды. Құрылғы көздікке орнатылған миниатюралық камерадан тұрады, ол мойынға таспамен бекітілген, батареямен жұмыс істейтін шағын компьютерге қосылған. Аудиосигнал пайдаланушыға құлаққап арқылы жіберіледі. Бұл жүйенің екі жұмыс режимі бар. Бірінші режимде пайдаланушы қозғалмаса, қозғалатын нысандардың шеттері ғана дыбысталады. Екінші режимде пайдаланушы қозғалғанда, қозғалмайтын және қозғалатын нысандардың шеттері дыбысталады. Осылайша, бейне ағыны қауіпті кедергіге айналуы мүмкін нысандардың шеттерін анықтау арқылы қарапайымдастырылады. Жүйе қозғалатын нысандардың орнын анықтауға, траекторияларын болжауға және жақындап келе жатқан нысандарды анықтауға мүмкіндік береді.
This project, presented in 2015, proposes a new versatile mobile device and a sonification method specifically designed to the pedestrian locomotion of the visually impaired. It sonifies in real time spatial information from a video stream acquired at a standard frame rate. The device is composed of a miniature camera integrated into a glasses frame which is connected to a battery powered minicomputer worn around the neck with a strap. The audio signal is transmitted to the user via running headphones. This system has two operating modes. With the first mode, when the user is static, only the edges of the moving objects are sonified. With the second mode, when the user is moving, the edges of both static and moving objects are sonified. Thus, the video stream is simplified by extracting only the edges of objects that can become dangerous obstacles. The system enables the localization of moving objects, the estimation of trajectories, and the detection of approaching objects.
PSVA
Басқа бір сәтті көріністі есту сезімдерін алмастыру құрылғысы – есту үшін көріністі алмастыратын протез (PSVA). Бұл жүйе басына орнатылған телекамераны пайдаланады, ол көрініс үлгілерін дыбысқа нақты уақытта, онлайн аударуға мүмкіндік береді. Науқас қозғалғанда, құрылғы жоғары жиілікте бейнелерді түсіріп, оларды тануға көмектесетін күрделі дыбыстарды жасайды. Басқа визуалды-аудиторлық алмастыру құрылғылары vOICe жүйесінің кескінді ақ-сұр түске келтіру әдісінен өзгеше. Zach Capalbo-ның Kromophone құрылғысы әртүрлі дыбыстар мен тембрлерге сәйкес келетін негізгі түстер спектрін қолданып, пайдаланушыларға vOICe мүмкіндіктерінен асып түсетін сезімдік ақпарат береді.
Another successful visual to auditory sensory substitution device is the Prosthesis Substituting Vision for Audition (PSVA). This system utilizes a head mounted TV camera that allows real time, online translation of visual patterns into sound. While the patient moves around, the device captures visual frames at a high frequency and generates the corresponding complex sounds that allow recognition. Other visual auditory substitution devices deviate from the vOICe's greyscale mapping of images. Zach Capalbo's Kromophone uses a basic color spectrum correlating to different sounds and timbres to give users perceptual information beyond the vOICe's capabilities.
Жүйке жүйесі имплантаттары
Адамның жүйке жүйесіне енгізілген стимуляциялық электродтар арқылы, қабылдаушының үйреніп, сенімді түрде тани алатын ток импульстарын жіберуге болады. Кевин Уорвик жүргізген тәжірибелерде робот қолындағы күш/тиісу сезімталдықтарынан түсетін сигналдарды байланыс құралы ретінде пайдалану сәтті көрсетілді.
By means of stimulating electrodes implanted into the human nervous system, it is possible to apply current pulses to be learned and reliably recognized by the recipient. It has been shown successfully in experimentation, by Kevin Warwick, that signals can be employed from force/touch indicators on a robot hand as a means of communication.
Терминология
"Ауыстыру" терминінің шатастыратындығы айтылды, себебі ол сезімдік қабылдау жолын алмастыру емес, тек "қосымша" немесе "толықтыру" ғана.
It has been argued that the term "substitution" is misleading, as it is merely an "addition" or "supplementation" not a substitution of a sensory modality.
Дене сезімдерін арттыру
Дене мүшелерінің сезімдік ауыстыру бойынша жүргізілген зерттеулерге негізделген, қазір ағзаның сезім мүшелерін күшейту мүмкіндігін зерттеу жұмыстары басталуда. Мақсат – ағзаның табиғи жағдайда сезіне алмайтын қоршаған ортаның кейбір аспектілерін сезу қабілетін кеңейту. Бұған қоса, қоршаған орта туралы мұндай жаңа ақпарат сезім мүшесін тікелей алмастыру емес, керісінше, зақымданған немесе әлсіреген сезім арнасы арқылы қабылданатын сезімдік ақпаратты ұсыну үшін қолданылуы мүмкін. Сондықтан, сезімдік күшейту реабилитация мақсатында және қабылдау және когнитивтік нейроғылымдарды зерттеу үшін кеңінен қолданылады. Сезімдік күшейту (сондай-ақ, жалпы сезімдік ауыстыру) зерттеулерінің нәтижелері, нейрондардың қызметінен сезімдік тәжірибе (квалиа) қалай пайда болатынын зерттейді, сананы түсінуге ықпал етеді.
Building upon the research conducted on sensory substitution, investigations into the possibility of augmenting the body's sensory apparatus are now beginning. The intention is to extend the body's ability to sense aspects of the environment that are not normally perceivable by the body in its natural state. Moreover, such new informations about the environment could be used not to directly replace a sensory organ but to offer a sensory information usually perceived via another, potentially harmed, sensory modality. Thus, also sensory augmentation is widely used for rehabilitation purposes as well as for investigating perceptive and cognitive neuroscience
Осы бағытта белсенді жұмыстарды, мысалы, Open University және Эдинбург университетінің e sense жобасы, Оснабрюк университетінің feelSpace жобасы, сондай-ақ Париж университетінің hearSpace жобасы жүргізуде. Сезімдік күшейту (сондай-ақ, жалпы сезімдік ауыстыру) зерттеулерінің нәтижелері, сезімдік тәжірибе (квалиа) нейрондардың қызметінен қалай пайда болатынын зерттейді, сананы түсінуге маңызды әсер етеді.
Active work in this direction is being conducted by, among others, the e sense project of the Open University and Edinburgh University, the feelSpace project of the University of Osnabrück, and the hearSpace project at University of Paris. The findings of research into sensory augmentation (as well as sensory substitution in general) that investigate the emergence of perceptual experience (qualia) from the activity of neurons have implications for the understanding of consciousness.