Көп түрлі өзара әрекеттесу: адам-машина интерфейсінің жаңа формасы

Кіріспе

Адам-машина өзара әрекеттесуінің бір түрі, бірнеше кіріс/шығыс режимдерін пайдалана отырып.

Мультимодальдық өзара әрекеттесу пайдаланушыға жүйемен өзара әрекеттесудің бірнеше режимін ұсынады. Мультимодальдық интерфейс деректерді енгізу және шығару үшін бірнеше ерекше құралдарды қамтамасыз етеді. Адам мен компьютердің мультимодальдық өзара әрекеттесуі виртуалды және физикалық ортамен табиғи байланысты қамтиды. Ол пайдаланушылар мен автоматтандырылған жүйелер арасындағы еркін және табиғи байланысты жеңілдетеді, сөйлеу, қолжазба, қимыл-қозғалыс сияқты икемді кіріс және сөздік синтез, графика сияқты шығыс түрлеріне мүмкіндік береді. Мультимодальдық біріктіру әртүрлі режимдерден алынған кірістерді біріктіріп, түсініксіздіктерді жоюға көмектеседі. Мультимодальдық интерфейстердің екі негізгі тобы баламалы кіріс әдістеріне және кіріс/шығыстың біріктірілуіне бағытталған. Көптеген кіріс режимдері қолданушылықты жақсартады, бұл мүмкіндігі шектеулі пайдаланушыларға көмектеседі. Мобильді құрылғылар көбінесе кіріс үшін XHTML+Voice қолданады. Мультимодальдық биометриялық жүйелер шектеулерді жеңу үшін бірнеше биометриялық өлшемдерді пайдаланады. Мультимодальдық сезімталдық талдау сезімді жіктеу үшін мәтін, аудио және бейне деректерді талдауды қамтиды. GPT 4 – тіл түсінуді жақсарту үшін әртүрлі режимдерді біріктіретін мультимодальдық тіл моделі. Мультимодальдық шығыс жүйелері ақпаратты визуалды және аудиторлық сигналдар арқылы, сондай-ақ сезіну және иіс сезу арқылы көрсетеді. Мультимодальдық біріктіру әртүрлі режимдерден алынған ақпаратты біріктіреді, тануға негізделген, шешімге негізделген және гибридті көп деңгейлі біріктіруді қолданады. Мультимодальдық кірістегі түсініксіздіктер алдын алу, кейіннен шешу және жуықтау әдістері арқылы шешіледі.

Кіріспе

Адам мен компьютердің мультимодальды өзара әрекеттесуі – «виртуалды және физикалық ортамен табиғи коммуникация тәсілдері арқылы өзара әрекеттесуді» білдіреді. Бұл мультимодальды өзара әрекеттесудің еркін және табиғи байланысты қамтамасыз ететінін көрсетеді, соның арқасында пайдаланушылар автоматтандырылған жүйелермен кіріс және шығыс арналары бойынша байланыса алады. Атап айтқанда, мультимодальды жүйелер пайдаланушыларға сөйлеу, қолжазба, қол қимылдары және көздің қозғалысы сияқты кіріс тәсілдері арқылы өзара әрекеттесуге, ал жүйеден сөйлеу синтезі, интеллектуалды графика және басқа да тәсілдер арқылы ақпарат алуға мүмкіндік беретін икемді, тиімді және қолдануға оңай ортаны ұсынады, бұл мүмкіндіктер уақтылы түрде және қажеттілікке қарай біріктіріледі. Осыдан кейін мультимодальды жүйе әртүрлі тәсілдерден келетін кірістерді таниды және оларды уақыттық және контексттік шектеулерге сәйкес біріктіре отырып, интерпретациялауға мүмкіндік беруі керек. Бұл процесс мультимодальды біріктіру деп аталады және 1990 жылдардан бері көптеген зерттеулердің нысаны болып табылады. Біріктірілген кірістер жүйемен интерпретацияланады. Табиғилық пен икемділік әр түрлі модальдық (арна) және олардың бірдей қолданылуы үшін бірнеше интерпретацияларға әкелуі мүмкін, сондықтан бұл дәлдіксіздік, шу немесе басқа ұқсас факторларға байланысты мультимодальды түсініксіздікке алып келуі мүмкін. Түсініксіздіктерді шешу үшін бірнеше әдістер ұсынылған. Соңында жүйе пайдаланушыға әртүрлі модальдық арналар арқылы (бөлшектелген) сәйкес кері байланыс (жіктеу) бойынша орналастырылған шығыстарды қайтарады. Мобильді құрылғылардың, сенсорлардың және веб-технологиялардың кеңінен қолданылуы мультимодальды өзара әрекеттесудің күрделілігін басқару үшін қажетті есептеу ресурстарын ұсына алады. «Бұлттық технологияларды пайдалану арқылы мультимодальды өзара әрекеттесудің күрделілігін басқару үшін ортақ есептеу ресурстарын пайдалану мүмкіндігі бар. Шындығында, бұлттық есептеулер динамикалық және автоматты түрде қамтамасыз етілетін және босатылатын ортақ, кеңейтілген және конфигурацияланатын есептеу ресурстарын ұсынуға мүмкіндік береді».

Мультимодальды кіріс

Мультимодальды интерфейстердің екі негізгі тобы қалыптасты, бірі – баламалы кіріс әдістерімен, екіншісі – біріктірілген кіріс/шығыспен айналысады. Интерфейстердің бірінші тобы дәстүрлі пернетақта мен тышқаннан өзге, әртүрлі пайдаланушы кіріс режимдерін біріктірді, мысалы, дауыс, қалам, сенсорлық экран, қол қимылдары, көздің қозғалысы, бас және дене қозғалыстары. Мұндай интерфейстердің ең көп таралғаны – визуалды режимді (мысалы, дисплей, пернетақта және тышқан) дауыстық режиммен (кіріс үшін дауыс тану, шығыс үшін дауыс синтезі және жазылған аудио) үйлестіреді. Дегенмен, қаламдық кіріс немесе тактильді кіріс/шығыс сияқты басқа режимдер де қолданылуы мүмкін. Мультимодальды пайдаланушы интерфейстері – адам-компьютерлік өзара әрекеттесу (ХКИ) саласындағы зерттеу нысаны. Көптеген кіріс режимдерінің артықшылығы – пайдаланушылықтың артуы: бір режимнің кемшіліктері екіншісінің күшті жақтарымен толықтырылады. Мысалы, кішкентай визуалды интерфейсі және пернетақтасы бар мобильді құрылғыда сөзді теру қиынға түсуі мүмкін, бірақ айту оңай (мысалы, Poughkeepsie). Осы құрылғылардан немесе приставкалардан цифрлық медиа каталогтарына қалай қол жеткізіп, іздейтініңізді қарастырыңыз. Нақты мысал келтесек, операциялық бөлмеде хирургтер пациент туралы ақпаратты ауызша түрде алады, бұл антисептикалық ортаны сақтауға көмектеседі, ал ақпарат дерлік уақыт режимінде естіп және көріп түсінуді максималдау үшін дыбыстық және визуалды түрде ұсынылады. Мультимодальды кіріс интерфейстері қолжетімділікке де әсер етеді. Жақсы жобаланған мультимодальды қолданбаны түрлі кемшіліктері бар адамдар пайдалана алады. Көру қабілеті нашар адамдар дауыс режимін және кейбір пернетақталық кірісті пайдаланады. Есту қабілеті нашар адамдар кейбір дауыстық кіріспен визуалды режимге сүйенеді. Басқа пайдаланушылар "жағдайға байланысты шектеулерге" тап болуы мүмкін (мысалы, өте шулы ортада қолғап кию, көлік жүргізу немесе қоғамдық орында кредиттік карта нөмірін енгізу қажеттігі) және қажетті режимдерді ғана пайдаланады. Керісінше, пайдаланушылардан барлық режимдерді пайдалануды талап ететін мультимодальды қолданба нашар жобаланған болып есептеледі. Нарықтағы ең көп таралған кіріс мультимодалдығы XHTML+Voice (X+V) веб-марка тілін қолданады, бұл IBM, Motorola және Opera Software компаниялары әзірлеген ашық спецификация. X+V қазіргі уақытта W3C қарауында және визуалды белгілеу үшін XHTML, дауыстық белгілеу үшін VoiceXML және XML тілдерін біріктіру стандарты XML Events сияқты бірнеше W3C ұсыныстарын біріктіреді. X+V-ді қолдайтын мультимодальды браузерлерге IBM WebSphere Everyplace Multimodal Environment, Embedded Linux және Windows үшін Opera, сондай-ақ Windows Mobile үшін ACCESS Systems NetFront кіреді. Мультимодальды қолданбаларды әзірлеу үшін бағдарламашылар ашық бастапқы Eclipse фреймворкіне негізделген, X+V жөндеушісі, редакторы және симуляторы бар IBM WebSphere Multimodal Toolkit сияқты әзірлеу құралдарын пайдалана алады.

Two major groups of multimodal interfaces have merged, one concerned in alternate input methods and the other in combined input/output. The first group of interfaces combined various user input modes beyond the traditional keyboard and mouse input/output, such as speech, pen, touch, manual gestures, gaze and head and body movements. The most common such interface combines a visual modality (e. g. a display, keyboard, and mouse) with a voice modality (speech recognition for input, speech synthesis and recorded audio for output). However other modalities, such as pen based input or haptic input/output may be used. Multimodal user interfaces are a research area in human computer interaction (HCI). The advantage of multiple input modalities is increased usability: the weaknesses of one modality are offset by the strengths of another. On a mobile device with a small visual interface and keypad, a word may be quite difficult to type but very easy to say (e. g. Poughkeepsie). Consider how you would access and search through digital media catalogs from these same devices or set top boxes. And in one real world example, patient information in an operating room environment is accessed verbally by members of the surgical team to maintain an antiseptic environment, and presented in near realtime aurally and visually to maximize comprehension. Multimodal input user interfaces have implications for accessibility. A well designed multimodal application can be used by people with a wide variety of impairments. Visually impaired users rely on the voice modality with some keypad input. Hearing impaired users rely on the visual modality with some speech input. Other users will be "situationally impaired" (e. g. wearing gloves in a very noisy environment, driving, or needing to enter a credit card number in a public place) and will simply use the appropriate modalities as desired. On the other hand, a multimodal application that requires users to be able to operate all modalities is very poorly designed. The most common form of input multimodality in the market makes use of the XHTML+Voice (aka X+V) Web markup language, an open specification developed by IBM, Motorola, and Opera Software. X+V is currently under consideration by the W3C and combines several W3C Recommendations including XHTML for visual markup, VoiceXML for voice markup, and XML Events, a standard for integrating XML languages. Multimodal browsers supporting X+V include IBM WebSphere Everyplace Multimodal Environment, Opera for Embedded Linux and Windows, and ACCESS Systems NetFront for Windows Mobile. To develop multimodal applications, software developers may use a software development kit, such as IBM WebSphere Multimodal Toolkit, based on the open source Eclipse framework, which includes an X+V debugger, editor, and simulator.

Мультимодальдық шығыс

Мультимодальдық жүйелердің екінші тобы пайдаланушыларға мультимедиалық дисплейлер мен мультимодальдық шығыстарды ұсынады, негізінен визуалды және аудиторлық сигналдар түрінде. Интерфейс дизайнерлері басқа модальдықтарды, мысалы, тиісу және иіс сезуді де пайдалана бастады. Мультимодальдық шығыс жүйесінің ұсынылатын артықшылықтары – синергия және икемділік. Бірнеше модальдық арқылы ұсынылған ақпарат біріктіріліп, бір процестің әртүрлі аспектілеріне сілтеме жасайды. Бірдей ақпаратты өңдеу үшін бірнеше модальдықтарды қолдану ақпарат берудің өткізу қабілетін арттырады. Қазіргі уақытта мультимодальдық шығыс негізінен коммуникациялық орта мен мазмұн арасындағы байланысты жақсарту және деректерге толы ортада операторлардың жоғары визуалдық назар талаптарын басқаруды қолдау үшін қолданылады. Мультимодальдық интерфейсті жобалаудың маңызды қадамы – модальдықтар мен ақпарат және тапсырмалар арасындағы табиғи байланысты құру. Есту каналы көруден бірнеше жағынан ерекшеленеді. Ол барлық бағытта, уақытша және әрқашан қолжетімді. Бұл перспективалы ғана емес, сонымен қатар бірегей коммуникациялық канал. HCI-де қолданылатын екі дәстүрлі сезім – көру мен естуден айырмашылығы, тиісу сезімі денемен жанасқан объектілерді сезінеді және ортаны қабылдауға және оған әсер етуге мүмкіндік беретін екі бағытты. Аудиторлық кері байланыс мысалдары: пайдаланушылардың әрекеттерін көрсететін компьютерлік операциялық жүйелердегі аудиторлық белгілер (мысалы, файлды жою, қалтаны ашу, қате), көлік құралдарында навигациялық нұсқауларды ұсыну үшін дауыс шығару және қазіргі заманғы ұшақтардың кабиналарында пилоттарды ескерту үшін дауыс шығару. Тактильді сигналдардың мысалдары: машина жүргізушілерін соқыр аймақтағы машина туралы ескерту үшін бұрылыс сигналының тұтқасының дірілдеуі, жүргізушілерге ескерту ретінде автокреслоның дірілдеуі және ұшқыштарға жақын арада тоқтау туралы ескерту үшін қазіргі заманғы ұшақтардағы рульдің дірілдеуі. Мазмұнмен интерфейстің түсініктілігі мағыналы байланыс арқылы бірден және тікелей байланыс орнату арқылы жақсарады, осылайша пайдаланушы кіріске тікелей және жылдам кері байланыс алады және мазмұнға жауап беру интерфейстің мүмкіндігіне айналады (Gibson 1979).

The second group of multimodal systems presents users with multimedia displays and multimodal output, primarily in the form of visual and auditory cues. Interface designers have also started to make use of other modalities, such as touch and olfaction. Proposed benefits of multimodal output system include synergy and redundancy. The information that is presented via several modalities is merged and refers to various aspects of the same process. The use of several modalities for processing exactly the same information provides an increased bandwidth of information transfer Currently, multimodal output is used mainly for improving the mapping between communication medium and content and to support attention management in data rich environment where operators face considerable visual attention demands. An important step in multimodal interface design is the creation of natural mappings between modalities and the information and tasks. The auditory channel differs from vision in several aspects. It is omnidirectional, transient and is always reserved. It is not only a promising but also a unique communication channel. In contrast to vision and hearing, the two traditional senses employed in HCI, the sense of touch is proximal: it senses objects that are in contact with the body, and it is bidirectional in that it supports both perception and acting on the environment. Examples of auditory feedback include auditory icons in computer operating systems indicating users' actions (e. g. deleting a file, open a folder, error), speech output for presenting navigational guidance in vehicles, and speech output for warning pilots on modern airplane cockpits. Examples of tactile signals include vibrations of the turn signal lever to warn drivers of a car in their blind spot, the vibration of auto seat as a warning to drivers, and the stick shaker on modern aircraft alerting pilots to an impending stall. Transparency of interfacing with content is enhanced providing an immediate and direct link via meaningful mapping is in place, thus the user has direct and immediate feedback to input and content response becomes interface affordance (Gibson 1979).

Мультимодальды қорыту

Әртүрлі енгізу тәсілдерінен алынған ақпаратты интеграциялау және оларды толық командаға біріктіру процесі мультимодальды бірігу деп аталады. Бұл шешімге негізделген және гибридті көп деңгейлі бірігуді қамтиды. Танымға негізделген бірігу (сондай-ақ ерте бірігу деп те аталады) интеграция механизмдерін қолдану арқылы әрбір модальдық танушының нәтижелерін біріктіруден тұрады, мысалы, статистикалық интеграция әдістері, агенттер теориясы, жасырын Марков модельдері, жасанды нейрондық желілер және т.б. Танымға негізделген бірігу стратегияларының мысалдары – іс-қимылдар тізбегі, диалогтың бағыты. Алгоритмдер үшін өлшемділік факторларын ескеру қиын; қазіргі есептеу мүмкіндіктерінен тыс айнымалылар бар. Мысалы, семантикалық мағына: екі сөйлемнің лексикалық мағынасы бірдей болғанымен, эмоционалдық ақпараты әртүрлі болуы мүмкін.

Айқындық

Пайдаланушының әрекеттері немесе командалары мультимодальдық кіріс тудырады (мультимодальдық хабарлама), оның ішінде қатысатын модальдықтардың арасындағы уақыттық қатынастар мен осы модальдықтарға байланысты ақпарат бөліктерінің арасындағы байланыстар болады. Көптеген өзара әрекеттесу тәсілдері (көрнекі және естілу арналары, сондай-ақ сезіну қабілеті) арқылы ұсынылатын мультимодальдық кіріс пен ақпарат және тапсырмалар арасындағы табиғи сәйкестік, адамдар арасындағы қарым-қатынастағы екіұштылық сияқты әдеттегі мәселелерді шешуді білдіреді. Екіұштылық, кірістің бірнеше интерпретациясы мүмкін болған кезде туындайды. Мультимодальдық екіұштылықты азайту тіл грамматикасының экспрессивті күшін шектеу немесе арттыру арқылы жүзеге асырылады. Екіұштылықты кейіннен шешу үшін медиация тәсілі қолданылады, сондай-ақ кері қайтару және таңдау амалдары қолданылады. Шамалап шешу әдістеріне екіұштылықты жою процесіне пайдаланушының қатысуы қажет емес. Оларға тұйық логика, Марковтың кездейсоқ өрісі, Байес желілері және жасырын Марков модельдері сияқты теориялардың қолданылуы қажет болуы мүмкін.