Нақты әлемді күшейтілген шындықпен толықтыру

Кернеулі дамып келе жатқан толықтырылған шындық (AR) технологиясы – нақты әлемді компьютерлік 3D контентпен үйлестіріп, жаңа тәжірибе ұсынады.

39 мин оқу

100%

Дереккөз: Augmented reality — Wikipedia

Ағылшыншамен салыстырыңыз: абзацты басыңыз — түпнұсқа терезеде ашылады. Абзац астындағы EN түймесі оны мәтін ішінде көрсетеді.

Мазмұны

Кіріспе

Нақты әлемнің компьютерлік түрде толықтырылған мүмкіндіктермен бейнеленуі

Қосымша шындық (ҚШ) – нақты әлемді және компьютерлік 3D мазмұнды біріктіретін интерактивті тәжірибе. Мазмұн визуалды, аудио, тактильді, соматосенсорлық және иіс сезімдері сияқты көптеген сезімдік арналарды қамтуы мүмкін. ҚШ үш негізгі ерекшелікті қамтитын жүйе ретінде анықталады: нақты және виртуалды әлемдердің үйлесімі, нақты уақыт өзара әрекеттесуі және виртуалды және нақты объектілердің дәл 3D тіркелуі. Үстіне жабысқан сенсорлық ақпарат конструктивті (табиғи ортаға қосымша) немесе деструктивті (табиғи ортаны жасыру) болуы мүмкін. Осылайша, ол виртуалды шындық континуумындағы маңызды технологиялардың бірі болып табылады. Бұл тәжірибе физикалық әлеммен біте қайнасып, нақты ортаның ажырамас бөлігі ретінде қабылданады. Қосымша шындық аралас шындықпен көбінесе мағынасы бірдей қолданылады. «Кеңейтілген шындық» және «компьютерлік делдалдық шындық» терминдерімен де байланысы бар. Қосымша шындықтың басты құндылығы – цифрлық әлемнің элементтерінің адамның нақты әлемді қабылдауымен үйлесуі, деректерді жай көрсету емес, қоршаған ортаның табиғи бөлігі ретінде қабылданатын шолу сезімдерін біріктіру арқылы. Пайдаланушыларға иммерсивті аралас шындық тәжірибесін ұсынған алғашқы функционалды ҚШ жүйелері 1990 жылдардың басында, 1992 жылы АҚШ Әуе күштерінің Армстронг зертханасында жасалған «Виртуалды бекіткіштер» жүйесімен басталды. Коммерциялық қосымша шындық тәжірибелері алғаш рет ойын-сауық және ойын бизнесінде пайда болды. Кейіннен қосымша шындық қолданбалары білім беру, байланыс, медицина және ойын-сауық сияқты коммерциялық салаларға тарады. Білім беруде мазмұнға мобильді құрылғымен суретті сканерлеу немесе қарау арқылы немесе маркерсіз ҚШ әдістерін қолдану арқылы қол жеткізуге болады. Қосымша шындық табиғи ортаны немесе жағдайды жақсарту үшін пайдаланылуы мүмкін және қабылдауды байытатын тәжірибелер ұсынады. Қосымша AR технологияларының (мысалы, компьютерлік көруді қосу, смартфон қосымшаларына AR камераларын енгізу және объектіні тану) көмегімен пайдаланушының айналасындағы нақты әлем туралы ақпарат интерактивті және цифрлық түрде өңделеді. Орта және оның объектілері туралы ақпарат нақты әлемге жабылады. Бұл ақпарат виртуалды болуы мүмкін. Қосымша шындық – бұл жасанды тәжірибе, ол қазіргі шындыққа қосымша мүмкіндіктер береді немесе нақты, мысалы, басқа нақты сезімтал немесе өлшенген ақпаратты, электромагниттік радио толқындары сияқты, олардың нақты орналасқан жерімен дәл сәйкестендірілген күйде көру. Қосымша шындықта жасырын білімді жинау және бөлісу үшін де зор мүмкіндіктер бар. Көбейту әдістері әдетте нақты уақытта және қоршаған орта элементтерімен семантикалық контекстте орындалады. Шолу ақпараты кейде спорттық оқиғаның тікелей эфирдегі бейнесіне ұпайлар сияқты қосымша ақпаратты қосу арқылы біріктіріледі. Бұл қосымша шындық технологиясының және бас дисплей технологиясының (HUD) артықшылықтарын біріктіреді.

Augmented reality (AR) is an interactive experience that combines the real world and computer generated 3D content. The content can span multiple sensory modalities, including visual, auditory, haptic, somatosensory and olfactory. AR can be defined as a system that incorporates three basic features: a combination of real and virtual worlds, real time interaction, and accurate 3D registration of virtual and real objects. The overlaid sensory information can be constructive (i. e. additive to the natural environment), or destructive (i. e. masking of the natural environment). As such, it is one of the key technologies in the reality virtuality continuum. This experience is seamlessly interwoven with the physical world such that it is perceived as an immersive aspect of the real environment. Augmented reality is largely synonymous with mixed reality. There is also overlap in terminology with extended reality and computer mediated reality. The primary value of augmented reality is the manner in which components of the digital world blend into a person's perception of the real world, not as a simple display of data, but through the integration of immersive sensations, which are perceived as natural parts of an environment. The earliest functional AR systems that provided immersive mixed reality experiences for users were invented in the early 1990s, starting with the Virtual Fixtures system developed at the U. S. Air Force's Armstrong Laboratory in 1992. Commercial augmented reality experiences were first introduced in entertainment and gaming businesses. Subsequently, augmented reality applications have spanned commercial industries such as education, communications, medicine, and entertainment. In education, content may be accessed by scanning or viewing an image with a mobile device or by using markerless AR techniques. Augmented reality can be used to enhance natural environments or situations and offers perceptually enriched experiences. With the help of advanced AR technologies (e. g. adding computer vision, incorporating AR cameras into smartphone applications, and object recognition) the information about the surrounding real world of the user becomes interactive and digitally manipulated. Information about the environment and its objects is overlaid on the real world. This information can be virtual. Augmented Reality is any experience which is artificial and which adds to the already existing reality. or real, e. g. seeing other real sensed or measured information such as electromagnetic radio waves overlaid in exact alignment with where they actually are in space. Augmented reality also has a lot of potential in the gathering and sharing of tacit knowledge. Augmentation techniques are typically performed in real time and in semantic contexts with environmental elements. Immersive perceptual information is sometimes combined with supplemental information like scores over a live video feed of a sporting event. This combines the benefits of both augmented reality technology and heads up display technology (HUD).

Виртуалды шындықпен салыстыру

Виртуалды шындықта (ВР) пайдаланушылардың шындықты қабылдауы толыққанды түрде виртуалды ақпаратқа негізделген. Ал кеңейтілген шындықта (AR) пайдаланушыға нақты өмірден алынған деректерге қосымша компьютерлік ақпарат ұсынылады, бұл олардың шындықты қабылдауын күшейтеді. Мысалы, архитектура саласында VR жаңа ғимараттың ішін аралау симуляциясын жасау үшін қолданылуы мүмкін, ал AR ғимараттың құрылымдарын және жүйелерін нақты көрініс үстіне қою үшін пайдаланылуы мүмкін. Тағы бір мысал – пайдалы қосымшаларды қолдану арқылы. Augment сияқты кейбір AR қосымшалары пайдаланушыларға цифрлық нысандарды нақты ортаға енгізуге мүмкіндік береді, бұл бизнестің өнімдерін нақты әлемде алдын ала қарау үшін кеңейтілген шындық құрылғыларын пайдалануына мүмкіндік береді. Сол сияқты, оны клиенттерге өнімдердің қандай ортада қалай көрінетінін көрсету үшін де қолдануға болады, мысалы, Mountain Equipment Co-op немесе Lowe's сияқты компаниялар 3D модельдерді пайдалану арқылы клиенттерге өз өнімдерін үйде қалай көруге болатынын алдын ала көрсету үшін кеңейтілген шындықты қолданады. Көрсетілген шындық (AR) виртуалды шындықтан (VR) соның айырмасында, AR-да айналадағы ортаның бір бөлігі «нақты» болып табылады және AR тек нақты ортаға виртуалды нысандардың қабаттарын қосады. Ал VR-да айналадағы орта толығымен виртуалды және компьютерлік түрде жасалған. Көрсетілген шындық ойындары нақты әлемге нысандарды қалай қоюға болатынын көрсетеді. WallaMe – бұл кеңейтілген шындық ойыны, ол пайдаланушыларға хабарламаларды нақты ортада жасыруға мүмкіндік береді, геолокация технологиясын пайдаланып, пайдаланушыларға әлемнің кез келген жерінде хабарламаларды жасыруға мүмкіндік береді. Мұндай қосымшалар белсенділік және көркемдік өрнектерді қоса алғанда, әлемде көптеген қолданысқа ие.

Жабдық

Қосымша шындық процессор, дисплей, сенсорлар және енгізу құрылғыларын қамтитын аппараттық компоненттерді қажет етеді. Қазіргі заманғы смартфондар мен планшеттер сияқты мобильді есептеу құрылғыларында осы элементтер бар, олар көбінесе камера және акселерометр, GPS және қатты күйдегі компас сияқты микроэлектромеханикалық жүйелер (MEMS) сенсорларын қамтиды, бұл оларды қосымша шындық платформасы ретінде пайдалануға мүмкіндік береді.

Дисплейлер

Қосымша шындықты көрсету үшін әртүрлі технологияларды қолдануға болады, соның ішінде оптикалық проекция жүйелерін, мониторларды және қолға ұсталатын құрылғыларды. Қосымша шындықта қолданылатын екі дисплей технологиясы – дифракциялық толқын жетектері және шағылыстыратын толқын жетектері. Басқа орнатылатын дисплей (HMD) – маңдайға тағылатын дисплей құрылғысы, мысалы, бау немесе каскаға бекітіледі. HMD пайдаланушының көз алдында физикалық әлемнің және виртуалды нысандардың бейнелерін көрсетеді. Қазіргі заманғы HMD-лерде көбінесе алты дәрежелі қозғалысты бақылауға арналған сенсорлар қолданылады, бұл жүйеге виртуалды ақпаратты физикалық әлеммен үйлестіруге және пайдаланушының бас қозғалысына сәйкес реттеуге мүмкіндік береді. HMD-лер VR пайдаланушыларына мобильді және бірлескен тәжірибелерді ұсынуы мүмкін. uSens және Gestigon сияқты белгілі провайдерлер толық виртуалды үңілу үшін қол жестілерін басқаруды ұсынады. Vuzix – кеңейтілген шындыққа арналған сатылатын көптеген оптикалық дисплейлерді өндіретін бас киімдерін шығаратын компания.

Көзілдірмелер

АР дисплейлері көзілдірік сияқты құрылғыларда көрсетілуі мүмкін. Нұсқаларына камераларды пайдаланып, нақты әлемді көріп, кеңейтілген бейнені көзге көрсететін көзілдіріктер және АР бейнелерін көзілдірік линзаларының бетіне проекциялайтын немесе олардан шағылыстыратын құрылғылар жатады. EyeTap (сондай-ақ, Generation 2 Glass деп те аталады) көздің линзасының ортасынан өтетін жарық сәулелерін ұстап алады және әрбір нақты жарық сәулесін синтетикалық, компьютермен басқарылатын жарықпен алмастырады. 4-ші буын шынысы.

HUD

Басты дисплей (HUD) – пайдаланушылардың әдеттегі көзқарасынан бұрып қарау қажеттілігінсіз деректерді көрсететін мөлдір дисплей. Толықтырылған шындықтың алғашқы технологиясы болып табылатын басты дисплейлер алғаш рет 1950 жылдары ұшқыштар үшін жасалды, олардың көру аймағына қарапайым ұшу деректерін проекциялап, осылайша оларға "бастарын көтеріп" ұшуға және құралдарға төмен қарамауға мүмкіндік берді. Жақынға орналасқан толықтырылған шындық құрылғыларын портативті басты дисплейлер ретінде пайдалануға болады, себебі олар пайдаланушы нақты әлемді көріп тұрғанда деректерді, ақпаратты және кескіндерді көрсетуге қабілетті. Толықтырылған шындықтың көптеген анықтамалары оны ақпаратты қабаттастыру ретінде ғана сипаттайды. Бұл, негізінен, басты дисплейдің атқаратын қызметі; бірақ, практикалық тұрғыдан алғанда, толықтырылған шындықтан қабаттастырылған сезімдер, ақпарат, деректер және кескіндер мен нақты әлемнің белгілі бір бөлігі арасындағы тіркеу және қадағалау функцияларын қамтуы күтіледі.

Контактті линзалар

АР бейнелеуін көрсетуге арналған контактты линзалар әзірленуде. Бұл биондық контактты линзалар линзаға кіріктірілген дисплей элементтерін, соның ішінде интегралдық схемаларды, светодиодтарды (LED) және сымсыз байланыс үшін антеннаны қамтуы мүмкін. Бірінші контактты линза дисплейі 1999 жылы Стив Маннмен патенттелді және AR көзілдіріктерімен бірге жұмыс істеуге арналған, бірақ жоба 11 жыл өткен соң, 2010-2011 жылдары тоқтатылды. АҚШ әскері үшін әзірленудегі контактты линзалардың тағы бір нұсқасы AR көзілдіріктерімен жұмыс істеуге арналған, бұл солдаттарға көзілдіріктегі жақын арадағы AR бейнелеріне және алыстағы нақты әлемдегі объектілерге бір уақытта назар аударуға мүмкіндік береді. CES 2013 көрмесінде Innovega компаниясы да осы сияқты контактты линзаларды ұсынды, олардың жұмыс істеуі үшін AR көзілдіріктерімен біріктірілуі қажет болды. Көптеген ғалымдар түрлі технологиялық мүмкіндіктерге ие контактты линзалар жасаумен айналысып жатыр. Samsung компаниясы тіркеген патентында AR контактты линзасы сипатталған, ол аяқталғаннан кейін линзаның өзінде орналасқан камераны қамтиды. Бұл дизайн көзді жыпылықтату арқылы интерфейсті басқаруға арналған. Сондай-ақ, ол пайдаланушының смартфонымен байланыстырылып, түсірілген материалды қарау және оны жеке басқару үшін де көзделген. Сәтті аяқталған жағдайда, линзаның ішінде камера немесе сенсор болады. Бұл жарық сенсорынан бастап температура датчигіне дейін кез келген нәрсе болуы мүмкін. Көзілдіктерді қосымша пайдалануды қажет етпейтін AR контактты линзасының алғашқы жұмыс прототипі Mojo Vision компаниясымен әзірленді және CES 2020 көрмесінде таныстырылды.

Шетшамадағы виртуалды дисплей

Виртуалды торлы көз дисплейі (VRD) — Вашингтон университетінің Адам-интерфейс технологиясы зертханасында доктор Томас А. Фурнес III басшылығымен әзірленіп жатқан жеке дисплей құрылғысы. Бұл технологиямен дисплей көрерменнің көзінің торлы қабығына тікелей сканерленеді. Бұл жоғары ажыратымдылық және жоғары контрастқа ие жарқын кескіндерді қамтамасыз етеді. Көрермен кеңістікте қалықтап тұрғандай сезілетін дәстүрлі дисплейді көреді. VRD қауіпсіздігін талдау үшін бірнеше сынақтар жүргізілді, содан кейін GPS құрылғылары және MEMS сенсорлары, мысалы, цифрлық компастар және алты дәрежелі үдеу сенсор-гироскоптары пайдаланылды. Бүгінде PTAM (параллельді іздеу және карталау) сияқты бір мезгілдегі локализация және карталау (SLAM) белгісіз трекерлер қолданыла бастады. Қолда ұсталатын дисплей AR технологияларының алғашқы коммерциялық сәттілігі болуы мүмкін. Қолда ұсталатын AR-дың екі басты артықшылығы — қолда ұсталатын құрылғылардың ыңғайлылығы және камералы телефондардың кең таралғандығы. Кемшіліктері — пайдаланушының қол құрылғысын әрдайым алдына созып ұстауының физикалық шектеулері, сондай-ақ көзбен қарағандағы нақты әлеммен салыстырғанда классикалық кең бұрышты ұялы телефон камераларының бұрмалау әсері.

Проекция картасы

Проекциялық карталау нақты әлемдегі объектілер мен көріністерді мониторлар, басқа ішкі дисплейлер немесе қолға ұсталатын құрылғылар сияқты арнайы дисплейлерді пайдаланбастан толықтырады. Проекциялық карталау физикалық объектілерге графикалық ақпаратты көрсету үшін цифрлық проекторларды қолданады. Проекциялық карталаудың ерекшелігі – дисплейдің жүйе пайдаланушыларынан бөлек болуы. Дисплейлер әрбір пайдаланушыға тікелей байланысты болмағандықтан, проекциялық карталау пайдаланушылар тобына оңай масштабталады, бұл пайдаланушылар арасында бірлескен жұмыс істеуге мүмкіндік береді. Мысалдарға шейдерлік шамдар, жылжымалы проекторлар, виртуалды үстелдер және интеллектуалды проекторлар жатады. Шейдерлік шамдар бейтарап объектілерге кескіндерді проекциялау арқылы шындықты имитациялайды және толықтырады. Бұл объектінің сыртқы түрін проектор, камера және сенсордан тұратын қарапайым құралдар арқылы жақсартуға мүмкіндік береді. Басқа қолданыстарға үстел және қабырғаға проекциялар кіреді. Сәуле бөлетін айналарды және бірнеше графикалық дисплейлерді қолданатын виртуалды көрмелер, виртуалды және нақты әлеммен бір мезгілде әрекеттесудің интерактивті тәсілін ұсынады. Проекциялық карталау жүйесі үй ішінде бір уақытта кез келген бетке проекциялай алады. Проекциялық карталау соңғы пайдаланушылар үшін графикалық визуализацияны және пассивті тактильді сезімді қолдайды. Пайдаланушылар пассивті тактильді сезімді қамтамасыз ететін процесте физикалық объектілерге тие алады.

Трекерлеу

Қазіргі заманғы мобильді кеңейтілген шындық жүйелері келесі қозғалысты қадағалау технологияларының бірін немесе бірнешесін пайдаланады: цифрлық камералар және/немесе басқа оптикалық сенсорлар, акселерометрлер, GPS, гироскоптар, қатты күйдегі компастар, радиожиілік идентификациясы (RFID). Бұл технологиялар әртүрлі дәлдік және нақтылық деңгейлерін ұсынады. Apple компаниясының ARKit API және Google компаниясының ARCore API осы технологияларды жүзеге асырып, олардың тиісті мобильді құрылғы платформалары үшін қадағалауды қамтамасыз етеді.

Кіріс құрылғылары

Техникаларға пайдаланушының айтқан сөздерін компьютерлік командаларға аударатын дауыс тану жүйелері, сондай-ақ пайдаланушының дене қозғалыстарын визуалды түрде анықтау арқылы немесе таяқ, стилус, көрсеткіш, қолғап сияқты немесе денеге кигізілетін басқа құрылғылардағы сенсорлар арқылы түсіндіретін қимыл-қозғалыс тану жүйелері жатады. AR гарнитураларын басқару құралы ретінде жұмыс істеуге тырысатын өнімдердің қатарында Seebright Inc. компаниясының Wave және Intugine Technologies компаниясының Nimble өнімдері бар.

Компьютер

Компьютерлер толықтырылған шындықтағы графикадан жауапты. Компьютер виртуалды объектілерді синтездеу және орналастыру үшін сезілген визуалды және басқа да деректерді талдайды. Технология мен компьютерлердің жақсаруымен, толықтырылған шындық нағыз әлемге деген көзқарасты түбегейлі өзгертуге ұшыратады. Компьютерлер өте жылдам қарқынмен жақсарып, басқа технологияларды жетілдірудің жаңа жолдарын ашады. Компьютерлердің прогресіне қарай, толықтырылған шындық қоғамда одан да икемді және кең таралған болады. Компьютерлер – толықтырылған шындықтың ядросы. Компьютер сенсорлардан объектінің бетінің салыстырмалы орнын анықтайтын деректерді қабылдайды. Бұл компьютерге енгізілетін ақпарат, содан кейін пайдаланушыға шығарылады, нәтижесінде бұл жерде болмаған нәрсе пайда болады. Компьютер жадтан және процессордан тұрады. Компьютер сканерленген ортаны қабылдап, содан кейін суреттерді немесе бейнероликті жасайды және оны бақылаушыға көру үшін қабылдағышқа жібереді. Объектінің бетіндегі белгілер компьютер жадында сақталады. Компьютер сондай-ақ жадынан шығарып, суреттерді реалистік түрде көрсету үшін пайдаланады.

Проектор

Проекторларды АР мазмұнын көрсету үшін де пайдалануға болады. Проектор проекциялық экранға виртуалды нысанды бейнелей алады, ал көрермен осы виртуалды нысанмен өзара әрекеттесе алады. Проекциялық беттер қабырғалар немесе әйнек панельдер сияқты түрлі нысандар болуы мүмкін.

Желі құру

Мобильді кеңейтілген шындық қосымшалары мобильді және әсіресе киілетін құрылғылардың кеңінен қолданылуының арқасында үлкен танымалдылыққа ие болып келеді. Дегенмен, олар көбінесе өте жоғары жауап беру жылдамдығын талап ететін, есептеу қуатын көп қажет ететін компьютерлік көру алгоритмдеріне сүйенеді. Есептеу мүмкіндіктерінің жетіспеушілігін толықтыру үшін деректерді өңдеуді қашықтағы серверге жіберу жиі қажет болады. Есептеу жүктемесін бөлу қосымшаларға, әсіресе кідіріс және өткізу қабілеті тұрғысынан жаңа шектеулер қосады. Нақты уақыт мультимедиалық деректерді тасымалдау протоколдарының көптеген түрлері болғанымен, желілік инфрақұрылымнан да қолдау қажет.

Бағдарламалық қамтамасыз ету және алгоритмдер

АР жүйелерінің маңызды өлшемдері – олардың кеңейтілген элементтерді нақты әлеммен қаншалықты реалистік біріктіруі. Бағдарлама камера мен камералық бейнелерге тәуелсіз нақты әлемнің координаттарын анықтауы керек. Бұл процесс бейнелерді тіркеу деп аталады және компьютерлік көрудің әртүрлі әдістерін қолданады, көбінесе бейне іздеумен байланысты. Көбейтілген шындықтың көптеген компьютерлік көру әдістері визуалды одометриядан алынған. Әдетте, бұл әдістер екі кезеңнен тұрады. Бірінші кезеңде камералық бейнелерде қызығушылық тартатын нүктелер, анықтамалық белгілер немесе оптикалық ағын анықталады. Бұл кезеңде бұрыштарды, блобтарды, шеттерді анықтау немесе шекті мәндерді орнату сияқты мүмкіндіктерді анықтау әдістері, сондай-ақ басқа бейне өңдеу әдістері қолданылуы мүмкін. Екінші кезеңде бірінші кезеңнен алынған деректерден нақты әлемнің координаттар жүйесі қалпына келтіріледі. Кейбір әдістерде сахнада белгілі геометриясы бар объектілер (немесе анықтамалық белгілер) бар деп есептеледі. Кейбір жағдайларда 3D құрылымын алдын ала есептеу қажет. Егер сахнаның бір бөлігі белгісіз болса, бір мезгілдегі локализация және карта жасау (SLAM) салыстырмалы орналасуын картаға түсіре алады. Егер сахна геометриясы туралы ақпарат болмаса, қозғалыс бойынша құрылымды анықтау әдістері, мысалы, бундельді реттеу қолданылады. Екінші кезеңде қолданылатын математикалық әдістерге мыналар жатады: проективті (эпиполярлы) геометрия, геометриялық алгебра, экспоненциалды карта арқылы бұрылуды көрсету, Калман және бөлшек сүзгілері, сызықтық емес оптимизация, берік статистика. Көбейтілген шындықта екі түрлі іздеу режимі бар: маркерлік және маркерсіз. Маркерлер – виртуалды ақпаратты көрсетуді іске қосатын визуалды сигналдар. Геометриялық ерекшеліктері бар қағаз парағын пайдалануға болады. Камера суреттегі нақты нүктелерді анықтап, геометриялық нысандарды таниды. Маркерсіз іздеу, сондай-ақ жылдам іздеу деп те аталады, маркерлерді пайдаланбайды. Оның орнына пайдаланушы объектіні камера көрісінде, мүмкіндігінше көлденең жазықтықта орналастырады. Ол мобильді құрылғылардағы сенсорларды пайдаланып, нақты әлемдегі қоршаған ортаны, мысалы қабырғалардың және қиылысу нүктелерінің орналасқан жерін анықтайды. Augmented Reality Markup Language (ARML) – Ашық Геопространдық Консорциум (OGC) аясында жасалған деректер стандарты. Ол кеңейтілген таңбалау тілінің (XML) грамматикасынан тұрады, сахнадағы виртуалды объектілердің орналасуын және сыртқы түрін сипаттауға, сондай-ақ виртуалды объектілердің қасиеттеріне динамикалық қол жеткізуді қамтамасыз ету үшін ECMAScript байланыстарын қамтиды. Көбейтілген шындық қолданбаларын жылдам дамытуға мүмкіндік беру үшін, Lens Studio (Snapchat-тен) және Spark AR (Facebook-тен) сияқты бағдарламалық жасақтаманы дамытуға арналған құралдар пайда болды. Apple және Google компаниялары көбейтілген шындық бағдарламалық жасақтаманы дамыту жиынтықтарын (SDK) іске қосты.

A key measure of AR systems is how realistically they integrate augmentations with the real world. The software must derive real world coordinates, independent of camera, and camera images. That process is called image registration, and uses different methods of computer vision, mostly related to video tracking. Many computer vision methods of augmented reality are inherited from visual odometry. Usually those methods consist of two parts. The first stage is to detect interest points, fiducial markers or optical flow in the camera images. This step can use feature detection methods like corner detection, blob detection, edge detection or thresholding, and other image processing methods. The second stage restores a real world coordinate system from the data obtained in the first stage. Some methods assume objects with known geometry (or fiducial markers) are present in the scene. In some of those cases the scene 3D structure should be calculated beforehand. If part of the scene is unknown simultaneous localization and mapping (SLAM) can map relative positions. If no information about scene geometry is available, structure from motion methods like bundle adjustment are used. Mathematical methods used in the second stage include: projective (epipolar) geometry, geometric algebra, rotation representation with exponential map, kalman and particle filters, nonlinear optimization, robust statistics. In augmented reality, the distinction is made between two distinct modes of tracking, known as marker and markerless. Markers are visual cues which trigger the display of the virtual information. A piece of paper with some distinct geometries can be used. The camera recognizes the geometries by identifying specific points in the drawing. Markerless tracking, also called instant tracking, does not use markers. Instead, the user positions the object in the camera view preferably in a horizontal plane. It uses sensors in mobile devices to accurately detect the real world environment, such as the locations of walls and points of intersection. Augmented Reality Markup Language (ARML) is a data standard developed within the Open Geospatial Consortium (OGC), which consists of Extensible Markup Language (XML) grammar to describe the location and appearance of virtual objects in the scene, as well as ECMAScript bindings to allow dynamic access to properties of virtual objects. To enable rapid development of augmented reality applications, software development applications have emerged, including Lens Studio from Snapchat and Spark AR from Facebook. Augmented reality Software Development Kits (SDKs) have been launched by Apple and Google.

Даму

Тұтыну тауарларында толықтырылған шындықты енгізу үшін қолданбаларды жобалау және технологиялық платформаның байланысты шектеулерін ескеру қажет. Толықтырылған шындық жүйелері пайдаланушының толыққанды бойдауына және пайдаланушы мен жүйе арасындағы өзара әрекеттесуге көп көңіл бөлетіндіктен, дизайн виртуалдылықты қабылдауды жеңілдетеді. Көптеген толықтырылған шындық жүйелері үшін бірдей жобалау ережелерін сақтауға болады. Толықтырылған шындық қолданбаларын жобалау кезінде назарда болу керек бірнеше мәселелер төменде келтірілген:

Қарым-қатынас дизайны

Қосымша шындық технологиясындағы өзара әрекеттесу дизайны – пайдаланушының жалпы тәжірибесі мен ләззатын арттыру үшін соңғы өніммен байланысын жақсартуға бағытталған. Өзара әрекеттесу дизайнының мақсаты – ұсынылған ақпаратты ұйымдастыру арқылы пайдаланушыны шатастырудан немесе одан алыстатудан сақтау. Пайдаланушының өзара әрекеттесуі оның енгізетін мәліметтеріне байланысты болғандықтан, дизайнерлер жүйе басқаруын түсінікті және қолжетімді етуі керек. Қосымша шындық қолданбаларының қолдануын жақсартудың бір жолы – құрылғының сенсорлық экранында ең көп қолданылатын аймақтарды анықтап, сол аймақтарға сәйкес басқару элементтерін орналастыру. Сондай-ақ, пайдаланушы жол карталарын және ақпарат ағынын дұрыс құрылымдау маңызды, бұл жүйеге түсетін танымдық жүктемені азайтып, қолданбаны үйренуді жеңілдетеді. Өзара әрекеттесу дизайнында әзірлеушілер жүйенің функциясын және мақсатын толықтыратын қосымша шындық технологиясын пайдалануы керек. Мысалы, тартымды AR сүзгілерін пайдалану және Snapchat-тегі ерекше бөлісу платформасын жасау пайдаланушыларға қолданба ішіндегі әлеуметтік байланыстарын кеңейтуге мүмкіндік береді. Пайдаланушылар назар аударуын және мақсатын түсінуі керек болғанда, дизайнерлер құрылғыдан ретикл немесе сәуле шығаруды қолдана алады. Археология, сәулет, сауда және білім беру сияқты қолданыс салалары төменде сипатталған. Ең алғашқы мысалдардың бірі – дәрігерлерге виртуалды нұсқаулар беру арқылы хирургиялық операцияларды қолдау үшін қолданылған қосымша шындық, сондай-ақ астрономия және дәнекерлеуге арналған AR контенті.

Археология

АР археологиялық зерттеулерге көмектес ретінде пайдаланылды. Қазіргі заманғы ландшафтқа археологиялық ерекшеліктерді қосу арқылы АР археологтарға қолданыстағы құрылыстар негізінде нысанның мүмкін конфигурацияларын құруға мүмкіндік береді. Компьютерде жасалған қираған үйінділердің, ғимараттардың, ландшафттардың және тіпті ежелгі адамдардың модельдері алғашқы археологиялық АР қолданбаларында қайта пайдаланылды. Мысалы, VITA (Visual Interaction Tool for Archaeology) сияқты жүйені енгізу пайдаланушыларға үйден шықпай-ақ қазба жұмысының нәтижелерін көріп, зерттеуге мүмкіндік береді. Әрбір пайдаланушы өзара "навигациялау, іздеу және деректерді қарау" арқылы ынтымақтаса жұмыс істей алады. Колумбия университетінің компьютерлік ғылымдар бөлімінің зерттеушісі Хрвое Бенко осы және осындай басқа да жүйелердің "әр түрлі қазба кезеңдеріндегі 3D панорамалық суреттер мен 3D модельдерді" ұсынып қана қоймай, деректердің көп бөлігін оңай қолданылуына ыңғайлы түрде, бірлесіп ұйымдастыра алатынын атап көрсетті. Ынтымақтас АР жүйелері нақты әлемді екі ортаның виртуалды суреттерімен біріктіретін көп режимді өзара әрекеттесуді қамтамасыз етеді.

Сәулет

АР құрылыс жобаларын бейнелеуге көмектеседі. Компьютерде жасалған ғимарат суреттерін нақты үй-жай көрінісімен үйлестіріп, физикалық құрылыс басталар алдында осы жерде орналастыруға болады; бұл туралы 2004 жылы Trimble Navigation компаниясы көрсетті. АР сәулетшілердің жұмыс орындарында да қолданылады, олардың 2D суреттерін анимацияланған 3D визуализацияларға айналдыруға мүмкіндік береді. Архитектураны тамашалауды АР қосымшалары арқылы жақсартуға болады, бұл пайдаланушыларға ғимараттың сыртынан оның қабырғалары арқылы ішкі бөлмелер мен орналасуын көруге мүмкіндік береді. GPS дәлдігінің үнемі жақсаруымен, кәсіпорындар ұялы құрылғыларды пайдаланып, құрылыс алаңдарының, жер асты құрылыстарының, кабельдер мен құбырлардың геолокацияланған модельдерін кеңейтілген шындық арқылы көре алады. Көрсетілген шындық жаңа жобаларды ұсынуға, құрылыс кезіндегі мәселелерді шешуге және жарнамалық материалдарды жетілдіруге қолданылады. Мысалы, Daqri Smart Helmet – Android жүйесінде жұмыс істейтін қорғау каскасы, ол өнеркәсіптік жұмысшылар үшін кеңейтілген шындық құруға арналған, соның ішінде визуалды нұсқаулар, нақты уақыт ескертулері және 3D карталар бар. Крайстчерч жер сілкінісінен кейін Кентербери университеті CityViewAR-ді жариялады, ол қала жоспарлаушылары мен инженерлерге қираған ғимараттарды көруге мүмкіндік берді. Бұл жоспарлаушыларға бұрынғы қала көрінісін анықтауға көмектесті, сонымен қатар қиратылған ғимараттардың көптігінен туған апаттың ауқымын еске түсірді.

Білім беру және оқыту

Білім беру саласында АЖ стандартты оқу бағдарламасын толықтыру үшін қолданылады. Мәтін, графика, бейне және аудио студенттің нақты уақыт ортасына қойылуы мүмкін. Оқулықтар, флэш-карталар және басқа оқу материалдарында AR құрылғысымен сканерленген кезде студентке мультимедиа форматында қосымша ақпарат беретін кіріктірілген «маркерлер» немесе белгілер болуы мүмкін. 2015 жылғы Virtual, Augmented and Mixed Reality: 7th International Conference конференциясында Google Glass физикалық сыныпты алмастыра алатын толықтырылған шындықтың мысалы ретінде айтылды. Біріншіден, АЖ технологиялары білім алушыларға нақты әлемде шынайы зерттеулер жүргізуге көмектеседі, ал мәтіндер, бейнелер және суреттер сияқты виртуалды объектілер – білім алушыларға нақты әлемді зерттеу үшін қосымша құралдар болып табылады. АЖ дамыған сайын студенттер интерактивті түрде қатысып, біліммен шынайы байланыс орната алады. Пассивті қабылдаушылар болудың орнына, студенттер белсенді білім алушыларға айналады, олар өз оқу ортасымен өзара әрекеттесе алады. Тарихи оқиғалардың компьютерлік моделі студенттерге оқиға орнындағы әрбір маңызды аймақтың егжей-тегжейін зерттеуге және оқуға мүмкіндік береді. Жоғары білім беруде Construct3D, Studierstube жүйесі студенттерге машина жасау, математика немесе геометрия концепцияларын оқуға көмектеседі. Химиялық АЖ қолданбалары студенттерге қолдағы маркерлік нысанды пайдаланып молекуланың кеңістіктік құрылымын көруге және онымен өзара әрекеттесуге мүмкіндік береді. Басқалар HP Reveal тегін қолданбасын органикалық химия механизмдерін зерттеу үшін AR жазбаларын жасауға немесе зертханалық құралдарды қалай пайдалану керектігін виртуалды демонстрациялар жасауға қолданды. Анатомия студенттері адам денесінің әртүрлі жүйелерін үш өлшемде көре алады. АЖ-ны анатомиялық құрылымдарды оқу құралы ретінде пайдалану оқушының білімін арттырады және оқушының қызығушылығы мен тереңдеуі сияқты ішкі пайдасын қамтамасыз етеді деп дәлелденді. АЖ түрлі апаттарға, мысалы, жер сілкінісі мен ғимарат өртінде қауіпсіздік бойынша оқытуға арналған әртүрлі қолданбаларды әзірлеу үшін қолданылды. Бұдан әрі, АЖ шешімдері ұсынылып, сынақтан өтті, олар ғимараттарды эвакуациялаушыларды үлкен және кішкентай апаттар кезінде қауіпті жерлерге бағыттауға көмектеседі. АЖ қолданбалары BIM, заттардың интернеті және жасанды интеллект сияқты көптеген басқа цифрлық технологиялармен байланысты болуы мүмкін, бұл қауіпсіздік оқыту және навигациялық шешімдерді жақсартуға мүмкіндік береді.

In educational settings, AR has been used to complement a standard curriculum. Text, graphics, video, and audio may be superimposed into a student's real time environment. Textbooks, flashcards and other educational reading material may contain embedded "markers" or triggers that, when scanned by an AR device, produced supplementary information to the student rendered in a multimedia format. The 2015 Virtual, Augmented and Mixed Reality: 7th International Conference mentioned Google Glass as an example of augmented reality that can replace the physical classroom. First, AR technologies help learners engage in authentic exploration in the real world, and virtual objects such as texts, videos, and pictures are supplementary elements for learners to conduct investigations of the real world surroundings. As AR evolves, students can participate interactively and interact with knowledge more authentically. Instead of remaining passive recipients, students can become active learners, able to interact with their learning environment. Computer generated simulations of historical events allow students to explore and learning details of each significant area of the event site. In higher education, Construct3D, a Studierstube system, allows students to learn mechanical engineering concepts, math or geometry. Chemistry AR apps allow students to visualize and interact with the spatial structure of a molecule using a marker object held in the hand. Others have used HP Reveal, a free app, to create AR notecards for studying organic chemistry mechanisms or to create virtual demonstrations of how to use laboratory instrumentation. Anatomy students can visualize different systems of the human body in three dimensions. Using AR as a tool to learn anatomical structures has been shown to increase the learner knowledge and provide intrinsic benefits, such as increased engagement and learner immersion. AR has been used to develop different safety training application for several types of disasters such as, earthquakes and building fire. Further, several AR solutions have been proposed and tested to navigate building evacuees towards safe places in both large scale and small scale disasters. Further, AR applications can have several overlapping with many other digital technologies, such as BIM, internet of things and artificial intelligence, to generate smarter safety training and navigation solutions.

Өнеркәсіптік өндіріс

АЖ қағаз нұсқаулықтарды цифрлық нұсқаулармен алмастыруға қолданылады, олар өндіріс операторының көру қабілетіне қосылады, бұл жұмыс істеу үшін қажетті ой-қиялы күшін азайтады. АЖ машина күтімін тиімді етеді, себебі ол операторларға машинаның күтім тарихына тікелей қол жеткізу мүмкіндігін береді. Виртуалды нұсқаулықтар өндірушілерге өнім дизайнының жылдам өзгеруіне бейімделуге көмектеседі, өйткені цифрлық нұсқауларды физикалық нұсқаулықтарға қарағанда оңай өңдеуге және таратуға болады. АЖ қолдану операторлардың жоғары жүктемелі өнеркәсіптік жабдықтардың жанында жұмыс істегендегі қауіпсіздік сезімін арттырады, машинаның жағдайы мен қауіпсіздік функциялары, сондай-ақ жұмыс орнының қауіпті аймақтары туралы қосымша ақпарат беру арқылы.

Сауда

АР баспа және бейнемаркетингтің интеграциясы үшін қолданылады. Баспа материалдары белгілі бір "триггерлік" кескіндермен жасалуы мүмкін, олар бейнелерді тану технологиясын қолданатын AR құрылғысымен сканерленген кезде жарнамалық материалдың бейне нұсқасын іске қосады. Күшейтілген шындық пен қарапайым бейне тану арасындағы маңызды айырмашылық – экранда бір уақытта бірнеше медиа элементтерін, мысалы, әлеуметтік желілерде бөлісу түймелерін, беттегі бейнені, тіпті аудио және 3D нысандарды көрсету мүмкіндігі. Традициялық баспа басылымдары әртүрлі медиа түрлерін байланыстыру үшін күшейтілген шындықты пайдаланады. AR өнімнің алдын ала қарауын жақсарта алады, мысалы, тұтынушыға өнімнің қаптамасын ашпастан ішін көруге мүмкіндік береді. AR өнімдерді каталогтан немесе киоск арқылы таңдауда көмектесе алады. Өнімнің сканерленген кескіндері бейімдеу опциялары және өнімді пайдалану кезіндегі қосымша кескіндер сияқты қосымша мазмұнның көрінісін іске қоса алады. 2010 жылға қарай электрондық коммерция үшін виртуалды киім кию бөлмелері құрылды. 2012 жылы Арубаға арналған ескерткіш монетаны сату үшін монета жасаушылар AR технологиясын қолданды. Монетаның өзі AR триггері ретінде пайдаланылды, ал AR құрылғысының алдында ұстағанда, құрылғысыз көрінбейтін қосымша нысандар мен ақпарат қабаттарын ашты. 2018 жылы Apple iOS 12 бар iPhone және iPad үшін Universal Scene Description (USDZ) AR файлдарын қолдауды жариялады. Apple AR QuickLook галереясын жасады, бұл көптеген адамдарға өздерінің Apple құрылғыларында күшейтілген шындықты сезінуге мүмкіндік берді. 2018 жылы канадтық электрондық коммерция компаниясы Shopify AR Quick Look интеграциясын жариялады. Олардың саудагерлері өнімдерінің 3D модельдерін жүктей алады, ал олардың пайдаланушылары iOS құрылғыларындағы Safari шолғышындағы модельдерге түйіп, оларды нақты ортада көре алады. 2018 жылы Twinkl тегін AR сыныптық қолданбасын шығарды. Оқушылар Йорк қаласының 1900 жыл бұрын қалай болғанын көре алады. Twinkl алғашқы көп ойыншылы AR ойынын, Little Red-ті ұсынды және 100-ден астам тегін AR білім беру модельдеріне ие. Күшейтілген шындық онлайн жарнамада жиі қолданылады. Бөлшек саудагерлер веб-сайтына кескінді жүктеуге және осы кескінді пайдаланып түрлі киімдерді "киюге" мүмкіндік береді. Одан әрі, Bodymetrics сияқты компаниялар толық дене сканерін ұсынатын киім кию кабиналарын бөлімдерге орнатады. Бұл кабиналар пайдаланушының 3D моделін жасайды, бұл тұтынушыларға киім ауыстырмастан түрлі киімдерді өздерінің бойында көруге мүмкіндік береді. Мысалы, JC Penney және Bloomingdale's "виртуалды киім кию бөлмелерін" пайдаланады, бұл клиенттерге киім кимей-ақ өздерін киімде көруге мүмкіндік береді. AR-ды киімді тұтынушыларға сату үшін пайдаланатын тағы бір дүкен – Neiman Marcus. Neiman Marcus тұтынушыларға "естелік айнасымен" киімдерін 360 градусқа көру мүмкіндігін ұсынады. 2017 жылы Ikea Ikea Place қолданбасын жариялады. Онда компанияның диван, кресло, кофе үстелі және сақтау бірліктерінен тұратын 2000-нан астам өнімнің каталогы бар, оларды телефон арқылы бөлменің кез келген жеріне орнатуға болады. Қолданба тұтынушының тұрғын кеңістігінде 3D және нақты масштабтағы жиһаз модельдерін жасауға мүмкіндік берді. IKEA клиенттерінің дүкендерге жиі бармайтынын және тікелей сатып алуды азайтыпты. Shopify-дың Primer, AR қолданбасын сатып алуы шағын және орта бизнес сатушыларын интерактивті AR саудасына итеруді мақсат етеді, бұл саудагерлер мен тұтынушылар үшін AR интеграциясын және пайдаланушы тәжірибесін жеңілдетеді. AR бөлшек сауда индустриясының операциялық шығындарын азайтуға көмектеседі. Саудагерлер өнім туралы ақпаратты AR жүйесіне жүктейді, ал тұтынушылар 3D карталарды іздеу және жасау үшін мобильді терминалдарды пайдалана алады.

AR is used to integrate print and video marketing. Printed marketing material can be designed with certain "trigger" images that, when scanned by an AR enabled device using image recognition, activate a video version of the promotional material. A major difference between augmented reality and straightforward image recognition is that one can overlay multiple media at the same time in the view screen, such as social media share buttons, the in page video even audio and 3D objects. Traditional print only publications are using augmented reality to connect different types of media. AR can enhance product previews such as allowing a customer to view what's inside a product's packaging without opening it. AR can also be used as an aid in selecting products from a catalog or through a kiosk. Scanned images of products can activate views of additional content such as customization options and additional images of the product in its use. By 2010, virtual dressing rooms had been developed for e commerce. In 2012, a mint used AR techniques to market a commemorative coin for Aruba. The coin itself was used as an AR trigger, and when held in front of an AR enabled device it revealed additional objects and layers of information that were not visible without the device. In 2018, Apple announced Universal Scene Description (USDZ) AR file support for iPhones and iPads with iOS 12. Apple has created an AR QuickLook Gallery that allows masses to experience augmented reality on their own Apple device. In 2018, Shopify, the Canadian e commerce company, announced AR Quick Look integration. Their merchants will be able to upload 3D models of their products and their users will be able to tap on the models inside the Safari browser on their iOS devices to view them in their real world environments. In 2018, Twinkl released a free AR classroom application. Pupils can see how York looked over 1,900 years ago. Twinkl launched the first ever multi player AR game, Little Red and has over 100 free AR educational models. Augmented reality is becoming more frequently used for online advertising. Retailers offer the ability to upload a picture on their website and "try on" various clothes which are overlaid on the picture. Even further, companies such as Bodymetrics install dressing booths in department stores that offer full body scanning. These booths render a 3 D model of the user, allowing the consumers to view different outfits on themselves without the need of physically changing clothes. For example, JC Penney and Bloomingdale's use "virtual dressing rooms" that allow customers to see themselves in clothes without trying them on. Another store that uses AR to market clothing to its customers is Neiman Marcus. Neiman Marcus offers consumers the ability to see their outfits in a 360 degree view with their "memory mirror". In 2017, Ikea announced the Ikea Place app. It contains a catalogue of over 2,000 products—nearly the company's full collection of sofas, armchairs, coffee tables, and storage units which one can place anywhere in a room with their phone. The app made it possible to have 3D and true to scale models of furniture in the customer's living space. IKEA realized that their customers are not shopping in stores as often or making direct purchases anymore. Shopify's acquisition of Primer, an AR app aims to push small and medium sized sellers towards interactive AR shopping with easy to use AR integration and user experience for both merchants and consumers. AR helps the retail industry reduce operating costs. Merchants upload product information to the AR system, and consumers can use mobile terminals to search and generate 3D maps.

Бейнелеу өнері

Көрнекі өнерде қолданылатын АЖ объектілер мен орындарға көркемдік көп өлшемді тәжірибелер мен шындықты түсіндіруді іске қосуға мүмкіндік береді. Австралиялық жаңа медиа суретшісі Джеффри Шоу кеңейтілген шындықты үш өнер туындысында алға жылдырды: 1975 жылы «Көзқарас», 1987 жылы «Виртуалды мүсіндер» және 1993 жылы «Алтын бұзау». Ол көптеген соңғы еңбектерінде АР-ның жаңа мүмкіндіктерін зерттеуді жалғастыруда. Көрсетілген шындық музейге келушілерге галереядағы көркем туындыларды телефон экраны арқылы көп өлшемді түрде көруге мүмкіндік беріп, музейдегі бейнелеу өнерінің дамуына көмектеседі. Нью-Йорктегі Музей заманауи өнері көркемөнер мұражайында АR мүмкіндіктерін көрсететін көрме ұйымдастырылды, оны көрермендер смартфондағы қосымша арқылы көре алады. Музей «MoMAR Gallery» деп аталатын жеке қолданбаны жасады, оны музей қонақтары жүктей алады және кеңейтілген шындыққа арналған галереяда пайдалана алады, мұражай суреттерін жаңаша көру үшін. Бұл адамдарға суреттер туралы жасырын аспектілер мен ақпаратты көруге, сондай-ақ сурет жұмысымен интерактивті технологиялық тәжірибе алуға мүмкіндік береді. АR технологиясы Нэнси Бейкер Кэхиллдің «Жазылу шегі» және «Революциялар» атты екі қоғамдық өнер туындысында қолданылды. АR технологиясы мүмкіндігі шектеулі адамның көзінің қозғалысын экрандағы суреттерге айналдыратын көзді бақылау технологиясын дамытуға көмектесті. Даниялық суретші Олафур Элиассон жанып тұрған күн, ғарыштан келген тау жыныстары және сирек кездесетін жануарлар сияқты заттарды пайдаланушының ортасына орналастырды. Martin & Muñoz 2020 жылы кеңейтілген шындық (AR) технологиясын пайдаланып, қар шарларына негізделген виртуалды жұмыстарды өздерінің көрмелерінде және пайдаланушылардың орталарында жасауды бастады. Олардың алғашқы АR жұмысы 2022 жылдың басында Нью-Йорктегі Сервантес институтында таныстырылды.

Дене шынықтыру

Фитнес саласында қолданылатын AR аппараттық және бағдарламалық құралдарына велосипед тебу және жүгіруге арналған, өнімділік сараптамасы мен карта бағыттауын пайдаланушының көру қабатына проекциялайтын смарт-көзілдіріктер, сондай-ақ бокс, жекпе-жек және теннис кіреді, онда пайдаланушылар қауіпсіздік үшін физикалық орталарына көңіл жеткізеді. Фитнеске қатысты ойындар мен бағдарламалық құралдарға Pokémon Go және Jurassic World Alive жатады.

Адам мен компьютер арасындағы өзара іс-қимыл

Адам-компьютер өзара әрекеттесуі (ХКК) – адамдармен өзара әрекеттесетін жүйелерді жобалау және іске асырумен айналысатын, есептеу техникасының салааралық саласы. ХКК-дегі зерттеушілер компьютерлік ғылым, инженерия, дизайн, адам факторы және әлеуметтік ғылымдар сияқты түрлі салалардан келеді, олардың ортақ мақсаты – технологияны жобалау және пайдаланудағы мәселелерді шешу, осы арқылы оны оңай, тиімді, жемісті, қауіпсіз және қанағаттанушылықпен қолдануға мүмкіндік беру. 2017 жылғы Time журналында жарияланған мақалаға сәйкес, алдағы 15-20 жылдың ішінде толықтырылған шындық (augmented reality) және виртуалды шындық (virtual reality) компьютермен өзара әрекеттесудің басты түріне айналады деп күтілуде.

Қашықтан ынтымақтастық

Бастауыш сынып оқушылары интерактивті тәжірибеден оңай білім алады. Мысалы, астрономиялық шоқжұлдыздар мен Күн жүйесіндегі нысандардың қозғалысы 3D форматта көрсетілді және құрылғының бағытына сәйкес жабыстырылды, сондай-ақ қосымша бейне ақпаратымен толықтырылды. Қағаздан жасалған ғылыми кітаптардың суреттері балаға интернетте материал іздеудің қажеті болмай, бейне түрінде тірідей көрінуге мүмкіндік берді. 2013 жылы Kickstarter платформасында электрониканы оқытуға бағытталған жоба іске қосылды. Бұл оқулық ойыншық балаларға iPad арқылы схемаларын сканерлеп, электр тогының ағымын көруге мүмкіндік берді. 2016 жылға қарай білім беру саласында AR қолданбаларының бірнешеуі қолжетімді болғанымен, олар кеңінен таралған жоқ. Оқу процесін жеңілдету үшін тобықтандырылған шындық технологиясын пайдаланатын қолданбаларға астрономияны зерттеу үшін SkyView, қарапайым электр тізбектерін құру үшін AR Circuits және сурет салу үшін SketchAr кірді. AR ата-аналар мен мұғалімдерге қазіргі заманғы білім берудің мақсаттарына жетуге де көмектеседі, оған жеке және икемді оқытуды ұйымдастыру, мектептегі білім мен нақты өмір арасындағы байланысты нығайту және оқушыларды өз білімдерін меңгеруге ынталандыру кіреді.

Төтенше жағдайларды басқару/іздестіру және құтқару

Көтерілген шындық жүйелері қоғамдық қауіпсіздік жағдайларында қолданылады, мысалы, күшті дауылдардан бастап, іздеп жүрген күдіктілерге дейін. 2009 жылдың өзінде "Төтенше жағдайларды басқару" журналында АЖ технологиясы туралы екі мақала жарияланған. Біріншісі – Джеральд Баронның "Көтерілген шындық – төтенше жағдайларды басқарудың пайда болатын технологиясы" атты мақаласы. Адам Кроудың сөзіне сүйенсек: "Көтерілген шындық (мысалы, Google Glass) сияқты технологиялар мен қоғамның үмітінің артуы, кәсіби төтенше жағдайларды басқарушыларды апаттар алдында, апат кезінде және апаттан кейін технологияны қашан, қайда және қалай қолдануды түбегейлі өзгертуге мәжбүр етеді". Тағы бір ерте мысал – таулы қиыр жерде жоғалған саяхатшыны іздеуге шыққан ұшақ. Көтерілген шындық жүйелері әуе камера операторларын орман жолдарының атаулары мен орналасқан жерлері туралы географиялық ақпаратпен, оны камера бейнесімен біріктіріп қамтамасыз етті. Камера операторы камера суретінің географиялық контекстін білгеннен кейін саяхатшыны іздеуді оңайлатты. Оны тапқаннан кейін оператор географиялық орны мен анықталған бағдаршамдар арқасында құтқарушыларды саяхатшының орнына тиімдірек бағыттай алды.

Әлеуметтік қарым-қатынас

АР әлеуметтік өзара әрекеттесуді жеңілдету үшін қолданылуы мүмкін. Talk2Me деп аталатын толықтырылған шындық әлеуметтік желісі адамдарға ақпарат таратуға және басқалардың жарияланған ақпаратын толықтырылған шындық арқылы көруге мүмкіндік береді. Talk2Me-нің уақтылы және динамикалық ақпарат алмасу және көру мүмкіндіктері пайдаланушыларға әңгіме бастауға және физикалық жақын жердегі адамдармен дос болуға көмектеседі. Дегенмен, АР гарнитурасын пайдалану екі адам арасындағы өзара әрекеттесу сапасын төмендетуі мүмкін, егер біреуі кимеген болса, гарнитура назарды аударушы болса. Сонымен қатар, толықтырылған шындық пайдаланушыларға қауіпсіз және тәуекелсіз ортада басқа адамдармен әртүрлі әлеуметтік өзара әрекеттесу түрлерін тәжірибелеуге мүмкіндік береді. Вена Техникалық Университетінің виртуалды шындық бойынша доценті Ханнес Кауффман былай дейді: «Ынтымақтастық толықтырылған шындықта бірнеше пайдаланушылар виртуалды нысандармен толтырылған ортақ кеңістікке қол жеткізе алады, бірақ нақты әлемде қалады. Бұл техника, әсіресе, пайдаланушылар бір жерде болғанда және табиғи коммуникация құралдарын (сөз, ишаралар және т.б.) пайдалана алғанда, білім беру мақсатында өте қуатты, сонымен қатар иммерсивті VR немесе қашықтықтан жұмыспен табысты үйлестірілуі мүмкін». Ханнес білім беруді осы технологияны қолданудың әлеуетті саласы ретінде көрсетеді.

Бейне ойындар

Ойын индустриясы АР технологиясын қабылдады. Дайын үйішілік кеңістіктер үшін бірнеше ойындар жасалды, мысалы, АР әуе хоккейі, «Ғарыш титандары», виртуалды жауларға қарсы бірлескен күрес және АР-технологиясымен жабдықталған бильярд ойындары. 2010 жылы Ogmento венчурлық қаржыландыру алған алғашқы АР ойын стартабы болды. Компания «Paranormal Activity: Sanctuary», «NBA: King of the Court» және «Halo: King of the Hill» сияқты ойындар үшін геолокациялық АР ойындарын жасады. Компанияның компьютерлік көру технологиясы кейін Apple компаниясына сатылып, ARKit-тің дамуына маңызды үлес қосты. Көтерілген шындық ойыншыларға нақты ортада цифрлық ойын тәжірибесін сезінуге мүмкіндік береді. Niantic компаниясы «Pokémon Go» кеңейтілген шындық мобилдік ойынын шығарды. Disney компаниясы Lenovo компаниясымен бірлесіп, 2017 жылдың желтоқсанында шығатын, Lenovo Mirage AR гарнитурасы, бақылау сенсоры және Lightsaber контроллерімен жұмыс істейтін «Star Wars: Jedi Challenges» кеңейтілген шындық ойынын жасады.

Өнеркәсіптік жобалау

АЖ өндірістік дизайнерлерге өнімнің дизайны мен жұмысын аяқтау алдында сезінуге мүмкіндік береді. Volkswagen компаниясы АЖ-ны есептелген және нақты соққы сынақтарының суреттерін салыстыру үшін пайдаланған. АЖ автомобильдің кузов құрылымын және қозғалтқыш орналасуын көруге және өзгертуге қолданылды. Сонымен қатар, ол цифрлық модельдерді физикалық модельдермен салыстырып, олардың арасындағы айырмашылықтарды анықтау үшін де қолданылды.

Денсаулық сақтауды жоспарлау, практика және білім беру

Қосымша шындықтың алғашқы қолданылуларының бірі денсаулық сақтау саласында болды, әсіресе хирургиялық процедураларды жоспарлау, дайындау және оқытуды қолдау үшін. 1992 жылы АҚШ Әуе күштері зертханаларында алғашқы қосымша шындық жүйелерін құрастыру кезінде операция кезінде адамның өнімділігін арттыру ресми түрде мақсат ретінде қойылған болатын. Қосымша шындық (AR) хирургтарға ұрыс ұшқышының бас дисплейі сияқты науқастың жағдайын бақылау деректерін ұсынады, сондай-ақ науқастың суреттеу жазбаларына, функционалдық бейнелерге қол жеткізуге және оларды қабаттастыруға мүмкіндік береді. Мысалдарға бұрынғы томографияға немесе ультрадыбыстық және конфокалды микроскопиялық зондтардан алынған нақты уақыт кескіндеріне негізделген виртуалды рентгендік көрініс, эндоскоптың бейнесіндегі ісіктің орнын көрсету немесе рентгендік суреттеу құрылғыларынан туындайтын сәулелену қаупін визуализациялау кіреді. AR ананың жатырындағы ұрықты көруді жақсартады. Siemens, Karl Storz және IRCAD лапароскопиялық бауыр хирургиясы үшін қосымша шындықты пайдаланып, беткі қабаттағы ісіктер мен қан тамырларын көруге арналған жүйені әзірледі. Қосымша шындық тарақанға қарсы фобияны емдеу және құмырсқалардан қорқуды азайту үшін де қолданылады. Қосымша шындық көзілдігін киген науқастарға дәрі ішуді еске салады. Қосымша шындық медицина саласында өте пайдалы болуы мүмкін. Ол дәрігерге немесе хирургқа пациенттен көздерін алмастан маңызды ақпарат беруге мүмкіндік береді. 2015 жылдың 30 сәуірінде Microsoft компаниясы өздерінің қосымша шындыққа жасаған алғашқы қадамы – Microsoft HoloLens-ті жариялады. HoloLens жылдар бойы жетілдіріліп, жақын инфрақызыл флуоресценцияға негізделген суреттермен басқарылатын хирургия үшін голограммаларды проекциялай алады. Қосымша шындық дамыған сайын денсаулық сақтауда оның қолданылу аясы кеңейеді. Медициналық қызметкерлерді оқыту үшін қосымша шындық және осыған ұқсас компьютерлік құралдар қолданылуда. Денсаулық сақтауда AR диагностикалық және емдік шаралар кезінде, мысалы, хирургиялық операциялар кезінде бағдар беру үшін қолданылуы мүмкін. Мысалы, Magee және авторлар ультрадыбыспен басқарылатын ине енгізуді симуляциялау арқылы медициналық оқытуда қосымша шындықты қолдануды сипаттайды. Akçayır, Akçayır, Pektaş және Ocak (2016) жүргізген соңғы зерттеу қосымша шындық технологиясы университет студенттерінің зертханалық дағдыларын жақсартатынын және физика зертханалық жұмысына оңтайлы көзқарас қалыптастыруға көмектесетінін көрсетті. Соңғы кезде қосымша шындық нейрохирургияда қолданыла бастады, бұл салада процедураларға дейін көп мөлшерде суреттеу қажет.

One of the first applications of augmented reality was in healthcare, particularly to support the planning, practice, and training of surgical procedures. As far back as 1992, enhancing human performance during surgery was a formally stated objective when building the first augmented reality systems at U. S. Air Force laboratories. AR provides surgeons with patient monitoring data in the style of a fighter pilot's heads up display, and allows patient imaging records, including functional videos, to be accessed and overlaid. Examples include a virtual X ray view based on prior tomography or on real time images from ultrasound and confocal microscopy probes, visualizing the position of a tumor in the video of an endoscope, or radiation exposure risks from X ray imaging devices. AR can enhance viewing a fetus inside a mother's womb. Siemens, Karl Storz and IRCAD have developed a system for laparoscopic liver surgery that uses AR to view sub surface tumors and vessels. AR has been used for cockroach phobia treatment and to reduce the fear of spiders. Patients wearing augmented reality glasses can be reminded to take medications. Augmented reality can be very helpful in the medical field. It could be used to provide crucial information to a doctor or surgeon without having them take their eyes off the patient. On 30 April 2015 Microsoft announced the Microsoft HoloLens, their first attempt at augmented reality. The HoloLens has advanced through the years and is capable of projecting holograms for near infrared fluorescence based image guided surgery. As augmented reality advances, it finds increasing applications in healthcare. Augmented reality and similar computer based utilities are being used to train medical professionals. In healthcare, AR can be used to provide guidance during diagnostic and therapeutic interventions e. g. during surgery. Magee et al., for instance, describe the use of augmented reality for medical training in simulating ultrasound guided needle placement. A very recent study by Akçayır, Akçayır, Pektaş, and Ocak (2016) revealed that AR technology both improves university students' laboratory skills and helps them to build positive attitudes relating to physics laboratory work. Recently, augmented reality began seeing adoption in neurosurgery, a field that requires heavy amounts of imaging before procedures.

Ғарыштық суға бату және өзара іс-қимыл

Көшбасшылық құрылғыларда жұмыс істейтін толықтырылған шындық қолданбалары, виртуалды шындық гарнитурасы ретінде пайдаланылатын, кеңістіктегі адамның болуын цифрлық түрде бейнелеуге және олардың өзара әрекеттесе алатын және түрлі іс-әрекеттерді орындай алатын виртуалды кеңістікте компьютерлік моделін жасауға мүмкіндік береді. Мұндай мүмкіндіктерді Цюрихтегі ЭТХ аспиранты әзірлеген «Еңбек кез келген жерде» жобасы көрсетеді, ол «денеден шығу тәжірибесі» деп аталды.

Ұшуды оқыту

Эксперименталды психологиядағы онжылдықтар бойы жүргізілген қабылдау-қимыл зерттеулеріне сүйене отырып, Иллинойс университетінің Урбана-Шампейн қаласындағы Ұшқыш зерттеу зертханасының ғалымдары ұшу студенттеріне ұшу симуляторы арқылы ұшақты қалай қондыру керектігін үйрету үшін аспандағы ұшу жолын толықтырылған шындық түрінде қолданды. Студенттер ұшу жолынан ауытқан кезде ғана толықтыру көрсетілетін бейімделмелі толықтырылған кесте, тұрақты кестеге қарағанда тиімді оқу құралы болды. Бейімделмелі толықтырумен симуляторда қондыруды үйренген ұшу студенттері, сол көлемдегі қондыру оқуынан өткен, бірақ тұрақты толықтырумен немесе толықтырусыз оқыған студенттерге қарағанда жеңіл ұшақты тезірек қондыруды үйренді.

Әскери

АР-ның қызықты алғашқы қолданылуы Rockwell International компаниясының Әуе күштері Мауи оптикалық жүйесінде ғарышқа бақылау жасауға көмектесу үшін спутниктік және орбиталық қалдықтардың жолдарының бейне картасын жасауы болды. 1993 жылғы "Debris Correlation Using the Rockwell WorldView System" мақаласында авторлар ғарышқа бақылау телескоптарынан түсетін бейнеге қолданылатын карталардың үстіне жабылатын қабатты сипаттады. Картаның үстіне жабылуы әртүрлі нысандардың траекториясын географиялық координаттармен көрсетті. Бұл телескоп операторларына спутниктерді анықтауға, сондай-ақ қауіпті ғарыш қалдықтарын анықтауға және тізімдеуге мүмкіндік берді. 2003 жылдан бастап АҚШ армиясы SmartCam3D толықтырылған шындық жүйесін Shadow пилотсыз әуе жүйесіне интеграциялады, бұл сенсор операторларына телескопиялық камераларды пайдалану арқылы адамдарды немесе қызығушылық тудыратын жерлерді табуға көмектеседі. Жүйеге көше атаулары, қызығушылық тудыратын жерлер, әуежайлар және теміржолдар сияқты тұрақты географиялық ақпарат камера жүйесінен түсетін тікелей бейнемен біріктірілді. Жүйе "сурет ішінде сурет" режимін ұсынады, бұл камераның көрініс өрісін қоршаған аймақтың синтетикалық көрінісін көрсетуге мүмкіндік береді. Бұл көздің өрісі өте тар болғандықтан маңызды контекстті жоғалтатын мәселені шешуге көмектеседі, "сода түтігінен қарағандай". Жүйе тікелей бейнеге үйлесімді дос/жау/бейтарап орналасу белгілерін көрсетеді, бұл оператордың жағдайды түсінуін жақсартады. АҚШ Әскери-әуе күштері зерттеу зертханасының зерттеушілері (Calhoun, Draper және т.б.) осы технологияны қолдану арқылы БПҰ сенсор операторларының қызығушылық тудыратын жерлерді табу жылдамдығын шамамен екі есе арттырғанын анықтады. Географиялық хабардарлықты сақтау қабілеті миссияның тиімділігін арттырады. Бұл жүйе АҚШ армиясының RQ 7 Shadow және MQ 1C Gray Eagle пилотсыз әуе жүйелерінде қолданылады. Жауынгерлік жағдайда АР желілік байланыс жүйесі ретінде қызмет ете алады, ол жауынгердің көзілдірігіне нақты уақытта пайдалы майдан деректерін көрсетеді. Әскердің көзқарасы бойынша, адамдар мен әртүрлі нысандарға қауіп-қатер туралы ескерту үшін арнайы белгілер қойылуы мүмкін. Виртуалды карталар мен 360° көру бұрышы бар камералық бейнелеулер де сарбаздың навигациясына және майданды түсінуіне көмектесу үшін ұсынылуы мүмкін, сондай-ақ бұл ақпарат алыстағы басқару орталығындағы әскери басшыларға жіберілуі мүмкін. 360° көру бұрышы бар камералар мен АР ұрыс машиналарын және танктерде айналмалы шолу жүйесі ретінде қолданылуы мүмкін. АР жердегі оқ-дәрі қоймаларының 3D топологиясын виртуалды түрде картаға түсіру үшін тиімді құрал бола алады, оқ-дәрілердің жиынтығын және олардың арасындағы қашықтықты, сондай-ақ тәуекел аймақтарын визуализациялауға мүмкіндік береді. Дереккөздің сенімділігі жоқ: мерзімі=2019 жылдың қазаны. АР қолданбаларының аясына енген оқ-дәрілерді бақылау сенсорларынан алынған деректерді визуализациялау да кіреді. LandForm бағдарламалық жасақтамасы 1999 жылы армияның Юма полигонында сынақтан өтті. Оң жақтағы суретте ұшу-қону жолақтарын, әуе қозғалысын басқару мұнарасын, такси жолақтарын және ангарларды бейнеге жабыстырылған карта белгілерін көруге болады. АР навигациялық құрылғылардың тиімділігін арттыра алады. Ақпарат автомобильдің алдыңғы әйнегінде бағыттар, метр, ауа райы, жер бедері, жол жағдайы және жол қозғалысы туралы ақпарат, сондай-ақ олардың жолындағы ықтимал қауіптер туралы ескертулер түрінде көрсетілуі мүмкін. 2012 жылдан бері швейцариялық WayRay компаниясы жүргізушілердің көз алдында және көлік құралының алдында бағыттар, маңызды хабарламалар және қызығушылық тудыратын жерлер сияқты барлық маршруттық ақпаратты проекциялауға арналған голографиялық оптикалық элементтерді пайдаланатын голографиялық АР навигациялық жүйелерді әзірлеп келеді. Теңіз кемелерінде АР көпірдегі күзетшілерге кеме бағыты мен жылдамдығы сияқты маңызды ақпаратты көпірде қозғалып жүргенде немесе басқа да тапсырмаларды орындаған кезде үнемі бақылауға мүмкіндік береді.

An interesting early application of AR occurred when Rockwell International created video map overlays of satellite and orbital debris tracks to aid in space observations at Air Force Maui Optical System. In their 1993 paper "Debris Correlation Using the Rockwell WorldView System" the authors describe the use of map overlays applied to video from space surveillance telescopes. The map overlays indicated the trajectories of various objects in geographic coordinates. This allowed telescope operators to identify satellites, and also to identify and catalog potentially dangerous space debris. Starting in 2003 the US Army integrated the SmartCam3D augmented reality system into the Shadow Unmanned Aerial System to aid sensor operators using telescopic cameras to locate people or points of interest. The system combined fixed geographic information including street names, points of interest, airports, and railroads with live video from the camera system. The system offered a "picture in picture" mode that allows it to show a synthetic view of the area surrounding the camera's field of view. This helps solve a problem in which the field of view is so narrow that it excludes important context, as if "looking through a soda straw". The system displays real time friend/foe/neutral location markers blended with live video, providing the operator with improved situational awareness. Researchers at USAF Research Lab (Calhoun, Draper et al.) found an approximately two fold increase in the speed at which UAV sensor operators found points of interest using this technology. This ability to maintain geographic awareness quantitatively enhances mission efficiency. The system is in use on the US Army RQ 7 Shadow and the MQ 1C Gray Eagle Unmanned Aerial Systems. In combat, AR can serve as a networked communication system that renders useful battlefield data onto a soldier's goggles in real time. From the soldier's viewpoint, people and various objects can be marked with special indicators to warn of potential dangers. Virtual maps and 360° view camera imaging can also be rendered to aid a soldier's navigation and battlefield perspective, and this can be transmitted to military leaders at a remote command center. The combination of 360° view cameras visualization and AR can be used on board combat vehicles and tanks as circular review system. AR can be an effective tool for virtually mapping out the 3D topologies of munition storages in the terrain, with the choice of the munitions combination in stacks and distances between them with a visualization of risk areas. Unreliable source: date=October 2019 The scope of AR applications also includes visualization of data from embedded munitions monitoring sensors. The LandForm software was also test flown at the Army Yuma Proving Ground in 1999. In the photo at right one can see the map markers indicating runways, air traffic control tower, taxiways, and hangars overlaid on the video. AR can augment the effectiveness of navigation devices. Information can be displayed on an automobile's windshield indicating destination directions and meter, weather, terrain, road conditions and traffic information as well as alerts to potential hazards in their path. Since 2012, a Swiss based company WayRay has been developing holographic AR navigation systems that use holographic optical elements for projecting all route related information including directions, important notifications, and points of interest right into the drivers' line of sight and far ahead of the vehicle. Aboard maritime vessels, AR can allow bridge watch standers to continuously monitor important information such as a ship's heading and speed while moving throughout the bridge or performing other tasks.

Жұмыс орны

Өңделген шындық жұмыспен ынтымақтастыққа оң әсер ете алады, себебі адамдар өз оқу ортасымен жандамалырақ әрекеттесуге бейімделуі мүмкін. Сондай-ақ, ол компаниялардың бәсекеге қабілеттілігін арттыратын жасырын білімді жаңаруға көмектеседі. АР жергілікті және виртуалды қатысушылары бар конференциялар арқылы шашыраңқы команда мүшелері арасындағы ынтымақтастықты жеңілдету үшін қолданылды. АР тапсырмаларына сенсорлық экрандар, интерактивті цифрлық тақталар, ортақ дизайн кеңістіктері және бөлінген басқару орталықтары арқылы ортақ визуализацияны пайдалана отырып, идея жаңарту және талқылау жиналыстары кірді. Өнеркәсіптік ортада кеңейтілген шындықтың маңызды әсері бар екені дәлелденді, өнімнің өмірлік циклының барлық кезеңдерінде пайдалану жағдайлары көбейіп келеді – өнімді жобалаудан және жаңа өнімді енгізуден (NPI) бастап, өндіріс, қызмет көрсету және техникалық қызмет көрсету, материалдарды тасымалдау және таратуға дейін. Мысалы, жүйе бөліктеріне жүйеде техникалық қызмет көрсетуші механик үшін операциялық нұсқауларды түсіндіру үшін белгілер орналастырылды. АР-ны пайдалану арқасында құрастыру желілері тиімдірек болды. Boeing-тен басқа, BMW және Volkswagen да осы технологияны құрастыру желілеріне енгізіп, процестерді жақсартуды бақылаумен белгілі болды. Үлкен машиналарды бірнеше қабаттары мен құрылымдары болғандықтан күтіп ұстау қиын. АР адамдарға машинаны рентген сәулесімен қарағандай көруге және мәселені бірден табуға мүмкіндік береді. АР технологиясы дамып, екінші және үшінші буын АР құрылғылары нарыққа шыққан сайын, кәсіпорында АР-ның әсері артып келеді. Гарвард Бизнес Шығару журналында Магид Абрахам мен Марко Аннунциата АР құрылғыларының қазір қандай мақсатта қолданылып жатқанын талқылайды – "жұмыскерлердің өнімділігін алғашқы қолданыстан бастап, тіпті алдын ала оқытусыз да арттыру үшін". Олар "осы технологиялар жұмыскерлерді білікті әрі тиімді ету арқылы өнімділікті арттырады, соның салдарынан экономикалық өсім мен жақсы жұмыс орындарына қол жеткізуге мүмкіндік береді" дейді. Сондай-ақ, олар снукер шарларының траекториясын да көрсетуге болады. АР концерттер мен театрлық қойылымдарды жақсарту үшін де қолданылды. Мысалы, әртістер тыңдаушыларға өз өнерін басқа топтардың/пайдаланушылар тобының өнерімен біріктіру арқылы тыңдау тәжірибесін байытуға мүмкіндік береді.

Augmented reality may have a positive impact on work collaboration as people may be inclined to interact more actively with their learning environment. It may also encourage tacit knowledge renewal which makes firms more competitive. AR was used to facilitate collaboration among distributed team members via conferences with local and virtual participants. AR tasks included brainstorming and discussion meetings utilizing common visualization via touch screen tables, interactive digital whiteboards, shared design spaces and distributed control rooms. In industrial environments, augmented reality is proving to have a substantial impact with more and more use cases emerging across all aspect of the product lifecycle, starting from product design and new product introduction (NPI) to manufacturing to service and maintenance, to material handling and distribution. For example, labels were displayed on parts of a system to clarify operating instructions for a mechanic performing maintenance on a system. Assembly lines benefited from the usage of AR. In addition to Boeing, BMW and Volkswagen were known for incorporating this technology into assembly lines for monitoring process improvements. Big machines are difficult to maintain because of their multiple layers or structures. AR permits people to look through the machine as if with an x ray, pointing them to the problem right away. As AR technology has evolved and second and third generation AR devices come to market, the impact of AR in enterprise continues to flourish. In the Harvard Business Review, Magid Abraham and Marco Annunziata discuss how AR devices are now being used to "boost workers' productivity on an array of tasks the first time they're used, even without prior training". They contend that "these technologies increase productivity by making workers more skilled and efficient, and thus have the potential to yield both more economic growth and better jobs". and snooker ball trajectories. AR has been used to enhance concert and theater performances. For example, artists allow listeners to augment their listening experience by adding their performance to that of other bands/groups of users.

Туризм және көрікті жерлер

Саяхатшылар АЖ технологиясын пайдаланып, нақты уақыт режиміндегі ақпараттық дисплейлерге қол жеткізе алады, олар орналасқан жер туралы, оның ерекшеліктері туралы, сондай-ақ бұрынғы келушілер қалдырған пікірлер мен мазмұн туралы мәліметтер береді. Күрделі АЖ қолданбаларына тарихи оқиғалардың, орындардың және нысандардың ландшафтқа енгізілген симуляциялары кіреді. Географиялық орналасқан жерлерге байланысты АЖ қолданбалары аудио арқылы орналасқан жер туралы ақпаратты ұсынады, пайдаланушыға көрінетін қызығушылық тудыратын нысандарды жариялайды.

Аударма

Word Lens сияқты AR жүйелері таңбалар мен мәзірлердегі шетел тіліндегі мәтінді түсініп, пайдаланушының толықтырылған көрісінде сол мәтінді пайдаланушының тіліне ауыстырып көрсетеді. Шетел тілінде айтылған сөздер аударлып, пайдаланушының көрісінде басылған субтитрлер түрінде көрсетіледі.

Музыка

Қосымша шындық музыканы өндірудің, араластырудың, басқарудың және визуализациялаудың жаңа әдістерінде қолданылуы мүмкін деген ұсыныс жасалды. Калифорния өнер колледжінің интерактивті дизайн студенті Иан Стерлинг пен бағдарламалық жасақтама инженері Сваруп Пал жасаған концепциялық жобада HoloLens қосымшасы көрсетілді, оның басты мақсаты – платформааралық құрылғылар үшін 3D кеңістіктік интерфейсін (UI) қамтамасыз ету, яғни Android Music Player қосымшасы мен Arduino басқаратын желдеткіш және шамды, сондай-ақ көз және қол қимылдары арқылы өзара әрекеттесуге мүмкіндік беру. Лилль университетінің CRIStAL орталығының зерттеушілері қосымша шындықты музыкалық өнерлеуді байыту үшін пайдаланады. ControllAR жобасы музыканттарға музыкалық бағдарламалық жасақтаманың өңделген графикалық интерфейстерімен MIDI басқару панельдерін кеңейтуге мүмкіндік береді. Rouages жобасы цифрлық музыкалық аспаптарды олардың механизмдерін көрермендерге көрсету үшін және осылайша тірілігін арттыру үшін кеңейтуді ұсынады. Reflets – музыкалық қойылымдарға арналған инновациялық қосымша шындық дисплейі, онда көрермендер сахнада виртуалды контентті көрсету арқылы 3D дисплей рөлін атқарады, бұл 3D музыкалық өзара әрекеттесу және ынтымақтастық үшін де қолданылуы мүмкін.

Snapchat-тің қолданушысы

Snapchat пайдаланушылары қосымшада камера сүзгілерін қолдану арқылы толықтырылған шындыққа қол жеткізе алады. 2017 жылдың қыркүйегінде Snapchat қосымшасын жаңартты, осы арқылы пайдаланушыларға "Bitmoji" деп аталатын өздерінің анимациялық, мультфильмдік бейнесін жасауға мүмкіндік берді. Бұл анимациялық бейнелер камера арқылы нақты әлемге проекцияланады және оларды суретке түсіруге немесе бейнеге түсіруге болады. Сол айда Snapchat өзінің қосымшасында "Sky Filters" деп аталатын жаңа мүмкіндікті де жариялады. Бұл жаңа мүмкіндік аспанның суретін өзгерту үшін толықтырылған шындықты пайдаланады, бұл пайдаланушылардың басқа суреттерге қосымшаның сүзгілерін қолдануына ұқсас. Пайдаланушылар жұлдызды түн, дауылды бұлттар, әдемі күн батыстары және радуга сияқты аспан сүзгілерін таңдай алады.

Шындықтың өзгеруі

"Pokémon GO арқылы өлім" атты мақаласында Пердью университетінің Краннерт менеджмент мектебінің зерттеушілері ойынның "ПокеСтоптар деп аталатын орындар маңында көлік апаттарының, көлік құралдарына келтірілген зиянның, жеке жарақаттардың және қаза болғандардың диспропорционалды түрде артуына" себеп болғанын мәлімдейді. Бір муниципалитеттің деректерін пайдалана отырып, мақала осының жалпыұлттық деңгейде қандай болуы мүмкін екенін экстраполяциялап, "Pokémon GO енгізілгеннен кейін туындаған апаттардың саны 145 632-ге, жарақаттардың саны 29 370-ке, ал 2016 жылдың 6 шілдесінен 2016 жылдың 30 қарашасына дейінгі кезеңде қаза болғандардың саны 256-ға артқан" деген қорытындыға келді. Авторлар осы апаттар мен қаза болғандардың құнын осы кезеңде 2 миллиардтан 7,3 миллиард долларға дейін бағалады. Сонымен қатар, сауалнамаға қатысқан бес интернет қолданушының бірінен астамы, қоқыс немесе граффити сияқты алаңдататын элементтерді айналасынан жоюға ниетті. Олар тіпті көше табельдерін, жарнамалық баннерлерді және қызығушылық тудырмайтын дүкендердің витриналарын өшіріп, қоршаған ортаны өзгертуге ұмтылады. Осылайша, АР компаниялар үшін мүмкіндік қана емес, қауіп те тудырады. Бұл тұтынушылардың қиялын баурап алмаған брендтер үшін қиындыққа толы болуы мүмкін, сонымен қатар кеңейтілген шындық көзілдірігін киген адамдар айналасындағы қауіптерге мән бермей қалу қаупін де тудырады. Тұтынушылар кеңейтілген шындық көзілдірігін өздерінің жеке пікірлерін көрсететіндей етіп, айналасын өзгерту үшін пайдаланғысы келеді. Бес адамның екеуі айналасындағылардың, тіпті адамдардың сыртқы келбетін өзгертуге ниетті. Бұдан бөлек, төменде сипатталған жеке құпиялылық мәселелерінен басқа, АР-дың ең үлкен қаупі – ақпараттық жүктеме және оған тым көп сену. Жаңа АР-ға қатысты өнімдерді әзірлеу үшін пайдаланушы интерфейсі белгілі бір ережелерді сақтауы керек, осылайша пайдаланушыны ақпаратпен шамадан тыс жүктемей, сонымен қатар АР жүйесіне тым көп сене беруіне және қоршаған ортадан маңызды сигналдарды жіберіп алуына жол болдырмау керек. Адамның мүмкіндіктерін арттыруға қатысты этика кодексі алғаш рет 2004 жылы Стив Манн тарапынан ұсынылып, 2013 жылы Рей Курцвейл мен Марвин Минскимен бірге жаңартылды және 2017 жылдың 25 маусымында Торонтода өткен виртуалды шындық конференциясында бекітілді.

In a paper titled "Death by Pokémon GO", researchers at Purdue University's Krannert School of Management claim the game caused "a disproportionate increase in vehicular crashes and associated vehicular damage, personal injuries, and fatalities in the vicinity of locations, called PokéStops, where users can play the game while driving." Using data from one municipality, the paper extrapolates what that might mean nationwide and concluded "the increase in crashes attributable to the introduction of Pokémon GO is 145,632 with an associated increase in the number of injuries of 29,370 and an associated increase in the number of fatalities of 256 over the period of 6 July 2016, through 30 November 2016." The authors extrapolated the cost of those crashes and fatalities at between $2bn and $7.3 billion for the same period. Furthermore, more than one in three surveyed advanced Internet users would like to edit out disturbing elements around them, such as garbage or graffiti. They would like to even modify their surroundings by erasing street signs, billboard ads, and uninteresting shopping windows. So it seems that AR is as much a threat to companies as it is an opportunity. Although, this could be a nightmare to numerous brands that do not manage to capture consumer imaginations it also creates the risk that the wearers of augmented reality glasses may become unaware of surrounding dangers. Consumers want to use augmented reality glasses to change their surroundings into something that reflects their own personal opinions. Around two in five want to change the way their surroundings look and even how people appear to them. Next, to the possible privacy issues that are described below, overload and over reliance issues are the biggest danger of AR. For the development of new AR related products, this implies that the user interface should follow certain guidelines as not to overload the user with information while also preventing the user from over relying on the AR system such that important cues from the environment are missed. The Code of Ethics on Human Augmentation, which was originally introduced by Steve Mann in 2004 and further refined with Ray Kurzweil and Marvin Minsky in 2013, was ultimately ratified at the virtual reality Toronto conference on 25 June 2017.

Мүліктік құқық

Жерге байланысты кеңейтілген шындықтың меншік құқығымен өзара әрекеттесуі көбінесе белгісіз. Ортақ құқық аясында осы өзара әрекетті шешудің бірнеше моделі талданды: жылжымайтын мүлік құқықтарын кеңейту, мүлікте немесе оның жанындағы кеңейтулерді де қамту, мүлікке заңсыз кіру туралы қатаң түсінікпен, меншік иесі рұқсат бермесе кеңейтулерге тыйым салу; «ашық кеңістік» жүйесі, онда меншік иесі тыйым салмайынша кеңейтулерге рұқсат беріледі; және «еркін жүру» жүйесі, онда жылжымайтын мүлік иелері бұзылмаған кеңейтулерге бақылау жасай алмайды. Pokémon Go маниясы кезінде туындаған мәселелердің бірі – ойыншылардың жеке меншік иелерін алаңдатуы, жақын жердегі кеңейтілген шындық нысандарына бару кезінде, бұл нысандар меншікте немесе оған жақын орналасқан. Pokémon Go қызмет көрсету шарттары ойыншылардың әрекеттерінен жауапкершілікті нақты түрде жоққа шығарады, бұл Niantic өндірушісінің жауапкершілігін шектеуі мүмкін (бірақ толығымен жоймауы мүмкін), егер ойыншы ойын ойнап жатқанда мүлікке заңсыз кірсе: Niantic-тің пікірінше, мүлікке заңсыз кірген – ойыншы, ал Niantic тек қана бостандық сөйлеу құқығын пайдаланған. Niantic-ке қарсы сот процесіндегі бір теория – ойын элементтерін мүлікке заңсыз кіруге немесе келушілердің күрт өсуіне әкелетін жерлерге орналастыру, тіпті әрбір жеке кіру немесе сапар Niantic-тен тікелей тумаса да, зиян келтіруі мүмкін. Niantic-ке тағы бір айып – жер иелерінің рұқсатынсыз пайдалы ойын элементтерін жерге орналастыру – бұл әділетсіз байыту болып табылады. Гипотетикалық жағдайда, мүлік иесінің қалауына қарсы, мүлікке жарнама немесе жағымсыз мазмұнмен толықтырылуы мүмкін. Американдық заң бойынша, бұл жағдайлар, кеңейтілген шындықты қамту үшін құқықтар кеңейтілмесе, соттарда жылжымайтын мүлік құқықтарының бұзылуы ретінде қарастырылмауы мүмкін (ағылшын ортақ құқығының әуе кеңістігін мойындауына ұқсас). Мичиган телекоммуникациялар және технология заңдары журналындағы мақала бұл кеңейтудің үш негізі бар екенін көрсетеді, олар меншік туралы әртүрлі түсініктерден басталады. Маргарет Радин ұсынған жеке меншік теориясы, жеке тұлға мен меншік арасындағы тығыз байланысқа байланысты меншік құқықтарын кеңейтуді қолдайды; алайда, оның көзқарасы барлық құқықтық теоретиктермен бөлісілмейді. Меншіктің пайдалы теориясы бойынша, кеңейтулерден туындаған жылжымайтын мүлік иелеріне зиян тигізбеудің пайдасы және жалпыға ортақ трагедияны болдырмау, сондай-ақ меншік иесін анықтауды жеңілдету арқылы транзакциялық шығындарды азайту, жылжымайтын мүлік құқықтарын кеңейтуді негіздеу ретінде бағаланды, бірақ мүлік иелерімен келіссөздер жүргізу инновацияны баяулатуы мүмкін, антикоммуналар трагедиясының қаупі әлі де бар. Соңында, Томас Меррилл мен Генри Э. Смит қолдаған «заң ретінде меншік» анықтамасына сәйкес, жерге байланысты кеңейту табиғи түрде «заң» ретінде қарастырылады, және цифрлық нысандардың бәсекелестікке жатпайтын және уақытша сипаты анықтаманың алып тастаушылық аспектісіне қиындықтар тудырса да, мақалада бұл еңсерілмейтін емес деп айтылады. АҚШ-та заңнамалық реттеуге қатысты бірнеше әрекеттер жасалды. Висконсин штатының Милуоки округі өзінің парктерінде ойналатын кеңейтілген шындық ойындарын реттеуге тырысты, рұқсат алуды талап етті, бірақ федералды судья бұл шешімді бостандық сөйлеу құқығын бұзу деп сынға алды; Иллинойс штаты жерге байланысты кеңейтулер үшін хабарлама беру және алып тастау процедурасын енгізуді қарастырды. Айова заңдарына қатысты мақалада, үлкен ауқымды қызмет үшін көптеген жергілікті рұқсат беру процестерімен айналысу қиын болады, ал Иллинойс штатының ұсынылған механизмі жұмыс істей алатын болса да, ол реактивті және меншік иелерінің жаңа кеңейтілген шындық қызметтерімен үнемі айналысуын қажет етеді; оның орнына, кеңейтілген шындық қызметтерінің провайдерлері мен жылжымайтын мүлік иелерінің мүдделерін тиімді теңестіру үшін «қоңырау тізіміне» ұқсас ұлттық деңгейдегі геотежек тіркеу тізімі ең қолайлы реттеу түрі ретінде ұсынылды. Алайда, «Vanderbilt Journal of Entertainment and Technology Law» журналындағы мақала монолитті тіркеуді жеткіліксіз икемді құрал ретінде талдап, қажетсіз кеңейтулерге рұқсат беру немесе кеңейтілген шындықтың пайдалы қолдануларын шектеу мүмкін екенін көрсетеді. Оның орнына, «ашық кеңістік» моделі, онда кеңейтулерге әдепкі бойынша рұқсат беріледі, бірақ меншік иелері оларды жағдай бойынша шектеуі мүмкін (және сәйкессіздік мүлікке заңсыз кіру түрі ретінде қарастырылады), әлеуметтік жағынан ең жақсы нәтиже береді деп санайды.

The interaction of location bound augmented reality with property law is largely undefined. Several models have been analysed for how this interaction may be resolved in a common law context: an extension of real property rights to also cover augmentations on or near the property with a strong notion of trespassing, forbidding augmentations unless allowed by the owner; an 'open range' system, where augmentations are allowed unless forbidden by the owner; and a 'freedom to roam' system, where real property owners have no control over non disruptive augmentations. One issue experienced during the Pokémon Go craze was the game's players disturbing owners of private property while visiting nearby location bound augmentations, which may have been on the properties or the properties may have been en route. The terms of service of Pokémon Go explicitly disclaim responsibility for players' actions, which may limit (but may not totally extinguish) the liability of its producer, Niantic, in the event of a player trespassing while playing the game: by Niantic's argument, the player is the one committing the trespass, while Niantic has merely engaged in permissible free speech. A theory advanced in lawsuits brought against Niantic is that their placement of game elements in places that will lead to trespass or an exceptionally large flux of visitors can constitute nuisance, despite each individual trespass or visit only being tenuously caused by Niantic. Another claim raised against Niantic is that the placement of profitable game elements on land without permission of the land's owners is unjust enrichment. More hypothetically, a property may be augmented with advertising or disagreeable content against its owner's wishes. Under American law, these situations are unlikely to be seen as a violation of real property rights by courts without an expansion of those rights to include augmented reality (similarly to how English common law came to recognise air rights). An article in the Michigan Telecommunications and Technology Law Review argues that there are three bases for this extension, starting with various understanding of property. The personality theory of property, outlined by Margaret Radin, is claimed to support extending property rights due to the intimate connection between personhood and ownership of property; however, her viewpoint is not universally shared by legal theorists. Under the utilitarian theory of property, the benefits from avoiding the harms to real property owners caused by augmentations and the tragedy of the commons, and the reduction in transaction costs by making discovery of ownership easy, were assessed as justifying recognising real property rights as covering location bound augmentations, though there does remain the possibility of a tragedy of the anticommons from having to negotiate with property owners slowing innovation. Finally, following the 'property as the law of things' identification as supported by Thomas Merrill and Henry E Smith, location based augmentation is naturally identified as a 'thing', and, while the non rivalrous and ephemeral nature of digital objects presents difficulties to the excludeability prong of the definition, the article argues that this is not insurmountable. Some attempts at legislative regulation have been made in the United States. Milwaukee County, Wisconsin attempted to regulate augmented reality games played in its parks, requiring prior issuance of a permit, but this was criticised on free speech grounds by a federal judge; and Illinois considered mandating a notice and take down procedure for location bound augmentations. An article for the Iowa Law Review observed that dealing with many local permitting processes would be arduous for a large scale service, and, while the proposed Illinois mechanism could be made workable, it was reactive and required property owners to potentially continually deal with new augmented reality services; instead, a national level geofencing registry, analogous to a do not call list, was proposed as the most desirable form of regulation to efficiently balance the interests of both providers of augmented reality services and real property owners. An article in the Vanderbilt Journal of Entertainment and Technology Law, however, analyses a monolithic do not locate registry as an insufficiently flexible tool, either permitting unwanted augmentations or foreclosing useful applications of augmented reality. Instead, it argues that an 'open range' model, where augmentations are permitted by default but property owners may restrict them on a case by case basis (and with noncompliance treated as a form of trespass), will produce the socially best outcome.

Белгілі зерттеушілер

Иван Сазерленд Гарвард университетінде алғашқы VR басқарылатын дисплейін ойлап тапты. Стив Манн 1970 және 1980 жылдары делдалдық шындықтың (mediated reality) алғашқы тұжырымдамасын жасады, камералар, процессорлар және дисплей жүйелерін пайдаланып, визуалды шындықты өзгертіп, адамдарға жақсырақ көруге көмектесу (динамикалық диапазонды басқару), компьютерлік дәнекерлеу шлемдерін жасау, сондай-ақ күнделікті өмірде пайдалану үшін "көтерілген делдалдық шындық" (augmediated reality) көру жүйелерін құрды. Ол сондай-ақ Meta компаниясының кеңесшісі. Рональд Азума – ғалым және АR тақырыбындағы еңбектердің авторы. Дитер Шмальштиг пен Дэниел Вагнер 2009 жылы ұялы телефондар мен PDA-лар үшін маркерді қадағалау жүйесін (marker tracking system) жасады. Джери Эллсворт Valve компаниясы үшін кеңейтілген шындық (AR) бойынша зерттеулерге жетекшілік етті, кейіннен бұл зерттеулерді өзінің CastAR стартапына көштірді. 2013 жылы құрылған компания ақырында жабылды. Кейін ол осы технологияға негізделген тағы бір стартап құрды, ол Tilt Five деп аталды; ол сандық үстел ойындарына арналған құрылғы жасау мақсатындағы тағы бір AR стартапы.

Медиада

"Sight" атты футуристикалық қысқа фильмде контактты линза тәрізді толықтырылған шындық құрылғылары көрсетілген.