Слияние реального и виртуального миров: возможности и применение смешанной реальности.

Введение

Слияние реальных и виртуальных миров для создания новых сред

Смешанная реальность (MR) – это термин, используемый для описания объединения реальной среды и среды, сгенерированной компьютером. Физические и виртуальные объекты могут сосуществовать в средах смешанной реальности и взаимодействовать в реальном времени. Смешанная реальность, включающая в себя тактильную обратную связь (гаптику), иногда называется визуально-гаптической смешанной реальностью. В физике термин "система интерреальности" относится к системе виртуальной реальности, связанной со своим реальным аналогом. В статье 2007 года описывается система интерреальности, состоящая из реального физического маятника, соединенного с маятником, существующим только в виртуальной реальности. Эта система имеет два стабильных состояния движения: состояние "двойной реальности", в котором движения двух маятников некоррелированы, и состояние "смешанной реальности", в котором маятники демонстрируют стабильное фазово-синхронизированное движение, характеризующееся высокой степенью корреляции. Использование терминов "смешанная реальность" и "интерреальность" чётко определено в контексте физики и может незначительно отличаться в других областях, однако, в целом это рассматривается как "соединение физического и виртуального миров".

Приложения

Смешанная реальность находит применение в таких областях, как проектирование, образование, развлечения, военная подготовка, здравоохранение, управление контентом продукции и управление роботами с участием человека.

Образование

Обучение на основе моделирования включает в себя обучение с использованием виртуальной и дополненной реальности, а также интерактивное, практическое обучение. Существует множество потенциальных областей применения смешанной реальности как в образовательной среде, так и в профессиональной подготовке. В образовании дополненная реальность (AR) использовалась для воссоздания исторических сражений, предоставляя студентам уникальный эффект погружения и потенциально улучшая процесс обучения. Кроме того, AR показала свою эффективность в университетском образовании для студентов медицинских специальностей и изучающих дисциплины, которым полезны трехмерные модели, такие как физиология и анатомия.

Развлечения

От телевизионных шоу до игровых консолей, смешанная реальность имеет множество применений в сфере развлечений. Британское игровое шоу Bamzooki 2004 года предлагало юным участникам создавать виртуальных "Зуков" и наблюдать за их состязаниями в различных испытаниях. Шоу использовало смешанную реальность, чтобы воплотить Зуков в жизнь. Телешоу выходило четыре сезона и завершилось в 2010 году. В отличие от обычно ненасильственных соревнований в Bamzooki, целью FightBox было создание сильнейшего бойца для победы в турнире. Пользователи могли публиковать короткие текстовые сообщения или изображения на стене и играть в простые игры, такие как Pong. В течение первой недели после релиза в Японии было продано 73 918 копий, что сделало игру самой продаваемой игрой недели в стране. Другие исследования рассматривали потенциал применения смешанной реальности в театре, кино и тематических парках.

Военная подготовка

Первой полностью погружающей системой смешанной реальности была платформа Virtual Fixtures, разработанная в 1992 году Луисом Розенбергом в лабораториях Армстронга ВВС США. Она позволяла пользователям управлять роботами в реальных условиях, включавших реальные физические объекты и 3D-виртуальные наложения ("фикшеры"), добавленные для повышения эффективности выполнения задач манипулирования. Опубликованные исследования показали, что внедрение виртуальных объектов в реальный мир позволяет добиться значительного увеличения производительности операторов. Боевую реальность можно моделировать и представлять с использованием сложных, многоуровневых данных и визуальных средств, большинство из которых – головные дисплеи (HMD), охватывающие любые технологии отображения, которые можно носить на голове пользователя. Военные учебные решения часто строятся на коммерческих готовых технологиях (COTS), таких как платформа синтетической среды Improbable, Virtual Battlespace 3 и VirTra, причем последние две платформы используются армией Соединенных Штатов. По состоянию на 2018 год VirTra использовалась как гражданскими, так и военными правоохранительными органами для обучения персонала в различных сценариях, включая стрельбу, домашнее насилие и остановки военной полиции. Исследовательская лаборатория армии США использовала технологии смешанной реальности для изучения влияния стресса на процесс принятия решений. Смешанная реальность позволяет исследователям безопасно изучать поведение военнослужащих в сценариях, в которых солдаты вряд ли выживут. В 2017 году армия США разрабатывала синтетическую учебную среду (STE) – комплекс технологий для обучения, который, как ожидалось, будет включать смешанную реальность. По состоянию на 2018 год STE все еще находилась в разработке без установленной даты завершения. Среди заявленных целей STE – повышение реализма, расширение возможностей симуляционного обучения и обеспечение доступности STE для других систем. Утверждалось, что среды смешанной реальности, такие как STE, могут снизить затраты на обучение, например, за счет сокращения расхода боеприпасов. В 2018 году сообщалось, что STE будет включать в себя представление любой части земной поверхности для учебных целей. STE предлагала различные возможности для подготовки отрядов, бригад и боевых групп, включая команды Stryker, арсеналов и пехоты.

The first fully immersive mixed reality system was the Virtual Fixtures platform, which was developed in 1992 by Louis Rosenberg at the Armstrong Laboratories of the United States Air Force. It enabled human users to control robots in real world environments that included real physical objects and 3D virtual overlays ("fixtures") that were added enhance human performance of manipulation tasks. Published studies showed that by introducing virtual objects into the real world, significant performance increases could be achieved by human operators. Combat reality can be simulated and represented using complex, layered data and visual aides, most of which are head mounted displays (HMD), which encompass any display technology that can be worn on the user's head. Military training solutions are often built on commercial off the shelf (COTS) technologies, such as Improbable's synthetic environment platform, Virtual Battlespace 3 and VirTra, with the latter two platforms used by the United States Army. as of 2018, VirTra is being used by both civilian and military law enforcement to train personnel in a variety of scenarios, including active shooter, domestic violence, and military traffic stops. Mixed reality technologies have been used by the United States Army Research Laboratory to study how this stress affects decision making. With mixed reality, researchers may safely study military personnel in scenarios where soldiers would not likely survive. In 2017, the U. S. Army was developing the Synthetic Training Environment (STE), a collection of technologies for training purposes that was expected to include mixed reality. as of 2018, STE was still in development without a projected completion date. Some recorded goals of STE included enhancing realism and increasing simulation training capabilities and STE availability to other systems. It was claimed that mixed reality environments like STE could reduce training costs, such as reducing the amount of ammunition expended during training. In 2018, it was reported that STE would include representation of any part of the world's terrain for training purposes. STE would offer a variety of training opportunities for squad brigade and combat teams, including Stryker, armory, and infantry teams.

Смешанные пространства

Смешанное пространство – это пространство, в котором физическая и виртуальная среды намеренно интегрированы тесно и согласованно. Цель проектирования смешанного пространства – предоставить пользователям ощущение присутствия в этом пространстве и возможность непосредственного взаимодействия с его содержимым. Примеры смешанных пространств включают устройства дополненной реальности, такие как Microsoft HoloLens, игры, такие как Pokémon Go, а также множество туристических приложений для смартфонов, умные переговорные комнаты и системы отслеживания общественного транспорта. Идея смешивания берет начало в концепциях концептуальной интеграции, или концептуального смешения, предложенных Жилем Фаукониером и Марком Тернером. Мануэль Имаз и Дэвид Бенион внесли теорию смешивания в области программной инженерии и взаимодействия человека с компьютером. Для простейшей реализации смешанного пространства необходимы две ключевые составляющие. Первая – ввод данных, который может быть тактильным или основан на изменениях в окружающей среде. Вторая – получение уведомлений из цифровой среды. Соответствия между физическим и цифровым пространством должны быть абстрагированы и использованы при проектировании смешанного пространства. Полная, бесшовная интеграция этих пространств встречается редко. Смешанным пространствам требуются точки привязки или технологии для установления связи между ними. Такой тип пространственного взаимодействия оказывает значительное влияние на когнитивную модель пользователя. Цифровое пространство – Цифровое пространство (также называемое информационным пространством) состоит из всего информационного контента, который может быть представлен в любой форме.

Удаленная работа

Смешанная реальность позволяет глобальной рабочей силе удаленных команд совместно работать и решать бизнес-задачи организации. Независимо от физического местоположения сотрудников, они могут надеть гарнитуру и наушники с шумоподавлением и погрузиться в совместную, иммерсивную виртуальную среду. Поскольку эти приложения способны точно переводить в реальном времени, языковые барьеры теряют свою актуальность. Этот процесс также повышает гибкость. В то время как многие работодатели по-прежнему придерживаются негибких моделей с фиксированным рабочим временем и местоположением, существуют доказательства того, что сотрудники более продуктивны, когда обладают большей автономией в отношении того, где, когда и как они работают. Одни сотрудники предпочитают шумную рабочую обстановку, другим нужна тишина. Некоторые наиболее эффективны утром, другие – ночью. Автономия в способах работы также полезна для сотрудников, поскольку люди по-разному обрабатывают информацию. Классическая модель стилей обучения различает визуалов, аудиалов и кинестетиков. Техническое обслуживание оборудования также может выполняться с помощью смешанной реальности. Крупные компании с несколькими производственными площадками и большим парком оборудования могут использовать смешанную реальность для обучения и инструктирования своих сотрудников. Оборудование требует регулярных проверок и периодической настройки. Эти настройки в основном выполняются людьми, поэтому сотрудники должны быть проинформированы о необходимых корректировках. Используя смешанную реальность, сотрудники из разных мест могут надеть гарнитуры и получать инструкции об изменениях в режиме реального времени. Инструкторы могут управлять отображаемой для каждого сотрудника информацией, перемещаться по производственной зоне, приближать технические детали и объяснять необходимые изменения. Показано, что пятиминутное обучение с использованием такой программы смешанной реальности дает те же результаты, что и чтение 50-страничного учебного пособия. Дальнейшим развитием этой среды является интеграция данных в реальном времени с работающего оборудования в виртуальное совместное пространство и их сопоставление с трехмерными виртуальными моделями оборудования. Это позволяет проводить обучение и выполнять процессы технического обслуживания, эксплуатации и обеспечения безопасности, которые было бы сложно реализовать в реальных условиях, используя при этом опыт специалистов, независимо от их местоположения.

Mixed reality allows a global workforce of remote teams to work together and tackle an organization's business challenges. No matter where they are physically located, an employee can wear a headset and noise canceling headphones and enter a collaborative, immersive virtual environment. As these applications can accurately translate in real time, language barriers become irrelevant. This process also increases flexibility. While many employers still use inflexible models of fixed working time and location, there is evidence that employees are more productive if they have greater autonomy over where, when, and how they work. Some employees prefer loud work environments, while others need silence. Some work best in the morning; others work best at night. Employees also benefit from autonomy in how they work because of different ways of processing information. The classic model for learning styles differentiates between visual, auditory, and kinesthetic learners. Machine maintenance can also be executed with the help of mixed reality. Larger companies with multiple manufacturing locations and a lot of machinery can use mixed reality to educate and instruct their employees. The machines need regular checkups and have to be adjusted every now and then. These adjustments are mostly done by humans, so employees need to be informed about needed adjustments. By using mixed reality, employees from multiple locations can wear headsets and receive live instructions about the changes. Instructors can operate the representation that every employee sees, and can glide through the production area, zooming in to technical details and explaining every change needed. Employees completing a five minute training session with such a mixed reality program have been shown to attain the same learning results as reading a 50 page training manual. An extension to this environment is the incorporation of live data from operating machinery into the virtual collaborative space and then associated with three dimensional virtual models of the equipment. This enables training and execution of maintenance, operational and safety work processes, which would otherwise be difficult in a live setting, while making use of expertise, no matter their physical location.

Функциональный макет

Смешанная реальность позволяет создавать макеты, объединяющие физические и цифровые элементы. Благодаря одновременной локализации и построению карты (SLAM), макеты могут взаимодействовать с физическим миром, обеспечивая более реалистичный сенсорный опыт, например, понимание постоянства объектов, которое обычно невозможно или крайне сложно отслеживать и анализировать без использования как цифровых, так и физических средств.

Здравоохранение

Умные очки могут быть использованы в операционной для помощи в проведении хирургических операций, например, для удобного отображения данных пациента и наложения точных визуальных подсказок для хирурга. Предполагается, что гарнитуры смешанной реальности, такие как Microsoft HoloLens, позволят эффективно обмениваться информацией между врачами и обеспечат платформу для усовершенствованного обучения. Несмотря на значительный потенциал смешанной реальности в здравоохранении, у неё есть и определенные недостатки.

Управление содержанием продукта

Управление контентом о продуктах до появления смешанной реальности в основном ограничивалось брошюрами и небольшим вовлечением клиентов, не выходящим за рамки этой двухмерной плоскости. С развитием технологий смешанной реальности появились новые формы интерактивного управления контентом о продуктах. Особенно заметно, что трехмерные цифровые модели обычно двухмерных продуктов расширили возможности и повысили эффективность взаимодействия потребителей с продукцией.

Работа роботов с помощью человека в цикле

Недавние достижения в технологиях смешанной реальности вновь вызвали интерес к альтернативным способам коммуникации при взаимодействии человека с роботом. Операторы, использующие очки смешанной реальности, такие как HoloLens, могут взаимодействовать с (управлять и контролировать), например, роботами и подъемными механизмами непосредственно на объекте в условиях цифровой фабрики. Для реализации этого сценария обычно требуется передача данных в реальном времени между интерфейсом смешанной реальности и машиной/процессом/системой, что может быть обеспечено за счет использования технологии цифрового двойника. Архитектурные фирмы могут предоставлять клиентам возможность виртуально посещать дома их мечты.

Технологии и продукты отображения

В то время как смешанная реальность подразумевает объединение виртуального и физического миров на более высоком уровне, для создания среды смешанной реальности используется широкий спектр цифровых технологий. Эти технологии могут варьироваться от портативных устройств до целых комнат, и каждая из них находит практическое применение в различных областях.

Виртуальная среда пещерного автоматизма

Пещера автоматической виртуальной среды (CAVE) – это среда, как правило, небольшая комната, расположенная в более крупном внешнем помещении, в которой пользователь окружен проецируемыми дисплеями со всех сторон, сверху и снизу. Это позволяет конструкторам тестировать свои прототипы, прежде чем тратить ресурсы на создание физического образца, а также открывает возможности для «практического» тестирования нематериальных объектов, таких как микроскопические среды или целые производственные цеха. Изначальные проекции были заменены на 37-мегапиксельные 3D-LCD панели, сетевые кабели обеспечивают интеграцию CAVE2 с Интернетом, а более точная система камер позволяет среде адаптироваться к перемещениям пользователя. Прототипы HUD (индикаторов на лобовом стекле) впервые использовались в военных целях для помощи пилотам истребителей в бою, но впоследствии стали применяться для поддержки всех аспектов полета, а не только боевых действий. Затем HUD были стандартизированы и в коммерческой авиации, а впоследствии проникли и в автомобильную промышленность. Одним из первых применений HUD в автомобильном транспорте стала система Heads Up от Pioneer, которая заменяет козырек водителя дисплеем, проецирующим на дорогу перед водителем инструкции навигации. Крупные производители, такие как General Motors, Toyota, Audi и BMW, с тех пор стали включать ту или иную форму индикатора на лобовом стекле в некоторые свои модели.

Дисплей на голове

Дисплей, закрепляемый на голове (HMD), который можно носить на всей голове или только перед глазами, – это устройство, использующее одну или две оптические системы для проецирования изображения непосредственно перед глазами пользователя. Область его применения охватывает медицину, развлечения, авиацию и инженерию, обеспечивая уровень визуального погружения, недостижимый для традиционных дисплеев. Наибольшей популярностью дисплеи, закрепляемые на голове, пользуются среди потребителей на рынке развлечений, и крупные технологические компании разрабатывают HMD для расширения функциональности своих существующих продуктов. Однако эти дисплеи являются устройствами виртуальной реальности и не интегрируют реальный мир. Более востребованными в корпоративной среде оказываются популярные дисплеи дополненной реальности. HoloLens от Microsoft – это HMD дополненной реальности, находящий применение в медицине, предоставляя врачам более глубокий анализ в реальном времени, а также в инженерии, накладывая важную информацию на физический мир. Еще один заметный HMD дополненной реальности разработан компанией Magic Leap, стартапом, создающим аналогичный продукт для применения как в коммерческом секторе, так и на потребительском рынке.

Мобильные устройства

Мобильные устройства, включая смартфоны и планшеты, продолжают увеличивать вычислительную мощность и портативность. Многие современные мобильные устройства оснащены инструментами для разработки приложений дополненной реальности. Хотя развлекательные приложения с использованием AR оказались успешными, приложения для повышения производительности и утилиты также начали внедрять функции AR. Google выпустила обновления для своего приложения Google Maps, включающие AR-навигацию с указаниями, наложенными на изображение улицы перед пользователем, а также расширила приложение Translate, позволяющее накладывать переведенный текст на печатный текст более чем на 20 иностранных языках. Мобильные устройства представляют собой уникальные технологии отображения благодаря тому, что они, как правило, всегда находятся под рукой.