Шлемы с дисплеями: типы, применение и технологии.

Введение

Тип устройства отображения

авиационные применения

Дисплей с головным креплением (HMD) – это устройство отображения, которое носится на голове или является частью шлема (см. шлем с дисплеем для авиационных применений), и имеет небольшую оптическую систему перед одним (монокулярный HMD) или каждым глазом (бинокулярный HMD). HMD имеют множество применений, включая игры, авиацию, инженерию и медицину. Гарнитуры виртуальной реальности – это тип HMD, отслеживающий трехмерную позицию и вращение для предоставления пользователю виртуальной среды. VR-гарнитуры с 3DOF обычно используют IMU для отслеживания. VR-гарнитуры с 6DOF обычно используют объединение данных с нескольких источников, включая как минимум один IMU. Оптический дисплей с головным креплением (OHMD) – это носимый дисплей, способный отражать проецируемые изображения и позволяющий пользователю видеть сквозь него.

Обзор

Типичный HMD оснащается одним или двумя небольшими дисплеями с линзами и полупрозрачными зеркалами, встроенными в очки (также называемые очками для данных), визор или шлем. Миниатюрные экранные устройства могут быть реализованы на основе электронно-лучевых трубок (ЭЛТ), жидкокристаллических дисплеев (LCD), жидкокристаллических дисплеев на кремнии (LCoS) или органических светодиодов (OLED). Некоторые производители используют несколько микродисплеев для повышения общего разрешения и поля зрения. HMD различаются по возможности отображения только компьютерной графики (CGI), только изображения реального мира, или их комбинации. Большинство HMD способны отображать только компьютерную графику, иногда называемую виртуальным изображением. Некоторые HMD позволяют накладывать CGI на изображение реального мира. Это часто называют дополненной реальностью (AR) или смешанной реальностью (MR). Комбинирование изображения реального мира с CGI может быть выполнено путем проецирования CGI через частично отражающее зеркало и непосредственного наблюдения реального мира. Этот метод часто называют оптическим прохождением. Комбинирование изображения реального мира с CGI также может быть выполнено электронным способом, путем приема видеосигнала с камеры и его электронного смешивания с CGI.

Оптический HMD

В оптическом дисплее, носимом на голове, используется оптический смеситель, изготовленный из частично просветлённых зеркал. Он способен отражать искусственные изображения и пропускать реальные изображения через линзу, позволяя пользователю видеть сквозь него. Существуют различные способы реализации сквозных HMD, большинство из которых можно разделить на две основные категории: системы на основе изогнутых зеркал или волноводов. Изогнутые зеркала применяются компаниями Laster Technologies и Vuzix в их продукте Star 1200. Различные методы с использованием волноводов существуют уже на протяжении многих лет, включая дифракционную оптику, голографическую оптику, поляризационную оптику и отражающую оптику.

Приложения

Основные области применения HMD включают военную сферу, государственные структуры (пожарные службы, полиция и т.п.), а также гражданский сектор (медицина, видеоигры, спорт и т.д.).

Авиация и тактика, наземная

В 1962 году компания Hughes Aircraft Company представила Electrocular – компактный ЭЛТ-дисплей (длиной 7 дюймов), монокулярный дисплей, устанавливаемый на голову, который отражал телевизионный сигнал в прозрачный окуляр. Упрочненные HMD все чаще интегрируются в кабины современных вертолетов и истребителей. Обычно они полностью интегрированы с летным шлемом пилота и могут включать защитные визоры, приборы ночного видения и отображение другой символики. Военные, полиция и пожарные используют HMD для отображения тактической информации, такой как карты или данные тепловизионной съемки, при наблюдении за реальной обстановкой. В последнее время HMD стали использоваться десантниками. В 2005 году Liteye HMD был представлен для наземных войск как прочный, водонепроницаемый и легкий дисплей, который крепится к стандартному военному шлему США PVS 14. Самостоятельный цветной монокулярный дисплей на органических светодиодах (OLED) заменяет электронно-оптический преобразователь (ЭОП) и подключается к мобильному вычислительному устройству. LE обладает сквозной видимостью и может использоваться как стандартный HMD или для приложений дополненной реальности. Конструкция оптимизирована для обеспечения высокочеткого изображения в любых условиях освещения, как в закрытом, так и в сквозном режиме. LE отличается низким энергопотреблением, работая от четырех батареек АА в течение 35 часов или получая питание через стандартное универсальное последовательное соединение (USB). Агентство передовых исследовательских проектов Министерства обороны США (DARPA) продолжает финансировать исследования HMD с дополненной реальностью в рамках программы постоянной авиационной поддержки (PCAS). Компания Vuzix в настоящее время разрабатывает систему для PCAS, которая будет использовать голографические световоды для создания очков дополненной реальности толщиной всего в несколько миллиметров.

Инженерная

Инженеры и ученые используют HMD для предоставления стереоскопических изображений чертежей, созданных с помощью систем автоматизированного проектирования (CAD). Виртуальная реальность, применяемая в инженерии и дизайне, является ключевым фактором вовлечения человека в процесс проектирования. Предоставляя инженерам возможность взаимодействовать со своими проектами в натуральную величину, можно выявлять проблемы, которые могли бы стать заметны только при создании физических прототипов. Использование HMD для виртуальной реальности рассматривается как дополнение к традиционному использованию CAVE для VR-симуляций. HMD преимущественно используются для индивидуального взаимодействия с проектом, в то время как CAVE позволяют проводить более совместные сеансы виртуальной реальности. Системы головных дисплеев также применяются при обслуживании сложных систем, поскольку они могут предоставить технику эффект "рентгеновского зрения", объединяя компьютерную графику, такую как схемы и изображения системы, с его естественным зрением (дополненная или модифицированная реальность).

Медицина и научные исследования

Существуют также применения в хирургии, где комбинация радиологических данных (рентгеновская компьютерная томография (КТ) и магнитно-резонансная томография (МРТ)) объединяется с естественным обзором операционного поля хирургом и анестезией, при которой жизненно важные показатели пациента постоянно находятся в поле зрения анестезиолога. Исследовательские университеты часто используют HMD для проведения исследований, связанных со зрением, равновесием, когнитивными функциями и нейронаукой. По состоянию на 2010 год изучалось использование предиктивного отслеживания взгляда для выявления легких черепно-мозговых травм. В тестах отслеживания взгляда устройство HMD с функцией отслеживания глаз показывает объект, движущийся по регулярной траектории. Люди без повреждений мозга способны плавно следить за движущимся объектом и корректировать траекторию взгляда.

Игры и видео

Низкозатратные устройства HMD доступны для использования с 3D-играми и развлекательными приложениями. Одним из первых коммерчески доступных HMD был Forte VFX1, который был представлен на выставке Consumer Electronics Show (CES) в 1994 году. VFX 1 оснащался стереоскопическими дисплеями, трех осевым отслеживанием головы и стерео наушниками. Другим пионером в этой области стала компания Sony, выпустившая Glasstron в 1997 году. В качестве опционального аксессуара он предлагал позиционный датчик, позволявший пользователю видеть окружающую среду, с перспективой, меняющейся в зависимости от движения головы, что обеспечивало глубокое ощущение погружения. Одним из новых применений этой технологии стала игра MechWarrior 2, которая позволяла пользователям Sony Glasstron или Virtual I/O iGlasses получить новую визуальную перспективу изнутри кабины техники, используя собственные глаза и наблюдая за полем боя через кабину своего аппарата. Многие модели видеоочков можно подключать к современным видео- и DSLR-камерам, что делает их пригодными для использования в качестве нового типа монитора. Благодаря способности очков блокировать окружающий свет, режиссеры и фотографы могут видеть более четкое изображение в реальном времени. Oculus Rift – это шлем виртуальной реальности (VR), созданный Палмером Лаки и разработанный компанией Oculus VR для виртуальных симуляций и видеоигр. HTC Vive – это шлем виртуальной реальности. Гарнитура производится в сотрудничестве между Valve и HTC, ее ключевой особенностью является точное отслеживание в масштабе комнаты и высокоточные контроллеры движения. PlayStation VR – это шлем виртуальной реальности для игровых консолей, предназначенный для PlayStation 4. Windows Mixed Reality – это платформа, разработанная Microsoft, включающая широкий спектр гарнитур, произведенных компаниями HP, Samsung и другими, и способная запускать большинство игр для HTC Vive. Она использует исключительно систему отслеживания изнутри наружу для своих контроллеров.

Виртуальные кинотеатры

Некоторые шлемы виртуальной реальности предназначены для воспроизведения традиционного видео и киноконтента в формате виртуального кинотеатра. Эти устройства обычно имеют относительно узкое поле зрения (FOV) в 50–60°, что делает их менее иммерсивными, чем гарнитуры виртуальной реальности, но при этом обеспечивают более высокое разрешение в пикселях на градус. Выпущенный в 2011 году Sony HMZ T1 имел разрешение 1280x720 на каждый глаз. Около 2015 года появились автономные продукты "личный кинотеатр" на базе Android 5 (Lollipop) от различных брендов, таких как VRWorld и Magicsee, использующие программное обеспечение Nibiru. Продукты, выпущенные к 2020 году, с разрешением 1920×1080 на глаз, включали Goovis G2 и Royole Moon. Также были доступны Avegant Glyph с проекцией на сетчатку 720P на глаз и Cinera Prime с разрешением 2560×1440 на глаз и полем зрения 66°. Довольно крупная Cinera Prime могла использоваться со стандартным кронштейном или опциональным креплением на голову. Ожидалось, что в конце 2021 года появится Cinera Edge, с тем же полем зрения и разрешением 2560×1440 на глаз, что и у предыдущей модели Cinera Prime, но в более компактном форм-факторе. Другими продуктами, доступными в 2021 году, были Cinemizer OLED с разрешением 870×500 на глаз, VISIONHMD Bigeyes H1 с разрешением 1280x720 на глаз и Dream Glass 4K с разрешением 1920x1080 на глаз. Все упомянутые продукты включали в себя наушники или вкладыши, за исключением Goovis G2, Cinera Prime, VISIONHMD Bigeyes H1 и Dream Glass 4K, которые вместо этого предлагали разъем для подключения наушников.

Дистанционное управление

В полетах с видом от первого лица (FPV) используются дисплеи, крепящиеся на голову, которые обычно называют "FPV-очки". Аналоговые FPV-очки (например, от Fat Shark) широко используются в гонках на дронах, так как обеспечивают минимальную задержку видеосигнала. Однако цифровые FPV-очки (например, от DJI) становятся все более популярными благодаря более высокому разрешению изображения. С 2010-х годов полеты на FPV-дронах широко применяются в аэросъемке и аэрофотографии.

Спорт

Система HMD была разработана для пилотов Формулы-1 компаниями Kopin Corp. и BMW Group. HMD отображает важные данные о гонке, позволяя пилоту продолжать концентрироваться на трассе, в то время как механики в боксах управляют данными и сообщениями, отправляемыми пилотам по двусторонней радиосвязи. 3 ноября 2011 года компания Recon Instruments представила два головных дисплея для лыжных очков – MOD и MOD Live, последний из которых работает на операционной системе Android.

Обучение и симуляция

Ключевым применением HMD является обучение и моделирование, позволяющие виртуально поместить обучаемого в ситуацию, которую либо слишком дорого, либо слишком опасно воссоздать в реальной жизни. Обучение с использованием HMD охватывает широкий спектр областей, включая вождение, сварку, покраску распылением, авиа- и автосимуляторы, подготовку пеших военнослужащих, обучение медицинским процедурам и многое другое. Однако длительное использование определенных типов шлемов виртуальной реальности может вызывать ряд нежелательных симптомов, и эти проблемы необходимо решить, прежде чем станет возможным оптимальное обучение и моделирование.

Параметры производительности

Способность отображать стереоскопические изображения. Биноклякулярный HMD может отображать различные изображения для каждого глаза. Это может быть использовано для демонстрации стереоскопических изображений. Следует учитывать, что так называемая «оптическая бесконечность» обычно принимается авиационными хирургами и специалистами по дисплеям как примерно 9 метров. Это расстояние, при котором, учитывая среднюю «базовую линию» дальномера человеческого глаза (расстояние между глазами или межзрачковое расстояние (IPD)) от 2,5 до 3 дюймов (6 и 8 см), угол обзора объекта на этом расстоянии становится практически одинаковым для каждого глаза. На меньших расстояниях перспектива для каждого глаза значительно отличается, и затраты на генерацию двух различных визуальных каналов с помощью системы компьютерной графики (CGI) становятся оправданными. Межзрачковое расстояние (МЗР). Это расстояние между двумя глазами, измеренное по зрачкам, и является важным параметром при разработке дисплеев, монтируемых на голове. Поле зрения (FOV) – У человека FOV составляет около 180°, но большинство HMD предлагают значительно меньше. Как правило, большее поле зрения обеспечивает большее ощущение погружения и лучшую ситуационную осведомленность. Большинство людей не имеют четкого представления о том, как выглядит конкретное заявленное FOV (например, 25°), поэтому производители часто указывают кажущийся размер экрана. Большинство людей сидят примерно в 60 см от своих мониторов и хорошо представляют себе размеры экрана на этом расстоянии. Чтобы преобразовать кажущийся размер экрана, указанный производителем, в положение настольного монитора, разделите размер экрана на расстояние в футах, а затем умножьте на 2. HMD потребительского уровня обычно предлагают FOV около 110°. Разрешение – В спецификациях HMD обычно указывается общее количество пикселей или количество пикселей на градус. Указание общего количества пикселей (например, 1600×1200 пикселей на глаз) перенято из способа представления спецификаций компьютерных мониторов. Однако плотность пикселей, обычно указываемая в пикселях на градус или в угловых минутах на пиксель, также используется для определения остроты зрения. 60 пикселей/° (1 угловая минута/пиксель) обычно называют предельно допустимым разрешением для глаза, выше которого увеличение разрешения не заметно людям с нормальным зрением. HMD обычно предлагают от 10 до 20 пикселей/°, хотя достижения в области микродисплеев способствуют увеличению этого показателя. Бинокулярное перекрытие – измеряет область, общую для обоих глаз. Бинокулярное перекрытие является основой для ощущения глубины и стереоскопического зрения, позволяя человеку определять расстояние до объектов. У человека бинокулярное перекрытие составляет около 100° (50° слева от носа и 50° справа). Чем больше бинокулярное перекрытие, предлагаемое HMD, тем сильнее ощущение стереоскопического эффекта. Перекрытие иногда указывается в градусах (например, 74°) или в процентах, показывающих, какая часть поля зрения каждого глаза совпадает с полем зрения другого глаза. Поддержка аккомодации – HMD, поддерживающие согласование расстояний аккомодации и вергенции глаз, более комфортны в использовании. Удаленный фокус (коллимация). Оптические методы могут использоваться для представления изображений с удаленным фокусом, что, как считается, повышает реалистичность изображений, которые в реальном мире находятся на расстоянии. Встроенная обработка и операционная система. Некоторые производители HMD предлагают встроенные операционные системы, такие как Android, позволяющие приложениям работать локально на HMD, что устраняет необходимость подключения к внешнему устройству для генерации видео. Их иногда называют «умными очками». Чтобы облегчить конструкцию HMD, производители могут перенести систему обработки в подключенный форм-фактор «умного ожерелья», который также обеспечит дополнительное преимущество в виде более емкого аккумулятора. Такое решение позволит создать облегченный HMD с достаточным энергоснабжением для двух видеовходов или мультиплексирования на основе времени с высокой частотой (см. ниже).

Ability to show stereoscopic imagery. A binocular HMD has the potential to display a different image to each eye. This can be used to show stereoscopic images. It should be borne in mind that so called 'Optical Infinity' is generally taken by flight surgeons and display experts as about 9 meters. This is the distance at which, given the average human eye rangefinder "baseline" (distance between the eyes or Interpupillary distance (IPD)) of between 2.5 and 3 inches (6 and 8 cm), the angle of an object at that distance becomes essentially the same from each eye. At smaller ranges the perspective from each eye is significantly different and the expense of generating two different visual channels through the computer generated imagery (CGI) system becomes worthwhile. Interpupillary distance (IPD). This is the distance between the two eyes, measured at the pupils, and is important in designing head mounted displays. Field of view (FOV) – Humans have an FOV of around 180°, but most HMDs offer far less than this. Typically, a greater field of view results in a greater sense of immersion and better situational awareness. Most people do not have a good feel for what a particular quoted FOV would look like (e. g., 25°) so often manufacturers will quote an apparent screen size. Most people sit about 60 cm away from their monitors and have quite a good feel about screen sizes at that distance. To convert the manufacturer's apparent screen size to a desktop monitor position, divide the screen size by the distance in feet, then multiply by 2. Consumer level HMDs typically offer a FOV of about 110°. Resolution – HMDs usually mention either the total number of pixels or the number of pixels per degree. Listing the total number of pixels (e. g., 1600×1200 pixels per eye) is borrowed from how the specifications of computer monitors are presented. However, the pixel density, usually specified in pixels per degree or in arcminutes per pixel, is also used to determine visual acuity. 60 pixels/° (1 arcmin/pixel) is usually referred to as eye limiting resolution, above which increased resolution is not noticed by people with normal vision. HMDs typically offer 10 to 20 pixels/°, though advances in micro displays help increase this number. Binocular overlap – measures the area that is common to both eyes. Binocular overlap is the basis for the sense of depth and stereo, allowing humans to sense which objects are near and which objects are far. Humans have a binocular overlap of about 100° (50° to the left of the nose and 50° to the right). The larger the binocular overlap offered by an HMD, the greater the sense of stereo. Overlap is sometimes specified in degrees (e. g., 74°) or as a percentage indicating how much of the visual field of each eye is common to the other eye. Accommodation support – HMDs that support matching the accommodation and vergence distances of the eyes are more comfortable than those that do not. Distant focus (collimation). Optical methods may be used to present the images at a distant focus, which seems to improve the realism of images that in the real world would be at a distance. On board processing and operating system. Some HMD vendors offer on board operating systems such as Android, allowing applications to run locally on the HMD, and eliminating the need to be tethered to an external device to generate video. These are sometimes referred to as smart goggles. To make the HMD construction lighter producers may move the processing system to connected smart necklace form factor that would also offer the additional benefit of larger battery pack. Such solution would allow to design lite HMD with sufficient energy supply for dual video inputs or higher frequency time based multiplexing (see below).