Техника создания HDR-изображений и видео

Введение

Техника захвата изображений и видео HDR

В фотографии и видеографии многоэкспозиционная HDR-съемка — это техника создания изображений высокого динамического диапазона (HDR) или изображений расширенного динамического диапазона путем съемки и объединения нескольких экспозиций одного и того же объекта с разными настройками экспозиции. Комбинирование нескольких изображений таким образом позволяет получить изображение с большим динамическим диапазоном, чем при съемке одного кадра. Эта техника также может использоваться для записи видео путем съемки и объединения нескольких экспозиций для каждого кадра. Термин «HDR» часто используется для обозначения процесса создания HDR-изображений из нескольких экспозиций. Многие смартфоны оснащены автоматической функцией HDR, которая использует методы вычислительной фотографии для захвата и объединения нескольких экспозиций. Одно изображение, полученное камерой, имеет ограниченный диапазон яркости, присущий используемой среде, будь то цифровой сенсор или пленка. За пределами этого диапазона теряется тональная информация, и детали становятся невидимыми: тона, превышающие диапазон, «выгорают» и отображаются как чисто белый цвет в светлых областях, а тона, находящиеся ниже диапазона, «заваливаются» и отображаются как чисто черный цвет в темных областях. Отношение между максимальным и минимальным тональными значениями, которые можно зафиксировать в одном изображении, называется динамическим диапазоном. В фотографии динамический диапазон измеряется в единицах экспозиции (EV), также известных как ступени. Восприятие света человеческим глазом нелинейно: уменьшение уровня освещенности вдвое не уменьшает воспринимаемую яркость пространства вдвое, а лишь немного приглушает ее. Для большинства уровней освещенности реакция приблизительно логарифмическая. Человеческий глаз довольно быстро адаптируется к изменениям уровня освещенности. Таким образом, HDR позволяет создавать изображения, которые больше соответствуют тому, что видит человек при взгляде на объект. Эта техника может быть применена для создания изображений, сохраняющих локальный контраст для естественной передачи, или для преувеличения локального контраста в художественных целях. HDR полезен для съемки многих реальных сцен, содержащих более широкий диапазон яркости, чем можно зафиксировать напрямую, обычно как яркий прямой солнечный свет, так и глубокие тени. Из-за ограничений контрастности печати и дисплеев расширенный динамический диапазон HDR-изображений необходимо сжать до диапазона, который можно отобразить. Метод преобразования изображения с высоким динамическим диапазоном для отображения на стандартном мониторе или печатном устройстве называется тоновым отображением; он уменьшает общий контраст HDR-изображения, чтобы обеспечить его отображение на устройствах или отпечатках с более низким динамическим диапазоном.

In photography and videography, multi exposure HDR capture is a technique that creates high dynamic range (HDR) images (or extended dynamic range images) by taking and combining multiple exposures of the same subject matter at different exposures. Combining multiple images in this way results in an image with a greater dynamic range than what would be possible by taking one single image. The technique can also be used to capture video by taking and combining multiple exposures for each frame of the video. The term "HDR" is used frequently to refer to the process of creating HDR images from multiple exposures. Many smartphones have an automated HDR feature that relies on computational imaging techniques to capture and combine multiple exposures. A single image captured by a camera provides a finite range of luminosity inherent to the medium, whether it is a digital sensor or film. Outside this range, tonal information is lost and no features are visible; tones that exceed the range are "burned out" and appear pure white in the brighter areas, while tones that fall below the range are "crushed" and appear pure black in the darker areas. The ratio between the maximum and the minimum tonal values that can be captured in a single image is known as the dynamic range. In photography, dynamic range is measured in exposure value (EV) differences, also known as stops. The human eye's response to light is non linear: halving the light level does not halve the perceived brightness of a space, it makes it look only slightly dimmer. For most illumination levels, the response is approximately logarithmic. Human eyes adapt fairly rapidly to changes in light levels. HDR can thus produce images that look more like what a human sees when looking at the subject. This technique can be applied to produce images that preserve local contrast for a natural rendering, or exaggerate local contrast for artistic effect. HDR is useful for recording many real world scenes containing a wider range of brightness than can be captured directly, typically both bright, direct sunlight and deep shadows. Due to the limitations of printing and display contrast, the extended dynamic range of HDR images must be compressed to the range that can be displayed. The method of rendering a high dynamic range image to a standard monitor or printing device is called tone mapping; it reduces the overall contrast of an HDR image to permit display on devices or prints with lower dynamic range.

Процесс

Фотографии с высоким динамическим диапазоном обычно создаются путем объединения нескольких изображений со стандартным динамическим диапазоном, часто полученных с помощью брекетинга экспозиции. После этого программное обеспечение для редактирования фотографий объединяет входные файлы в единое HDR-изображение, которое затем также подвергается тональной компрессии в соответствии с ограничениями предполагаемого вывода или дисплея.

Запись нескольких изображений (разграничение экспозиции)

Любая камера с возможностью ручного управления экспозицией может выполнять многокадровую съемку для создания HDR-изображений, хотя камера с автоматическим брекетингом экспозиции (AEB) значительно упрощает этот процесс. Некоторые камеры имеют функцию AEB с разным диапазоном динамического диапазона – от ±0,6 в простых моделях до ±18 EV в профессиональных камерах (по состоянию на lc=y). Значение экспозиции (EV) определяет количество света, попадающего на светочувствительный элемент, будь то пленка или цифровой сенсор, например, CCD. Изменение экспозиции на одну ступень соответствует удвоению или уменьшению вдвое количества захваченного света. Для проявления деталей в самых темных участках изображения требуется увеличение EV, а для сохранения деталей в очень ярких сценах – уменьшение EV. Управлять EV можно одним из двух способов: изменяя диаметр диафрагмы или время выдержки. Серию изображений с разными значениями EV, предназначенную для последующей HDR-обработки, следует получать исключительно путем изменения времени выдержки; изменение диаметра диафрагмы также повлияет на глубину резкости, что приведет к существенным различиям между кадрами и сделает их объединение в единое HDR-изображение невозможным. Многокадровая HDR-съемка обычно применяется для статичных сцен, поскольку любое движение между кадрами может помешать или сделать невозможным их последующее объединение. Кроме того, для получения необходимого диапазона яркости фотографу требуется сделать три или более снимков, что увеличивает время съемки. Фотографы разработали различные методы и приемы для частичного решения этих проблем, но для минимизации расхождений в кадрировании между экспозициями рекомендуется использовать надежный штатив.

Объединение изображений в изображение HDR

Тональная информация и детали из теневых участков могут быть восстановлены из изображений, которые намеренно переэкспонированы (то есть, с положительным EV по сравнению с корректной экспозицией сцены), в то время как аналогичная тональная информация из светлых участков может быть восстановлена из изображений, которые намеренно недоэкспонированы (отрицательный EV). Процесс выбора и извлечения информации из теней и светлых участков этих пере- и недоэкспонированных изображений, а затем их объединения с изображениями, правильно экспонированными для всей сцены, известен как объединение экспозиций. Объединение экспозиций может выполняться вручную, основываясь на опыте, суждениях и подготовке оператора HDR, но обычно объединение выполняется автоматически программным обеспечением.

Хранение

Информация, хранящаяся в изображениях с высоким динамическим диапазоном, обычно соответствует физическим значениям яркости или силы света, которые можно наблюдать в реальном мире. Это отличается от традиционных цифровых изображений, которые представляют цвета такими, какими они должны отображаться на мониторе или бумажном отпечатке. Поэтому форматы HDR-изображений часто называют «ориентированными на сцену», в отличие от традиционных цифровых изображений, которые являются «ориентированными на устройство» или «ориентированными на вывод». Кроме того, традиционные изображения обычно кодируются для человеческой зрительной системы (максимизируя визуальную информацию, хранящуюся в фиксированном количестве битов), что обычно называется гамма-кодированием или гамма-коррекцией. Значения, хранящиеся для HDR-изображений, часто подвергаются гамма-компрессии с использованием математических функций, таких как степенные функции, логарифмы или линейные значения с плавающей точкой, поскольку линейные кодировки с фиксированной точкой становятся все менее эффективными при более высоких динамических диапазонах. HDR-изображения часто не используют фиксированные диапазоны для каждого цветового канала, в отличие от традиционных изображений, чтобы представлять гораздо больше цветов в гораздо более широком динамическом диапазоне (с использованием нескольких каналов). Для этого они не используют целочисленные значения для представления отдельных цветовых каналов (например, 0–255 в 8-битном интервале на пиксель для красного, зеленого и синего), а вместо этого используют представление с плавающей точкой. Обычно используются 16-битные (полуточность) или 32-битные числа с плавающей точкой для представления пикселей HDR. Однако при использовании соответствующей функции передачи пиксели HDR для некоторых приложений могут быть представлены с глубиной цвета всего 10–12 бит (до значений) для яркости и 8 бит (значений) для цветности без появления заметных артефактов квантования.

Картировка тонов

Картировка тонов уменьшает динамический диапазон, или коэффициент контрастности, всего изображения, сохраняя при этом локальный контраст. Хотя это отдельная операция, картировка тонов часто применяется к HDR-файлам той же программой. Картировка тонов часто необходима, поскольку динамический диапазон, который можно отобразить, обычно ниже, чем динамический диапазон захваченного или обработанного изображения. HDR-дисплеи способны принимать сигнал с более широким динамическим диапазоном, чем SDR-дисплеи, что снижает потребность в картировке тонов.

Фотография

Несколько производителей камер предлагают встроенные функции HDR с многократной экспозицией. Например, зеркальная камера Pentax K 7 имеет режим HDR, который делает 3 или 5 экспозиций и выводит (только) HDR-изображение с тональной компрессией в файле JPEG. Canon PowerShot G12, Canon PowerShot S95 и Canon PowerShot S100 предлагают аналогичные функции в более компактном формате. Подход Nikon называется "Active D-Lighting", который применяет компенсацию экспозиции и тональную компрессию к изображению непосредственно с сенсора, делая акцент на создании реалистичного эффекта. Некоторые смартфоны предоставляют режимы HDR для своих камер, а большинство мобильных платформ имеют приложения, обеспечивающие многоэкспозиционную HDR-съемку. В 2014 году Google выпустила режим HDR+ для смартфонов Nexus 5 и Nexus 6, который автоматически захватывает серию снимков и объединяет их в одно статичное изображение, как подробно описал Марк Левой. В отличие от традиционного HDR, реализация HDR+ от Levoy использует несколько недоэкспонированных изображений, полученных с короткой выдержкой, которые затем выравниваются и усредняются по пикселям, улучшая динамический диапазон и снижая уровень шума. Выбирая наиболее резкое изображение в качестве базового для выравнивания, эффект дрожания камеры минимизируется. Некоторые сенсоры в современных телефонах и камерах могут объединять два изображения непосредственно на чипе, предоставляя пользователю доступ к более широкому динамическому диапазону без сжатия пикселей для отображения или обработки.

Видеосъемка

Хотя это не так распространено, как в случае фотосъемки, можно также захватывать и объединять несколько изображений для каждого кадра видео, чтобы увеличить динамический диапазон, зафиксированный камерой. Это можно сделать несколькими способами:

Создание таймлапса из отдельных изображений, созданных с помощью многоэкспозиционной HDR-техники. Съемка двух последовательных изображений с разной экспозицией, при этом частота кадров уменьшается вдвое. Некоторые камеры, предназначенные для систем безопасности, могут автоматически предоставлять два или более изображений для каждого кадра с изменяющейся экспозицией. Например, датчик для видео 30 кадров в секунду может выдавать 60 кадров в секунду, где нечетные кадры снимаются с короткой выдержкой, а четные – с более длинной. В 2020 году Qualcomm представила Snapdragon 888, мобильный SoC, способный выполнять вычислительную многоэкспозиционную HDR-съемку видео в 4K, а также сохранять его в формате, совместимом с HDR-дисплеями. В 2021 году смартфон Xiaomi Mi 11 Ultra поддерживает вычислительную многоэкспозиционную HDR-съемку видео.

Камеры наблюдения

HDR-съемка может быть реализована в камерах видеонаблюдения, даже в недорогих моделях. Обычно это называют функцией широкого динамического диапазона (WDR). Примеры включают CarCam Tiny, Prestige DVR 390 и DVR 478.

В середине XIX века

Идея использования нескольких экспозиций для адекватной передачи слишком широкого диапазона яркости была впервые реализована еще в 1850-х годах Гюставом Ле Греем при создании морских пейзажей, изображающих одновременно небо и море. В то время такая передача была невозможна стандартными методами из-за чрезмерного диапазона яркостей. Ле Грей использовал один негатив для неба и другой, с более длительной выдержкой, для моря, а затем объединил их в одно позитивное изображение.

В середине XX века

Ручное отображение тональности достигалось с помощью дожигания и подсветки – выборочного увеличения или уменьшения экспозиции участков фотографии для достижения лучшего воспроизведения тональности. Это было эффективно, поскольку динамический диапазон негатива значительно превышал тот, который был бы доступен на готовом позитивном отпечатке, при равномерном экспонировании через негатив. Превосходным примером служит фотография «Швайцер у лампы» У. Юджина Смита из его фотоэссе 1954 года «Человек милосердия», посвященного Альберту Швейцеру и его гуманитарной работе во Французской Экваториальной Африке. На воссоздание тонального диапазона сцены, простирающегося от яркого света лампы (относительно сцены) до глубоких теней, ушло пять дней. С появлением цветной фотографии тональное отображение в темной комнате стало невозможным из-за строгой временной синхронизации, необходимой в процессе проявки цветной пленки. Фотографы обращались к производителям пленки с просьбой разработать новые типы пленки с улучшенной чувствительностью или продолжали снимать в черно-белом, используя методы тонального отображения. Цветная пленка, способная непосредственно регистрировать изображения с высоким динамическим диапазоном, была разработана Чарльзом Уайкоффом и EG&G «в рамках контракта с Военно-воздушными силами». Эта XR-пленка имела три слоя эмульсии: верхний слой с чувствительностью ASA 400, средний слой с промежуточной чувствительностью и нижний слой с чувствительностью ASA 0,004. Пленка обрабатывалась аналогично цветным пленкам, и каждый слой формировал свой цвет. Динамический диапазон этой пленки с расширенным диапазоном оценивался как 1:108. Она использовалась для съемки ядерных взрывов, астрофотографии, спектрографических исследований и медицинской визуализации. Детальные снимки ядерных взрывов, сделанные Уайкоффом, появились на обложке журнала «Life» в середине 1950-х годов.

Конец XX века

Жорж Корнуэжольс и лицензиаты его патентов (Brdi, Hymatom) ввели принцип HDR-видеоизображения в 1986 году, разместив матричный ЖК-экран перед сенсором изображения камеры, увеличив динамический диапазон сенсора на пять ступеней. Концепция тонального отображения соседних пикселей была применена к видеокамерам в 1988 году группой из Technion в Израиле под руководством Оливера Хилсенрата и Йеошуа Й. Зееви. Исследователи Техниона подали заявку на патент на эту концепцию в 1991 году, а также на несколько связанных патентов в 1992 и 1993 годах. В феврале и апреле 1990 года Жорж Корнуэжольс представил первую камеру HDR в реальном времени, объединяющую два изображения, захваченных последовательно одним сенсором или одновременно двумя сенсорами камеры. Этот процесс известен как брэкетинг, используемый для видеопотока. В 1991 году была представлена первая коммерческая видеокамера, выполняющая захват в реальном времени нескольких изображений с различными экспозициями и создающая HDR-видеоизображение, разработанная Hymatom, лицензиатом Жоржа Корнуэжоля. Также в 1991 году Жорж Корнуэжольс представил принцип HDR+ изображения посредством нелинейного накопления изображений для повышения чувствительности камеры, что привело к созданию математической теории изображений одного и того же объекта с различной экспозицией, опубликованной в 1995 году Стивом Манном и Розалинд Пикард. 28 октября 1998 года Бен Сарао создал одно из первых ночных HDR+G (высокий динамический диапазон + графика) изображений STS 95 на стартовой площадке в Космическом центре Кеннеди НАСА. Оно состояло из четырех пленочных изображений ночного космического корабля, которые были цифровым образом скомпонованы с дополнительными графическими элементами. Изображение было впервые выставлено в Большом зале штаб-квартиры НАСА в Вашингтоне в 1999 году, а затем опубликовано в журнале Hasselblad Forum. Появление потребительских цифровых камер создало новый спрос на HDR-изображения для улучшения светочувствительности сенсоров цифровых камер, динамический диапазон которых был значительно меньше, чем у плёнки. Стив Манн разработал и запатентовал глобальный метод HDR для создания цифровых изображений с расширенным динамическим диапазоном в MIT Media Lab. Метод Манна включал двухэтапную процедуру: во-первых, генерацию одного массива изображений с плавающей точкой с использованием только глобальных операций над изображением (операций, которые одинаково влияют на все пиксели, независимо от их локального окружения). Во-вторых, преобразование этого массива изображений с использованием локальной обработки соседних пикселей (тонального отображения и т.д.) в HDR-изображение. Массив изображений, сгенерированный на первом этапе процесса Манна, называется lightspace-изображением, картой lightspace или картой излучения. Еще одним преимуществом глобального HDR-изображения является доступ к промежуточной карте света или излучения, которая используется для компьютерного зрения и других операций обработки изображений. В начале 2000-х годов несколько научных исследований использовали сенсоры и камеры потребительского класса. Некоторые компании, такие как RED и Arri, разрабатывали цифровые сенсоры с более высоким динамическим диапазоном. RED EPIC X может захватывать последовательные по времени HDRx-изображения с возможностью выбора пользователем 1–3 ступеней дополнительной широты выделения в канале "x". Канал "x" может быть объединен с обычным каналом в программном обеспечении для постобработки. Камера Arri Alexa использует архитектуру с двойным усилением для создания HDR-изображения из двух экспозиций, сделанных одновременно. С появлением недорогих потребительских цифровых камер многие любители начали публиковать в Интернете HDR-видео, полученные путем таймлапса, по сути, последовательность неподвижных фотографий в быстрой смене. В 2010 году независимая студия Soviet Montage представила пример HDR-видео, созданного из видеопотоков с различной экспозицией с использованием делителя луча и HD-видеокамер потребительского класса. Аналогичные методы были описаны в научной литературе в 2001 и 2007 годах. В 2005 году Adobe Systems представила несколько новых функций в Photoshop CS2, включая функцию "Merge to HDR", поддержку 32-битных изображений с плавающей точкой и тональное отображение HDR. 30 июня 2016 года Microsoft добавила поддержку цифрового компонирования HDR-изображений в Windows 10 с использованием Universal Windows Platform.

Georges Cornuéjols and licensees of his patents (Brdi, Hymatom) introduced the principle of HDR video image, in 1986, by interposing a matricial LCD screen in front of the camera's image sensor, increasing the sensors dynamic by five stops. The concept of neighborhood tone mapping was applied to video cameras in 1988 by a group from the Technion in Israel, led by Oliver Hilsenrath and Yehoshua Y. Zeevi. Technion researchers filed for a patent on this concept in 1991, and several related patents in 1992 and 1993. In February and April 1990, Georges Cornuéjols introduced the first real time HDR camera that combined two images captured successively by a sensor or simultaneously by two sensors of the camera. This process is known as bracketing used for a video stream. In 1991, the first commercial video camera was introduced that performed real time capturing of multiple images with different exposures, and producing an HDR video image, by Hymatom, licensee of Georges Cornuéjols. Also in 1991, Georges Cornuéjols introduced the HDR+ image principle by non linear accumulation of images to increase the sensitivity of the camera: resulting in a mathematical theory of differently exposed pictures of the same subject matter that was published in 1995 by Steve Mann and Rosalind Picard. On October 28, 1998, Ben Sarao created one of the first nighttime HDR+G (high dynamic range + graphic) image of STS 95 on the launch pad at NASA's Kennedy Space Center. It consisted of four film images of the space shuttle at night that were digitally composited with additional digital graphic elements. The image was first exhibited at NASA Headquarters Great Hall, Washington DC, in 1999 and then published in Hasselblad Forum. The advent of consumer digital cameras produced a new demand for HDR imaging to improve the light response of digital camera sensors, which had a much smaller dynamic range than film. Steve Mann developed and patented the global HDR method for producing digital images having extended dynamic range at the MIT Media Lab. Mann's method involved a two step procedure: First, generate one floating point image array by global only image operations (operations that affect all pixels identically, without regard to their local neighborhoods). Second, convert this image array, using local neighborhood processing (tone remapping, etc. ), into an HDR image. The image array generated by the first step of Mann's process is called a lightspace image, lightspace picture, or radiance map. Another benefit of global HDR imaging is that it provides access to the intermediate light or radiance map, which has been used for computer vision, and other image processing operations. In the early 2000s, several scholarly research efforts used consumer grade sensors and cameras. A few companies such as RED and Arri have been developing digital sensors capable of a higher dynamic range. RED EPIC X can capture time sequential HDRx images with a user selectable 1–3 stops of additional highlight latitude in the "x" channel. The "x" channel can be merged with the normal channel in post production software. The Arri Alexa camera uses a dual gain architecture to generate an HDR image from two exposures captured at the same time. With the advent of low cost consumer digital cameras, many amateurs began posting tone mapped HDR time lapse videos on the Internet, essentially a sequence of still photographs in quick succession. In 2010, the independent studio Soviet Montage produced an example of HDR video from disparately exposed video streams using a beam splitter and consumer grade HD video cameras. Similar methods have been described in the academic literature in 2001 and 2007. In 2005, Adobe Systems introduced several new features in Photoshop CS2 including Merge to HDR, 32 bit floating point image support, and HDR tone mapping. On June 30, 2016, Microsoft added support for the digital compositing of HDR images to Windows 10 using the Universal Windows Platform.