Введение
Техника обработки изображений – это техника для улучшения динамического диапазона изображений.
the technique to improve the dynamic range of images
Тональное сжатие – это техника, используемая в обработке изображений и компьютерной графике для преобразования одного набора цветов в другой, чтобы приблизить внешний вид изображений с высоким динамическим диапазоном (HDR) на устройствах с ограниченным динамическим диапазоном. Принтеры, CRT- и LCD-мониторы, а также проекторы имеют ограниченный динамический диапазон, недостаточный для воспроизведения всего диапазона яркости, присутствующего в реальных сценах. Тональное сжатие решает проблему резкого снижения контраста при переходе от яркости сцены к отображаемому диапазону, одновременно сохраняя детали изображения и цветовосприятие, важные для оценки исходного содержания сцены. Обратное тональное сжатие – это обратная техника, позволяющая расширить диапазон яркости, преобразуя изображение с низким динамическим диапазоном в изображение с высоким динамическим диапазоном. Она особенно часто используется для преобразования видео SDR в HDR.
Предыстория
Введение пленочной фотографии создало проблемы, поскольку запечатлеть широкий динамический диапазон освещения из реального мира на химически ограниченном негативе было очень сложно. Ранние разработчики фотоматериалов пытались решить эту проблему, создавая фотопленки и системы проявки отпечатков, которые обеспечивали желаемую S-образную тоновую кривую с незначительным увеличением контраста (около 15%) в среднем диапазоне и постепенным сжатием светлых участков и теней. Появление Зональной системы, основанной на экспонировании с учетом желаемых тонов теней и изменении времени проявки (что позволяло контролировать тона светлых участков), расширило тональный диапазон черно-белой (а позже и цветной) негативной пленки с ее исходного диапазона примерно в семь ступеней до примерно десяти. Фотографы также использовали подтемнение и высветление для преодоления ограничений печатного процесса.
The advent of digital photography gave hope for better solutions to this problem. One of the earliest algorithms employed by Land and McCann in 1971 was Retinex, inspired by theories of lightness perception This method is inspired by the eye’s biological mechanisms of adaptation when lighting conditions are an issue. Gamut mapping algorithms were also extensively studied in the context of color printing. Computational models such as CIECAM02 or iCAM were used to predict color appearance. Despite this, if algorithms could not sufficiently map tones and colors, a skilled artist was still needed, as is the case with cinematographic movie post processing. Computer graphic techniques capable of rendering high contrast scenes shifted the focus from color to luminance as the main limiting factor of display devices. Several tone mapping operators were developed to map high dynamic range images to standard displays. More recently, this work has branched away from utilizing luminance to extend image contrast and towards other methods such as user assisted image reproduction. Currently, image reproduction has shifted towards display driven solutions since displays now possess advanced image processing algorithms that help adapt rendering of the image to viewing conditions, save power, up scale color gamut and dynamic range.
Появление цифровой фотографии вселило надежду на лучшие решения этой проблемы. Один из первых алгоритмов, разработанных Лэндом и Макканном в 1971 году, – Retinex, вдохновленный теориями восприятия яркости. Этот метод основан на биологических механизмах адаптации глаза при изменении условий освещения. Алгоритмы отображения цветового охвата также широко изучались в контексте цветной печати. Для прогнозирования цветовосприятия использовались вычислительные модели, такие как CIECAM02 или iCAM. Однако, если алгоритмы не могли достаточно точно отобразить тона и цвета, по-прежнему требовался опытный специалист, как, например, при постобработке кинематографических фильмов. Компьютерная графика, способная создавать сцены с высоким контрастом, перенесла акцент с цвета на яркость как основной ограничивающий фактор для дисплеев. Было разработано несколько операторов тонового масштабирования для отображения изображений с высоким динамическим диапазоном на стандартных дисплеях. В последнее время эта работа отошла от использования яркости для расширения контраста изображения и перешла к другим методам, таким как воспроизведение изображения с участием пользователя. В настоящее время воспроизведение изображений сместилось в сторону решений, основанных на дисплеях, поскольку дисплеи теперь оснащены передовыми алгоритмами обработки изображений, которые помогают адаптировать рендеринг изображения к условиям просмотра, экономить энергию, расширять цветовую гамму и динамический диапазон.
The advent of digital photography gave hope for better solutions to this problem. One of the earliest algorithms employed by Land and McCann in 1971 was Retinex, inspired by theories of lightness perception This method is inspired by the eye’s biological mechanisms of adaptation when lighting conditions are an issue. Gamut mapping algorithms were also extensively studied in the context of color printing. Computational models such as CIECAM02 or iCAM were used to predict color appearance. Despite this, if algorithms could not sufficiently map tones and colors, a skilled artist was still needed, as is the case with cinematographic movie post processing. Computer graphic techniques capable of rendering high contrast scenes shifted the focus from color to luminance as the main limiting factor of display devices. Several tone mapping operators were developed to map high dynamic range images to standard displays. More recently, this work has branched away from utilizing luminance to extend image contrast and towards other methods such as user assisted image reproduction. Currently, image reproduction has shifted towards display driven solutions since displays now possess advanced image processing algorithms that help adapt rendering of the image to viewing conditions, save power, up scale color gamut and dynamic range.
Цель и методы
Цели тонового отображения могут быть сформулированы по-разному в зависимости от конкретной задачи. В одних случаях основной целью является создание эстетически приятных изображений, в то время как в других приложениях может быть важно воспроизвести как можно больше деталей изображения или максимизировать контраст. В приложениях реалистичной визуализации целью может быть достижение соответствия между воспринимаемым реальным миром и отображаемым изображением, даже если устройство отображения не способно воспроизвести полный диапазон яркости. За последние годы было разработано множество операторов тонового отображения. Все они можно разделить на два основных типа: глобальные (или пространственно-однородные) операторы: это нелинейные функции, основанные на яркости и других глобальных переменных изображения. После оценки оптимальной функции для конкретного изображения каждый пиксель отображается одинаково, независимо от значений окружающих пикселей. Эти методы просты и быстры (так как могут быть реализованы с использованием таблиц поиска), но могут приводить к потере контраста. Примерами распространенных глобальных методов тонового отображения являются снижение контраста и инверсия цвета. локальные (или пространственно-изменяющиеся) операторы: параметры нелинейной функции изменяются в каждом пикселе в зависимости от характеристик, извлеченных из окружающих пикселей. Иными словами, эффект алгоритма меняется в каждом пикселе в соответствии с локальными особенностями изображения. Эти алгоритмы сложнее глобальных; они могут вызывать артефакты (например, эффект ореола и звона); и результат может выглядеть нереалистично, но при правильном использовании они могут обеспечить наилучшую производительность, поскольку человеческое зрение в основном чувствительно к локальному контрасту. Простой пример глобального фильтра тонового отображения – (Райнхард), где Vin – яркость исходного пикселя, а Vout – яркость отфильтрованного пикселя. Эта функция отображает яркость Vin в область в отображаемый диапазон вывода. Хотя этот фильтр обеспечивает приемлемый контраст для областей изображения с низкой яркостью (особенно при ), области с более высокой яркостью будут получать все более низкий контраст по мере того, как яркость отфильтрованного изображения приближается к 1. Вариации этого фильтра часто используются при рендеринге. Более полезным глобальным методом тонового отображения, возможно, является гамма-компрессия, которая имеет фильтр, где и . Эта функция отображает яркость V в области в диапазон вывода. γ регулирует контраст изображения; меньшее значение соответствует меньшему контрасту. Хотя меньшее значение γ дает меньший контраст и, возможно, более тусклое изображение, оно увеличивает экспозицию недоэкспонированных областей изображения, а при – может уменьшить экспозицию переэкспонированных областей изображения, предотвращая их переэкспонирование. Еще более сложная группа алгоритмов тонового отображения основана на методах контрастного или градиентного домена, которые являются "локальными". Такие операторы фокусируются на сохранении контраста между соседними областями, а не на абсолютных значениях, что обусловлено тем, что человеческое восприятие наиболее чувствительно к контрасту в изображениях, а не к абсолютным интенсивностям. Эти методы тонового отображения обычно создают очень четкие изображения, хорошо сохраняющие мелкие контрастные детали; однако это часто достигается за счет снижения общего контраста изображения и может приводить к появлению ореолов вокруг темных объектов. Примеры таких методов тонового отображения включают: сжатие изображений с высоким динамическим диапазоном в градиентном домене и концептуальную структуру обработки контраста изображений с высоким динамическим диапазоном (тоновое отображение является одним из применений этой структуры). Другой подход к тоновому отображению HDR-изображений вдохновлен теорией закрепления восприятия яркости. Эта теория объясняет многие характеристики человеческой зрительной системы, такие как постоянство яркости и его сбои (например, иллюзия тени шахматной доски), которые важны для восприятия изображений. Ключевая концепция этого метода тонового отображения (Восприятие яркости при тоновом воспроизведении) заключается в разложении HDR-изображения на области с согласованным освещением и локальном вычислении значений яркости. Итоговая яркость изображения рассчитывается путем объединения областей пропорционально их силе. Особое значение имеет закрепление – соотнесение яркости с известной яркостью, а именно определение того, какое значение яркости воспринимается как белый цвет в сцене. Этот подход к тоновому отображению не влияет на локальный контраст и сохраняет естественные цвета HDR-изображения благодаря линейной обработке яркости. Одна из простых форм тонового отображения берет стандартное изображение (не HDR – динамический диапазон уже сжат) и применяет резкость с большим радиусом, что увеличивает локальный контраст, а не резкость. См. резкость: усиление локального контраста для получения подробной информации. Одним из часто используемых алгоритмов тонового отображения является iCAM06, который основан как на модели цветовосприятия, так и на иерархическом отображении. После двусторонней фильтрации изображение разбивается на базовый и детальный слои. К базовому слою применяется адаптация к белой точке и адаптация к цветности, а к детальному слою – усиление деталей. В конечном итоге два слоя объединяются и преобразуются в цветовое пространство IPT. В целом, этот метод хорош, но имеет некоторые недостатки, особенно в том, что фильтрация требует больших вычислительных ресурсов. Предлагаемым решением является оптимизация производительности фильтра. Базовый слой изображения также преобразуется в цветовое пространство RGB для сжатия тона. Этот метод также позволяет более точно настраивать выходные данные и усиливать насыщенность, делая его менее ресурсоемким и лучше справляющимся с уменьшением эффекта ореола.
global (or spatially uniform) operators: they are non linear functions based on the luminance and other global variables of the image. Once the optimal function has been estimated according to the particular image, every pixel in the image is mapped in the same way, independent of the value of surrounding pixels in the image. Those techniques are simple and fast (since they can be implemented using look up tables), but they can cause a loss of contrast. Examples of common global tone mapping methods are contrast reduction and color inversion. local (or spatially varying) operators: the parameters of the non linear function change in each pixel, according to features extracted from the surrounding parameters. In other words, the effect of the algorithm changes in each pixel according to the local features of the image. Those algorithms are more complicated than the global ones; they can show artifacts (e. g. halo effect and ringing); and the output can look unrealistic, but they can (if used correctly) provide the best performance, since human vision is mainly sensitive to local contrast. A simple example of global tone mapping filter is (Reinhard), where Vin is the luminance of the original pixel and Vout is the luminance of the filtered pixel. This function will map the luminance Vin in the domain to a displayable output range of While this filter provides a decent contrast for parts of the image with low luminance (particularly when ), parts of the image with higher luminance will get increasingly lower contrast as the luminance of the filtered image goes to 1. Variations on this filter are commonly used in rendering. A perhaps more useful global tone mapping method is gamma compression, which has the filter where and This function will map the luminance V in the domain to the output range γ regulates the contrast of the image; a lower value for lower contrast. While a lower constant γ gives a lower contrast and perhaps also a duller image, it increases the exposure of underexposed parts of the image while at the same time, if , it can decrease the exposure of overexposed parts of the image enough to prevent them from being overexposed. An even more sophisticated group of tone mapping algorithms is based on contrast or gradient domain methods, which are 'local'. Such operators concentrate on preserving contrast between neighboring regions rather than absolute value, an approach motivated by the fact that the human perception is most sensitive to contrast in images rather than absolute intensities. Those tone mapping methods usually produce very sharp images, which preserve very well small contrast details; however, this is often done at the cost of flattening an overall image contrast, and may as a side effect produce halo like glows around dark objects. Examples of such tone mapping methods include: gradient domain high dynamic range compression and A Perceptual Framework for Contrast Processing of High Dynamic Range Images (a tone mapping is one of the applications of this framework). Another approach to tone mapping of HDR images is inspired by the anchoring theory of lightness perception. This theory explains many characteristics of the human visual system such as lightness constancy and its failures (as in the checker shadow illusion), which are important in the perception of images. The key concept of this tone mapping method (Lightness Perception in Tone Reproduction) is a decomposition of an HDR image into areas (frameworks) of consistent illumination and the local calculation of the lightness values. The net lightness of an image is calculated by merging of the frameworks proportionally to their strength. Particularly important is the anchoring—relating of the luminance to a known luminance, namely estimating which luminance value is perceived as white in the scene. This approach to tone mapping does not affect the local contrast and preserves the natural colors of an HDR image due to the linear handling of luminance. One simple form of tone mapping takes a standard image (not HDR – the dynamic range already compressed) and applies unsharp masking with a large radius, which increases local contrast rather than sharpening. See unsharp masking: local contrast enhancement for details. One of the commonly used tone mapping algorithms is the iCAM06 which is based on both the color appearance model and hierarchical mapping. After bilateral filtering, the image is broken into a base layer and a detail layer. White point adaptation and chrominance adaptation are applied to the base layer, while detail enhancement is applied to the detail layer. Eventually the two layers are merged and converted to the IPT color space. In general, this method is good but has some shortcomings, specifically in how computationally heavy the filtering method is. A proposed solution to this involves performance optimization of the filter. The base layer of the image is also converted to the RGB space for tone compression. This method also allows for more output adjustment and saturation enhancement, making it be less computationally intensive and better at reducing the overall halo effect.
Цифровая фотография
Формы тонового отображения существовали задолго до появления цифровой фотографии. Манипулирование пленкой и процессом проявки для передачи высококонтрастных сцен, особенно снятых при ярком солнечном свете, на печатной бумаге с относительно низким динамическим диапазоном, по сути, является формой тонового отображения, хотя обычно это так и не называют. Локальная коррекция тональности при обработке пленки в основном выполняется с помощью высветления и затемнения, и особенно пропагандировалась и ассоциируется с Анселем Адамсом, как описано в его книге «Отпечаток»; также см. его Зонную систему. Обычный процесс компенсации экспозиции, повышения яркости теней и изменения контраста, применяемый глобально к цифровым изображениям в рамках профессионального или серьезного любительского рабочего процесса, также является формой тонового отображения. Однако тоновое отображение HDR, обычно с использованием локальных операторов, становится все более популярным среди цифровых фотографов как техника постобработки, когда несколько экспозиций с разными выдержками объединяются для создания HDR-изображения, а затем к результату применяется оператор тонового отображения. В настоящее время в интернете можно найти множество примеров цифровых изображений с локальным тоновым отображением, ошибочно называемых «HDR-фотографиями», и они отличаются разным качеством. Эта популярность частично обусловлена характерным внешним видом изображений с локальным тоновым отображением, который многим кажется привлекательным, и частично желанием запечатлеть высококонтрастные сцены, которые сложно или невозможно сфотографировать за одну экспозицию, и которые могут выглядеть непривлекательно даже при успешном захвате. Хотя цифровые сенсоры фактически захватывают более широкий динамический диапазон, чем пленка, они полностью теряют детали в самых ярких участках, обрезая их до чистого белого, что создает менее привлекательный результат по сравнению с негативной пленкой, которая, как правило, сохраняет цвет и некоторую детализацию в светах. В некоторых случаях локальное тоновое отображение используется, даже если динамический диапазон исходного изображения можно было бы запечатлеть на целевом носителе, либо для создания характерного внешнего вида локально обработанного изображения, либо для получения изображения, более соответствующего художественному замыслу фотографа, путем устранения резких контрастов, которые часто выглядят нежелательно. В некоторых случаях тоновое отображение создается из одной экспозиции, которая затем обрабатывается с помощью стандартных инструментов, чтобы получить входные данные для процесса генерации HDR-изображения. Это позволяет избежать артефактов, которые могут возникнуть при объединении разных экспозиций из-за движущихся объектов в сцене или дрожания камеры. Однако, когда тоновое отображение применяется к одной экспозиции таким образом, промежуточное изображение имеет только нормальный динамический диапазон, и количество деталей в тенях или светах, которые можно передать, ограничено тем, что было зафиксировано в исходной экспозиции.
Устройства отображения
Одной из первоначальных целей тонового отображения было воспроизведение заданной сцены или изображения на устройстве отображения таким образом, чтобы восприятие яркости изображения человеком максимально соответствовало восприятию яркости в реальном мире. Однако, добиться идеального соответствия в этой задаче невозможно, и поэтому выходное изображение на дисплее часто формируется как компромисс между различными характеристиками изображения. Выбор приоритетных характеристик часто зависит от конкретной области применения, и, при наличии подходящих метрик для этой области, можно рассматривать задачу как задачу оптимизации. В этом методе сначала создаются модели системы зрения человека (HVS) и дисплея, а также простой оператор тонового отображения. Искажения контраста взвешиваются в соответствии с их индивидуальной заметностью, оцениваемой с помощью модели HVS. На основе этих моделей создается целевая функция, определяющая кривую тонового отображения, которую можно решить с помощью быстрого квадратичного решателя. Добавление фильтров позволяет расширить этот метод и на видео. Фильтры обеспечивают, чтобы резкие изменения кривой тонового отображения между кадрами не были заметны в конечном изображении.
Пример процесса визуализации
На изображениях справа показан интерьер церкви – сцена с гораздо большим диапазоном яркости, чем может быть отображен на мониторе или зафиксирован обычной камерой. Шесть отдельных экспозиций, сделанных камерой, преобразуют диапазон яркостей сцены в диапазон, который может быть отображен на мониторе. Диапазон яркостей, зафиксированный на каждой фотографии, ограничен, поэтому не все детали могут быть показаны одновременно: например, детали темного интерьера церкви не могут быть отображены одновременно с яркими витражами. К шести изображениям применяется алгоритм для воссоздания карты яркости высокого динамического диапазона (HDR-изображения) оригинальной сцены. Кроме того, некоторые высокопроизводительные потребительские и специализированные научные цифровые камеры способны записывать HDR-изображение напрямую, например, в формате RAW. В идеальном случае камера могла бы измерять яркость напрямую и сохранять ее в HDR-изображении; однако большинство HDR-изображений, создаваемых камерами сегодня, не откалиброваны и даже не пропорциональны яркости из-за практических соображений, таких как стоимость и время, необходимое для измерения точных значений яркости. Художникам часто достаточно использовать несколько экспозиций для получения "HDR-изображения", которое лишь приблизительно соответствует истинному сигналу яркости. HDR-изображение передается оператору тональной компрессии, в данном случае локальному оператору, который преобразует изображение в изображение с низким динамическим диапазоном, пригодное для просмотра на мониторе. По сравнению с интерьером церкви, витраж отображается с гораздо меньшей яркостью, чем при линейном отображении между яркостью сцены и интенсивностью пикселей. Однако эта неточность менее заметна, чем детали изображения, которые теперь могут быть показаны одновременно как в окне, так и в интерьере церкви. Локальная тональная компрессия при обработке HDR-изображений часто создает ряд характерных эффектов, таких как яркие ореолы вокруг темных объектов, темные ореолы вокруг ярких объектов и иногда "мультяшный" вид из-за чрезмерно насыщенных цветов и отсутствия крупных цветовых переходов. Эти результаты вызваны применением геометрических искажений пространства изображения вместе с искажениями цветового пространства, при этом искажения цветового пространства являются эффектом тональной компрессии, а все остальные искажения – скорее методом пользовательской фильтрации, чем тональной или цветовой компрессией. Поэтому результаты локальной тональной компрессии часто оцениваются как искажающие суть документальной фотографии и далекие от фотографического реализма. Не все изображения, подвергнутые тональной компрессии, визуально отличаются. Уменьшение динамического диапазона с помощью тональной компрессии часто полезно в ярких солнечных сценах, где разница в интенсивности между прямым освещением и тенью велика. В этих случаях глобальный контраст сцены уменьшается, но локальный контраст сохраняется, при этом изображение в целом продолжает выглядеть естественно. Использование тональной компрессии в этом контексте может быть незаметно в конечном изображении: тональная компрессия также может создавать выразительные визуальные эффекты в конечном изображении, такие как видимый ореол вокруг башни на изображении юридической школы Корнелла ниже. Ее можно использовать для создания этих эффектов, даже если динамический диапазон исходного изображения не особенно высок. Ореолы в изображениях возникают из-за того, что локальный оператор тональной компрессии осветляет области вокруг темных объектов, чтобы сохранить локальный контраст в исходном изображении, что обманывает зрительную систему человека, заставляя воспринимать темные объекты как темные, даже если их фактическая яркость такая же, как и у областей изображения, воспринимаемых как яркие. Обычно этот эффект тонкий, но если контрасты в исходном изображении чрезмерны или фотограф намеренно устанавливает крутой градиент яркости, ореолы становятся видимыми.
Tone mapping can also produce distinctive visual effects in the final image, such as the visible halo around the tower in the Cornell Law School image below. It can be used to produce these effects even when the dynamic range of the original image is not particularly high. Halos in images come about because the local tone mapping operator will brighten areas around dark objects, to maintain the local contrast in the original image, which fools the human visual system into perceiving the dark objects as being dark, even if their actual luminance is the same as that of areas of the image perceived as being bright. Usually this effect is subtle, but if the contrasts in the original image are extreme, or the photographer deliberately sets the luminance gradient to be very steep, the halos become visible.