Введение
Алгоритм восстановления цвета
Демозаицирование (или демосaицирование, демозаицирование), также известное как цветовая реконструкция, — это алгоритм цифровой обработки изображений, используемый для восстановления полноцветного изображения из неполных цветовых выборок, полученных с датчика изображения, на который наложен массив цветовых фильтров (CFA), например, фильтр Bayer. Оно также известно как интерполяция CFA или дебайеринг. Большинство современных цифровых камер получают изображения, используя один датчик изображения с наложенным CFA, поэтому демозаицирование является частью конвейера обработки, необходимой для преобразования этих изображений в просматриваемый формат. Многие современные цифровые камеры могут сохранять изображения в формате RAW, позволяя пользователю выполнять демозаицирование с помощью программного обеспечения, а не встроенной прошивки камеры.
Фон: массив цветовых фильтров
Цветовой фильтр - это мозаика цветовых фильтров, расположенная перед матрицей изображения. Наиболее распространенной коммерчески используемой конфигурацией цветофильтра является фильтр Байера, изображенный здесь. Он состоит из чередующихся красных (R) и зеленых (G) фильтров в нечетных строках и чередующихся зеленых (G) и синих (B) фильтров в четных строках. Количество зеленых фильтров вдвое превышает количество красных и синих, что соответствует более высокой чувствительности человеческого глаза к зеленому свету. Поскольку цветовая субдискретизация, присущая цветофильтрам, неизбежно приводит к алиасингу, оптический антиалиасинговый фильтр обычно устанавливается в оптический тракт между матрицей изображения и объективом для уменьшения артефактов ложных цветов (хроматического алиасинга), возникающих при интерполяции. Поскольку каждый пиксель матрицы находится за цветовым фильтром, результатом является массив значений пикселей, каждое из которых указывает на необработанную интенсивность одного из трех цветов фильтра. Следовательно, для каждого пикселя необходим алгоритм для оценки уровней цвета для всех цветовых компонент, а не только для одной.
Простая интерполяция
Эти алгоритмы являются примерами многомерной интерполяции на равномерной сетке, использующими относительно простые математические операции с ближайшими экземплярами одного и того же цветового компонента. Самый простой метод – интерполяция ближайшим соседом, которая просто копирует значение соседнего пикселя того же цветового канала. Она непригодна для любых приложений, где требуется качество, но может быть полезна для генерации предварительных просмотров при ограниченных вычислительных ресурсах. Другой простой метод – билинейная интерполяция, при которой значение красного канала пикселя, не являющегося красным, вычисляется как среднее значение двух или четырех соседних красных пикселей, и аналогично для синего и зеленого. Более сложные методы, интерполирующие независимо в каждой цветовой плоскости, включают бикубическую интерполяцию, сплайн-интерполяцию и ресэмплинг Ланчоса. Хотя эти методы могут давать хорошие результаты в однородных областях изображения, они склонны к серьезным артефактам демозаики в областях с границами и деталями при использовании с цветовыми CFA. Однако линейная интерполяция может давать очень хорошие результаты в сочетании с пространственно-спектральным (панхроматическим) CFA. Можно использовать простые модели формирования изображений для демозаики. В естественных изображениях в пределах одного сегмента должно сохраняться соотношение цветов. Этот факт был использован в интерполяции, чувствительной к изображению, для демозаики.
Видео сверхразрешение/демозайка
Было показано, что сверхразрешение и демозаикация – это две стороны одной медали, и целесообразно решать их в едином контексте. Важно отметить, что обе эти задачи сталкиваются с проблемой алиасинга. Поэтому, особенно при реконструкции видео (многокадровой), совместный подход к сверхразрешению и демозаикации предоставляет оптимальное решение.
Компромиссы
Некоторые методы могут давать лучшие результаты для естественных сцен, а другие – для печатных материалов, например. Это отражает фундаментальную проблему оценки пикселей, значения которых не определены однозначно. Естественно, существует также повсеместный компромисс между скоростью и качеством оценки.
Использование в программном обеспечении для обработки изображений
Когда у пользователя есть доступ к исходным данным изображения с цифровой камеры, он может использовать компьютерное программное обеспечение с различными алгоритмами демозаикизации, вместо того чтобы быть ограниченным алгоритмом, встроенным в камеру. Некоторые программы для обработки RAW-файлов, такие как RawTherapee и darktable, предоставляют пользователю возможность выбора алгоритма. Однако большинство программ запрограммированы на использование одного конкретного метода. Различия в отрисовке мелких деталей (и текстуры шума), возникающие в зависимости от выбранного алгоритма демозаикизации, являются одними из ключевых различий между различными RAW-конвертерами; часто фотографы предпочитают определенную программу по эстетическим соображениям, связанным с этим эффектом. Цветовые артефакты, возникающие при демозаикизации, предоставляют важные ключи для выявления поддельных фотографий.