Введение
Цветовой фильтр массив
Мозаика фильтра Байера — это цветовой фильтр массив (CFA), предназначенный для расположения RGB-фильтров на квадратной сетке фотосенсоров. Данная схема расположения цветовых фильтров используется в большинстве цифровых датчиков изображения с одним чипом, применяемых в цифровых фотоаппаратах и видеокамерах для создания цветного изображения. Фильтр состоит наполовину из зеленых, на четверть из красных и на четверть из синих фильтров, поэтому его также называют BGGR, RGBG, GRBG или RGGB. Он назван в честь своего изобретателя, Брайса Байера из компании Eastman Kodak. Байер также известен своей рекурсивно определенной матрицей, используемой в упорядоченном дитеринге. Альтернативы фильтру Байера включают различные модификации цветов и расположения, а также совершенно иные технологии, такие как цветовая совместная выборка, датчик Foveon X3, дихроические зеркала или прозрачный дифракционный фильтр.
Пояснение
Патент Брайса Байера (патент США № 3,971,065) 1976 года называл зеленые фотосенсоры элементами, чувствительными к яркости, а красные и синие – элементами, чувствительными к цветности. Он использовал вдвое больше зеленых элементов, чем красных или синих, чтобы имитировать физиологию человеческого глаза. Восприятие яркости человеческой сетчатки использует M и L-конусовые клетки в сочетании при дневном зрении, которые наиболее чувствительны к зеленому свету. Эти элементы называют сенсорными элементами, сенселами, пиксельными сенсорами или просто пикселями; значения, полученные с их помощью, после интерполяции становятся пикселями изображения. В то время, когда Байер зарегистрировал свой патент, он также предложил использовать комбинацию голубого, пурпурного и желтого, то есть другой набор дополнительных цветов. Эта схема была непрактичной в то время, поскольку необходимых красителей не существовало, но используется в некоторых новых цифровых камерах. Главное преимущество новых красителей CMY заключается в улучшенных характеристиках поглощения света, то есть в более высокой квантовой эффективности. Необработанные данные с камер, использующих фильтр Байера, называют изображением в формате Bayer pattern. Поскольку каждый пиксель фильтруется для записи только одного из трех цветов, данные каждого пикселя сами по себе не могут полностью определить значения красного, зеленого и синего. Для получения полноцветного изображения можно использовать различные алгоритмы демозаики, чтобы интерполировать полный набор значений красного, зеленого и синего для каждого пикселя. Эти алгоритмы используют окружающие пиксели соответствующих цветов для оценки значений конкретного пикселя. Различные алгоритмы, требующие разного объема вычислительных ресурсов, приводят к получению конечных изображений разного качества. Это можно сделать в камере, создавая изображение в формате JPEG или TIFF, или вне камеры, используя исходные данные непосредственно с сенсора. Поскольку вычислительная мощность процессора камеры ограничена, многие фотографы предпочитают выполнять эти операции вручную на персональном компьютере. Чем дешевле камера, тем меньше возможностей для влияния на эти функции. В профессиональных камерах функции коррекции изображения либо полностью отсутствуют, либо могут быть отключены. Запись в формате Raw предоставляет возможность вручную выбирать алгоритм демозаики и управлять параметрами преобразования, что используется не только в любительской фотографии, но и при решении различных технических и фотометрических задач.
Демозаикация
Демозаирование может выполняться различными способами. Простые методы интерполируют цветовые значения пикселей того же цвета в окрестности. Например, после экспонирования изображения чип может быть прочитан попиксельно. Пиксель с зеленым фильтром предоставляет точное измерение зеленого компонента. Красные и синие компоненты для этого пикселя получают от соседних пикселей. Для зеленого пикселя красное значение можно получить, интерполируя два красных соседних пикселя, а синее значение – интерполируя два синих соседних пикселя. Этот простой подход хорошо работает в областях с однородным цветом или плавными градиентами, но может приводить к артефактам, таким как цветовые переливы в областях с резкими изменениями цвета или яркости, особенно заметным вдоль четких краев изображения. В связи с этим, другие методы демозаирования стремятся выявлять области с высоким контрастом и интерполировать только вдоль этих областей, а не через них. Другие алгоритмы основаны на предположении, что цвет области изображения относительно постоянен даже при изменении освещения, поэтому цветовые каналы сильно коррелируют друг с другом. Таким образом, сначала интерполируется зеленый канал, затем красный, а после – синий, чтобы соотношения красного к зеленому и синего к зеленому оставались постоянными. Существуют также другие методы, которые основываются на различных предположениях о содержимом изображения и, исходя из них, пытаются вычислить недостающие цветовые значения.
Артефакты
Изображения с мелкими деталями, близкими к пределу разрешения цифрового сенсора, могут представлять проблему для алгоритма демозаики, приводя к результату, который не соответствует оригиналу. Наиболее распространенным артефактом является эффект Муа́ра, который может проявляться в виде повторяющихся узоров, цветовых искажений или пикселей, расположенных в нереалистичном узоре, напоминающем лабиринт.
Поддельный цвет артефакта
Общим и неприятным артефактом интерполяции или демозаирования матрицы цветовых фильтров (CFA) является так называемое ложное цветообразование. Обычно этот артефакт проявляется вдоль границ, где возникают резкие или неестественные переходы цвета из-за некорректной интерполяции через границу, а не вдоль неё. Существуют различные методы предотвращения и устранения этого ложного цветообразования. Для предотвращения появления ложных цветов в конечном изображении в процессе демозаирования используется интерполяция с плавным переходом оттенков. Однако существуют и другие алгоритмы, которые могут удалять ложные цвета уже после демозаирования. Они позволяют устранять артефакты ложного цветообразования из изображения, используя при этом более устойчивый алгоритм демозаирования для интерполяции красной и синей цветовых плоскостей.
Артефакт с застежкой
Артефакт "застежки-молнии" – это еще один побочный эффект дематрицирования CFA, который также проявляется преимущественно вдоль границ и известен как эффект "застежки-молнии". Проще говоря, "застежка-молния" – это другое название для размытия границ, возникающего в виде чередующихся зон вдоль края. Этот эффект возникает, когда алгоритм дематрицирования усредняет значения пикселей по границе, особенно в красном и синем каналах, что приводит к характерному размытию. Как упоминалось ранее, наиболее эффективными способами предотвращения этого эффекта являются различные алгоритмы, которые интерполируют вдоль, а не поперек границ изображения. Интерполяция с распознаванием паттернов, адаптивная интерполяция цветовых каналов и направленная взвешенная интерполяция – все они направлены на предотвращение эффекта "застежки-молнии" путем интерполяции вдоль границ, обнаруженных на изображении. Однако даже с теоретически идеальным сенсором, способным захватывать и различать все цвета в каждой светочувствительной ячейке, все равно могут возникать муар и другие артефакты. Это неизбежное следствие любой системы, которая дискретизирует непрерывный сигнал в отдельных интервалах или точках. По этой причине большинство цифровых фотосенсоров оснащены так называемым оптическим фильтром нижних частот (OLPF) или антиалиасинговым (AA) фильтром. Обычно это тонкий слой, расположенный непосредственно перед сенсором, который эффективно размывает любые потенциально проблемные детали, размер которых меньше разрешения сенсора.
Модификации
Фильтр Bayer почти повсеместно используется в потребительских цифровых камерах. Альтернативы включают фильтры CYGM (голубой, жёлтый, зелёный, пурпурный) и RGBE (красный, зелёный, синий, изумрудный), которым требуется аналогичное демозаирование. Сенсор Foveon X3 (который располагает красные, зелёные и синие сенсоры вертикально, а не использует мозаичный узор) и системы из трёх отдельных ПЗС-матриц (по одной для каждого цвета) не нуждаются в демозаике.
Панхроматические клетки
14 июня 2007 года компания Eastman Kodak представила альтернативу фильтру Байера: цветовую матрицу фильтров, повышающую светочувствительность сенсора изображения в цифровой камере за счет использования панхроматических ячеек, чувствительных ко всем длинам волн видимого света и улавливающих большее количество света, попадающего на сенсор. Было представлено несколько вариантов матриц, но ни одна из них не имеет столь же компактного повторяющегося элемента, как 2x2 элемент в матрице Байера. В еще одной заявке на патент в США, поданной в 2007 году Эдвардом Т. Чангом, описывается сенсор, в котором "цветовой фильтр имеет структуру, состоящую из блоков 2x2 пикселя, включающих один красный, один синий, один зеленый и один прозрачный пиксель", в конфигурации, предназначенной для обеспечения чувствительности к инфракрасному излучению и повышения общей чувствительности. Заявка на патент Kodak была подана ранее. Подобные ячейки ранее использовались в сенсорах "CMYW" (голубой, пурпурный, желтый и белый) и "RGBW" (красный, зеленый, синий и белый), однако компания Kodak пока не проводила сравнения новой матрицы фильтров с этими сенсорами.
Массив цветовых фильтров Fujifilm "EXR"
Цветовые фильтры Fujifilm EXR производятся как на CCD (SuperCCD), так и на CMOS (BSI CMOS) сенсорах. Как и в случае с SuperCCD, сам фильтр повернут на 45 градусов. В отличие от традиционных матриц фильтров Bayer, всегда есть два соседних фотосайта, регистрирующих один и тот же цвет. Основная причина такой конструкции – поддержка объединения пикселей (binning), когда два соседних фотосайта объединяются, повышая светочувствительность сенсора. Другая причина заключается в возможности записи датчиком двух различных экспозиций, которые затем объединяются для создания изображения с расширенным динамическим диапазоном. В основе схемы лежат два канала считывания, получающие информацию из чередующихся строк сенсора. Это позволяет сенсору функционировать как два переплетенных сенсора с разными выдержками для каждой половины фотосайтов. Одна половина фотосайтов может быть намеренно недоэкспонирована для точной передачи деталей в светлых участках сцены. Эта сохраненная информация о ярких участках затем смешивается с данными от другой половины сенсора, снимающей изображение с нормальной экспозицией, что также использует близкое расположение фотосайтов одного цвета.
Фильтр Fujifilm "X-Trans"
Считается, что датчик Fujifilm X Trans CMOS, используемый во многих камерах серии Fujifilm X, обеспечивает лучшую устойчивость к цветовому муару, чем фильтр Bayer, и благодаря этому камеры могут обходиться без антиалиасингового фильтра. Это, в свою очередь, позволяет камерам, использующим этот датчик, достигать более высокого разрешения при том же количестве мегапикселей. Также утверждается, что новая конструкция снижает вероятность появления ложных цветов за счет расположения красных, синих и зеленых пикселей в каждой строке. Говорят также, что такая компоновка пикселей обеспечивает зернистость, более похожую на плёночную. Одним из основных недостатков нестандартных матриц является то, что они могут не полностью поддерживаться сторонним программным обеспечением для обработки RAW-файлов, например, Adobe Photoshop Lightroom, где добавление улучшений потребовало несколько лет.
Куад Байер
Sony представила цветовой фильтр Quad Bayer, который впервые был использован в передней камере iPhone 6, выпущенной в 2014 году. Quad Bayer аналогичен фильтру Bayer, однако смежные пиксели 2x2 имеют одинаковый цвет, а в шаблоне 4x4 содержится 4 синих, 4 красных и 8 зеленых пикселей. Для темных сцен обработка сигнала может объединять данные из каждой группы 2x2, фактически создавая более крупный пиксель. Для ярких сцен обработка сигнала может преобразовать Quad Bayer в традиционный фильтр Bayer для достижения более высокого разрешения. Пиксели в Quad Bayer могут работать с длительной и короткой экспозицией для получения HDR-изображения за один снимок, что снижает эффект наложения. Quad Bayer также известен под названиями Tetracell (Samsung), 4-cell (OmniVision) и Quad CFA (QCFA) (Qualcomm). 26 марта 2019 года была представлена серия Huawei P30, использующая RYYB Quad Bayer, с шаблоном 4x4, содержащим 4 синих, 4 красных и 8 желтых пикселей.
Nonacell
12 февраля 2020 года был анонсирован Samsung Galaxy S20 Ultra с технологией Nonacell CFA. Nonacell CFA аналогичен фильтру Bayer, однако в смежных группах пикселей 3x3 все пиксели одного цвета, а в паттерне 6x6 содержится 9 синих, 9 красных и 18 зеленых пикселей.