Байер фильтрі және түсті сенсорлар тізбегі

Кіріспе

Түс сүзгі массиві

Байер сүзгі мозаикасы – фотосенсорлардың квадрат торжелісіне RGB түсті сүзгілерді орналастыруға арналған түс сүзгі массиві (CFA). Түс сүзгілерінің ерекше орналасуы цифрлық камералар мен бейнекамераларда түсті кескін жасау үшін қолданылатын көптеген бір чипті цифрлық бейне сенсорларында қолданылады. Сүзгі үлгісі жартылай жасыл, төрттен бірі қызыл және төрттен бірі көк түсті, сондықтан оны BGGR, RGBG, GRBG немесе RGGB деп те атайды. Ол өнертапқышы, Eastman Kodak компаниясының Bryce Bayer атымен аталған. Байер рекурсивті анықталатын матрицасымен де танымал. Байер сүзгісіне балама ретінде түрлі түстер мен орналасудың әртүрлі өзгертулері, сондай-ақ түс үлгілерін алу, Foveon X3 сенсоры, дихроикалық айналар немесе мөлдір дифракциялық сүзгі массиві сияқты мүлдем басқа технологиялар бар.

Түсіндірме

Брайс Байердің патенты (АҚШ патенты № 3,971,065) 1976 жылы жасыл фотосенсорларды жарық сезгіш элементтер деп, ал қызыл және көк түстерді – хроминанс сезгіш элементтер деп атады. Адам көзінің физиологиясын имитациялап, ол қызыл немесе көк түстерге қарағанда екі есе көп жасыл элементтерді қолданды. Адамның торлы қабығындағы жарық сезімі күндізгі жарықта жасыл түске ең сезімтал болатын М және L конус жасушаларының біріккен әрекеті арқасында жүзеге асады. Бұл элементтер сенсор элементтері, сенсельдер, пиксельдік сенсорлар немесе жай ғана пиксельдер деп аталады; олар сезген мәндер интерполяциядан кейін бейне пиксельдеріне айналады. Байер патентын тіркеген кезде, ол сондай-ақ циан, магента және сары түстерін қолдануды ұсынды, яғни қарама-қарсы түстердің тағы бір жиынтығы. Бұл әдіс сол кезде қолдануға қолайлы болмады, себебі қажетті бояулар болған жоқ, бірақ кейбір жаңа цифрлық камераларда қолданылады. Жаңа CMY бояуларының басты артықшылығы – олардың жарық сіңіру қасиеттері жақсарған, яғни кванттық тиімділігі жоғары. Байер сүзгісі бар камералардың бастапқы шығысы Байер үлгісі деп аталады. Әр пиксел үш түстің тек біреуін жазу үшін сүзгіленгендіктен, әр пикселдің деректері қызыл, жасыл және көк түстердің әрқайсысын өздігінен толыққанды көрсетуге жеткіліксіз. Толық түсті сурет алу үшін әртүрлі демозайкалау алгоритмдерін қолдануға болады, олар әр пиксел үшін толық қызыл, жасыл және көк мәндер жиынтығын интерполяциялайды. Бұл алгоритмдер нақты пикселдің мәндерін бағалау үшін сәйкес түстердің айналасындағы пиксельдерді пайдаланады. Әртүрлі есептеу қуатын қажет ететін әртүрлі алгоритмдер әртүрлі сападағы соңғы суреттерді береді. Мұны камерада JPEG немесе TIFF суретін жасау арқылы немесе камерадан тыс жерде сенсордан тікелей алынған шикі деректерді пайдалану арқылы жасауға болады. Камера процессорларының өңдеу қуаты шектеулі болғандықтан, көптеген фотографтар осы операцияларды дербес компьютерде қолмен жасауды жөн көреді. Камераның құны арзан болған сайын, осы функцияларға ықпал ету мүмкіндігі азаяды. Кәсіби камераларда кескінді түзету функциялары мүлдем болмайды немесе оларды өшіруге болады. Raw форматында сақтау демозайкалау алгоритмін қолмен таңдауға және трансформация параметрлерін басқаруға мүмкіндік береді, бұл тек тұтынушыларға арналған фотосуретте ғана емес, сонымен қатар әртүрлі техникалық және фотометриялық мәселелерді шешуде де қолданылады.

Bryce Bayer's patent (U. S. Patent No. 3,971,065) in 1976 called the green photosensors luminance sensitive elements and the red and blue ones chrominance sensitive elements. He used twice as many green elements as red or blue to mimic the physiology of the human eye. The luminance perception of the human retina uses M and L cone cells combined, during daylight vision, which are most sensitive to green light. These elements are referred to as sensor elements, sensels, pixel sensors, or simply pixels; sample values sensed by them, after interpolation, become image pixels. At the time Bayer registered his patent, he also proposed to use a cyan magenta yellow combination, that is another set of opposite colors. This arrangement was impractical at the time because the necessary dyes did not exist, but is used in some new digital cameras. The big advantage of the new CMY dyes is that they have an improved light absorption characteristic; that is, their quantum efficiency is higher. The raw output of Bayer filter cameras is referred to as a Bayer pattern image. Since each pixel is filtered to record only one of three colors, the data from each pixel cannot fully specify each of the red, green, and blue values on its own. To obtain a full color image, various demosaicing algorithms can be used to interpolate a set of complete red, green, and blue values for each pixel. These algorithms make use of the surrounding pixels of the corresponding colors to estimate the values for a particular pixel. Different algorithms requiring various amounts of computing power result in varying quality final images. This can be done in camera, producing a JPEG or TIFF image, or outside the camera using the raw data directly from the sensor. Since the processing power of the camera processor is limited, many photographers prefer to do these operations manually on a personal computer. The cheaper the camera, the fewer opportunities to influence these functions. In professional cameras, image correction functions are completely absent, or they can be turned off. Recording in Raw format provides the ability to manually select demosaicing algorithm and control the transformation parameters, which is used not only in consumer photography but also in solving various technical and photometric problems.

Демозайкалау

Демозайкалау әр түрлі жолдармен жүзеге асырылуы мүмкін. Қарапайым әдістер көршілес аймақтағы бірдей түстегі пиксельдердің түс мәнін интерполяциялайды. Мысалы, чипке сурет түсіргенде, әрбір пикселді оқуға болады. Жасыл сүзгісі бар пиксель жасыл компоненттің нақты өлшемін береді. Бұл пикселдің қызыл және көк компоненттері көрші пиксельдерден алынады. Жасыл пиксел үшін екі қызыл көршіні интерполяциялау арқылы қызыл мәнді, ал екі көк пикселді интерполяциялау арқылы көк мәнді алуға болады. Бұл қарапайым тәсіл тұрақты түстер немесе тегіс градиенттер бар жерлерде жақсы жұмыс істейді, бірақ суреттегі түстердің немесе жарықтың күрт өзгеруі байқалатын жерлерде, әсіресе өткір жиектерде түс айырылуы сияқты артефакттар тудыруы мүмкін. Осы себепті, басқа демозайкалау әдістері жоғары контрастты жиектерді анықтауға тырысады және интерполяцияны тек осы жиектер бойымен, бірақ олардың үстінен емес жүргізеді. Басқа алгоритмдер суреттегі аймақтың түсі жарық жағдайларының өзгеруіне қарамастан салыстырмалы түрде тұрақты болады деген болжамға негізделген, сондықтан түс арналары бір-бірімен күшті корреляцияда болады. Сондықтан, алдымен жасыл арна интерполяцияланады, содан кейін қызыл және соңғыда көк арна, нәтижесінде қызыл/жасыл және көк/жасыл арақатынасы тұрақты болады. Сурет мазмұны туралы әртүрлі болжамдар жасап, осыдан бастап жоғалған түс мәндерін есептеуге тырысатын басқа әдістер де бар.

Өнер бұйымдары

Цифрлық сенсордың ажыратымдылық шегіне жақын ұсақ бөлшектері бар суреттер демозайкалау алгоритмі үшін мәселе туғызуы мүмкін, нәтижесі модельге сәйкес келмейді. Ең көп кездесетін артефакт – Моар, ол қайталама өрнектер, түс бұрмалары немесе нақты емес лабиринт тәрізді орналасқан пиксельдер түрінде көрінеді.

Жалған түсті артефакт

Түс сүзгі массивінің (CFA) интерполяциясы немесе демозайкалаудың жиі кездесетін және жағымсыз кемшілігі – жалған түс деп аталатын құбылыс. Әдетте, бұл кемшілік жиектерде көрінеді, онда түс кенеттен немесе табиғи емес түрде өзгереді, себебі интерполяция жиектің бойымен емес, одан өтетіндей етіп жасалады. Бұл жалған түстің алдын алу және жою үшін түрлі әдістер бар. Демозайкалау кезінде түстің тегіс өтуін қамтамасыз ету арқылы, соңғы суретте жалған түстердің пайда болуына жол берілмейді. Алайда, демозайкалаудан кейін жалған түстерді жоятын басқа да алгоритмдер бар. Бұлардың артықшылығы – суреттен жалған түс кемшіліктерін жоюға мүмкіндік береді, сонымен қатар қызыл және көк түс жазықтықтарын интерполяциялау үшін сенімді демозайкалау алгоритмін пайдалануға болады.

Жипасты артефакті

Зымыран тәрізді артефакт – CFA демозайсингінің тағы бір жанама әсері, ол негізінен жиектер бойында пайда болады және «зымыран эффектісі» деп аталады. Қарапайым тілмен айтқанда, зымырандану – бұл жиектерде «қосу/өшіру» үлгісімен жүретін жиектердің бұлыңғырлануының тағы бір атауы. Бұл эффект демозайсинг алгоритмі пиксельдердің мәндерін жиектерде орташалайтын кезде, әсіресе қызыл және көк жазықтықтарда пайда болады, нәтижесінде оның ерекше бұлыңғырлығы пайда болады. Бұрын айтқанымыздай, осы эффектіні болдырмаудың ең жақсы тәсілдері – кескін жиектері арқылы емес, олардың бойымен интерполяциялайтын әртүрлі алгоритмдер. Үлгіні тану интерполяциясы, адаптивті түс жазықтығы интерполяциясы және бағытталған салмақты интерполяция – бәрі де кескінде анықталған жиектер бойымен интерполяциялау арқылы зымырандануды болдырмауға тырысады. Дегенмен, тіпті теориялық тұрғыдан алғанда, әр фотосайттағы барлық түстерді түсіріп, ажырата алатын сенсор болған жағдайда да, Моар және басқа артефакттар пайда болуы мүмкін. Бұл үздіксіз сигналды дискретті интервалдарда немесе орналасу орындарында үлгілеудің кез келген жүйенің қажетті салдары. Осы себепті көптеген фотографиялық сандық сенсорлар оптикалық төмен өткізгіш сүзгіні (OLPF) немесе антиалиасингтік (AA) сүзгіні қамтиды. Бұл әдетте сенсордың алдындағы жұқа қабат болып табылады және сенсордың ажыратымдылығынан гөрі ұсақ болатын кез келген проблемалық бөлшектерді бұрмалау арқылы жұмыс істейді.

Өзгерістер

Байер сүзгісі тұтынушылардың цифрлық камераларында дерлік барлық жерде қолданылады. Баламаларына CYGM сүзгісі (көкжасыл, сары, жасыл, қызғылт) және RGBE сүзгісі (қызыл, жасыл, көк, изумруд) жатады, олар да ұқсас демозайкалауды қажет етеді. Foveon X3 сенсоры (қызыл, жасыл және көк сенсорларын мозаика қолданбай тік қабаттастыратын) және үш жеке CCD (әр түс үшін біреу) орналасуы демозайкалауды қажет етпейді.

Панхроматикалық жасушалар

2007 жылдың 14 маусымында Eastman Kodak компаниясы Байер сүзгісіне балама ретінде: сандық камерадағы кескін сенсорының жарыққа сезімталдығын арттыратын түсті сүзгі үлгісін жариялады. Бұл үшін барлық көрінетін жарық толқындарына сезімтал панхроматикалық жасушалар пайдаланылады, олар сенсорға түсетін жарықтың көбірек мөлшерін жинап алады. Олар бірнеше үлгілер ұсынады, бірақ олардың ешқайсысы Байер үлгісінің 2×2 бірлігінен кішкентай қайталанатын бірлікке ие емес. 2007 жылы Эдвард Т. Чангтың тағы бір АҚШ патент өтінімі, сенсордың "түс сүзгісі бір қызыл, бір көк, бір жасыл және бір мөлдір пикселден тұратын 2×2 пикселдік блоктардан тұратын үлгіге ие" екенін көрсетеді, бұл конфигурация жалпы сезімталдықты арттыру үшін инфрақызыл сезімталдықты қамтуға бағытталған. Кодак патенттік өтінімін одан бұрын тапсырған. Мұндай жасушалар бұрын "CMYW" (көк, күлгін, сары және ақ) және "RGBW" (қызыл, жасыл, көк, ақ) сенсорларында қолданылған, бірақ Кодак әлі жаңа сүзгі үлгісін олармен салыстырған жоқ.

Fujifilm "EXR" түсті сүзгі массиві

Fujifilm-нің EXR түсті сүзгі массиві CCD (SuperCCD) және CMOS (BSI CMOS) түрлерінде өндіріледі. SuperCCD-дегідей, сүзгі 45 градусқа бұрылады. Дәстүрлі Байер сүзгісінің дизайнынан өзгешелігі, әрқашан бір түсті анықтайтын екі іргелес фотосайт болады. Бұл массивтің басты себебі – пикселдерді «жинақтауға» (binning) көмектесу, онда екі іргелес фотосайт біріктіріліп, сенсорды жарыққа «сезімталдығын» арттыруға болады. Тағы бір себеп – сенсордың екі түрлі экспозицияны жазуы, содан кейін олар біріктіріліп, жоғары динамикалық диапазонға ие кескінді құрайды. Негізгі тізбекте сенсордың кезектесіп орналасқан қатарларынан мәлімет алатын екі оқу каналы бар. Соның нәтижесінде, ол екі бір-бірімен келісіп жұмыс істейтін сенсор сияқты жұмыс істейді, әр фотосайттың жартысына әртүрлі экспозиция уақыты беріледі. Фотосайттардың жартысы көріністің жарқын бөліктерін толық түсіру үшін қасақана жеткіліксіз экспозицияланады. Бұл сақталған жарқын ақпарат, «толық» экспозицияны жазатын сенсордың екінші жартысынан алынған мәліметтермен үйлестіріледі, бұл ұқсас түсті фотосайттардың тығыз орналасуын пайдаланады.

Fujifilm "X-Trans" сүзгісі

Fujifilm X Trans CMOS сенсоры, көптеген Fujifilm X сериялы камераларында қолданылады, Bayer сүзгісіне қарағанда түсті моареге қарсы жақсырақ тұру қабілетіне ие деп есептеледі, сондықтан оларды антиалиазингтік сүзгісіз жасауға болады. Бұл өз кезегінде, осы сенсорды қолданатын камераларға бірдей мегапиксель санымен жоғарырақ ажыратымдылыққа қол жеткізуге мүмкіндік береді. Сонымен қатар, жаңа конструкция әр қатарда қызыл, көк және жасыл пикселдерді орналастыру арқылы жалған түстердің пайда болуын азайтады деп айтылады. Осы пикселдердің орналасуы түйіршікті фильмге ұқсас етеді деседі. Бірақ, арнайы үлгілердің басты кемшілігі – олар Adobe Photoshop Lightroom сияқты үшінші тараптың RAW өңдеу бағдарламаларында толық қолдауға ие болмауы мүмкін, және оларға жақсартулар енгізуге бірнеше жыл кеткен.

Quad Bayer компаниясы

Sony компаниясы Quad Bayer түсті сүзгі массивін енгізді, ол алғаш рет 2014 жылы шыққан iPhone 6 телефонының алдыңғы камерасында қолданылды. Quad Bayer, Bayer сүзгісіне ұқсас, бірақ жапсарлас 2x2 пиксельдер бір түсті, ал 4x4 үлгісі 4 көк, 4 қызыл және 8 жасыл түстен тұрады. Аз жарық жағдайында сигналды өңдеу әр 2x2 топтан алынған деректерді біріктіре алады, бұл іс жүзінде үлкен пиксельге айналады. Көп жарық жағдайында сигналды өңдеу Quad Bayer-ді дәстүрлі Bayer сүзгісіне түрлендіре алады, осылайша жоғарырақ ажыратымдылыққа қол жеткізеді. Quad Bayer пиксельдері ұзақ және қысқа уақыт интеграциясы режимінде жұмыс істей алады, бұл бір кадрлық HDR-ға мүмкіндік береді және араласу мәселелерін азайтады. Quad Bayer Samsung компаниясымен Tetracell, OmniVision компаниясымен 4 cell және Qualcomm компаниясымен Quad CFA (QCFA) деп те аталады. 2019 жылдың 26 наурызында Huawei P30 сериясы RYYB Quad Bayer технологиясымен ұсынылды, онда 4x4 үлгісі 4 көк, 4 қызыл және 8 сары түстен тұрады.

Nonacell

2020 жылдың 12 ақпанында Samsung Galaxy S20 Ultra Nonacell CFA технологиясымен жабдықталғаны жарияланды. Nonacell CFA Байер сүзгісімен ұқсас, алайда жанындағы 3x3 пиксельдердің түсі бірдей, ал 6x6 үлгісінде 9 көк, 9 қызыл және 18 жасыл пиксель болады.