Шумы в изображениях: источники и типы

Введение

Видимые помехи в изображении

Шум изображения — это случайное изменение яркости или цветовой информации в изображениях, обычно являющееся проявлением электронного шума. Он может возникать из-за сенсора изображения и электронной схемы сканера или цифровой камеры. Шум изображения также может быть обусловлен зернистостью пленки и неизбежным дробовым шумом идеального фотонного детектора. Шум изображения — нежелательный побочный эффект захвата изображения, который маскирует полезную информацию. Как правило, термин «шум изображения» используется для обозначения шума в двухмерных изображениях, а не в трехмерных. Изначально под «шумом» понимался «нежелательный сигнал»; нежелательные электрические колебания в сигналах, принимаемых AM-радиоприемниками, вызывали слышимый акустический шум («треск»). По аналогии, нежелательные электрические колебания также называют «шумом». Шум изображения может варьироваться от едва заметных точек на цифровой фотографии, сделанной при хорошем освещении, до оптических и радиоастрономических изображений, которые почти полностью состоят из шума, из которого небольшое количество информации можно извлечь с помощью сложной обработки. Такой уровень шума был бы неприемлем для фотографии, поскольку даже определить объект было бы невозможно.

Глас Гаусса

Основные источники гауссовского шума в цифровых изображениях возникают в процессе получения изображения. Сенсор имеет внутренний шум, обусловленный уровнем освещения и его собственной температурой, а электронные схемы, подключенные к сенсору, вносят свой вклад в виде шума электронных компонентов. Типичная модель шума изображения – гауссовский, аддитивный, независимый для каждого пикселя и не зависящий от интенсивности сигнала, вызванный главным образом шумом Джонсона–Найквиста (термическим шумом), включая шум, возникающий при сбросе конденсаторов ("kTC шум"). Шум усилителя является значительной составляющей "шума считывания" сенсора изображения, то есть постоянного уровня шума в темных участках изображения. В цветных камерах, где в синем канале используется большее усиление, чем в зеленом или красном, шум в синем канале может быть выше.

Соль и перец

Распределенный по закону "тяжелых хвостов" или "импульсный" шум иногда называют шумом "соль и перец" или импульсным шумом. Изображение, содержащее шум "соль и перец", будет иметь темные пиксели в светлых областях и светлые пиксели в темных областях. Этот тип шума может быть вызван ошибками аналого-цифрового преобразования, битовыми ошибками при передаче и т.п., а также интерполяцией вокруг темных/светлых пикселей. Неисправные пиксели в ЖК-мониторе создают аналогичный, но недетерминированный эффект.

Шум выстрелов

Доминирующий шум в светлых участках изображения, полученного с датчика изображения, обычно обусловлен статистическими квантовыми флуктуациями, то есть изменением числа фотонов, зарегистрированных при заданном уровне экспозиции. Этот шум известен как шум, вызванный дискретностью фотонов (или шум выстрела). Шум выстрела подчиняется распределению Пуассона, которое можно аппроксимировать гауссовским распределением при высокой интенсивности изображения. Стандартное отклонение шума выстрела пропорционально квадратному корню интенсивности изображения, а шум в различных пикселях не коррелирован друг с другом. Помимо шума выстрела, вызванного фотонами, может присутствовать дополнительный шум выстрела, обусловленный током утечки в датчике изображения; этот шум иногда называют "шумом тёмного тока". Ток утечки максимален в "горячих пикселях" датчика изображения. Изменчивый тёмный заряд обычных и горячих пикселей можно вычесть (с помощью "вычитания тёмного кадра"), оставив только шум выстрела или случайную составляющую утечки. Если вычитание тёмного кадра не производится, или если время экспозиции достаточно велико, чтобы заряд горячего пикселя превысил линейный динамический диапазон, шум будет превышать шум выстрела, и горячие пиксели будут проявляться как шум типа "соль и перец".

Шум квантования (однородный шум)

Шум, возникающий при квантовании пикселей полученного изображения до определенного числа дискретных уровней, называется шумом квантования. Он имеет приблизительно равномерное распределение. Хотя он может быть зависимым от сигнала, он станет независимым от сигнала, если другие источники шума достаточно велики, чтобы вызвать дитеринг, или если дитеринг применяется намеренно.

Пленочное зерно

Зернистость фотопленки — это шумовой сигнал, зависящий от полезного сигнала, со статистическим распределением, аналогичным шуму выстрела. Если зерна пленки распределены равномерно (одинаковое количество на единицу площади), и если каждое зерно имеет равную и независимую вероятность проявления в виде темного серебряного зерна после поглощения фотонов, то число таких темных зерен на площади будет случайной величиной, подчиняющейся биномиальному распределению. В областях с низкой вероятностью это распределение будет приближаться к классическому распределению Пуассона для шума выстрела. Часто в качестве достаточно точной модели используется простое гауссовское распределение.

Анизотропный шум

Некоторые источники шума проявляются в изображениях с выраженной направленностью. Например, датчики изображения иногда подвержены шуму по строкам или столбцам.

Периодический шум

Общим источником периодического шума в изображении являются электрические помехи, возникающие в процессе захвата изображения.

Шум чтения

В цифровой фотографии поступающие фотоны преобразуются в заряд в виде электронов. Это напряжение затем проходит через цепочку обработки сигнала цифровой камеры и оцифровывается аналого-цифровым преобразователем. Любые колебания напряжения в цепочке обработки сигнала, вносящие вклад в отклонение от идеального значения, пропорционального числу фотонов, называются шумом считывания.

Влияние размера датчика

Количество света, собираемого всей площадью сенсора во время экспозиции, является определяющим фактором уровней сигнала, которые, в свою очередь, определяют отношение сигнал/шум для фотонного шума и, следовательно, воспринимаемый уровень шума. Важно отметить, что число f характеризует плотность света в фокальной плоскости (например, фотоны на квадратный микрон). При постоянном значении f, с увеличением фокусного расстояния увеличивается диаметр апертуры объектива, и объектив собирает больше света от объекта. Поскольку фокусное расстояние, необходимое для захвата сцены под определенным углом обзора, приблизительно пропорционально ширине сенсора, при постоянном значении f количество собранного света приблизительно пропорционально площади сенсора, что приводит к лучшему отношению сигнал/шум для сенсоров большего размера. При постоянном диаметре апертуры количество собранного света не зависит от размера сенсора, а отношение сигнал/шум для фотонного шума не зависит от размера сенсора. В случае изображений, достаточно ярких для нахождения в режиме, ограниченном фотонным шумом, при масштабировании изображения до одного и того же размера на экране или при печати в одном и том же размере, количество пикселей мало влияет на воспринимаемый уровень шума – шум зависит главным образом от общего количества света, попадающего на всю площадь сенсора, а не от того, как эта площадь разделена на пиксели. Для изображений с более низким уровнем сигнала (более высокие значения ISO), где существенен шум считывания (уровень шума), большее количество пикселей на заданной площади сенсора сделает изображение более шумным, если шум считывания на пиксель остается неизменным. Например, уровень шума, создаваемый сенсором Four Thirds при ISO 800, приблизительно эквивалентен уровню шума, создаваемому полнокадровым сенсором (площадь примерно в четыре раза больше) при ISO 3200, и уровню шума, создаваемому сенсором компактной камеры 1/2.5" (площадь примерно в 1/16 раза меньше) при ISO 100. Все камеры будут иметь приблизительно одинаковое значение ISO для одной и той же сцены при одинаковой выдержке и одинаковом значении f, что приведет к значительно меньшему шуму на полнокадровой камере. И наоборот, если бы все камеры использовали объективы с одинаковым диаметром апертуры, значения ISO были бы разными для разных камер, но уровень шума был бы приблизительно эквивалентен.

The amount of light collected over the whole sensor during the exposure is the largest determinant of signal levels that determine signal to noise ratio for shot noise and hence apparent noise levels. It is important to note that the f number is indicative of light density in the focal plane (e. g., photons per square micron). With constant f numbers, as focal length increases, the lens aperture diameter increases, and the lens collects more light from the subject. As the focal length required to capture a scene at a specific angle of view is roughly proportional to the width of the sensor, at constant f number the amount of light collected is roughly proportional to the area of the sensor, resulting to a better signal to noise ratio for larger sensors. With constant aperture diameters, the amount of light collected is independent of the size of the sensor and signal to noise ratio for shot noise is independent of sensor size. In the case of images bright enough to be in the shot noise limited regime, when the image is scaled to the same size on screen, or printed at the same size, the pixel count makes little difference to perceptible noise levels – the noise depends primarily on the total light over the whole sensor area, not how this area is divided into pixels. For images at lower signal levels (higher ISO settings), where read noise (noise floor) is significant, more pixels within a given sensor area will make the image noisier if the per pixel read noise is the same. For example, the noise level produced by a Four Thirds sensor at ISO 800 is roughly equivalent to that produced by a full frame sensor (with roughly four times the area) at ISO 3200, and that produced by a 1/2.5" compact camera sensor (with roughly 1/16 the area) at ISO 100. All cameras will have roughly the same ISO setting for a given scene at the same shutter speed and the same f number resulting in substantially less noise with the full frame camera. Conversely, if all cameras were using lenses with the same aperture diameter, the ISO settings would be different across the cameras, but the noise levels would be roughly equivalent.

Коэффициент заполнения датчика

Сенсор изображения имеет отдельные фотосайты для сбора света с определенной площади. Не все области сенсора используются для сбора света из-за наличия другой электронной схемы. Более высокий коэффициент заполнения сенсора обеспечивает сбор большего количества света, что позволяет достичь лучшей производительности при высоких значениях ISO, исходя из размера сенсора.

Тепло датчика

Температура также может влиять на количество шума, создаваемого сенсором изображения из-за утечки тока. С учетом этого, известно, что зеркальные фотоаппараты производят больше шума летом, чем зимой. Большинство алгоритмов преобразования данных сенсора изображения в изображение, будь то в камере или на компьютере, включают в себя ту или иную форму шумоподавления. Существует множество процедур для этого, но все они стремятся определить, являются ли различия в значениях пикселей шумом или реальной фотографической детализацией, и усредняют первое, пытаясь сохранить второе. Однако ни один алгоритм не может сделать это суждение идеально (во всех случаях), поэтому часто приходится идти на компромисс между подавлением шума и сохранением мелких, низкоконтрастных деталей, которые могут иметь характеристики, схожие с шумом. Упрощенный пример невозможности однозначного шумоподавления: область однородного красного цвета на изображении может содержать очень маленький черный участок. Если это один пиксель, то, скорее всего (но не обязательно), он является артефактом и шумом; если он занимает несколько пикселей в абсолютно правильной форме, это может быть дефект в группе пикселей сенсора изображения (артефакт и нежелательный элемент, но не строго шум); если он имеет неправильную форму, то, вероятно, это настоящая особенность изображения. Но однозначного ответа нет. Принять решение в этом вопросе может помочь знание характеристик исходного изображения и особенностей человеческого зрения. Большинство алгоритмов шумоподавления выполняют более агрессивное подавление цветового шума, поскольку существует мало важных мелких цветовых деталей, которые можно потерять. Кроме того, многие люди считают, что шумовые зерна яркости менее заметны и неприятны глазу, поскольку их текстура напоминает зернистость пленки. Качество изображения при высокой чувствительности конкретной камеры (или процесса обработки RAW) может во многом зависеть от качества алгоритма, используемого для шумоподавления. Поскольку уровень шума увеличивается с повышением чувствительности ISO, большинство производителей камер автоматически увеличивают агрессивность шумоподавления при более высоких значениях чувствительности. Это приводит к ухудшению качества изображения при высоких значениях чувствительности двумя способами: уровень шума возрастает, а мелкие детали сглаживаются более агрессивным шумоподавлением. В случаях экстремального шума, например, при астрономической съемке очень далеких объектов, речь идет не столько о шумоподавлении, сколько об извлечении небольшого количества информации, погребенной в большом количестве шума; применяемые методы отличаются и направлены на поиск небольших закономерностей в массиве случайных данных.

Temperature can also have an effect on the amount of noise produced by an image sensor due to leakage. With this in mind, it is known that DSLRs will produce more noise during summer than in winter. Most algorithms for converting image sensor data to an image, whether in camera or on a computer, involve some form of noise reduction. There are many procedures for this, but all attempt to determine whether the actual differences in pixel values constitute noise or real photographic detail, and average out the former while attempting to preserve the latter. However, no algorithm can make this judgment perfectly (for all cases), so there is often a tradeoff made between noise removal and preservation of fine, low contrast detail that may have characteristics similar to noise. A simplified example of the impossibility of unambiguous noise reduction: an area of uniform red in an image might have a very small black part. If this is a single pixel, it is likely (but not certain) to be spurious and noise; if it covers a few pixels in an absolutely regular shape, it may be a defect in a group of pixels in the image taking sensor (spurious and unwanted, but not strictly noise); if it is irregular, it may be more likely to be a true feature of the image. But a definitive answer is not available. This decision can be assisted by knowing the characteristics of the source image and of human vision. Most noise reduction algorithms perform much more aggressive chroma noise reduction, since there is little important fine chroma detail that one risks losing. Furthermore, many people find luminance noise less objectionable to the eye, since its textured appearance mimics the appearance of film grain. The high sensitivity image quality of a given camera (or RAW development workflow) may depend greatly on the quality of the algorithm used for noise reduction. Since noise levels increase as ISO sensitivity is increased, most camera manufacturers increase the noise reduction aggressiveness automatically at higher sensitivities. This leads to a breakdown of image quality at higher sensitivities in two ways: noise levels increase and fine detail is smoothed out by the more aggressive noise reduction. In cases of extreme noise, such as astronomical images of very distant objects, it is not so much a matter of noise reduction as of extracting a little information buried in a lot of noise; techniques are different, seeking small regularities in massively random data.

Видеошум

В видео и телевидении шум — это случайная точечная структура, накладывающаяся на изображение из-за электронных помех, так называемый "снег", который появляется при плохом (аналоговом) приеме телевизионного сигнала или на видеокассетах VHS. Помехи и статика — это другие виды шума, поскольку они нежелательны, хотя и не случайны, и могут влиять на радио- и телевизионные сигналы. Цифровой шум иногда встречается в видео, закодированном в формате MPEG 2, как артефакт сжатия.

Полезный шум

Высокий уровень шума почти всегда нежелателен, но бывают случаи, когда определенное количество шума полезно, например, для предотвращения артефактов квантования (цветовые полосы или постеризация). Определенный шум также повышает кажущуюся резкость изображения. Шум, намеренно добавляемый для этих целей, называется дизерингом; он улучшает визуальное восприятие изображения, хотя и снижает отношение сигнал/шум.

Техническая экспертиза с низким и высоким уровнем ISO

Датчик изображения в цифровой камере содержит фиксированное количество пикселей (которые определяют заявленные мегапиксели камеры). Эти пиксели обладают так называемой глубиной потенциальной ямы. Потенциальную яму пикселя можно представить как ведро. Настройка ISO в цифровой камере является первой (и иногда единственной) регулируемой пользователем (аналоговой) настройкой усиления в цепочке обработки сигнала. Она определяет величину усиления, применяемого к выходному напряжению от датчика изображения, и оказывает непосредственное влияние на шум считывания. Все блоки обработки сигнала в системе цифровой камеры имеют собственный уровень шума. Разница между уровнем сигнала и уровнем шума называется отношением сигнал/шум. Более высокое отношение сигнал/шум соответствует более качественному изображению. В условиях яркого солнечного света, при использовании медленной выдержки, открытой диафрагмы или их комбинации, на датчик изображения может попадать достаточное количество фотонов, чтобы полностью заполнить или приблизиться к максимальной емкости потенциальных ям пикселей. Если емкость потенциальных ям пикселей превышена, это приводит к переэкспозиции. Когда потенциальные ямы пикселей почти заполнены, сами фотоны, воздействующие на датчик изображения, генерируют достаточно энергии для возбуждения эмиссии электронов в датчике изображения и создания достаточного напряжения на выходе датчика изображения. Усиление ISO усиливает это низкое напряжение от датчика изображения, создавая более высокое отношение сигнал/шум на остальной электронике обработки сигнала. Таким образом, более высокая настройка ISO (при правильном использовании) сама по себе не увеличивает уровень шума, а наоборот, снижает шум считывания. Увеличение шума, часто наблюдаемое при использовании более высокой настройки ISO, является результатом усиления дробового шума и снижения динамического диапазона из-за технических ограничений современных технологий.