Введение
Прогноз качества цифрового видео
Индекс структурного сходства (SSIM) — это метод прогнозирования воспринимаемого качества цифрового телевидения и кинематографических изображений, а также других видов цифровых изображений и видео. Он также используется для измерения сходства между двумя изображениями. Индекс SSIM является полноэталонной метрикой; иными словами, измерение или прогноз качества изображения основывается на исходном несжатом или неискаженном изображении в качестве эталона. SSIM — это модель, основанная на восприятии, которая рассматривает деградацию изображения как воспринимаемое изменение структурной информации, при этом учитывая важные перцептивные феномены, включая маскировку яркости и маскировку контраста. В отличие от других методов, таких как MSE или PSNR, эти подходы оценивают абсолютные ошибки. Структурная информация исходит из идеи, что пиксели имеют сильную взаимосвязь, особенно при пространственной близости. Эти взаимосвязи несут важную информацию о структуре объектов в визуальной сцене. Маскировка яркости — это явление, при котором искажения изображения (в данном контексте) становятся менее заметными в светлых областях, а маскировка контраста — это явление, при котором искажения становятся менее заметными в областях с высокой активностью или "текстурой".
История
Предшественником SSIM был Индекс универсального качества (UQI), или Индекс Ванга — Бовика, разработанный Чжоу Вангом и Аланом Бовиком в 2001 году. В дальнейшем, благодаря сотрудничеству с Хамидом Шейхом и Ээро Симончелли, он эволюционировал в текущую версию SSIM, опубликованную в апреле 2004 года в журнале IEEE Transactions on Image Processing. Помимо определения индекса качества SSIM, в статье представлен общий контекст для разработки и оценки метрик качества восприятия, включая связь с человеческой зрительной нейробиологией и восприятием, а также прямую валидацию индекса на основе оценок людей. Базовая модель была разработана в Лаборатории инженерии изображений и видео (LIVE) при Техасском университете в Остине и далее совместно с Лабораторией вычислительного зрения (LCV) при Нью-Йоркском университете. Дополнительные варианты модели были разработаны в Лаборатории изображений и визуальных вычислений при Университете Ватерлоо и коммерциализированы. SSIM впоследствии получил широкое распространение в сообществе обработки изображений, а также в телевизионной и индустрии социальных сетей. Статья SSIM, опубликованная в 2004 году, была процитирована более 50 000 раз по данным Google Scholar, что делает её одной из самых цитируемых работ в области обработки изображений и видеоинженерии. Она была удостоена премии IEEE Signal Processing Society Best Paper Award за 2009 год. Кроме того, она получила награду IEEE Signal Processing Society Sustained Impact Award за 2016 год, что свидетельствует о значительном и продолжительном влиянии статьи, сохраняющемся на протяжении как минимум 10 лет после публикации. Благодаря широкому признанию в телевизионной индустрии, авторы оригинальной статьи SSIM были удостоены премии Primetime Engineering Emmy Award в 2015 году от Телевизионной академии.
Алгоритм
Индекс SSIM вычисляется на различных окнах изображения. Мера между двумя окнами *x* и *y* общего размера *N* равна: Квадрат этой функции не является выпуклым, но локально выпуклым и квазивыпуклым, что делает SSIM подходящей целью для оптимизации.
Применение формулы
Для оценки качества изображения эта формула обычно применяется только к яркости, хотя её также можно применять к цветовым (например, RGB) или цветоразностным (например, YCbCr) значениям. Получаемый SSIM-индекс – это десятичное число в диапазоне от -1 до 1, где 1 указывает на полное сходство, 0 – на отсутствие сходства, а -1 – на полную антикорреляцию. Для изображения он обычно вычисляется с использованием скользящего гауссова окна размером 11x11 или блочного окна размером 8x8. Окно может перемещаться по изображению с шагом в один пиксель, создавая карту качества SSIM изображения. При оценке качества видео авторы предлагают использовать лишь часть возможных окон для снижения вычислительной сложности.
Многомасштабная SSIM
Более продвинутая форма SSIM, называемая многомасштабной SSIM (MS SSIM), выполняется на нескольких масштабах посредством многостадийной субдискретизации, напоминающей многомасштабную обработку в ранней зрительной системе. Показано, что она демонстрирует производительность, не уступающую или даже превосходящую SSIM на различных субъективных базах данных изображений и видео. Получаемая метрика вычисляется как взвешенное среднее SSIM для трех категорий областей: границы, текстуры и гладкие области. Предлагаемые веса составляют 0,5 для границ, 0,25 для текстурированных и гладких областей. Авторы отмечают, что использование весов 1/0/0 (игнорирование всего, кроме искажений на границах) приводит к результатам, более близким к субъективным оценкам. Это указывает на то, что области границ играют доминирующую роль в восприятии качества изображения. Авторы 3 SSIM также расширили модель до 4 SSIM. Типы границ дополнительно подразделяются на сохраненные и измененные границы в зависимости от характера их искажений. Предлагаемые веса составляют 0,25 для всех четырех компонентов.
Структурная разница
Структурное несходство (DSSIM) может быть вычислено на основе SSIM, однако оно не является функцией расстояния, так как неравенство треугольника не всегда выполняется.
Показатели качества видео и временные варианты
Стоит отметить, что исходная версия SSIM была разработана для оценки качества статических изображений. Она не содержит параметров, напрямую связанных с временными аспектами человеческого восприятия и оценки.
Комплексные волновые SSIM
Комплексный вариант преобразования вейвлетов SSIM (CW SSIM) разработан для решения проблем масштабирования, сдвига и поворота изображения. Вместо того, чтобы присваивать низкие оценки изображениям с такими условиями, CW SSIM использует преимущества комплексного вейвлет-преобразования и, следовательно, выдает более высокие оценки для таких изображений. CW SSIM определяется следующим образом:
где – комплексное вейвлет-преобразование сигнала , а – комплексное вейвлет-преобразование сигнала . Кроме того, – небольшое положительное число, используемое для обеспечения стабильности функции. В идеале оно должно быть равно нулю. Как и SSIM, CW SSIM имеет максимальное значение 1. Максимальное значение 1 указывает на то, что два сигнала идеально структурно похожи, а значение 0 – на отсутствие структурного сходства.
SSIMPLUS
Индекс SSIMPLUS основан на SSIM и является коммерчески доступным инструментом. Он расширяет возможности SSIM, главным образом для применения в видео. Он предоставляет оценки в диапазоне от 0 до 100, линейно соответствующие субъективным оценкам человека. Также он позволяет адаптировать оценки к предполагаемому устройству просмотра, сравнивая видео с различным разрешением и содержанием. По утверждению авторов, SSIMPLUS обеспечивает более высокую точность и скорость, чем другие метрики качества изображения и видео. Однако независимая оценка SSIMPLUS не проводилась, поскольку сам алгоритм не находится в открытом доступе.
cSSIM
Для дальнейшего теоретического исследования стандартной дискретной SSIM была введена и изучена непрерывная SSIM (cSSIM) в контексте интерполяции радиальными базисными функциями.
СИМУЛАКРА
SSIMULACRA и SSIMULACRA2 — это варианты SSIM, разработанные Cloudinary для соответствия субъективным оценкам. Эти варианты работают в цветовом пространстве XYB и объединяют MS SSIM с двумя типами асимметричных карт ошибок, предназначенных для выявления блочности/звона и сглаживания/размытия — распространенных артефактов сжатия. SSIMULACRA2 входит в состав libjxl, эталонной реализации JPEG XL.
Другие простые модификации
Метрика r* кросс-корреляции основана на метриках дисперсии SSIM. Она определяется следующим образом: когда σxσy ≠ 0, значение равно 1; когда оба стандартных отклонения равны нулю, значение равно 1; и когда только одно из них равно нулю, значение равно 0. Она нашла применение при анализе реакции человека на фантомы контрастной детализации. SSIM также применялся к градиенту изображений, что привело к появлению "G SSIM". G SSIM особенно полезен для размытых изображений. Вышеописанные модификации могут быть объединены. Например, 4 G r* представляет собой комбинацию 4 SSIM, G SSIM и r*. Он способен лучше отражать предпочтения рентгенологов в отношении изображений, чем другие протестированные варианты SSIM.
Применение
SSIM находит применение в решении широкого круга задач. Вот несколько примеров:
Сжатие изображений: при сжатии изображений с потерями информация намеренно отбрасывается для уменьшения объема хранения изображений и видео. MSE обычно используется в таких схемах сжатия. Авторы SSIM предлагают использовать SSIM вместо MSE для получения лучших результатов при декомпрессии изображений. SSIM нечувствителен к этим вариациям и может быть напрямую применен с помощью сопоставления с образцом без использования обучающей выборки. Поскольку методы распознавания образов, основанные на данных, могут демонстрировать более высокую производительность при наличии большого объема данных для обучения, авторы предлагают использовать CW SSIM в подходах, основанных на данных. В работе Доссельмана и Янга утверждается, что производительность SSIM "гораздо ближе к производительности MSE", чем обычно считается. Хотя они не оспаривают преимущество SSIM перед MSE, они указывают на аналитическую и функциональную зависимость между этими двумя метриками. Согласно их исследованиям, SSIM демонстрирует такую же корреляцию, как и методы, основанные на MSE, при использовании субъективных баз данных, отличных от тех, что использовались создателями SSIM. В качестве примера они приводят Рейбмана и Пула, которые обнаружили, что MSE превосходит SSIM при анализе базы данных, содержащей видео с потерями пакетов. В другой работе была установлена аналитическая связь между PSNR и SSIM.