Видеокодеки: принципы работы, сжатие и качество

Введение

Видеокодек – это программное обеспечение или устройство, обеспечивающее кодирование и декодирование цифрового видео, которое может включать или не включать использование сжатия и/или декомпрессии видео. Большинство кодеков, как правило, представляют собой реализации форматов кодирования видео. Сжатие может использовать компрессию данных с потерями, поэтому вопросы измерения качества становятся важными. Вскоре после того, как компакт-диск стал широко доступен как цифровая замена аналоговому аудио, появилась возможность хранить и использовать видео в цифровом формате. Вскоре возникло множество технологий для этого. Основная цель большинства методов сжатия видео – получить видео, максимально приближенное по качеству к исходному материалу, одновременно обеспечивая минимально возможный размер файла. Однако существуют и другие факторы, которые могут служить основой для сравнения.

Качество видео

Качество, которого может достичь кодек, во многом зависит от используемого формата сжатия. Кодек – это не формат, и может существовать несколько кодеков, реализующих одну и ту же спецификацию сжатия; например, кодеки MPEG 1 обычно не обеспечивают соотношение качества к размеру, сравнимое с кодеками, реализующими более современную спецификацию H.264. Однако соотношение качества к размеру выходного потока, создаваемого различными реализациями одной и той же спецификации, также может варьироваться. Каждая спецификация сжатия определяет различные механизмы, с помощью которых исходное видео (по сути, последовательность несжатых цифровых изображений с полным разрешением) может быть уменьшено в размере – от простого сжатия битов (например, Lempel Ziv Welch) до психовизуального и обобщения движения, а также способ хранения выходных данных в виде битового потока. Пока кодировщик кодека соответствует спецификации, он может выбирать любую комбинацию этих методов для применения к различным частям контента. Декодировщик кодека, также соответствующий спецификации, распознает каждый из используемых механизмов и, таким образом, интерпретирует сжатый поток для восстановления исходного видео для отображения (хотя оно не будет идентично исходному видео, если сжатие было без потерь). Каждый кодировщик реализует спецификацию в соответствии со своими алгоритмами и параметрами, что означает, что сжатый выход разных кодеков будет различаться, приводя к различиям в качестве и эффективности между ними. Прежде чем сравнивать качество видео, обеспечиваемое разными кодеками, важно понимать, что каждый кодек может выдавать разную степень качества для заданного набора кадров в видеопоследовательности. На эту изменчивость влияет множество факторов. Во-первых, все кодеки имеют механизм управления битрейтом, который определяет битрейт и качество для каждого кадра. Различие между переменным битрейтом (VBR) и постоянным битрейтом (CBR) создает компромисс между стабильным качеством во всех кадрах, с одной стороны, и более постоянным битрейтом, необходимым для некоторых приложений, с другой. Во-вторых, некоторые кодеки различают различные типы кадров, такие как ключевые кадры и неключевые кадры, которые отличаются по важности для общего визуального качества и степени, в которой они могут быть сжаты. В-третьих, качество зависит от предварительной фильтрации, которая включена во все современные кодеки. Могут быть и другие факторы. Для достаточно длинного клипа можно выбрать последовательности, которые мало пострадали от сжатия, и последовательности, которые пострадали сильно, особенно если использовался CBR, при этом качество между кадрами может значительно варьироваться из-за различной степени сжатия, необходимой для достижения постоянного битрейта. Таким образом, в данном длинном клипе, например, полнометражном фильме, любые два кодека могут работать совершенно по-разному на определенной последовательности, в то время как на более широкой последовательности кадров кодеки могут быть примерно равными (или ситуация может быть обратной) по качеству. Пресс-релизы и любительские форумы иногда могут выбирать последовательности, которые, как известно, благоприятствуют определенному кодеку или стилю управления битрейтом при проведении обзоров.

The quality the codec can achieve is heavily based on the compression format the codec uses. A codec is not a format, and there may be multiple codecs that implement the same compression specification for example, MPEG 1 codecs typically do not achieve quality/size ratio comparable to codecs that implement the more modern H.264 specification. But quality/size ratio of output produced by different implementations of the same specification can also vary. Each compression specification defines various mechanisms by which raw video (in essence, a sequence of full resolution uncompressed digital images) can be reduced in size, from simple bit compression (like Lempel Ziv Welch) to psycho visual and motion summarization, and how the output is stored as a bit stream. So long as the encoder component of the codec adheres to the specification it can choose any combination of these methods to apply different parts of the content. The decoder component of a codec that also conforms to the specification recognises each of the mechanisms used, and thus interprets the compressed stream to render it back into raw video for display (although this will not be identical to the raw video input unless the compression was lossless). Each encoder implements the specification according to its own algorithms and parameters, which means that the compressed output of different codecs will vary, resulting in variations in quality and efficiency between them. Prior to comparing codec video quality, it is important to understand that every codec can give a varying degree of quality for a given set of frames within a video sequence. Numerous factors play a role in this variability. First, all codecs have a bitrate control mechanism that is responsible for determining the bitrate and quality on a per frame basis. A difference between variable bitrate (VBR) and constant bitrate (CBR) creates a trade off between a consistent quality over all frames, on the one hand, and a more constant bitrate, which is required for some applications, on the other. Second, some codecs differentiate between different types of frames, such as key frames and non key frames, differing in their importance to overall visual quality and the extent to which they can be compressed. Third, quality depends on prefiltrations, which are included on all present day codecs. Other factors may also come into play. For a sufficiently long clip, it is possible to select sequences that have suffered little from the compression, and sequences that have suffered heavily, especially if CBR has been used, whereby the quality between frames can vary highly due to different amounts of compression needed to achieve a constant bitrate. So, in a given long clip, such as a full length movie, any two codecs may perform quite differently on a particular sequence from the clip, while the codecs may be approximately equal (or the situation reversed) in quality over a wider sequence of frames. Press releases and amateur forums may sometimes select sequences known to favor a particular codec or style of rate control in reviews.

Субъективное качество видео

Это касается восприятия видео зрителем и определяет его мнение о конкретной видеопоследовательности. Субъективные тесты качества видео достаточно затратны по времени (подготовка и проведение) и требуют значительных человеческих ресурсов. Существует множество способов демонстрации видеоэкспертам и регистрации их оценок. Некоторые из них стандартизированы, в основном в Рекомендации ITU-R BT.500-13 и Рекомендации ITU-T P.910. Цель измерения субъективного качества видео аналогична измерению среднего мнения об оценке (MOS) для аудио. Оценки экспертов можно усреднить, а среднее значение указать как есть или сопроводить заданным доверительным интервалом. Для усреднения могут применяться дополнительные процедуры. Например, оценки экспертов, чьи мнения считаются нестабильными (например, если их корреляция со средним мнением низкая), могут быть исключены. Это часто встречается при работе с видеокодеками. Когда кодеки с сопоставимыми объективными показателями демонстрируют различные субъективные результаты, основными причинами могут быть: Пре- и постфильтры широко используются в кодеках. Кодеки часто применяют предварительные фильтры, такие как шумоподавление, устранение мерцания, стабилизация изображения и т.п. Шумоподавление и устранение мерцания обычно сохраняют значение PSNR, одновременно повышая визуальное качество (наилучшие фильтры шумоподавления также увеличивают PSNR при средних и высоких битрейтах). Стабилизация изображения значительно снижает PSNR, но повышает визуальное качество. Постфильтры демонстрируют схожие характеристики: деблокинг и дерингинг сохраняют PSNR, но улучшают качество; добавление зернистости (предложено в H.264) по сути повышает качество видео, особенно на больших плазменных экранах, но снижает PSNR. Все фильтры увеличивают время сжатия/декомпрессии, таким образом улучшая визуальное качество, но снижая скорость кодирования и декодирования. Стратегия поиска движения (ME) также может приводить к разному визуальному качеству при одинаковом PSNR. Так называемый поиск истинного движения обычно не достигает минимального значения суммы абсолютных разностей (SAD) в ME кодека, но может обеспечить лучшее визуальное качество. Такие методы также требуют больше времени на сжатие. Стратегия управления скоростью потока. VBR обычно обеспечивает более высокие оценки визуального качества, чем CBR, при тех же средних значениях PSNR для последовательностей. Использовать длинные последовательности для субъективного тестирования затруднительно. Обычно используются три или четыре десятисекундных фрагмента, в то время как для объективных метрик применяются полные фильмы. Важен выбор последовательностей – более конкурентоспособны те, которые похожи на те, что разработчики используют для настройки своих кодеков.

This is concerned with how video is perceived by a viewer, and designates their opinion on a particular video sequence. Subjective video quality tests are quite expensive with regard to time (preparation and running) and human resources. There are many ways of showing video sequences to experts and recording their opinions. A few of them have been standardized, mainly in ITU R Recommendation BT.500 13 and ITU T Recommendation P.910. The reason for measuring subjective video quality is the same as for measuring the mean opinion score for audio. Opinions of experts can be averaged and the average mark stated as, or accompanied by, a given confidence interval. Additional procedures can be used for averaging. For example, experts whose opinions are considered unstable (such as if their correlation with average opinion is found to be low) may have their opinions rejected. In the case of video codecs, this is a very common situation. When codecs with similar objective results show results with different subjective results, the main reasons can be:
Pre and postfilters are widely used in codecs. Codecs often use prefilters such as video denoising, deflicking, deshaking, etc. Denoising and deflicking normally maintain PSNR value while increasing visual quality (the best slow denoising filters also increase PSNR on medium and high bitrates). Deshaking greatly decreases PSNR, but increases visual quality. Postfilters show similar characteristics deblocking and deringing maintain PSNR, but increase quality; graining (suggested in H.264) essentially increases video quality, especially on big plasma screens, but decreases PSNR. All filters increase compression/decompression time, so they enhance visual quality but decrease the speed of coding and decoding. Motion estimation (ME) search strategy can also cause different visual quality for the same PSNR. So called true motion search commonly will not reach minimum sum of absolute differences (SAD) values in codec ME, but may result in better visual quality. Such methods also require more compression time. Rate control strategy. VBR commonly cause better visual quality marks than CBR for the same average PSNR values for sequences. It is difficult to use long sequences for subjective testing. Commonly, three or four ten second sequences are used, while full movies are used for objective metrics. Sequence selection is important those sequences that are similar to the ones used by developers to tune their codecs are more competitive.

Поддержка профилей

Современные стандарты определяют широкий спектр функций и требуют очень значительных программных или аппаратных усилий и ресурсов для их реализации. Обычно в любом конкретном продукте поддерживаются только выбранные профили стандарта. (Это очень распространено, например, для реализаций H.264). Стандарт H.264 включает в себя следующие семь наборов возможностей, которые называются профилями и ориентированы на конкретные классы приложений:
Базовый профиль (BP): В первую очередь предназначен для недорогих приложений с ограниченными вычислительными ресурсами, этот профиль широко используется в видеоконференцсвязи и мобильных приложениях. Основной профиль (MP): Изначально разработанный как основной потребительский профиль для вещания и хранения данных, этот профиль потерял свою актуальность с появлением Высокого профиля (HiP) для этих приложений. Расширенный профиль (XP): Предназначенный для потокового видео, этот профиль обладает относительно высокой степенью сжатия и дополнительными функциями для устойчивости к потере данных и переключению потоков на сервере. Высокий профиль (HiP): Основной профиль для приложений вещания и хранения данных на дисках, особенно для приложений высокой четкости. (Например, этот профиль используется в HD DVD и Blu-ray Disc). Высокий 10-битный профиль (Hi10P): Превосходя возможности современных потребительских продуктов, этот профиль основан на Высоком профиле и добавляет поддержку до 10 бит на образец для точности декодированного изображения. Высокий профиль 4:2:2 (Hi422P): В основном предназначен для профессиональных приложений, использующих чересстрочную развертку, этот профиль основан на Высоком 10-битном профиле и добавляет поддержку формата цветовой субдискретизации 4:2:2, используя до 10 бит на образец для точности декодированного изображения. Профиль прогнозирования высокого уровня 4:4:4 (Hi444PP): Этот профиль основан на Высоком профиле 4:2:2, поддерживает цветовой формат до 4:4:4, до 14 бит на образец, а также эффективное кодирование областей без потерь и кодирование каждого изображения в виде трех отдельных цветовых плоскостей. Высокий профиль многоракурсного просмотра: Этот профиль поддерживает два или более ракурса, используя как межкадровое (временное) прогнозирование, так и межракурсное прогнозирование MVC, но не поддерживает поля изображений и адаптивное кодирование полей макроблоков. Стандарт также содержит четыре дополнительных внутрикадровых профиля, которые определены как простые подмножества других соответствующих профилей. Они предназначены в основном для профессиональных приложений (например, камер и систем редактирования):
High 10 Intra Profile: High 10 Profile, ограниченный использованием только внутрикадрового кодирования. High 4:2:2 Intra Profile: High 4:2:2 Profile, ограниченный использованием только внутрикадрового кодирования. High 4:4:4 Intra Profile: High 4:4:4 Profile, ограниченный использованием только внутрикадрового кодирования. CAVLC 4:4:4 Intra Profile: High 4:4:4 Profile, ограниченный использованием только внутрикадрового кодирования и энтропийного кодирования CAVLC (т.е. не поддерживающего CABAC). Кроме того, стандарт теперь также содержит три профиля масштабируемого видеокодирования. Scalable Baseline Profile: Масштабируемое расширение Базового профиля. Scalable High Profile: Масштабируемое расширение Высокого профиля. Scalable High Intra Profile: Scalable High Profile, ограниченный использованием только внутрикадрового кодирования. Точное сравнение кодеков должно учитывать вариации профилей в каждом кодеке. См. также Профили и уровни MPEG 2.

Modern standards define a wide range of features and require very substantial software or hardware efforts and resources for their implementation. Only selected profiles of a standard are typically supported in any particular product. (This is very common for H.264 implementations for example.) The H.264 standard includes the following seven sets of capabilities, which are referred to as profiles, targeting specific classes of applications:
Baseline Profile (BP): Primarily for lower cost applications with limited computing resources, this profile is used widely in videoconferencing and mobile applications. Main Profile (MP): Originally intended as the mainstream consumer profile for broadcast and storage applications, the importance of this profile faded when the High profile (HiP) was developed for those applications. Extended Profile (XP): Intended as the streaming video profile, this profile has relatively high compression capability and some extra tricks for robustness to data losses and server stream switching. High Profile (HiP): The primary profile for broadcast and disc storage applications, particularly for high definition television applications. (This is the profile adopted into HD DVD and Blu ray Disc, for example.) High 10 Profile (Hi10P): Going beyond today's mainstream consumer product capabilities, this profile builds on top of the High Profile, adding support for up to 10 bits per sample of decoded picture precision. High 4:2:2 Profile (Hi422P): Primarily targeting professional applications that use interlaced video, this profile builds on top of the High 10 Profile, adding support for the 4:2:2 chroma sampling format while using up to 10 bits per sample of decoded picture precision. High 4:4:4 Predictive Profile (Hi444PP): This profile builds on top of the High 4:2:2 Profile, supporting up to 4:4:4 chroma sampling, up to 14 bits per sample, and additionally supporting efficient lossless region coding and the coding of each picture as three separate color planes. Multiview High Profile: This profile supports two or more views using both inter picture (temporal) and MVC inter view prediction, but does not support field pictures and macroblock adaptive frame field coding. The standard also contains four additional all Intra profiles, which are defined as simple subsets of other corresponding profiles. These are mostly for professional (e. g., camera and editing system) applications:
High 10 Intra Profile: The High 10 Profile constrained to all Intra use. High 4:2:2 Intra Profile: The High 4:2:2 Profile constrained to all Intra use. High 4:4:4 Intra Profile: The High 4:4:4 Profile constrained to all Intra use. CAVLC 4:4:4 Intra Profile: The High 4:4:4 Profile constrained to all Intra use and to CAVLC entropy coding (i. e., not supporting CABAC). Moreover, the standard now also contains three Scalable Video Coding profiles. Scalable Baseline Profile: A scalable extension of the Baseline profile. Scalable High Profile: A scalable extension of the High profile. Scalable High Intra Profile: The Scalable High Profile constrained to all Intra use. An accurate comparison of codecs must take the profile variations within each codec into account. See also MPEG 2 Profiles and Levels.