H.264/AVC: Наиболее распространенный стандарт сжатия видео

Введение

Наиболее широко используемый стандарт сжатия видео

Advanced Video Coding (AVC), также известный как H.264 или MPEG-4 Part 10, — это стандарт сжатия видео, основанный на блочном, компенсационном кодировании с учетом движения. На данный момент это самый распространенный формат для записи, сжатия и распространения видеоконтента, используемый 91% разработчиков видеоиндустрии по состоянию на сентябрь 2019 года. Он поддерживает максимальное разрешение 8K UHD. Коммерческое использование запатентованных технологий H.264 требует выплаты лицензионных отчислений компании Via и другим владельцам патентов. MPEG LA разрешила бесплатное использование технологий H.264 для потокового интернет-видео, доступного конечным пользователям бесплатно, а Cisco Systems выплатила лицензионные отчисления MPEG LA от имени пользователей бинарных файлов для своего кодировщика H.264 с открытым исходным кодом openH264.

Именование

Название H.264 соответствует номенклатуре ITU-T, где рекомендациям присваивается буква, обозначающая их серию, и номер рекомендации в этой серии. H.264 входит в состав "Рекомендаций серии H: аудиовизуальные и мультимедийные системы". H.264 далее классифицируется как "H.200–H.499: Инфраструктура аудиовизуальных служб" и "H.260–H.279: Кодирование движущегося видео". Название MPEG-4 AVC связано с номенклатурой ISO/IEC MPEG, где стандарт является частью 10 ISO/IEC 14496, представляющего собой набор стандартов, известных как MPEG-4. Стандарт был разработан совместно в рамках партнерства VCEG и MPEG после предварительной разработки в ITU-T в качестве проекта VCEG под названием H.26L. Поэтому стандарт часто называют H.264/AVC, AVC/H.264, H.264/MPEG-4 AVC или MPEG-4/H.264 AVC, чтобы подчеркнуть их общую историю. Иногда его также называют "кодеком JVT", ссылаясь на организацию Joint Video Team (JVT), которая его разработала. (Подобные партнерства и множественные названия не являются редкостью. Например, стандарт сжатия видео, известный как MPEG-2, также возник в результате сотрудничества между MPEG и ITU-T, где видео MPEG-2 известно сообществу ITU-T как H.262.) Некоторые программные приложения (например, VLC media player) внутренне идентифицируют этот стандарт как AVC1.

Общая история

В начале 1998 года группа экспертов по видеокодированию (VCEG – ITU T SG16 Q.6) опубликовала запрос предложений по проекту H.26L, целью которого было удвоение эффективности кодирования (то есть уменьшение вдвое битрейта, необходимого для заданного уровня качества) по сравнению с любыми другими существующими стандартами видеокодирования для широкого спектра приложений. Председателем VCEG был Гэри Салливан (Microsoft, ранее PictureTel, США). Первый проект нового стандарта был принят в августе 1999 года. В 2000 году Томас Виганд (Heinrich Hertz Institute, Германия) стал сопредседателем VCEG. В декабре 2001 года VCEG и группа экспертов по движущимся изображениям (MPEG – ISO/IEC JTC 1/SC 29/WG 11) сформировали совместную видеогруппу (JVT) с целью завершения разработки стандарта видеокодирования. Официальное утверждение спецификации состоялось в марте 2003 года. Председателями JVT были (и являются) Гэри Салливан, Томас Виганд и Аджай Лютра (Motorola, США: позднее Arris, США). В июле 2004 года был завершен проект Fidelity Range Extensions (FRExt). С января 2005 года по ноябрь 2007 года JVT работала над расширением H.264/AVC в направлении масштабируемости посредством аннекса (G), названного Scalable Video Coding (SVC). В состав руководства JVT вошел Йенс Райнер Ом (RWTH Aachen University, Германия). С июля 2006 года по ноябрь 2009 года JVT работала над Multiview Video Coding (MVC), расширением H.264/AVC для 3D-телевидения и телевидения с ограниченным диапазоном свободной точки обзора. Эта работа включала разработку двух новых профилей стандарта: Multiview High Profile и Stereo High Profile. В процессе разработки стандарта были разработаны дополнительные сообщения для передачи дополнительной информации об улучшении (SEI). SEI-сообщения могут содержать различные типы данных, указывающие время отображения видеокадров или описывающие различные свойства закодированного видео, а также способы его использования или улучшения. Также определены SEI-сообщения, которые могут содержать произвольные пользовательские данные. SEI-сообщения не влияют на основной процесс декодирования, но могут указывать, как рекомендуется обрабатывать или отображать видео. Другие высокоуровневые свойства видеоконтента передаются в информации о пригодности видео для использования (VUI), например, указание цветового пространства для интерпретации видеоконтента. По мере разработки новых цветовых пространств, таких как для видео с высоким динамическим диапазоном и широкой цветовой гаммой, были добавлены дополнительные идентификаторы VUI для их обозначения.

In early 1998, the Video Coding Experts Group (VCEG – ITU T SG16 Q.6) issued a call for proposals on a project called H.26L, with the target to double the coding efficiency (which means halving the bit rate necessary for a given level of fidelity) in comparison to any other existing video coding standards for a broad variety of applications. VCEG was chaired by Gary Sullivan (Microsoft, formerly PictureTel, U. S.). The first draft design for that new standard was adopted in August 1999. In 2000, Thomas Wiegand (Heinrich Hertz Institute, Germany) became VCEG co chair. In December 2001, VCEG and the Moving Picture Experts Group (MPEG – ISO/IEC JTC 1/SC 29/WG 11) formed a Joint Video Team (JVT), with the charter to finalize the video coding standard. Formal approval of the specification came in March 2003. The JVT was (is) chaired by Gary Sullivan, Thomas Wiegand, and Ajay Luthra (Motorola, U. S.: later Arris, U. S.). In July 2004, the Fidelity Range Extensions (FRExt) project was finalized. From January 2005 to November 2007, the JVT was working on an extension of H.264/AVC towards scalability by an Annex (G) called Scalable Video Coding (SVC). The JVT management team was extended by Jens Rainer Ohm (RWTH Aachen University, Germany). From July 2006 to November 2009, the JVT worked on Multiview Video Coding (MVC), an extension of H.264/AVC towards 3D television and limited range free viewpoint television. That work included the development of two new profiles of the standard: the Multiview High Profile and the Stereo High Profile. Throughout the development of the standard, additional messages for containing supplemental enhancement information (SEI) have been developed. SEI messages can contain various types of data that indicate the timing of the video pictures or describe various properties of the coded video or how it can be used or enhanced. SEI messages are also defined that can contain arbitrary user defined data. SEI messages do not affect the core decoding process, but can indicate how the video is recommended to be post processed or displayed. Some other high level properties of the video content are conveyed in video usability information (VUI), such as the indication of the color space for interpretation of the video content. As new color spaces have been developed, such as for high dynamic range and wide color gamut video, additional VUI identifiers have been added to indicate them.

Расширения диапазона верности и профессиональные профили

Стандартизация первой версии H.264/AVC была завершена в мае 2003 года. В первом проекте по расширению первоначального стандарта JVT разработала так называемые расширения диапазона точности (FRExt). Эти расширения обеспечили более качественное кодирование видео за счет поддержки повышенной разрядности выборки и цветовой информации с более высоким разрешением, включая структуры дискретизации, известные как Y′CBCR 4:2:2 (также известные как YUV 4:2:2) и 4:4:4. В проект FRExt также были включены другие функции, такие как добавление целочисленного дискретного косинусного преобразования (integer DCT) размером 8x8 с адаптивным переключением между преобразованиями 4x4 и 8x8, матрицы квантования, основанные на психовизуальном восприятии, задаваемые кодировщиком, эффективное межкадровое кодирование без потерь и поддержка дополнительных цветовых пространств. Проектные работы по FRExt были завершены в июле 2004 года, а работы по оформлению документации – в сентябре 2004 года. Затем были разработаны пять новых профилей (см. версию 7 ниже), предназначенных главным образом для профессиональных приложений, с добавлением поддержки расширенного цветового охвата, определением дополнительных индикаторов соотношения сторон, определением двух дополнительных типов "дополнительной информации для улучшения" (подсказка для постфильтрации и тональное отображение) и отменой одного из предыдущих профилей FRExt (профиль High 4:4:4), который, по отзывам отрасли, следовало спроектировать иначе.

Масштабируемое видео кодирование

Следующей важной функцией, добавленной в стандарт, стало масштабируемое кодирование видео (SVC). SVC, описанный в Приложении G к H.264/AVC, позволяет создавать битовые потоки, содержащие слои подбитовых потоков, которые также соответствуют стандарту, включая один такой битовый поток, известный как "базовый слой", который может быть декодирован кодеком H.264/AVC, не поддерживающим SVC. Для временной масштабируемости битового потока (то есть наличия подбитового потока с меньшей частотой временной дискретизации, чем у основного битового потока) полные блоки доступа удаляются из битового потока при создании подбитового потока. В этом случае высокоуровневый синтаксис и опорные кадры межпредсказания в битовом потоке формируются соответствующим образом. С другой стороны, для пространственной и качественной масштабируемости битового потока (то есть наличия подбитового потока с более низким пространственным разрешением/качеством, чем у основного битового потока) из битового потока удаляются NAL (Network Abstraction Layer) при создании подбитового потока. В этом случае для эффективного кодирования обычно используется межслойное предсказание (то есть предсказание сигнала с более высоким пространственным разрешением/качеством на основе данных сигнала с более низким пространственным разрешением/качеством). Разработка расширений масштабируемого кодирования видео была завершена в ноябре 2007 года.

Кодирование видео с несколькими видами

Следующей важной функцией, добавленной в стандарт, стало кодирование многоканального видео (MVC). Определенное в Приложении H к H.264/AVC, MVC позволяет создавать битовые потоки, представляющие несколько видов видеосцены. Важным примером этой функциональности является кодирование стереоскопического 3D-видео. В рамках разработки MVC были созданы два профиля: Multiview High profile поддерживает произвольное количество видов, а Stereo High profile разработан специально для стереоскопического видео с двумя видами. Расширения для кодирования многоканального видео были завершены в ноябре 2009 года.

Стереоскопическое кодирование 3D-AVC и MFC

Позже были разработаны дополнительные расширения, включавшие 3D-кодирование видео с совместным кодированием карт глубины и текстуры (обозначаемое как 3D AVC), многорезолютное кадрово-совместимое (MFC) стереоскопическое и 3D-MFC кодирование, различные дополнительные комбинации функций, а также увеличенные размеры и частоту кадров.

Версии

Версии стандарта H.264/AVC включают следующие завершенные пересмотры, исправления и изменения (датами являются окончательные даты утверждения в ITU T, в то время как окончательные даты утверждения "Международного стандарта" в ISO/IEC несколько отличаются и немного позже в большинстве случаев). Каждая версия представляет собой изменения относительно следующей нижней версии, которая интегрирована в текст. Версия 1 (издание 1): (30 мая 2003 года) Первая утвержденная версия H.264/AVC, содержащая базовый, основной и расширенный профили. Версия 2 (издание 1.1): (7 мая 2004 года) Исправление, содержащее различные незначительные исправления. Версия 3 (издание 2): (1 марта 2005 года) Основное дополнение, содержащее первую поправку, устанавливающую расширения диапазона верности (FRExt). В этой версии были добавлены профили High, High 10, High 4:2:2 и High 4:4:4. Через несколько лет профиль High стал наиболее часто используемым профилем стандарта. Версия 4 (издание 2.1): (13 сентября 2005 года) Исправление, содержащее различные незначительные исправления и добавление трех индикаторов соотношения сторон. Версия 5 (издание 2.2): (13 июня 2006 года) Изменение, состоящее в удалении предыдущего профиля High 4:4:4 (обработанного в качестве исправления в ISO/IEC). Версия 6 (издание 2.2): (13 июня 2006 года) Изменение, состоящее из незначительных дополнений, таких как расширенная поддержка цветового пространства с расширенным охватом (в комплекте с вышеупомянутыми индикаторами соотношения сторон в ISO/IEC). Версия 8 (издание 3): (22 ноября 2007 года) Основное дополнение к H.264/AVC, содержащее поправку для масштабируемого видеокодирования (SVC), включающую масштабируемые базовые, масштабируемые High и масштабируемые High Intra профили. Версия 9 (издание 3.1): (13 января 2009 года) Исправление, содержащее незначительные исправления. Версия 10 (издание 4): (16 марта 2009 года) Изменение, содержащее определение нового профиля (Constrained Baseline profile), поддерживающего только общий поднабор возможностей, представленных в различных ранее определенных профилях. Версия 11 (издание 4): (16 марта 2009 года) Основное дополнение к H.264/AVC, содержащее поправку для расширения Multiview Video Coding (MVC), включая профиль Multiview High. Версия 13 (издание 5): (9 марта 2010 года) Исправление, содержащее незначительные исправления. Версия 15 (издание 6): (29 июня 2011 года) Исправление, содержащее незначительные исправления. Версия 17 (издание 8): (13 апреля 2013 года) Изменение с дополнительными индикаторами сообщений SEI. Версия 18 (издание 8): (13 апреля 2013 года) Поправка, определяющая кодирование данных карты глубины для 3D-стереоскопического видео, включая профиль Multiview Depth High. Версия 22 (издание 9): (13 февраля 2014 года) Поправка, уточняющая возможность улучшения совместимости многоразрешенных кадров (MFC) для 3D-стереоскопического видео, профиль MFC High и незначительные исправления. Версия 24 (издание 11): (14 октября 2016 года) Поправка, определяющая дополнительные уровни возможностей декодера, поддерживающие большие размеры изображения (уровни 6, 6.1 и 6.2), сообщение SEI с метаданными зеленого цвета, сообщение SEI с альтернативной информацией о глубине и дополнительные идентификаторы кодовых точек VUI, связанные с цветом. Версия 25 (издание 12): (13 апреля 2017 года) Поправка, определяющая профиль Progressive High 10, гибридную логарифмическую гамму (HLG) и дополнительные цветовые кодовые точки VUI и сообщения SEI. Версия 26 (издание 13): (13 июня 2019 года) Поправка, определяющая дополнительные сообщения SEI для окружающей среды просмотра, информации об уровне освещенности контента, цветового объема контента, равноугольной проекции, кубической проекции, вращения сферы, упаковки по регионам, всенаправленного обзора, манифеста SEI и префикса SEI. Версия 27 (издание 14): (22 августа 2021 года) Изменение, определяющее дополнительные сообщения SEI для аннотированных регионов и информации об интервале затвора, а также различные незначительные исправления и уточнения.

Versions of the H.264/AVC standard include the following completed revisions, corrigenda, and amendments (dates are final approval dates in ITU T, while final "International Standard" approval dates in ISO/IEC are somewhat different and slightly later in most cases). Each version represents changes relative to the next lower version that is integrated into the text. Version 1 (Edition 1): (May 30, 2003) First approved version of H.264/AVC containing Baseline, Main, and Extended profiles. Version 2 (Edition 1.1): (May 7, 2004) Corrigendum containing various minor corrections. Version 3 (Edition 2): (March 1, 2005) Major addition containing the first amendment, establishing the Fidelity Range Extensions (FRExt). This version added the High, High 10, High 4:2:2, and High 4:4:4 profiles. After a few years, the High profile became the most commonly used profile of the standard. Version 4 (Edition 2.1): (September 13, 2005) Corrigendum containing various minor corrections and adding three aspect ratio indicators. Version 5 (Edition 2.2): (June 13, 2006) Amendment consisting of removal of prior High 4:4:4 profile (processed as a corrigendum in ISO/IEC). Version 6 (Edition 2.2): (June 13, 2006) Amendment consisting of minor extensions like extended gamut color space support (bundled with above mentioned aspect ratio indicators in ISO/IEC). Version 8 (Edition 3): (November 22, 2007) Major addition to H.264/AVC containing the amendment for Scalable Video Coding (SVC) containing Scalable Baseline, Scalable High, and Scalable High Intra profiles. Version 9 (Edition 3.1): (January 13, 2009) Corrigendum containing minor corrections. Version 10 (Edition 4): (March 16, 2009) Amendment containing definition of a new profile (the Constrained Baseline profile) with only the common subset of capabilities supported in various previously specified profiles. Version 11 (Edition 4): (March 16, 2009) Major addition to H.264/AVC containing the amendment for Multiview Video Coding (MVC) extension, including the Multiview High profile. Version 13 (Edition 5): (March 9, 2010) Corrigendum containing minor corrections. Version 15 (Edition 6): (June 29, 2011) Corrigendum containing minor corrections. Version 17 (Edition 8): (April 13, 2013) Amendment with additional SEI message indicators. Version 18 (Edition 8): (April 13, 2013) Amendment to specify the coding of depth map data for 3D stereoscopic video, including a Multiview Depth High profile. Version 22 (Edition 9): (February 13, 2014) Amendment to specify the multi resolution frame compatible (MFC) enhancement for 3D stereoscopic video, the MFC High profile, and minor corrections. Version 24 (Edition 11): (October 14, 2016) Amendment to specify additional levels of decoder capability supporting larger picture sizes (Levels 6, 6.1, and 6.2), the green metadata SEI message, the alternative depth information SEI message, and additional color related VUI codepoint identifiers. Version 25 (Edition 12): (April 13, 2017) Amendment to specify the Progressive High 10 profile, hybrid log–gamma (HLG), and additional color related VUI code points and SEI messages. Version 26 (Edition 13): (June 13, 2019) Amendment to specify additional SEI messages for ambient viewing environment, content light level information, content color volume, equirectangular projection, cubemap projection, sphere rotation, region wise packing, omnidirectional viewport, SEI manifest, and SEI prefix. Version 27 (Edition 14): (August 22, 2021) Amendment to specify additional SEI messages for annotated regions and shutter interval information, and miscellaneous minor corrections and clarifications.

Приложения

Видеоформат H.264 имеет очень широкий спектр применения, охватывающий все формы цифрового сжатого видео – от потокового вещания в интернете с низкой скоростью передачи данных до HDTV-трансляций и приложений цифрового кино с почти безпотерьным кодированием. При использовании H.264 сообщается об экономии битовой скорости на 50% и более по сравнению с MPEG-2 Частью 2. Например, заявляется, что H.264 обеспечивает такое же качество цифрового спутникового телевидения, как и современные реализации MPEG-2, при битрейте менее чем вдвое ниже. Современные реализации MPEG-2 работают примерно на скорости 3,5 Мбит/с, а H.264 – всего 1,5 Мбит/с. Компания Sony утверждает, что режим записи AVC со скоростью 9 Мбит/с обеспечивает качество изображения, эквивалентное формату HDV, который использует приблизительно 18–25 Мбит/с. Для обеспечения совместимости и беспроблемного внедрения H.264/AVC многие организации по стандартизации внесли изменения или дополнения в свои видеостандарты, чтобы пользователи могли использовать H.264/AVC. Форматы Blu-ray Disc и прекращенный формат HD DVD включают H.264/AVC High Profile в число трех обязательных форматов сжатия видео. Проект цифрового видеовещания (DVB) одобрил использование H.264/AVC для телевещания в конце 2004 года. Комитет по стандартам передовых телевизионных систем (ATSC) в США одобрил использование H.264/AVC для телевещания в июле 2008 года, хотя этот стандарт пока не используется для стационарных ATSC-трансляций в США. Он также одобрен для использования с более новым стандартом ATSC M/H (Mobile/Handheld), использующим части AVC и SVC стандарта H.264. Технология нашла применение во многих продуктах на рынках видеонаблюдения (CCTV) и систем безопасности. Многие распространенные зеркальные фотоаппараты (DSLR) используют видео H.264, упакованное в контейнеры QuickTime MOV, в качестве родного формата записи.

Форматы, полученные из других форм

AVCHD — это формат записи высокой четкости, разработанный компаниями Sony и Panasonic, использующий H.264 (соответствующий стандарту H.264, но добавляющий дополнительные функции и ограничения, специфичные для приложений). AVC Intra — это формат сжатия, использующий только внутрикадровую компрессию, разработанный компанией Panasonic. XAVC — это формат записи, разработанный Sony, использующий уровень 5.2 H.264/MPEG 4 AVC, являющийся самым высоким уровнем, поддерживаемым этим видеостандартом. XAVC может поддерживать разрешение 4K (4096 × 2160 и 3840 × 2160) со скоростью до 60 кадров в секунду (fps). Камера Sony PMW F55 может записывать XAVC в разрешении 4K при 30 fps со скоростью 300 Мбит/с и в разрешении 2K при 30 fps со скоростью 100 Мбит/с. XAVC может записывать 4K разрешение при 60 fps с цветовой субдискретизацией 4:2:2 со скоростью 600 Мбит/с.

Поддержка функций в определенных профилях

Особенности CBP BP XP MP ProHiP HiP Hi10P Hi422P Hi444PP I и P слайсы
Глубина битов (на отсчет)
Форматы цветности
Гибкий порядок макроблоков (FMO)
Произвольный порядок слайсов (ASO)
Резервные слайсы (RS)
Разделение данных
SI и SP слайсы
Перемежающаяся развертка (PicAFF, MBAFF)
B слайсы
Множественные опорные кадры
Фильтр удаления блочности в цикле
Энтропийное кодирование CAVLC
Энтропийное кодирование CABAC
4:0:0 (монохромный)
Адаптивность преобразования 8×8 против 4×4
Матрицы масштабирования квантования
Раздельное управление параметрами квантования CB и CR
Раздельное кодирование цветовых плоскостей
Прогнозируемое без потерь кодирование

Уровни

В соответствии с термином, используемым в стандарте, "уровень" – это определенный набор ограничений, указывающих на степень требуемой производительности декодера для профиля. Например, уровень поддержки в профиле определяет максимальное разрешение изображения, частоту кадров и битрейт, которые может использовать декодер. Декодер, соответствующий определенному уровню, должен быть способен декодировать все битовые потоки, закодированные для этого уровня, и все более низкие уровни. + Уровни с максимальными значениями свойств. Microsoft с выпуском Internet Explorer 9 добавила поддержку видео HTML 5, кодированного с использованием H.264. На симпозиуме Gartner/ITXpo в ноябре 2010 года генеральный директор Microsoft Стив Баллмер ответил на вопрос "HTML 5 или Silverlight?" словами: "Если вы хотите сделать что-то универсальное, нет сомнений, что мир переходит на HTML5". В январе 2011 года Google объявила о прекращении поддержки H.264 в своем браузере Chrome и поддержке Theora и WebM/VP8 для использования только открытых форматов. 18 марта 2012 года Mozilla объявила о поддержке H.264 в Firefox на мобильных устройствах в связи с широким распространением видео, закодированного с использованием H.264, и повышенной энергоэффективностью использования специализированного аппаратного декодера H.264, распространенного на таких устройствах. 20 февраля 2013 года Mozilla реализовала поддержку декодирования H.264 в Firefox для Windows 7 и более поздних версий. Эта функция использует встроенные библиотеки декодирования Windows. Firefox 35.0, выпущенный 13 января 2015 года, поддерживает H.264 на OS X 10.6 и выше. 30 октября 2013 года Роуэн Троллоп из Cisco Systems объявил, что Cisco выпустит как бинарные файлы, так и исходный код видеокодека H.264 под названием OpenH264 под лицензией Simplified BSD и будет выплачивать все роялти за его использование в MPEG LA для любых программных проектов, использующих предварительно скомпилированные бинарные файлы Cisco, тем самым делая бинарные файлы OpenH264 от Cisco бесплатными для использования. Однако любые программные проекты, использующие исходный код Cisco вместо его бинарных файлов, будут нести юридическую ответственность за выплату всех роялти в MPEG LA. Целевые архитектуры процессоров включают x86 и ARM, а целевые операционные системы – Linux, Windows XP и более поздние версии, Mac OS X и Android; iOS заметно отсутствовала в этом списке, поскольку она не позволяет приложениям загружать и устанавливать двоичные модули из Интернета. Также 30 октября 2013 года Брендан Эйх из Mozilla написал, что в будущих версиях Firefox будут использоваться бинарные файлы Cisco для добавления поддержки H.264 в Firefox в тех случаях, когда кодеки платформы недоступны. Cisco опубликовала исходный код OpenH264 9 декабря 2013 года. Хотя iOS не поддерживалась выпуском программного обеспечения Cisco 2013 года, Apple обновила свой Video Toolbox Framework с iOS 8 (выпущенной в сентябре 2014 года), чтобы обеспечить прямой доступ к аппаратному кодированию и декодированию видео H.264/AVC.

As the term is used in the standard, a "level" is a specified set of constraints that indicate a degree of required decoder performance for a profile. For example, a level of support within a profile specifies the maximum picture resolution, frame rate, and bit rate that a decoder may use. A decoder that conforms to a given level must be able to decode all bitstreams encoded for that level and all lower levels. + Levels with maximum property values Microsoft, with the release of Internet Explorer 9, has added support for HTML 5 video encoded using H.264. At the Gartner Symposium/ITXpo in November 2010, Microsoft CEO Steve Ballmer answered the question "HTML 5 or Silverlight?" by saying "If you want to do something that is universal, there is no question the world is going HTML5." In January 2011, Google announced that they were pulling support for H.264 from their Chrome browser and supporting both Theora and WebM/VP8 to use only open formats. On March 18, 2012, Mozilla announced support for H.264 in Firefox on mobile devices, due to prevalence of H.264 encoded video and the increased power efficiency of using dedicated H.264 decoder hardware common on such devices. On February 20, 2013, Mozilla implemented support in Firefox for decoding H.264 on Windows 7 and above. This feature relies on Windows' built in decoding libraries. Firefox 35.0, released on January 13, 2015, supports H.264 on OS X 10.6 and higher. On October 30, 2013, Rowan Trollope from Cisco Systems announced that Cisco would release both binaries and source code of an H.264 video codec called OpenH264 under the Simplified BSD license, and pay all royalties for its use to MPEG LA for any software projects that use Cisco's precompiled binaries, thus making Cisco's OpenH264 binaries free to use. However, any software projects that use Cisco's source code instead of its binaries would be legally responsible for paying all royalties to MPEG LA. Target CPU architectures include x86 and ARM, and target operating systems include Linux, Windows XP and later, Mac OS X, and Android; iOS was notably absent from this list, because it doesn't allow applications to fetch and install binary modules from the Internet. Also on October 30, 2013, Brendan Eich from Mozilla wrote that it would use Cisco's binaries in future versions of Firefox to add support for H.264 to Firefox where platform codecs are not available. Cisco published the source code to OpenH264 on December 9, 2013. Although iOS was not supported by the 2013 Cisco software release, Apple updated its Video Toolbox Framework with iOS 8 (released in September 2014) to provide direct access to hardware based H.264/AVC video encoding and decoding.4:2:04:2:24:4:4 || || || || || || || Largest sample depth (bit) Predictive lossless coding

Оборудование

Поскольку кодирование и декодирование H.264 требует значительной вычислительной мощности для определенных типов арифметических операций, программные реализации, работающие на процессорах общего назначения, как правило, менее энергоэффективны. Однако новейшие четырехъядерные процессоры x86 общего назначения обладают достаточной вычислительной мощностью для выполнения кодирования SD и HD в реальном времени. Эффективность сжатия зависит от алгоритмических реализаций видео, а не от того, используется аппаратная или программная реализация. Поэтому разница между аппаратной и программной реализациями заключается главным образом в энергоэффективности, гибкости и стоимости. Для повышения энергоэффективности и уменьшения размеров аппаратного обеспечения может использоваться специализированное оборудование, либо для полного процесса кодирования или декодирования, либо для ускорения в среде, управляемой процессором. Решения на базе процессора известны своей большей гибкостью, особенно когда кодирование должно выполняться одновременно в нескольких форматах, с разными битрейтами и разрешениями (видео для нескольких экранов), а также с дополнительными функциями поддержки контейнерных форматов, продвинутыми интегрированными рекламными функциями и т.д. Программное решение на базе процессора обычно значительно упрощает балансировку нагрузки между несколькими одновременными сеансами кодирования в пределах одного и того же процессора. Процессоры Intel Core i3/i5/i7 второго поколения "Sandy Bridge", представленные на выставке CES (Consumer Electronics Show) в январе 2011 года, предлагают аппаратный full HD H.264 кодер на чипе, известный как Intel Quick Sync Video. Аппаратный кодер H.264 может быть ASIC или FPGA. ASIC-кодеры с функциональностью H.264 доступны от многих различных полупроводниковых компаний, но базовая конструкция, используемая в ASIC, обычно лицензируется у одной из нескольких компаний, таких как Chips&Media, Allegro DVT, On2 (ранее Hantro, приобретенная Google), Imagination Technologies, NGCodec. Некоторые компании предлагают как FPGA, так и ASIC. Texas Instruments производит линейку ядер ARM + DSP, которые выполняют DSP H.264 BP кодирование 1080p со скоростью 30 кадров в секунду. Это обеспечивает гибкость в отношении кодеков (которые реализованы в виде высокооптимизированного DSP-кода), при этом являясь более эффективным решением, чем программное обеспечение на обычном процессоре.

Because H.264 encoding and decoding requires significant computing power in specific types of arithmetic operations, software implementations that run on general purpose CPUs are typically less power efficient. However, the latest quad core general purpose x86 CPUs have sufficient computation power to perform real time SD and HD encoding. Compression efficiency depends on video algorithmic implementations, not on whether hardware or software implementation is used. Therefore, the difference between hardware and software based implementation is more on power efficiency, flexibility and cost. To improve the power efficiency and reduce hardware form factor, special purpose hardware may be employed, either for the complete encoding or decoding process, or for acceleration assistance within a CPU controlled environment. CPU based solutions are known to be much more flexible, particularly when encoding must be done concurrently in multiple formats, multiple bit rates and resolutions (multi screen video), and possibly with additional features on container format support, advanced integrated advertising features, etc. CPU based software solution generally makes it much easier to load balance multiple concurrent encoding sessions within the same CPU. The 2nd generation Intel "Sandy Bridge" Core i3/i5/i7 processors introduced at the January 2011 CES (Consumer Electronics Show) offer an on chip hardware full HD H.264 encoder, known as Intel Quick Sync Video. A hardware H.264 encoder can be an ASIC or an FPGA. ASIC encoders with H.264 encoder functionality are available from many different semiconductor companies, but the core design used in the ASIC is typically licensed from one of a few companies such as Chips&Media, Allegro DVT, On2 (formerly Hantro, acquired by Google), Imagination Technologies, NGCodec. Some companies have both FPGA and ASIC product offerings. Texas Instruments manufactures a line of ARM + DSP cores that perform DSP H.264 BP encoding 1080p at 30fps. This permits flexibility with respect to codecs (which are implemented as highly optimized DSP code) while being more efficient than software on a generic CPU.