Введение
Преобразование переплетенного видео в непереплетенную или прогрессивную форму
Деинтерляция – это процесс преобразования переплетенного видео в непереплетенную или прогрессивную форму. Переплетенные видеосигналы часто встречаются в аналоговом телевидении, VHS, Laserdisc, цифровом телевидении (HDTV) в формате 1080i, некоторых DVD-дисках и меньшем количестве Blu-ray дисков. Переплетенный видеокадр состоит из двух полей, полученных последовательно: первое содержит все нечетные строки изображения, а второе – все четные строки. Аналоговое телевидение использовало эту технику, поскольку она позволяла уменьшить ширину полосы пропускания при сохранении высокой частоты кадров для более плавного и реалистичного движения. Непереплетенный (или прогрессивный) сигнал, использующий ту же полосу пропускания, обновляет изображение вдвое реже и может вызывать ощущение мерцания или рывков. ЭЛТ-дисплеи могли корректно отображать переплетенное видео благодаря своей полностью аналоговой природе, плавно объединяя чередующиеся строки. Однако, начиная с начала 2000-х годов, дисплеи, такие как телевизоры и компьютерные мониторы, стали почти полностью цифровыми, то есть изображение формируется из дискретных пикселей, и на таких дисплеях переплетение становится заметным и может проявляться как отвлекающий визуальный дефект. Процесс деинтерляции должен стремиться минимизировать эти недостатки. Таким образом, деинтерляция является необходимым процессом и встроена в большинство современных DVD-плееров, Blu-ray плееров, LCD/LED-телевизоров, цифровых проекторов, ТВ-приставок, профессионального вещательного оборудования, а также компьютерных видеопроигрывателей и редакторов, хотя качество реализации может различаться. Деинтерляция исследуется на протяжении десятилетий и использует сложные алгоритмы обработки, однако добиться стабильно хороших результатов очень сложно.
Размещение комбинации полей
Эти методы берут четные и нечетные поля и объединяют их в один кадр. Они сохраняют полное вертикальное разрешение за счет временного разрешения (воспринимаемая частота кадров), при котором 50i/60i преобразуется в 24p/25p/30p, что может привести к потере плавности оригинала. Однако, если переплетенный сигнал изначально был получен из источника с более низкой частотой кадров, например, с кинопленки, то информация не теряется, и этих методов может быть достаточно. Ткачество – это самый простой и примитивный метод, выполняемый путем переплетения последовательных полей в единый кадр. Этот метод не вызывает проблем, когда изображение между полями не меняется, но любое движение приводит к артефактам, известным как "гребенка", когда пиксели в одном поле не совпадают с пикселями в другом, образуя зазубренный край. Смешивание выполняется путем смешивания или усреднения последовательных полей для отображения в виде одного кадра. "Гребенка" избегается, поскольку изображения накладываются друг на друга. Вместо этого остается артефакт, известный как "остаточное изображение" (ghosting). Изображение теряет как вертикальное, так и временное разрешение. Хотя видео, созданное с помощью этой техники, требует только половины количества вертикальных пикселей, оно часто комбинируется с вертикальным масштабированием, чтобы выходные данные не имели численной потери в вертикальных пикселях. При использовании интерполяции изображение может стать еще более размытым. Смешивание также теряет половину временного разрешения, поскольку два поля движения объединяются в один кадр. Селективное смешивание, или интеллектуальное смешивание, или адаптивное смешивание движения, представляет собой комбинацию ткачества и смешивания. Поскольку области, которые не изменились от кадра к кадру, не требуют обработки, поля переплетаются, а смешиваются только те области, которые в этом нуждаются. Это сохраняет полное вертикальное разрешение и половину временного разрешения, а также имеет меньше артефактов, чем ткачество или смешивание, благодаря селективному сочетанию обеих техник. Обратное телекино: Телекино используется для преобразования киноисточника с частотой 24 кадра в секунду в переплетенное телевизионное видео в странах, использующих видеосистему NTSC с частотой 30 кадров в секунду. Странам, использующим PAL с частотой 25 кадров в секунду, телекино не требуется – киноисточники просто ускоряются на 4% для достижения необходимых 25 кадров в секунду. Если телекино использовалось, то можно обратить алгоритм, чтобы получить оригинальные непереплетенные кадры с более низкой частотой кадров. Для этого необходимо знать или угадать точный шаблон телекино. В отличие от большинства других методов деинтерляции, при успешном применении обратное телекино может идеально восстановить исходный прогрессивный видеопоток. Алгоритмы в стиле телекино: Если переплетенные кадры были сгенерированы из прогрессивных кадров с более низкой частотой кадров (например, "pulldown"), то точные оригинальные кадры можно восстановить, скопировав недостающее поле из соответствующего предыдущего/следующего кадра. В случаях, когда соответствия нет (например, короткие мультфильмы с повышенной частотой кадров), фильтр переключается на другой метод деинтерляции, такой как смешивание или удваивание строк. Это означает, что в худшем случае для телекино – случайные кадры с остаточным изображением или сниженным разрешением. Напротив, когда более сложные алгоритмы обнаружения движения терпят неудачу, они могут вводить пиксельные артефакты, не соответствующие исходному материалу. Для видео телекино в качестве постобработки можно применить понижение дискретизации (decimation) для уменьшения частоты кадров, и эта комбинация обычно более надежна, чем простое обратное телекино, которое не работает при склейке различных переплетенных кадров.
Расширение поля
Эти методы берут каждое поле (состоящее только из половины строк) и расширяют его на весь экран для создания кадра. Это может уменьшить вертикальное разрешение изображения вдвое, но стремится сохранить исходную частоту полей (50i или 60i преобразуются в 50p или 60p). Уменьшение вдвое отображает каждое полукадровое поле отдельно, в результате чего получается видео с вертикальным разрешением, вдвое меньшим, чем у исходного, без масштабирования. Хотя этот метод сохраняет все исходные пиксели и все временное разрешение, он, естественно, не используется для обычного просмотра из-за искаженного соотношения сторон. Однако его можно успешно использовать для применения видеофильтров, которым требуется непереплетенный кадр, например, тех, которые используют информацию из соседних пикселей (например, для повышения резкости). Удвоение строк или "bobbing" берет строки каждого полукадрового поля (состоящего только из четных или нечетных строк) и удваивает их, заполняя весь кадр. В результате частота кадров видео становится идентичной исходной частоте полей, но каждый кадр имеет вертикальное разрешение, вдвое меньшее, чем у исходного поля, из которого он был создан. Удвоение строк предотвращает эффект "гребенки" и обеспечивает плавное движение, но может привести к заметному снижению качества изображения из-за потери вертикального разрешения и визуальных аномалий, при которых неподвижные объекты могут казаться подпрыгивающими вверх и вниз из-за чередования четных и нечетных строк. По этой причине эти методы также называют деинтерляцией методом "bob" и линейной деинтерляцией. Вариант этого метода отбрасывает одно поле из каждого кадра, уменьшая временное разрешение вдвое. Удвоение строк иногда путают с деинтерляцией в целом или с интерполяцией (масштабированием изображения), которая использует пространственную фильтрацию для генерации дополнительных строк и, следовательно, уменьшения видимости пикселизации на любом типе дисплея. Термин "удвоитель строк" чаще используется в высококлассной бытовой электронике, в то время как термин "деинтерлейсер" чаще используется в компьютерной и цифровой видеоиндустрии.
Компенсация движения, деинтерляция
Более продвинутые алгоритмы деинтерлейсинга сочетают традиционные методы комбинации полей (переплетение и смешивание) и методы расширения кадра (удвоение строк или построчное разложение) для создания высококачественной прогрессивной видеопоследовательности. Одним из основных признаков направления и величины движения является направление и длина артефактов «гребенки» в переплетенном сигнале. Наилучшие алгоритмы также пытаются предсказать направление и величину движения изображения между последовательными полями, чтобы более эффективно смешивать эти два поля. Они могут использовать алгоритмы, аналогичные компенсации блочного движения, применяемые при сжатии видео. Например, если на двух полях изображено лицо человека, движущееся влево, переплетение создаст эффект «гребенки», а смешивание – эффект «призрака». Продвинутая компенсация движения (в идеале) должна распознавать, что лицо на нескольких полях – это одно и то же изображение, просто перемещенное в другое положение, и попытаться определить направление и величину этого движения. Затем алгоритм попытается восстановить полную детализацию лица в обоих выходных кадрах, объединяя изображения и перемещая части каждого поля вдоль обнаруженного направления на обнаруженную величину движения. Деинтерлейсеры, использующие эту технику, часто превосходят другие, поскольку они могут использовать информацию из множества полей, а не только из одного или двух, однако для работы в реальном времени им требуется мощное аппаратное обеспечение. Компенсация движения должна сочетаться с обнаружением смены сцены (которое само по себе является сложной задачей), иначе она будет пытаться найти движение между двумя совершенно разными сценами. Некорректно реализованный алгоритм компенсации движения может искажать естественное движение и приводить к визуальным артефактам, проявляющимся в виде «дергающихся» элементов в статичном или плавно движущемся изображении.
Где проводится развязка
Деинтерлейсинг переплетенного видеосигнала может выполняться на различных этапах телевизионного производства.
Прогрессивные СМИ
Для переплетенных архивных программ требуется деинтерляция, когда формат вещания или формат носителя является прогрессивным, как в вещании EDTV 576p или HDTV 720p50, или в мобильном вещании DVB-H; существует два способа это сделать. Производство – Переплетенный видеоматериал преобразуется в прогрессивное сканирование на этапе производства программы. Это обычно обеспечивает наилучшее качество, поскольку видеооператоры имеют доступ к дорогостоящему и мощному оборудованию и программному обеспечению для деинтерляции и могут выполнять деинтерляцию с максимально возможным качеством, вероятно, вручную выбирая оптимальный метод для каждого кадра. Вещание – Аппаратная деинтерляция в реальном времени преобразует переплетенные программы в прогрессивное сканирование непосредственно перед вещанием. Поскольку время обработки ограничено частотой кадров и отсутствует возможность ручного вмешательства, качество преобразования, скорее всего, будет ниже, чем при предварительном производстве; однако дорогостоящее и высокопроизводительное оборудование для деинтерляции может все же обеспечивать хорошие результаты при правильной настройке.
Переплетенные носители
Когда формат вещания или формат носителя является строчным (интерлейсным), деинтерляция в реальном времени должна выполняться встроенными схемами в приставке, телевизоре, внешнем видеопроцессоре, DVD- или DVR-плеере, или ТВ-тюнере. Поскольку потребительское электронное оборудование обычно значительно дешевле, обладает существенно меньшей вычислительной мощностью и использует более простые алгоритмы по сравнению с профессиональным оборудованием для деинтерляции, качество деинтерляции может сильно варьироваться, и типичные результаты часто бывают неудовлетворительными даже на высококлассном оборудовании. Использование компьютера для воспроизведения и/или обработки потенциально предоставляет более широкий выбор видеоплееров и/или программного обеспечения для редактирования, не ограничиваясь качеством, предлагаемым встроенным устройством потребительской электроники, поэтому, по крайней мере теоретически, возможно более высокое качество деинтерляции – особенно если пользователь может предварительно преобразовать строчное видео в прогрессивное сканирование перед воспроизведением и использовать сложные и ресурсоемкие алгоритмы деинтерляции (то есть применять "производственный" метод). Однако качество как бесплатных, так и коммерческих программных продуктов потребительского уровня может не соответствовать уровню профессионального программного обеспечения и оборудования. Кроме того, большинство пользователей не имеют опыта в видеопроизводстве, что часто приводит к плохим результатам, поскольку многие не знакомы с деинтерляцией и не знают, что частота кадров вдвое меньше частоты полукадров. Многие кодеки/плееры даже не выполняют деинтерляцию самостоятельно и полагаются на графический процессор и API видеоускорения для корректной деинтерляции.
Опасения по поводу эффективности
Европейский вещательный союз выступает против использования разностной развертки видео в производстве и вещании, рекомендуя 720p 50 кадров в секунду как текущий формат производства и сотрудничая с индустрией для внедрения 1080p50 в качестве перспективного стандарта производства, обеспечивающего более высокое вертикальное разрешение, лучшее качество при более низких битрейтах и упрощенное преобразование в другие форматы, такие как 720p50 и 1080i50. Основной аргумент заключается в том, что независимо от сложности алгоритма деинтерлейсинга, артефакты в разностном сигнале невозможно устранить, поскольку часть информации теряется между кадрами. Ив Фаруджа, основатель Faroudja Labs и лауреат премии «Эмми» за достижения в области технологии деинтерлейсинга, заявил, что «преобразование разностной развертки в прогрессивную не работает» и предостерег от использования разностной развертки.