Потери при сжатии данных

Введение

Подход к сжатию данных, который уменьшает размер данных, отбрасывая или изменяя часть информации.

В информационных технологиях сжатие с потерями, или необратимое сжатие, – это класс методов сжатия данных, использующих неточные приближения и частичную потерю данных для представления контента. Эти методы применяются для уменьшения размера данных при хранении, обработке и передаче. Различные версии фотографии кошки на этой странице демонстрируют, как более высокая степень приближения приводит к созданию более грубых изображений по мере удаления деталей. Это противопоставляется сжатию без потерь (обратимому сжатию), которое не приводит к ухудшению качества данных. Степень сжатия, достижимая при использовании сжатия с потерями, значительно выше, чем при использовании методов сжатия без потерь. Хорошо разработанные технологии сжатия с потерями часто значительно уменьшают размер файлов до того, как ухудшение качества станет заметным для конечного пользователя. Даже если пользователь замечает ухудшение, дальнейшее уменьшение размера данных может быть желательным (например, для связи в реальном времени, сокращения времени передачи или объёма необходимого хранилища). Наиболее широко используемым алгоритмом сжатия с потерями является дискретное косинусное преобразование (DCT), впервые опубликованное Насиром Ахмедом, Т. Натараджаном и К. Р. Рао в 1974 году. Сжатие с потерями наиболее часто используется для сжатия мультимедийных данных (аудио, видео и изображений), особенно в таких приложениях, как потоковое мультимедиа и интернет-телефония. В отличие от этого, сжатие без потерь обычно требуется для текстовых файлов и данных, таких как банковские записи и текстовые статьи. Может быть полезно создать основной файл без потерь, который затем можно использовать для создания дополнительных копий. Это позволяет избежать создания новых сжатых копий на основе файла, сжатого с потерями, что привело бы к появлению дополнительных артефактов и дальнейшей ненужной потере информации.

Типы

Можно сжать многие типы цифровых данных таким образом, чтобы уменьшить размер компьютерного файла, необходимого для его хранения, или полосу пропускания, необходимую для его передачи, без потери всей информации, содержащейся в исходном файле. Например, изображение преобразуется в цифровой файл, рассматривая его как массив точек и указывая цвет и яркость каждой точки. Если изображение содержит область одного цвета, его можно сжать без потерь, указав "200 красных точек" вместо "красная точка, красная точка, (197 раз), красная точка". Оригинальные данные содержат определенное количество информации, и существует нижняя граница размера файла, который все еще может содержать всю информацию. Основная теория информации утверждает, что существует абсолютный предел уменьшения размера этих данных. При сжатии данных их энтропия увеличивается, но не может увеличиваться бесконечно. Например, сжатый ZIP-файл меньше оригинала, но многократное сжатие одного и того же файла не приведет к уменьшению размера до нуля. Большинство алгоритмов сжатия могут определить, когда дальнейшее сжатие будет бесполезным и даже увеличит размер данных. Во многих случаях файлы или потоки данных содержат избыточную информацию. Например, изображение может содержать больше деталей, чем способен различить человеческий глаз при воспроизведении в максимальном размере; аналогично, аудиофайлу не требуется высокая детализация во время громких фрагментов. Разработка методов сжатия с потерями, максимально соответствующих человеческому восприятию, – сложная задача. Иногда идеальным результатом является файл, обеспечивающий точно такое же восприятие, как и оригинал, при максимально возможном удалении цифровой информации; в других случаях допустима заметная потеря качества в качестве компромисса. В некоторых приложениях, таких как сжатие медицинских изображений, термины "необратимый" и "обратимый" предпочтительнее "с потерями" и "без потерь" соответственно, чтобы избежать негативных коннотаций, связанных с понятием "потери". Тип и степень потерь могут влиять на полезность изображений. Артефакты или нежелательные эффекты сжатия могут быть заметны, но результат все равно может быть полезен для предполагаемой цели. Или изображения, сжатые с потерями, могут быть "визуально без потерь", а в случае медицинских изображений может применяться так называемое диагностически приемлемое необратимое сжатие (DAIC).

It is possible to compress many types of digital data in a way that reduces the size of a computer file needed to store it, or the bandwidth needed to transmit it, with no loss of the full information contained in the original file. A picture, for example, is converted to a digital file by considering it to be an array of dots and specifying the color and brightness of each dot. If the picture contains an area of the same color, it can be compressed without loss by saying "200 red dots" instead of "red dot, red dot, (197 more times) , red dot." The original data contains a certain amount of information, and there is a lower bound to the size of a file that can still carry all the information. Basic information theory says that there is an absolute limit in reducing the size of this data. When data is compressed, its entropy increases, and it cannot increase indefinitely. For example, a compressed ZIP file is smaller than its original, but repeatedly compressing the same file will not reduce the size to nothing. Most compression algorithms can recognize when further compression would be pointless and would in fact increase the size of the data. In many cases, files or data streams contain more information than is needed. For example, a picture may have more detail than the eye can distinguish when reproduced at the largest size intended; likewise, an audio file does not need a lot of fine detail during a very loud passage. Developing lossy compression techniques as closely matched to human perception as possible is a complex task. Sometimes the ideal is a file that provides exactly the same perception as the original, with as much digital information as possible removed; other times, perceptible loss of quality is considered a valid tradeoff. The terms "irreversible" and "reversible" are preferred over "lossy" and "lossless" respectively for some applications, such as medical image compression, to circumvent the negative implications of "loss". The type and amount of loss can affect the utility of the images. Artifacts or undesirable effects of compression may be clearly discernible yet the result still useful for the intended purpose. Or lossy compressed images may be 'visually lossless', or in the case of medical images, so called diagnostically acceptable irreversible compression (DAIC) may have been applied.

Кодирование трансформации

Некоторые формы сжатия с потерями можно рассматривать как применение трансформатного кодирования, являющегося типом сжатия данных, используемым для цифровых изображений, цифровых аудиосигналов и цифрового видео. Трансформация обычно используется для обеспечения более эффективного (более целевого) квантования. Знание области применения используется для выбора информации, которую можно отбросить, тем самым снижая требуемую полосу пропускания. Оставшаяся информация может быть сжата различными методами. При декодировании результат может не быть идентичным исходному, но должен быть достаточно близок для целей применения. Наиболее распространенной формой сжатия с потерями является метод трансформатного кодирования – дискретное косинусное преобразование (DCT), впервые опубликованное Насиром Ахмедом, Т. Натараджаном и К. Р. Рао в 1974 году. DCT является наиболее широко используемым методом сжатия с потерями для популярных форматов сжатия изображений (таких как JPEG), стандартов кодирования видео (таких как MPEG и H.264/AVC) и форматов сжатия аудио (таких как MP3 и AAC). В случае аудиоданных популярной формой трансформатного кодирования является перцептивное кодирование, которое преобразует исходные данные в область, более точно отражающую информационное содержание. Например, вместо представления звукового файла как уровней амплитуды во времени, его можно представить как частотный спектр во времени, что точнее соответствует человеческому восприятию звука. Хотя уменьшение объема данных (сжатие, будь то с потерями или без потерь) является основной целью трансформатного кодирования, оно также позволяет достигать других целей: можно более точно представить данные при том же объеме памяти. Например, в принципе, если начинать с аналогового или цифрового оригинала высокого разрешения, MP3-файл заданного размера должен обеспечивать лучшее представление, чем некомпрессированный аудиофайл в формате WAV или AIFF того же размера. Это связано с тем, что некомпрессированный звук может уменьшить размер файла только за счет снижения битрейта или глубины, в то время как сжатие звука может уменьшить размер файла при сохранении битрейта и глубины. Такое сжатие представляет собой выборочную потерю наименее значимых данных, а не потерю данных в целом. Кроме того, трансформатное кодирование может предоставить более удобную область для манипулирования или редактирования данных – например, эквализация звука наиболее естественно выражается в частотной области (например, усиление басов), а не в исходной временной области. С этой точки зрения, перцептивное кодирование заключается не столько в отбрасывании данных, сколько в более эффективном представлении данных. Другое применение – обеспечение обратной совместимости и плавного ухудшения качества: в цветном телевидении кодирование цвета с использованием преобразования яркости и цветности (например, YUV) означает, что черно-белые телевизоры отображают яркость, игнорируя информацию о цвете. Другой пример – цветовая субдискретизация: использование цветовых пространств, таких как YIQ, используемых в NTSC, позволяет уменьшить разрешение цветовых компонент в соответствии с человеческим восприятием – у человека наивысшее разрешение для черно-белого (яркости), более низкое разрешение для цветов средней части спектра, таких как желтый и зеленый, и самое низкое для красного и синего. Таким образом, NTSC отображает примерно 350 пикселей яркости на строку развертки, 150 пикселей желтого против зеленого и 50 пикселей синего против красного, что пропорционально чувствительности человека к каждому компоненту.

Some forms of lossy compression can be thought of as an application of transform coding, which is a type of data compression used for digital images, digital audio signals, and digital video. The transformation is typically used to enable better (more targeted) quantization. Knowledge of the application is used to choose information to discard, thereby lowering its bandwidth. The remaining information can then be compressed via a variety of methods. When the output is decoded, the result may not be identical to the original input, but is expected to be close enough for the purpose of the application. The most common form of lossy compression is a transform coding method, the discrete cosine transform (DCT), which was first published by Nasir Ahmed, T. Natarajan and K. R. Rao in 1974. DCT is the most widely used form of lossy compression, for popular image compression formats (such as JPEG), video coding standards (such as MPEG and H.264/AVC) and audio compression formats (such as MP3 and AAC). In the case of audio data, a popular form of transform coding is perceptual coding, which transforms the raw data to a domain that more accurately reflects the information content. For example, rather than expressing a sound file as the amplitude levels over time, one may express it as the frequency spectrum over time, which corresponds more accurately to human audio perception. While data reduction (compression, be it lossy or lossless) is a main goal of transform coding, it also allows other goals: one may represent data more accurately for the original amount of space – for example, in principle, if one starts with an analog or high resolution digital master, an MP3 file of a given size should provide a better representation than a raw uncompressed audio in WAV or AIFF file of the same size. This is because uncompressed audio can only reduce file size by lowering bit rate or depth, whereas compressing audio can reduce size while maintaining bit rate and depth. This compression becomes a selective loss of the least significant data, rather than losing data across the board. Further, a transform coding may provide a better domain for manipulating or otherwise editing the data – for example, equalization of audio is most naturally expressed in the frequency domain (boost the bass, for instance) rather than in the raw time domain. From this point of view, perceptual encoding is not essentially about discarding data, but rather about a better representation of data. Another use is for backward compatibility and graceful degradation: in color television, encoding color via a luminance chrominance transform domain (such as YUV) means that black and white sets display the luminance, while ignoring the color information. Another example is chroma subsampling: the use of color spaces such as YIQ, used in NTSC, allow one to reduce the resolution on the components to accord with human perception – humans have highest resolution for black and white (luma), lower resolution for mid spectrum colors like yellow and green, and lowest for red and blues – thus NTSC displays approximately 350 pixels of luma per scanline, 150 pixels of yellow vs. green, and 50 pixels of blue vs. red, which are proportional to human sensitivity to each component.

Сравнение

Преимущество методов с потерями перед методами без потерь заключается в том, что в некоторых случаях метод с потерями может создать значительно меньший сжатый файл, чем любой метод без потерь, при этом удовлетворяя требованиям приложения. Методы с потерями чаще всего используются для сжатия звука, изображений или видео. Это объясняется тем, что данные такого рода предназначены для восприятия человеком, и мозг способен легко "достраивать" недостающую информацию или не замечать незначительных ошибок и несоответствий. В идеале, сжатие с потерями должно быть незаметным (невоспринимаемым), что можно проверить с помощью ABX-теста. Файлы данных, сжатые с потерями, имеют меньший размер и, следовательно, обходятся дешевле в хранении и передаче по сети Интернет, что является критически важным для потоковых видеосервисов, таких как Netflix, и потоковых аудиосервисов, таких как Spotify.

Эмоциональные последствия

Исследование, проведенное Audio Engineering Library, показало, что форматы с потерями, использующие низкую битовую скорость (112 кбит/с), такие как MP3, оказывают заметное влияние на тембральные и эмоциональные характеристики, усиливая негативные эмоциональные оттенки и ослабляя положительные. В исследовании также было отмечено, что труба наиболее подвержена искажениям при сжатии, а валторна – наименее.

Прозрачность

Когда пользователь получает файл, сжатый с потерями (например, для уменьшения времени загрузки), полученный файл может значительно отличаться от оригинала на битовом уровне, оставаясь при этом практически неотличимым для человеческого слуха или зрения в большинстве случаев. Многие методы сжатия ориентированы на особенности человеческой физиологии, учитывая, например, что человеческий глаз способен воспринимать лишь определенные длины волн света. Психоакустическая модель описывает, как звук можно сильно сжать, не ухудшая воспринимаемое качество. Дефекты, вызванные сжатием с потерями и заметные человеческому глазу или уху, называются артефактами сжатия.

Транскодирование и редактирование

Важным предостережением при сжатии с потерями (формально, транскодировании) является то, что редактирование файлов, сжатых с потерями, приводит к дополнительным потерям качества при повторном кодировании. Этого можно избежать, создавая файлы с потерями только из оригиналов без потерь и редактируя (копии) оригинальных файлов, например, изображения в формате RAW вместо JPEG. Если данные, сжатые с потерями, декодируются и затем сжимаются без потерь, размер полученного файла может быть сопоставим с размером данных до сжатия с потерями, однако уже утраченная информация не может быть восстановлена. При принятии решения о конвертации с потерями без сохранения оригинала, в будущем может потребоваться конвертация формата для обеспечения совместимости с программным обеспечением или устройствами (изменение формата), или для избежания выплаты патентных отчислений за декодирование или распространение сжатых файлов.

Редактирование потерянных файлов

Изменение сжатых данных напрямую, без декодирования и повторного кодирования, позволяет выполнять некоторые виды редактирования файлов, сжатых с потерями, без ухудшения качества. Иногда также возможно редактирование, которое уменьшает размер файла, как если бы он был сжат сильнее, но без дополнительных потерь.

Метаданные

Метаданные, такие как теги ID3, комментарии Vorbis или информация Exif, как правило, можно изменять или удалять, не изменяя сами данные.

Степень масштабируемости сжатого представления

Можно уменьшить дискретизацию или иным образом снизить разрешение представленного исходного сигнала и объем данных, используемых для его сжатого представления, без перекодирования, как, например, при понижении битрейта, но эта функциональность не поддерживается во всех реализациях, поскольку не все кодеки кодируют данные в формате, позволяющем просто отбросить менее важные детали. Некоторые известные реализации, обладающие этой возможностью, включают JPEG 2000 для статических изображений и масштабируемое кодирование видео (Scalable Video Coding) на основе H.264/MPEG-4 AVC для видео. Подобные схемы также были стандартизированы для более ранних реализаций, таких как изображения JPEG с прогрессивным кодированием и видео MPEG-2 и MPEG-4 Часть 2, хотя эти предыдущие схемы имели ограниченный успех в плане внедрения в реальную практику. Без такой возможности, что часто встречается на практике, для получения представления с более низким разрешением или точностью, необходимо начинать с исходного сигнала и кодировать его, либо начинать с сжатого представления, а затем декодировать и перекодировать его (транскодировать), хотя последнее часто приводит к потере качества при цифровом копировании. Другой подход заключается в кодировании исходного сигнала с использованием нескольких различных битрейтов, а затем выборе подходящего (например, при потоковой передаче через интернет, как в RealNetworks "SureStream", или при предложении различных вариантов загрузки, как в iTunes Store Apple), либо трансляции нескольких потоков, из которых используется наилучший успешно принятый, как в различных реализациях иерархической модуляции. Аналогичные методы применяются в мип-картах, пирамидальных представлениях и более сложных методах анализа масштаба. Некоторые аудиоформаты сочетают в себе формат с потерями и коррекцию без потерь, которые при объединении воспроизводят исходный сигнал; коррекцию можно удалить, оставив более компактный файл, сжатый с потерями. К таким форматам относятся MPEG-4 SLS (Scalable to Lossless), WavPack, OptimFROG DualStream и DTS HD Master Audio в режиме без потерь (XLL).

Другие данные

Исследователи выполняли сжатие с потерями текста, либо заменяя короткие слова на более длинные с помощью тезауруса, либо используя генеративные текстовые методы, хотя последние иногда можно отнести к смежной категории преобразования данных с потерями.

Снижение разрешения

Общий вид сжатия с потерями – это снижение разрешения изображения, как при масштабировании, особенно при децимации. Также можно удалить наименее информативные части изображения, например, с помощью вырезания швов. Многие преобразования медиаданных, такие как размытие по Гауссу, как и сжатие с потерями, необратимы: исходный сигнал нельзя восстановить из преобразованного. Однако, как правило, они сохраняют исходный размер и не являются формой сжатия. Снижение разрешения имеет практическое применение: космический аппарат NASA New Horizons передавал эскизы снимков Плутона и Харона перед отправкой изображений в более высоком разрешении. Другим решением для медленных соединений является использование прогрессивного отображения изображения, которое постепенно уточняет изображение. Таким образом, частичной передачи достаточно для предварительного просмотра конечного изображения в версии с более низким разрешением, без необходимости создания масштабированной и полной версии.