Сравнивайте с английским: нажмите на абзац — оригинал откроется в окне. Кнопка EN под абзацем показывает его прямо в тексте.
Содержание
Введение
В теории информации избыточность измеряет относительную разницу между энтропией H(X) ансамбля X и её максимально возможным значением. Неформально, это количество "места", затрачиваемого впустую при передаче данных. Сжатие данных – это способ уменьшить или устранить нежелательную избыточность, а прямое исправление ошибок – способ добавления необходимой избыточности для обнаружения и исправления ошибок при передаче информации по зашумлённому каналу с ограниченной пропускной способностью.
In information theory, redundancy measures the fractional difference between the entropy H(X) of an ensemble X, and its maximum possible value Informally, it is the amount of wasted "space" used to transmit certain data. Data compression is a way to reduce or eliminate unwanted redundancy, while forward error correction is a way of adding desired redundancy for purposes of error detection and correction when communicating over a noisy channel of limited capacity.
Другие понятия
Измерением избыточности между двумя переменными служит взаимная информация или её нормализованный вариант. Избыточность среди множества переменных оценивается общей корреляцией. Избыточность сжатых данных определяется как разность между ожидаемой длиной сжатых данных сообщений (или ожидаемой скоростью передачи данных) и энтропией (или скоростью энтропии). (Здесь предполагается, что данные эргодичны и стационарны, например, источник без памяти.) Хотя разность скоростей может быть сколь угодно мала при увеличении , фактическая разность не может быть такой, хотя теоретически она ограничена 1 для источников с конечной энтропией и без памяти. В информационно-теоретическом контексте избыточностью может также называться информация, избыточная между двумя взаимными информацией. Например, для трех переменных , , и известно, что совместная взаимная информация может быть меньше суммы предельных взаимных информаций: В этом случае, по крайней мере, часть информации о , раскрываемая или , является одинаковой. Данное понимание избыточности дополняет понятие синергии, которое проявляется, когда совместная взаимная информация превышает сумму предельных значений, указывая на наличие информации, раскрываемой только совместным состоянием и не доступной из более простых комбинаций источников.
A measure of redundancy between two variables is the mutual information or a normalized variant. A measure of redundancy among many variables is given by the total correlation. Redundancy of compressed data refers to the difference between the expected compressed data length of messages (or expected data rate ) and the entropy (or entropy rate ). (Here we assume the data is ergodic and stationary, e. g., a memoryless source.) Although the rate difference can be arbitrarily small as increased, the actual difference , cannot, although it can be theoretically upper bounded by 1 in the case of finite entropy memoryless sources. Redundancy in an information theoretic contexts can also refer to the information that is redundant between two mutual informations. For example, given three variables , , and , it is known that the joint mutual information can be less than the sum of the marginal mutual informations: In this case, at least some of the information about disclosed by or is the same. This formulation of redundancy is complementary to the notion of synergy, which occurs when the joint mutual information is greater than the sum of the marginals, indicating the presence of information that is only disclosed by the joint state and not any simpler collection of sources.
Групповое увольнение
Вышеуказанная мера парной избыточности может быть обобщена на множество из n переменных. Подобно парной мере, если это значение отрицательно, говорят, что множество переменных избыточно.
The above pairwise redundancy measure can be generalized to a set of n variables. As the pair wise measure above, if this value is negative, one says the set of variables is redundant.