Введение
Базовая модель шума, используемая в теории информации. Аддитивный белый гауссов шум (AWGN) — это базовая модель шума, применяемая в теории информации для имитации эффекта множества случайных процессов, происходящих в природе. Модификаторы указывают на конкретные характеристики: аддитивный, поскольку он добавляется к любому шуму, который может быть присущ информационной системе. Белый означает, что он имеет равномерную спектральную плотность мощности во всей полосе частот для информационной системы. Это аналогия с белым цветом, который может быть получен при равномерном излучении на всех частотах видимого спектра. Гауссов, потому что он имеет нормальное распределение во временной области со средним значением, равным нулю (гауссовский процесс). Широкополосный шум возникает из множества естественных источников шума, таких как тепловые колебания атомов в проводниках (известные как тепловой шум или шум Джонсона — Найквиста), дробовой шум, излучение абсолютно черного тела от Земли и других теплых объектов, а также от небесных источников, таких как Солнце. Центральная предельная теорема теории вероятностей указывает на то, что суммирование множества случайных процессов будет стремиться к распределению, называемому гауссовским или нормальным. AWGN часто используется в качестве модели канала, в которой единственным искажением связи является линейное добавление широкополосного или белого шума с постоянной спектральной плотностью (выражаемой в ваттах на герц полосы пропускания) и гауссовским распределением амплитуды. Модель не учитывает затухание, частотную избирательность, интерференцию, нелинейность или дисперсию. Однако она создает простые и удобные для анализа математические модели, которые полезны для понимания базового поведения системы до рассмотрения этих других явлений. Канал AWGN является хорошей моделью для многих спутниковых и каналов связи дальнего космоса. Он не является хорошей моделью для большинства наземных каналов из-за многолучевости, блокировки рельефом, интерференции и т. д. Однако для моделирования наземных трасс AWGN обычно используется для моделирования фонового шума исследуемого канала, в дополнение к многолучевости, блокировке рельефом, интерференции, наземным помехам и самопомехам, с которыми сталкиваются современные радиосистемы при наземной эксплуатации.
Additive white Gaussian noise (AWGN) is a basic noise model used in information theory to mimic the effect of many random processes that occur in nature. The modifiers denote specific characteristics:
Additive because it is added to any noise that might be intrinsic to the information system. White refers to the idea that it has uniform power spectral density across the frequency band for the information system. It is an analogy to the color white which may be realized by uniform emissions at all frequencies in the visible spectrum. Gaussian because it has a normal distribution in the time domain with an average time domain value of zero (Gaussian process). Wideband noise comes from many natural noise sources, such as the thermal vibrations of atoms in conductors (referred to as thermal noise or Johnson–Nyquist noise), shot noise, black body radiation from the earth and other warm objects, and from celestial sources such as the Sun. The central limit theorem of probability theory indicates that the summation of many random processes will tend to have distribution called Gaussian or Normal. AWGN is often used as a channel model in which the only impairment to communication is a linear addition of wideband or white noise with a constant spectral density (expressed as watts per hertz of bandwidth) and a Gaussian distribution of amplitude. The model does not account for fading, frequency selectivity, interference, nonlinearity or dispersion. However, it produces simple and tractable mathematical models which are useful for gaining insight into the underlying behavior of a system before these other phenomena are considered. The AWGN channel is a good model for many satellite and deep space communication links. It is not a good model for most terrestrial links because of multipath, terrain blocking, interference, etc. However, for terrestrial path modeling, AWGN is commonly used to simulate background noise of the channel under study, in addition to multipath, terrain blocking, interference, ground clutter and self interference that modern radio systems encounter in terrestrial operation.
Пропускная способность канала и упаковка сферы
Предположим, что мы отправляем сообщения через канал с индексами от до , где – количество различных возможных сообщений. Если мы кодируем сообщения в битов, то определяем скорость передачи как:
Скорость считается достижимой, если существует последовательность кодов, такая что максимальная вероятность ошибки стремится к нулю при стремлении к бесконечности. Пропускная способность – это наивысшая достижимая скорость передачи. Рассмотрим кодовое слово длины, отправленное через канал AWGN с уровнем шума. При приеме дисперсия вектора кодового слова становится , а его математическое ожидание – отправленное кодовое слово. Вектор с высокой вероятностью окажется внутри сферы радиуса вокруг отправленного кодового слова. Если мы декодируем каждое принятое сообщение, сопоставляя его с кодовым словом в центре этой сферы, то ошибка произойдет только в том случае, если принятый вектор окажется вне этой сферы, что маловероятно. Каждый вектор кодового слова связан со сферой векторов, которые при декодировании приводят к этому кодовому слову, и каждая такая сфера должна однозначно соответствовать кодовому слову. Поскольку эти сферы не должны пересекаться, мы сталкиваемся с задачей упаковки сфер. Сколько различных кодовых слов мы можем упаковать в наш -битный вектор кодовых слов? Принятые векторы имеют максимальную энергию и, следовательно, должны занимать сферу радиуса. Каждая сфера кодового слова имеет радиус. Объем n-мерной сферы прямо пропорционален , поэтому максимальное количество однозначно декодируемых сфер, которые можно упаковать в нашу сферу с мощностью передачи P, равно:
Исходя из этого, скорость передачи R не может превышать .
Достижимость
В этом разделе мы показываем достижимость верхней границы скорости передачи, полученной в предыдущем разделе. Кодовый словарь, известный как кодировщику, так и декодировщику, генерируется путем выбора кодовых слов длины n, независимых и одинаково распределенных (i.i.d.) гауссовских со средней нулевой и дисперсией . Для больших n эмпирическая дисперсия кодового словаря будет очень близка к дисперсии его распределения, что позволяет вероятностно избежать нарушения ограничения по мощности. Полученные сообщения декодируются в кодовое слово из словаря, которое является единственным совместно типичным. Если такого кодового слова не существует или ограничение по мощности нарушено, объявляется ошибка декодирования. Пусть обозначает кодовое слово для сообщения , а обозначает, как и ранее, принятый вектор. Определим следующие три события:
Event :the power of the received message is larger than Event : the transmitted and received codewords are not jointly typical. Event : is in , the typical set where , which is to say that the incorrect codeword is jointly typical with the received vector. An error therefore occurs if , or any of the occur. By the law of large numbers, goes to zero as n approaches infinity, and by the joint Asymptotic Equipartition Property the same applies to Therefore, for a sufficiently large , both and are each less than Since and are independent for , we have that and are also independent. Therefore, by the joint AEP, This allows us to calculate , the probability of error as follows:
Therefore, as n approaches infinity, goes to zero and Therefore, there is a code of rate R arbitrarily close to the capacity derived earlier.
Событие : мощность принятого сообщения превышает .
Событие : переданное и принятое кодовые слова не являются совместно типичными.
Событие : находится в типичном множестве , где , то есть, неверное кодовое слово совместно типично с принятым вектором.
Event :the power of the received message is larger than Event : the transmitted and received codewords are not jointly typical. Event : is in , the typical set where , which is to say that the incorrect codeword is jointly typical with the received vector. An error therefore occurs if , or any of the occur. By the law of large numbers, goes to zero as n approaches infinity, and by the joint Asymptotic Equipartition Property the same applies to Therefore, for a sufficiently large , both and are each less than Since and are independent for , we have that and are also independent. Therefore, by the joint AEP, This allows us to calculate , the probability of error as follows:
Therefore, as n approaches infinity, goes to zero and Therefore, there is a code of rate R arbitrarily close to the capacity derived earlier.
Таким образом, ошибка возникает, если , или любое из событий происходит. По закону больших чисел, стремится к нулю при стремящемся к бесконечности, и по свойству совместного асимптотического равнораспределения (joint Asymptotic Equipartition Property) то же самое справедливо и для . Следовательно, для достаточно большого , и и каждое из них меньше, чем . Поскольку и независимы при , то и также независимы. Поэтому, согласно свойству совместного AEP, это позволяет нам вычислить , вероятность ошибки, следующим образом:
Event :the power of the received message is larger than Event : the transmitted and received codewords are not jointly typical. Event : is in , the typical set where , which is to say that the incorrect codeword is jointly typical with the received vector. An error therefore occurs if , or any of the occur. By the law of large numbers, goes to zero as n approaches infinity, and by the joint Asymptotic Equipartition Property the same applies to Therefore, for a sufficiently large , both and are each less than Since and are independent for , we have that and are also independent. Therefore, by the joint AEP, This allows us to calculate , the probability of error as follows:
Therefore, as n approaches infinity, goes to zero and Therefore, there is a code of rate R arbitrarily close to the capacity derived earlier.
Следовательно, при стремящемся к бесконечности, стремится к нулю, и, таким образом, существует код со скоростью R, произвольно близкой к ранее выведенной пропускной способности.
Event :the power of the received message is larger than Event : the transmitted and received codewords are not jointly typical. Event : is in , the typical set where , which is to say that the incorrect codeword is jointly typical with the received vector. An error therefore occurs if , or any of the occur. By the law of large numbers, goes to zero as n approaches infinity, and by the joint Asymptotic Equipartition Property the same applies to Therefore, for a sufficiently large , both and are each less than Since and are independent for , we have that and are also independent. Therefore, by the joint AEP, This allows us to calculate , the probability of error as follows:
Therefore, as n approaches infinity, goes to zero and Therefore, there is a code of rate R arbitrarily close to the capacity derived earlier.
Эффекты в области времени
В последовательной передаче данных математическая модель AWGN используется для моделирования ошибки времени выборки, вызванной случайным джиттером (RJ). График справа демонстрирует пример ошибок времени выборки, связанных с AWGN. Переменная Δt представляет собой неопределенность момента пересечения нуля. С увеличением амплитуды AWGN отношение сигнал/шум снижается. Это приводит к увеличению неопределенности Δt.