Теорема Шеннона-Хартли: Предел скорости передачи информации
Shannon–Hartley theorem
Теорема Шеннона-Хартли: макс. скорость передачи данных по каналу связи при наличии шума. Ограничения пропускной способности и помех. Информационная теория.
Сравнивайте с английским: нажмите на абзац — оригинал откроется в окне. Кнопка EN под абзацем показывает его прямо в тексте.
Содержание
Введение
Теорема, определяющая максимальную скорость передачи информации.
Theorem that tells the maximum rate at which information can be transmitted
В теории информации теорема Шеннона — Хартли определяет максимальную скорость передачи информации по каналу связи с заданной полосой пропускания в условиях наличия шума. Это применение теоремы о кодировании с помехами к типичному случаю аналогового канала связи в непрерывном времени, подверженного гауссовскому шуму. Теорема устанавливает пропускную способность канала Шеннона для такой линии связи – предел максимального объема безошибочной информации, передаваемой в единицу времени при заданной полосе пропускания и в присутствии шумовых помех, при условии, что мощность сигнала ограничена, а гауссовский процесс шума характеризуется известной мощностью или спектральной плотностью мощности. Эта закономерность названа в честь Клода Шеннона и Ральфа Хартли.
In information theory, the Shannon–Hartley theorem tells the maximum rate at which information can be transmitted over a communications channel of a specified bandwidth in the presence of noise. It is an application of the noisy channel coding theorem to the archetypal case of a continuous time analog communications channel subject to Gaussian noise. The theorem establishes Shannon's channel capacity for such a communication link, a bound on the maximum amount of error free information per time unit that can be transmitted with a specified bandwidth in the presence of the noise interference, assuming that the signal power is bounded, and that the Gaussian noise process is characterized by a known power or power spectral density. The law is named after Claude Shannon and Ralph Hartley.
Историческое развитие
В конце 1920-х годов Гарри Найквист и Ральф Хартли разработали ряд основополагающих идей, касающихся передачи информации, в особенности в контексте телеграфа как системы коммуникаций. В то время эти идеи представляли собой значительные прорывы сами по себе, но не составляли единой, всеобъемлющей теории. В 1940-х годах Клод Шеннон, опираясь в том числе на идеи Найквиста и Хартли, разработал понятие пропускной способности канала и затем сформулировал полную теорию информации и её передачи.
During the late 1920s, Harry Nyquist and Ralph Hartley developed a handful of fundamental ideas related to the transmission of information, particularly in the context of the telegraph as a communications system. At the time, these concepts were powerful breakthroughs individually, but they were not part of a comprehensive theory. In the 1940s, Claude Shannon developed the concept of channel capacity, based in part on the ideas of Nyquist and Hartley, and then formulated a complete theory of information and its transmission.
Никвистская ставка
В 1927 году Найквист установил, что число независимых импульсов, которые можно передать по телеграфному каналу в единицу времени, ограничено удвоенной полосой пропускания канала. В символической форме это выражается как:
In 1927, Nyquist determined that the number of independent pulses that could be put through a telegraph channel per unit time is limited to twice the bandwidth of the channel. In symbolic notation,
где – частота импульсов (в импульсах в секунду), а – полоса пропускания (в герцах). Величина позднее получила название частоты Найквиста, а передача с предельной частотой импульсов в секунду стала называться сигнализацией на частоте Найквиста. Найквист опубликовал свои результаты в 1928 году в своей работе "Некоторые вопросы теории телеграфной передачи".
where is the pulse frequency (in pulses per second) and is the bandwidth (in hertz). The quantity later came to be called the Nyquist rate, and transmitting at the limiting pulse rate of pulses per second as signalling at the Nyquist rate. Nyquist published his results in 1928 as part of his paper "Certain topics in Telegraph Transmission Theory".
Примеры
При SNR 0 дБ (мощность сигнала = мощность шума) емкость в битах/с равна полосе пропускания в герцах. Если SNR равен 20 дБ, а доступная полоса пропускания составляет 4 кГц, что подходит для телефонной связи, то C = 4000 log2(1 + 100) = 4000 log2(101) = 26,63 кбит/с. Следует отметить, что значение S/N = 100 эквивалентно SNR 20 дБ. Если требуется передавать со скоростью 50 кбит/с, и используется полоса пропускания 10 кГц, то минимальное требуемое S/N определяется выражением 50000 = 10000 log2(1+S/N), следовательно, C/B = 5, а значит S/N = 25 − 1 = 31, что соответствует SNR 14,91 дБ (10 x log10(31)). Какова емкость канала для сигнала с полосой пропускания 1 МГц, принятого с SNR −30 дБ? Это означает, что сигнал сильно зашумлен. −30 дБ означает S/N = 10−3. Это приводит к максимальной скорости передачи информации 106 log2(1 + 10−3) = 1443 бит/с. Эти значения типичны для принимаемых сигналов GPS, где навигационное сообщение передается со скоростью 50 бит/с (ниже емкости канала для данного S/N), а его полоса пропускания расширяется примерно до 1 МГц за счет псевдослучайного умножения перед передачей. Как указано выше, емкость канала пропорциональна полосе пропускания канала и логарифму SNR. Это означает, что емкость канала можно линейно увеличить либо за счет увеличения полосы пропускания канала при фиксированном требовании к SNR, либо, при фиксированной полосе пропускания, за счет использования модуляций более высокого порядка, которым для работы требуется очень высокий SNR. По мере увеличения скорости модуляции спектральная эффективность улучшается, но за счет увеличения требования к SNR. Таким образом, при использовании 16QAM или 64QAM наблюдается экспоненциальный рост требования к SNR, однако при этом улучшается спектральная эффективность.
At a SNR of 0 dB (Signal power = Noise power) the Capacity in bits/s is equal to the bandwidth in hertz. If the SNR is 20 dB, and the bandwidth available is 4 kHz, which is appropriate for telephone communications, then C = 4000 log2(1 + 100) = 4000 log2 (101) = 26.63 kbit/s. Note that the value of S/N = 100 is equivalent to the SNR of 20 dB. If the requirement is to transmit at 50 kbit/s, and a bandwidth of 10 kHz is used, then the minimum S/N required is given by 50000 = 10000 log2(1+S/N) so C/B = 5 then S/N = 25 − 1 = 31, corresponding to an SNR of 14.91 dB (10 x log10(31)). What is the channel capacity for a signal having a 1 MHz bandwidth, received with a SNR of −30 dB ? That means a signal deeply buried in noise. −30 dB means a S/N = 10−3. It leads to a maximal rate of information of 106 log2 (1 + 10−3) = 1443 bit/s. These values are typical of the received ranging signals of the GPS, where the navigation message is sent at 50 bit/s (below the channel capacity for the given S/N), and whose bandwidth is spread to around 1 MHz by a pseudo noise multiplication before transmission. As stated above, channel capacity is proportional to the bandwidth of the channel and to the logarithm of SNR. This means channel capacity can be increased linearly either by increasing the channel's bandwidth given a fixed SNR requirement or, with fixed bandwidth, by using higher order modulations that need a very high SNR to operate. As the modulation rate increases, the spectral efficiency improves, but at the cost of the SNR requirement. Thus, there is an exponential rise in the SNR requirement if one adopts a 16QAM or 64QAM; however, the spectral efficiency improves.