Прямоугольное сканирование и реконструкция изображения

Введение

Прямоугольная схема захвата и восстановления изображения

Растровое сканирование — это прямоугольная схема захвата и восстановления изображения в телевидении. По аналогии, этот термин используется для растровой графики – схемы хранения и передачи изображений, применяемой в большинстве компьютерных систем растровой графики. Слово «растр» происходит от латинского слова *rastrum* (грабли), которое, в свою очередь, происходит от *radere* (скрести, соскребать); также см. растр – инструмент для проведения линий нотного стана. Рисунок, оставляемый линиями граблей при проведении их в прямом направлении, напоминает параллельные линии растра: именно такое построчное сканирование и формирует растр. Это систематический процесс последовательного охвата области, строка за строкой. Хотя обычно этот процесс происходит значительно быстрее, в самом общем смысле он схож с тем, как перемещается взгляд при чтении строк текста. В большинстве современных графических карт данные для отображения хранятся во внутренней области полупроводниковой памяти, называемой кадр-буфером. Эта область памяти содержит значения для каждого пикселя на экране. Эти значения извлекаются из буфера обновления и выводятся на экран построчно.

Линии сканирования

При растровом сканировании изображение подразделяется на последовательность (обычно горизонтальных) полос, известных как "линии сканирования". Каждая линия сканирования может передаваться в виде аналогового сигнала по мере считывания с видеоисточника, как в телевизионных системах, или может быть далее разделена на дискретные пиксели для обработки в компьютерной системе. Такое упорядочение пикселей по строкам известно как растровый порядок или порядок растрового сканирования. Аналоговое телевидение имеет дискретные линии сканирования (дискретное вертикальное разрешение), но не имеет дискретных пикселей (горизонтальное разрешение) – вместо этого оно непрерывно изменяет сигнал вдоль линии сканирования. Таким образом, хотя количество линий сканирования (вертикальное разрешение) определено однозначно, горизонтальное разрешение является более приблизительным и зависит от скорости изменения сигнала в течение линии сканирования.

Скриншоты

При растровом сканировании луч горизонтально перемещается слева направо с постоянной скоростью, затем гаснет и быстро возвращается влево, где снова включается и прорисовывает следующую строку. В это время вертикальная позиция также непрерывно увеличивается (вниз), но гораздо медленнее – одно вертикальное смещение на кадр изображения, но одно горизонтальное смещение на линию разрешения. Таким образом, каждая строка сканирования имеет небольшой уклон "вниз" (вправо вниз), с углом наклона приблизительно –1/горизонтальное разрешение, в то время как возвратный ход влево (развертка обратного хода) значительно быстрее прямого сканирования и практически горизонтален. Полученный наклон строк сканирования очень мал и незначителен по сравнению с выпуклостью экрана и другими небольшими геометрическими неточностями. Распространено заблуждение, что после завершения строки сканирования изображение на электронно-лучевой трубке (ЭЛТ) мгновенно "перескакивает" внутри, подобно продвижению бумаги в пишущей машинке или принтере, перед созданием следующей строки. Как было сказано выше, это не совсем так: вертикальное смещение продолжается с постоянной скоростью вдоль строки сканирования, создавая небольшой уклон. Постоянная скорость смещения используется вместо ступенчатого продвижения каждой строки, поскольку ступенчатое продвижение сложно реализовать технически, а постоянная скорость гораздо проще. Полученный уклон компенсируется в большинстве ЭЛТ регулировками наклона и параллелограмма, которые создают небольшое вертикальное отклонение при перемещении луча по экрану. При правильной настройке это отклонение точно компенсирует уклон вниз строк сканирования. Горизонтальная развертка обратного хода, в свою очередь, плавно наклоняется вниз по мере снятия отклонения по наклону; скачков на обоих концах развертки нет. В деталях сканирование в ЭЛТ осуществляется магнитным отклонением, путем изменения тока в катушках отклоняющей системы. Быстрое изменение отклонения (скачок) требует приложения импульса напряжения к отклоняющей системе, и отклонение может реагировать только настолько быстро, насколько позволяют индуктивность и величина импульса. С точки зрения электроники, индуктивность вертикальных обмоток отклоняющей системы относительно высока, поэтому ток в отклоняющей системе, а следовательно, вертикальная составляющая магнитного поля отклонения, может изменяться только медленно. Фактически, импульсы возникают как по горизонтали, так и по вертикали, а соответствующие интервалы подавления горизонтального и вертикального сигналов дают токам отклонения время для установления и возврата к новому значению. Это происходит во время интервала подавления. В электронике эти (обычно с постоянной скоростью) движения луча(ей) называются "развертками", а схемы, создающие токи для отклоняющей системы (или напряжения для горизонтальных отклоняющих пластин в осциллографе), называются схемами развертки. Они создают пилообразную форму волны: плавное движение по экрану, затем обычно быстрое возвращение на другую сторону, и то же самое для вертикальной развертки. Кроме того, ЭЛТ с широким углом отклонения требуют горизонтальных разверток с током, изменяющимся пропорционально быстрее к центру, поскольку центр экрана ближе к отклоняющей системе, чем края. Линейное изменение тока привело бы к тому, что лучи отклонялись бы с постоянной угловой скоростью; это вызвало бы горизонтальное сжатие к центру.

In raster scanning, the beam sweeps horizontally left to right at a steady rate, then blanks and rapidly moves back to the left, where it turns back on and sweeps out the next line. During this time, the vertical position is also steadily increasing (downward), but much more slowly – there is one vertical sweep per image frame, but one horizontal sweep per line of resolution. Thus each scan line is sloped slightly "downhill" (towards the lower right), with a slope of approximately –1/horizontal resolution, while the sweep back to the left (retrace) is significantly faster than the forward scan, and essentially horizontal. The resulting tilt in the scan lines is very small, and is dwarfed in effect by screen convexity and other modest geometrical imperfections. There is a misconception that once a scan line is complete, a cathode ray tube (CRT) display in effect suddenly jumps internally, by analogy with a typewriter or printer's paper advance or line feed, before creating the next scan line. As discussed above, this does not exactly happen: the vertical sweep continues at a steady rate over a scan line, creating a small tilt. Steady rate sweep is done, instead of a stairstep of advancing every row, because steps are hard to implement technically, while steady rate is much easier. The resulting tilt is compensated in most CRTs by the tilt and parallelogram adjustments, which impose a small vertical deflection as the beam sweeps across the screen. When properly adjusted, this deflection exactly cancels the downward slope of the scanlines. The horizontal retrace, in turn, slants smoothly downward as the tilt deflection is removed; there's no jump at either end of the retrace. In detail, scanning of CRTs is performed by magnetic deflection, by changing the current in the coils of the deflection yoke. Rapidly changing the deflection (a jump) requires a voltage spike to be applied to the yoke, and the deflection can only react as fast as the inductance and spike magnitude permit. Electronically, the inductance of the deflection yoke's vertical windings is relatively high, and thus the current in the yoke, and therefore the vertical part of the magnetic deflection field, can change only slowly. In fact, spikes do occur, both horizontally and vertically, and the corresponding horizontal blanking interval and vertical blanking interval give the deflection currents settle time to retrace and settle to their new value. This happens during the blanking interval. In electronics, these (usually steady rate) movements of the beam[s] are called "sweeps", and the circuits that create the currents for the deflection yoke (or voltages for the horizontal deflection plates in an oscilloscope) are called the sweep circuits. These create a sawtooth wave: steady movement across the screen, then a typically rapid move back to the other side, and likewise for the vertical sweep. Furthermore, wide deflection angle CRTs need horizontal sweeps with current that changes proportionally faster toward the center, because the center of the screen is closer to the deflection yoke than the edges. A linear change in current would swing the beams at a constant rate angularly; this would cause horizontal compression toward the center.

Принтеры

Компьютерные принтеры создают свои изображения в основном с помощью растрового сканирования. Лазерные принтеры используют вращающееся многоугольное зеркало (или оптический эквивалент) для сканирования по фоточувствительному барабану, а движение бумаги обеспечивает другую ось сканирования. Учитывая типичное разрешение принтера, эффект "спуска" незначителен. В струйных принтерах имеется множество сопел в печатающих головках, поэтому множество (десятки или сотни) "строк сканирования" записываются одновременно, а подача бумаги подготавливает к следующей партии строк сканирования. Преобразование векторных данных в формат, необходимый дисплею или принтеру, требует растрового процессора изображений (RIP).

Шрифты

Компьютерный текст в основном создается из файлов шрифтов, которые описывают очертания каждого печатаемого символа или знака (глифа). (Меньшинство составляют "растровые изображения".) Эти очертания должны быть преобразованы в, по сути, небольшие растры, по одному на каждый символ, перед тем как они будут отрисованы (отображены или напечатаны) в виде текста, фактически объединяя эти небольшие растры в растр для страницы.

Восприятие

Растровое сканирование на ЭЛТ создает впечатление стабильного изображения из одной точки сканирования (рисуется только одна точка за раз) благодаря ряду технических и психологических процессов. Эти изображения затем создают впечатление движения во многом так же, как и в кино – достаточно высокая частота кадров неподвижных изображений создает иллюзию движения, хотя растровое сканирование имеет некоторые отличия, особенно в отношении развертки по полям. Во-первых, из-за послесвечения фосфора, даже если рисуется только один "пиксель" за раз (стоит помнить, что на аналоговом дисплее понятие "пиксель" размыто, поскольку нет фиксированных горизонтальных делений; скорее, существует "лучевая точка"), к моменту, когда весь экран будет отрисован, начальный пиксель все еще относительно светится. Его яркость несколько уменьшится, что может вызвать ощущение мерцания. Это одна из причин использования развертки по полям – поскольку в одном полукадре транслируемого видео рисуются только четные или нечетные строки, яркие, недавно отрисованные строки, чередующиеся с немного потускневшими старыми, создают более равномерное освещение. Во-вторых, благодаря инерции зрения, изображение сохраняется на сетчатке на короткое время и воспринимается как относительно стабильное. Благодаря связанному с этим порогу слияния мерцания, эти пульсирующие пиксели кажутся неподвижными. Эти воспринимаемые как стабильные неподвижные изображения затем объединяются, создавая движущуюся картинку, подобно работе кинопроектора. Однако важно учитывать, что в кинопроекторах полное изображение проецируется одновременно (не растровым сканированием), без развертки по полям, с частотой 24 кадра в секунду. В отличие от этого, растровое видео с разверткой по полям создает изображение с частотой 50 или 60 полукадров в секунду (полукадр – это каждая вторая строка, что соответствует частоте кадров 25 или 30 кадров в секунду), при этом каждый полукадр рисуется пиксель за пикселем, а не целиком сразу. Оба способа создают видео, но обеспечивают несколько иное восприятие или "ощущение".

Теория и история

На дисплее CRT, когда электронные лучи включены, горизонтальная составляющая магнитного поля отклонения, создаваемая отклоняющей системой, заставляет лучи сканировать "вперед" слева направо с постоянной скоростью. Данные для последовательных пикселей передаются (с тактовой частотой пикселей) в цифро-аналоговые преобразователи для каждого из трех основных цветов (однако, для современных плоских дисплеев данные пикселей остаются в цифровом формате). По мере отрисовки строки сканирования, на правом краю дисплея все лучи выключаются, но магнитное поле продолжает увеличиваться по величине в течение короткого времени после выключения. Чтобы избежать возможной путаницы: если бы не было полей магнитного отклонения, все лучи попадали бы на экран вблизи центра. Чем дальше от центра, тем больше необходимая сила поля. Поля одной полярности перемещают луч вверх и влево, а поля противоположной полярности – вниз и вправо. В некоторой точке вблизи центра магнитное поле отклонения равно нулю. Следовательно, сканирование начинается по мере уменьшения поля. В середине оно проходит через ноль и плавно возрастает снова, чтобы завершить сканирование. После создания одной строки на экране и выключения лучей, магнитное поле достигает своего расчетного максимума. По сравнению со временем, необходимым для прямого сканирования, оно затем относительно быстро меняется обратно, чтобы расположить луч за левым краем видимой (включенной) области. Этот процесс происходит при выключенных всех лучах и называется обратным ходом. На левом краю поле постепенно уменьшается по величине, чтобы начать следующее прямое сканирование, и вскоре после начала лучи включаются для начала новой видимой строки сканирования. Аналогичный процесс происходит и при вертикальном сканировании, но с частотой обновления дисплея (обычно от 50 до 75 Гц). Полное поле начинается с полярности, которая помещает лучи за верхнюю часть видимой области, при этом вертикальная составляющая поля отклонения находится на максимуме. После нескольких десятков горизонтальных сканирований (но при выключенных лучах) вертикальная составляющая включения, в сочетании с горизонтальным включением, позволяет лучам отобразить первую строку сканирования. После записи последней строки сканирования вертикальная составляющая магнитного поля продолжает увеличиваться на величину, эквивалентную нескольким процентам от общей высоты, прежде чем произойдет вертикальный обратный ход. Вертикальный обратный ход происходит относительно медленно, в течение времени, необходимого для нескольких десятков горизонтальных сканирований. В аналоговых телевизорах с ЭЛТ установка максимальной яркости обычно делала вертикальный обратный ход видимым в виде зигзагообразных линий на изображении. В аналоговом телевидении изначально было слишком дорого создать простое последовательное растровое сканирование описанного типа с достаточно высокой частотой обновления и достаточным горизонтальным разрешением, хотя французская система 819 строк имела лучшее разрешение, чем другие стандарты того времени. Для получения изображения без мерцания аналоговое телевидение использовало вариант схемы, применяемой в кинопроекторах, в которых каждый кадр пленки показывается два или три раза. Для этого затвор закрывается и снова открывается, чтобы увеличить частоту мерцания, но не скорость обновления данных.

In a CRT display, when the electron beams are unblanked, the horizontal deflection component of the magnetic field created by the deflection yoke makes the beams scan "forward" from left to right at a constant rate. The data for consecutive pixels goes (at the pixel clock rate) to the digital to analog converters for each of the three primary colors (for modern flat panel displays, however, the pixel data remains digital). As the scan line is drawn, at the right edge of the display, all beams are blanked, but the magnetic field continues to increase in magnitude for a short while after blanking. To clear up possible confusion: Referring to the magnetic deflection fields, if there were none, all beams would hit the screen near the center. The farther away from the center, the greater the strength of the field needed. Fields of one polarity move the beam up and left, and those of the opposite polarity move it down and right. At some point near the center, the magnetic deflection field is zero. Therefore, a scan begins as the field decreases. Midway, it passes through zero, and smoothly increases again to complete the scan. After one line has been created on the screen and the beams are blanked, the magnetic field reaches its designed maximum. Relative to the time required for a forward scan, it then changes back relatively quickly to what's required to position the beam beyond the left edge of the visible (unblanked) area. This process occurs with all beams blanked, and is called the retrace. At the left edge, the field steadily decreases in magnitude to start another forward scan, and soon after the start, the beams unblank to start a new visible scan line. A similar process occurs for the vertical scan, but at the display refresh rate (typically 50 to 75 Hz). A complete field starts with a polarity that would place the beams beyond the top of the visible area, with the vertical component of the deflection field at maximum. After some tens of horizontal scans (but with the beams blanked), the vertical component of the unblank, combined with the horizontal unblank, permits the beams to show the first scan line. Once the last scan line is written, the vertical component of the magnetic field continues to increase by the equivalent of a few percent of the total height before the vertical retrace takes place. Vertical retrace is comparatively slow, occurring over a span of time required for several tens of horizontal scans. In analog CRT TVs, setting brightness to maximum typically made the vertical retrace visible as zigzag lines on the picture. In analog TV, originally it was too costly to create a simple sequential raster scan of the type just described with a fast enough refresh rate and sufficient horizontal resolution, although the French 819 line system had better definition than other standards of its time. To obtain a flicker free display, analog TV used a variant of the scheme in moving picture film projectors, in which each frame of the film is shown twice or three times. To do that, the shutter closes and opens again to increase the flicker rate, but not the data update rate.

Переплетённое сканирование

Для уменьшения мерцания аналоговые телевизоры с ЭЛТ записывают только нечётные строки сканирования при первом вертикальном проходе; затем следуют чётные строки, размещённые ("переплетённые") между нечётными строками. Это называется разностной развёрткой. (В этом случае, позиционирование чётных строк требует точного контроля; в старых аналоговых телевизорах регулировка "вертикальной синхронизации" позволяла правильно установить расстояние между строками. При незначительной погрешности регулировки строки сканирования отображались парами с промежутками между ними.) Современные телевизоры высокой четкости используют форматы данных, такие как прогрессивная развёртка в компьютерных мониторах (например, "1080p", 1080 строк, прогрессивная), или разностная (например, "1080i").

Радар

Растровые сканы использовались в радарах управления огнем (артиллерийским огнем), хотя обычно представляли собой узкие прямоугольники. Они использовались попарно (для определения азимута и угла места). В каждом дисплее одна ось отображала угловое отклонение от линии визирования, а другая – дальность. Отраженные сигналы усиливали яркость изображения. Радары поиска и наблюдения за погодой имеют круговое отображение (индикатор планового положения, PPI), которое покрывает круглый экран, но технически это не растр. Аналоговые PPI имеют развертки, движущиеся от центра к периферии, а угол развертки соответствует вращению антенны, где верх соответствует направлению на север или нос корабля.

Телевидение

Растровое сканирование в телевидении было предложено в 1880 году французским инженером Морисом Лебланком. Концепция растрового сканирования была заложена в оригинальный механический патент на сканирование с помощью диска, полученный Полом Нипкоу в 1884 году. Термин «растр» использовался для обозначения полутонового печатного экрана уже в 1894 году. Аналогичная терминология использовалась в немецком языке как минимум с 1897 года; Эдер пишет о «die Herstellung von Rasternegativen für Zwecke der Autotypie» (производстве растровых негативов для полутонов). Макс Дикман и Густав Глэдж первыми создали фактические растровые изображения на катодной лучевой трубке (ЭЛТ); они запатентовали свои методы в Германии в 1906 году. Не установлено, использовали ли они слово «растр» в своем патенте или других публикациях. Одним из ранних примеров использования термина «растр» по отношению к сканированию изображений с помощью вращающегося барабана является книга Артура Корна 1907 года, в которой говорится (на немецком языке): «als Rasterbild auf Metall in solcher Weise aufgetragen, dass die hellen Töne metallisch rein sind, oder umgekehrt» (как растровое изображение, нанесенное на металл таким образом, что светлые тона являются металлически чистыми, и наоборот). Корн применял терминологию и методы полутонной печати, где «Rasterbild» обозначало полутоновую печатную форму с растром. Немецкие авторы Эйхгорн в 1926 году использовали термин «Растер» в контексте сканирования: «die Tönung der Bildelemente bei diesen Rasterbildern» и «Die Bildpunkte des Rasterbildes» («оттенки элементов изображения в этих растровых изображениях» и «точки изображения растрового изображения»), а также Шрётер в 1932 году: «Rasterelementen», «Rasterzahl» и «Zellenraster» («растровые элементы», «количество растра» и «клеточный растр»). Первым, кто использовал термин «растр» конкретно для обозначения схемы телевизионного сканирования, часто считают барона Манфреда фон Арденне, который писал в 1933 году: «In einem Vortrag im Januar 1930 konnte durch Vorführungen nachgewiesen werden, daß die Braunsche Röhre hinsichtlich Punktschärfe und Punkthelligkeit zur Herstellung eines präzisen, lichtstarken Rasters laboratoriumsmäßig durchgebildet war» (В докладе в январе 1930 года демонстрации показали, что электронно-лучевая трубка была лабораторно воспроизведена с точки зрения четкости и яркости точек для создания точного, яркого растра). Термин «растр» был принят в англоязычной телевизионной литературе, по крайней мере, к 1936 году, что отражено в названии статьи в журнале Electrician. Математическая теория сканирования изображений была подробно разработана с использованием методов преобразования Фурье в классической работе Мерца и Грея из Bell Labs в 1934 году.

The use of raster scanning in television was proposed in 1880 by French engineer Maurice Leblanc. The concept of raster scanning was inherent in the original mechanical disc scanning television patent of Paul Nipkow in 1884. The term raster was used for a halftone printing screen pattern as early as 1894. Similar terminology was used in German at least from 1897; Eder writes of "die Herstellung von Rasternegativen für Zwecke der Autotypie" (the production of raster negatives for halftones). Max Dieckmann and Gustav Glage were the first to produce actual raster images on a cathode ray tube (CRT); they patented their techniques in Germany in 1906. It has not been determined whether they used the word raster in their patent or other writings. An early use of the term raster with respect to image scanning via a rotating drum is Arthur Korn's 1907 book which says (in German): " als Rasterbild auf Metall in solcher Weise aufgetragen, dass die hellen Töne metallisch rein sind, oder umgekehrt" ( as a raster image laid out on metal in such way that the bright tones are metallically pure, and vice versa). Korn was applying the terminology and techniques of halftone printing, where a "Rasterbild" was a halftone screened printing plate. There were more scanning relevant uses of Raster by German authors Eichhorn in 1926: "die Tönung der Bildelemente bei diesen Rasterbildern" and "Die Bildpunkte des Rasterbildes" ("the tone of the picture elements of this raster image" and "the picture points of the raster image"); and Schröter in 1932: "Rasterelementen," "Rasterzahl," and "Zellenraster" ("raster elements," "raster count," and "cell raster"). The first use of raster specifically for a television scanning pattern is often credited to Baron Manfred von Ardenne who wrote in 1933: "In einem Vortrag im Januar 1930 konnte durch Vorführungen nachgewiesen werden, daß die Braunsche Röhre hinsichtlich Punktschärfe und Punkthelligkeit zur Herstellung eines präzisen, lichtstarken Rasters laboratoriumsmäßig durchgebildet war" (In a lecture in January 1930 it was proven by demonstrations that the Braun tube was prototyped in the laboratory with point sharpness and point brightness for the production of a precise, bright raster). Raster was adopted into English television literature at least by 1936, in the title of an article in Electrician. The mathematical theory of image scanning was developed in detail using Fourier transform techniques in a classic paper by Mertz and Gray of Bell Labs in 1934.