Кодировка символов: от телеграфа к Юникоду

Введение

Использование чисел для представления текстовых символов

Кодировка символов — это процесс присвоения чисел графическим символам, в особенности письменным символам человеческого языка, что позволяет хранить, передавать и преобразовывать их с помощью цифровых компьютеров. Числовые значения, составляющие кодировку символов, известны как "кодовые точки" и в совокупности образуют "кодовое пространство", "страницу кодов" или "карту символов". Ранние коды символов, связанные с оптическим или электрическим телеграфом, могли представлять лишь подмножество символов, используемых в письменных языках, иногда ограничиваясь только прописными буквами, цифрами и некоторыми знаками препинания. Низкая стоимость цифрового представления данных в современных компьютерных системах позволяет использовать более сложные кодировки символов (например, Unicode), представляющие большинство символов, используемых во многих письменных языках. Кодировка символов, использующая международно признанные стандарты, обеспечивает глобальный обмен текстом в электронном виде.

История

История кодов символов иллюстрирует растущую потребность в символической информации, основанной на символах, передаваемой посредством машин на расстоянии, с использованием некогда новых электрических средств. Самые ранние коды основывались на ручном и рукописном кодировании и шифровании, таких как шифр Бэкона, шрифт Брайля, международные морские сигнальные флаги и 4-значное кодирование китайских символов для китайского телеграфного кода (Hans Schjellerup, 1869). С принятием электрических и электромеханических методов эти самые ранние коды были адаптированы к новым возможностям и ограничениям ранних машин. Самый ранний известный электрически передаваемый код символов, код Морзе, введенный в 1840-х годах, использовал систему из четырех "символов" (короткий сигнал, длинный сигнал, короткая пауза, длинная пауза) для генерации кодов переменной длины. Хотя некоторые коммерческие применения кода Морзе осуществлялись с помощью машин, он часто использовался как ручной код, генерируемый вручную на телеграфном ключе и расшифровываемый на слух, и сохраняется в любительском радио и авиационном использовании. Большинство кодов имеют фиксированную длину на символ или последовательности кодов переменной длины (например, Unicode). Распространенными примерами систем кодирования символов являются код Морзе, код Бодо, Американский стандартный код для обмена информацией (ASCII) и Unicode. Юникод, хорошо определенная и расширяемая система кодирования, заменила большинство предыдущих кодировок символов, но путь развития кодов до настоящего времени достаточно хорошо известен. Код Бодо, пятибитное кодирование, был создан Эмилем Бодо в 1870 году, запатентован в 1874 году, модифицирован Дональдом Мюрреем в 1901 году и стандартизирован CCITT как Международный телеграфный алфавит № 2 (ITA2) в 1930 году. Название "Бодо" ошибочно применялось к ITA2 и его многочисленным вариантам. ITA2 имел много недостатков и часто улучшался многими производителями оборудования, иногда создавая проблемы совместимости. В 1959 году военные США определили свой код Fieldata, шести- или семибитный код, введенный Сигнальным корпусом армии США. Хотя Fieldata решала многие современные проблемы (например, буквенные и цифровые коды, упорядоченные для машинной сортировки), она не достигла своих целей и была недолговечной. В 1963 году был выпущен первый код ASCII (X3.4 1963) комитетом ASCII (в котором был по крайней мере один член комитета Fieldata, В. Ф. Лёбберт), который устранил большинство недостатков Fieldata, используя более простой код. Многие из изменений были незначительными, например, сопоставимые наборы символов в определенных числовых диапазонах. ASCII63 был успешным, широко принятым в промышленности, и с последующим выпуском кода ASCII 1967 года (который добавил строчные буквы и исправил некоторые проблемы с "управляющими кодами") ASCII67 был принят довольно широко. Американская направленность ASCII67 была в некоторой степени учтена в европейском стандарте ECMA 6. Герман Холлерит изобрел кодирование данных на перфокартах в конце 19-го века для анализа данных переписи. Первоначально каждое положение отверстия представляло собой отдельный элемент данных, но позже числовая информация кодировалась путем нумерации нижних строк от 0 до 9, при этом пробитие в столбце представляло его номер строки. Позже алфавитные данные кодировались, позволяя более одного пробития в столбце. Электромеханические табулирующие машины представляли дату внутренне по времени импульсов относительно движения карт через машину. Когда IBM перешла к электронной обработке, начиная с IBM 603 Electronic Multiplier, она использовала различные двоичные схемы кодирования, которые были связаны с кодом перфокарты. Binary Coded Decimal (BCD) от IBM — это шестибитная схема кодирования, используемая IBM еще в 1953 году в своих компьютерах 702 и 704, а также в более поздних сериях 7000 и 1400, а также в связанных с ними периферийных устройствах. Поскольку в то время использовался кодировщик для перфокарты, который допускал только цифры, прописные английские буквы и несколько специальных символов, шести бит было достаточно. BCD расширила существующее простое четырехбитное числовое кодирование, включив в него алфавитные и специальные символы, легко сопоставляя его с кодированием перфокарты, которое уже было широко распространено. Коды IBM использовались в основном с оборудованием IBM; другие поставщики компьютеров той эпохи имели свои собственные символьные коды, часто шестибитные, но обычно имели возможность читать ленты, произведенные на оборудовании IBM. BCD была предшественницей Extended Binary Coded Decimal Interchange Code (обычно сокращенно EBCDIC) от IBM, восьмибитной схемы кодирования, разработанной в 1963 году для IBM System/360, которая отличалась более широким набором символов, включая строчные буквы. В попытке разработать универсально взаимозаменяемые кодировки символов исследователи в 1980-х годах столкнулись с дилеммой: с одной стороны, казалось необходимым добавлять больше бит для размещения дополнительных символов, а с другой стороны, для пользователей относительно небольшого набора символов латинского алфавита (которые все еще составляли большинство пользователей компьютеров) эти дополнительные биты были колоссальной тратой тогдашних дефицитных и дорогих вычислительных ресурсов (поскольку они всегда обнулялись для таких пользователей). В 1985 году жесткий диск среднего персонального компьютера мог хранить всего около 10 мегабайт и стоил примерно 250 долларов США на оптовом рынке (и гораздо дороже при покупке отдельно в розницу), поэтому в то время было очень важно использовать каждый бит с пользой. Компромиссным решением, которое в конечном итоге было найдено, было отказ от предположения (уходящего корнями в телеграфные коды), что каждый символ всегда должен напрямую соответствовать определенной последовательности битов. Вместо этого символы сначала отображались бы в универсальное промежуточное представление в виде абстрактных чисел, называемых кодовыми точками. Кодовые точки затем представлялись бы различными способами и с различным количеством битов на символ (кодовых единиц) по умолчанию в зависимости от контекста. Для кодирования кодовых точек, превышающих длину кодовой единицы, например, выше 256 для восьмибитных единиц, решением было внедрение кодировок переменной длины, где управляющая последовательность сигнализировала бы о том, что последующие биты следует анализировать как кодовую точку более высокого порядка.

The history of character codes illustrates the evolving need for machine mediated character based symbolic information over a distance, using once novel electrical means. The earliest codes were based upon manual and hand written encoding and cyphering systems, such as Bacon's cipher, Braille, international maritime signal flags, and the 4 digit encoding of Chinese characters for a Chinese telegraph code (Hans Schjellerup, 1869). With the adoption of electrical and electro mechanical techniques these earliest codes were adapted to the new capabilities and limitations of the early machines. The earliest well known electrically transmitted character code, Morse code, introduced in the 1840s, used a system of four "symbols" (short signal, long signal, short space, long space) to generate codes of variable length. Though some commercial use of Morse code was via machinery, it was often used as a manual code, generated by hand on a telegraph key and decipherable by ear, and persists in amateur radio and aeronautical use. Most codes are of fixed per character length or variable length sequences of fixed length codes (e. g. Unicode). Common examples of character encoding systems include Morse code, the Baudot code, the American Standard Code for Information Interchange (ASCII) and Unicode. Unicode, a well defined and extensible encoding system, has supplanted most earlier character encodings, but the path of code development to the present is fairly well known. The Baudot code, a five bit encoding, was created by Émile Baudot in 1870, patented in 1874, modified by Donald Murray in 1901, and standardized by CCITT as International Telegraph Alphabet No. 2 (ITA2) in 1930. The name baudot has been erroneously applied to ITA2 and its many variants. ITA2 suffered from many shortcomings and was often improved by many equipment manufacturers, sometimes creating compatibility issues. In 1959 the U. S. military defined its Fieldata code, a six or seven bit code, introduced by the U. S. Army Signal Corps. While Fieldata addressed many of the then modern issues (e. g. letter and digit codes arranged for machine collation), it fell short of its goals and was short lived. In 1963 the first ASCII code was released (X3.4 1963) by the ASCII committee (which contained at least one member of the Fieldata committee, W. F. Leubbert), which addressed most of the shortcomings of Fieldata, using a simpler code. Many of the changes were subtle, such as collatable character sets within certain numeric ranges. ASCII63 was a success, widely adopted by industry, and with the follow up issue of the 1967 ASCII code (which added lower case letters and fixed some "control code" issues) ASCII67 was adopted fairly widely. ASCII67's American centric nature was somewhat addressed in the European ECMA 6 standard. Herman Hollerith invented punch card data encoding in the late 19th century to analyze census data. Initially, each hole position represented a different data element, but later, numeric information was encoded by numbering the lower rows 0 to 9, with a punch in a column representing its row number. Later alphabetic data was encoded by allowing more than one punch per column. Electromechanical tabulating machines represented date internally by the timing of pulses relative to the motion of the cards through the machine. When IBM went to electronic processing, starting with the IBM 603 Electronic Multiplier, it used a variety of binary encoding schemes that were tied to the punch card code. IBM's Binary Coded Decimal (BCD) was a six bit encoding scheme used by IBM as early as 1953 in its 702 and 704 computers, and in its later 7000 Series and 1400 series, as well as in associated peripherals. Since the punched card code then in use only allowed digits, upper case English letters and a few special characters, six bits were sufficient. BCD extended existing simple four bit numeric encoding to include alphabetic and special characters, mapping it easily to punch card encoding which was already in widespread use. IBMs codes were used primarily with IBM equipment; other computer vendors of the era had their own character codes, often six bit, but usually had the ability to read tapes produced on IBM equipment. BCD was the precursor of IBM's Extended Binary Coded Decimal Interchange Code (usually abbreviated as EBCDIC), an eight bit encoding scheme developed in 1963 for the IBM System/360 that featured a larger character set, including lower case letters. In trying to develop universally interchangeable character encodings, researchers in the 1980s faced the dilemma that, on the one hand, it seemed necessary to add more bits to accommodate additional characters, but on the other hand, for the users of the relatively small character set of the Latin alphabet (who still constituted the majority of computer users), those additional bits were a colossal waste of then scarce and expensive computing resources (as they would always be zeroed out for such users). In 1985, the average personal computer user's hard disk drive could store only about 10 megabytes, and it cost approximately US$250 on the wholesale market (and much higher if purchased separately at retail), so it was very important at the time to make every bit count. The compromise solution that was eventually found and was to break the assumption (dating back to telegraph codes) that each character should always directly correspond to a particular sequence of bits. Instead, characters would first be mapped to a universal intermediate representation in the form of abstract numbers called code points. Code points would then be represented in a variety of ways and with various default numbers of bits per character (code units) depending on context. To encode code points higher than the length of the code unit, such as above 256 for eight bit units, the solution was to implement variable length encodings where an escape sequence would signal that subsequent bits should be parsed as a higher code point.

Терминология

Неформально термины "кодировка символов", "карта символов", "набор символов" и "страница кодов" часто используются как взаимозаменяемые. Исторически один и тот же стандарт определял репертуар символов и способ их кодирования в поток кодовых единиц — обычно по одному символу на кодовую единицу. Однако, с появлением более сложных кодировок символов, различие между этими терминами стало существенным. Символ — это минимальная единица текста, имеющая семантическое значение. Набор символов — это совокупность элементов, используемых для представления текста. Репертуар может быть закрытым, то есть не допускающим добавлений без создания нового стандарта (как в случае с ASCII и большинством серий ISO 8859), или открытым, допускающим добавления (как в случае с Unicode и, в ограниченной степени, страницами кодов Windows). Другие поставщики, включая Microsoft, SAP и Oracle Corporation, также публиковали собственные наборы страниц кодов; наиболее известными являются наборы "Windows" (на основе Windows 1252) и "IBM"/"DOS" (на основе страницы кодов 437). Несмотря на то, что стандарты больше не ссылаются на конкретные номера страниц, многие кодировки символов по-прежнему называют по номеру страницы кодов; равно как и термин "страница кодов" часто используется для обозначения кодировок символов в целом. Термин "страница кодов" не используется в Unix или Linux, где предпочтительнее "charmap", обычно в контексте локалей. Архитектура представления символьных данных (CDRA) IBM обозначает сущности кодированными идентификаторами наборов символов (CCSID), каждый из которых может называться "charset", "набор символов", "страница кодов" или "CHARMAP".

Персонажи

То, что именно составляет символ, варьируется в зависимости от кодировки символов. Например, для букв с диакритическими знаками существует два различных подхода к их кодированию: их можно кодировать либо как единый унифицированный символ (известный как предварительно скомпонованный символ), либо как отдельные символы, которые объединяются в один глиф. Первый подход упрощает систему обработки текста, а второй позволяет использовать любую комбинацию буквы и диакритического знака в тексте. Лигатуры создают схожие проблемы. Точный способ обработки вариантов глифов – это выбор, который необходимо сделать при создании конкретной кодировки символов. Некоторые системы письма, такие как арабская и еврейская, должны учитывать такие особенности, как графемы, которые соединяются по-разному в зависимости от контекста, но при этом представляют один и тот же семантический символ.