Управляющие символы Unicode C0 и C1

Введение

Контрольные символы в Unicode, в диапазоне от U+0000 до U+001F (C0) и от U+0080 до U+009F (C1).

Наборы контрольных кодов или контрольных символов C0 и C1 определяют управляющие коды для использования в тексте компьютерными системами, работающими с ASCII и его производными. Эти коды представляют дополнительную информацию о тексте, такую как позиция курсора, команда начала новой строки или сообщение об успешном получении текста. Коды C0 охватывают диапазон 00HEX–1FHEX, а стандартный набор C0 был первоначально определен в ISO 646 (ASCII). Коды C1 охватывают диапазон 80HEX–9FHEX, а стандартный набор C1 был первоначально определен в ECMA 48 (впоследствии гармонизирован с ISO 6429). Система ISO/IEC 2022 позволяет использовать другие наборы C0 и C1 для специализированных приложений, однако они встречаются редко.

Контроль за С0

ASCII определил 32 управляющих символа, плюс необходимый дополнительный символ для DEL, 7FHEX или 01111111BIN (необходимый для пробивания всех отверстий на бумажной ленте и ее стирания). Это большое количество кодов было желательно в то время, поскольку многобайтовые управляющие символы потребовали бы реализации конечного автомата в терминале, что было очень сложно с современной электроникой и механическими терминалами. Только несколько кодов сохранили свое использование: BEL, ESC и символы "эффектор формата" (FEn) BS, TAB, LF, VT, FF и CR. Другие не используются или приобрели другие значения, например, NUL является терминатором строки C. Некоторые протоколы передачи данных, такие как ANPA 1312, Kermit и XMODEM, широко используют SOH, STX, ETX, EOT, ACK, NAK и SYN для целей, близких к их первоначальным определениям; а некоторые форматы файлов используют "разделители информации" (ISn), такие как формат информации Unix и строковый метод Python. Названия некоторых кодов были изменены в ISO 6429:1992 (или ECMA 48:1991), чтобы быть нейтральными по отношению к направлению письма. Используемые сокращения не были изменены, поскольку стандарт уже предусматривал, что они останутся неизменными при переводе стандарта на другие языки. В этой таблице показаны как новые, так и старые названия для переименованных управляющих символов (старое название соответствует сокращению). + Коды управления ASCII, первоначально определенные в ANSI X3.4. Сокращения Название Описание000NUL␀Null Ничего не делает. Код пустой бумажной ленты, также используется для заполнения для замедления передачи.101TC1, SOH␁Начало заголовка Первый символ заголовка сообщения.202TC2, STX␂Начало текста Завершает заголовок и начинает текст сообщения.303TC3, ETX␃Конец текста Завершает текст сообщения, начинает нижний колонтитул (до следующего символа TC). Может переводить терминалы в режим ожидания, например, в Perl. Соответствующий код символа управления называется "СИМВОЛ ЗВОНКА". Впоследствии Perl перешел на использование BELL для эмодзи в версии 5.18.␇Bell, AlertВызов для привлечения внимания оператора.808FE0, BS␈BackspaceПеремещение на одну позицию влево. Следующий символ может перезаписать или заменить существующий символ.909FE1, HT␉Горизонтальная табуляцияПеремещение вправо до следующей позиции табуляции.100AFE2, LF␊Перевод строкиПеремещение вниз на ту же позицию на следующей строке (некоторые устройства также перемещаются в левый столбец).110BFE3, VT␋Вертикальная табуляцияПеремещение вниз на следующую позицию вертикальной табуляции.120CFE4, FF␌Форма коррекцииПеремещение вниз в начало следующей страницы.130DFE5, CR␍Возврат кареткиПеремещение в столбец ноль, оставаясь на той же строке.140ESO, LS0␎Сдвиг наружуПереключение на альтернативный набор символов.150SIF, LS1␏Сдвиг внутрьВозврат к обычному набору символов после SO.1610␐Data Link EscapeПринудительная интерпретация последующих символов иным способом.1711DC1, XON␑Управление устройством 1Включение (DC1 и DC2) или выключение (DC3 и DC4) устройств. Телетайп использовал их для считывателя и перфоратора бумажной ленты. Первое использование стало де-факто стандартом для программного управления потоком.1812DC2, TAPEDevice Control Two1913DC3, XOFFDevice Control Three2014DC4, TAPEDevice Control Four2115TC8, NAK␕Отрицательное подтверждениеОтрицательный ответ отправителю, например, при обнаружении ошибки.2216TC9, SYN␖Синхронный простойОтправляется в синхронных системах передачи, когда другие символы не передаются.2317TC10, ETB␗Конец блока передачиКонец блока данных при разделении данных на блоки для передачи.2418CAN␘ОтменаУказывает, что данные, предшествующие ему, содержат ошибку или должны быть проигнорированы.2519EM␙Конец средыУказывает на бумажных или магнитных лентах, что достигнут конец используемой части ленты. Попытка определить метод преобразования 8-битного "расширенного ASCII" кода в соответствующий 7-битный код и наоборот (т.е. все, кроме управляющих кодов C0), чтобы 8-битная среда печатала тот же символ с установленным старшим битом. Это означало, что диапазон не может быть напечатан в 7-битной среде, поэтому было решено, что никакой альтернативный набор символов не может их использовать, и эти коды должны быть дополнительными управляющими кодами, ставшими известными как управляющие коды C1. Чтобы 7-битная среда могла использовать эти новые управляющие символы, последовательности ESC @ через ESC должны были считаться эквивалентными. и JIS X 0211 (ранее JIS C 6323). Символические имена, определенные в ISO 10646 и ранних проектах, но не в ISO/IEC 6429 (, и) также используются. @12880PADПредлагается в качестве "заполнителя" или "старшего байта" для однобайтовых символов, чтобы сделать их двухбайтовыми для облегчения взаимодействия с многобайтовыми символами. Extended Unix Code (EUC) иногда использует это. A12981HOPСледует за графическим символом, где разрешен перенос строки. Примерно эквивалентно мягкому переносу или нулевому пробелу, за исключением того, что он не определяет, что печатается при переносе строки. C13183NBHЗапрет переносаСледует за графическим символом, который не следует разбивать. См. также соединитель слов. D13284INDИндексПеремещение вниз на одну строку без горизонтального перемещения, чтобы устранить неоднозначность в значении LF. E13385NELСледующая строкаЭквивалентно CR+LF, чтобы соответствовать управляющему символу EBCDIC. F13486SSAНачало выбранной областиИспользуется в терминалах, ориентированных на блоки. В xterm перемещает в нижний левый угол экрана, поскольку определенное программное обеспечение предполагает такое поведение. G13587ESAКонец выбранной областиH13688HTSУстановка табуляции символов, Установка горизонтальной табуляцииУстановка позиции табуляции в текущей позиции. I13789HTJВыравнивание текста по правому краю относительно следующей позиции табуляции. J1388AVTSУстановка табуляции строк, Установка вертикальной табуляцииУстановка позиции вертикальной табуляции. K1398BPLDЧастичная линия вперед, Частичная линия внизДля создания подстрочных и надстрочных символов в ISO/IEC 6429. Подстрочные используют текст PLD PLU, а надстрочные - текст PLU PLD. L1408CPLUЧастичная линия назад, Частичная линия вверхM1418DRIОбратный перевод строки, Обратный индексПеремещение вверх на одну строку. N1428ESS2Следующий символ из наборов G2 или G3 соответственно. O1438FSS3P14490DCSУправление строкой устройстваПоследовательность печатных символов (0x20–0x7E) и эффекторов формата (0x08–0x0D), завершающаяся ST (0x9C). Xterm определил ряд таких символов. Q14591PU1Приватное использование 1Зарезервировано для частной функции, согласованной между отправителем и получателем данных. R14692PU2Приватное использование 2S14793STSУстановка состояния передачиT14894CCHСимвол отменыДеструктивное удаление назад, чтобы устранить неоднозначность в значении U14995MWОжидание сообщенияV15096SPAНачало защищенной областиИспользуется в терминалах, ориентированных на блоки. W15197EPAКонец защищенной областиX15298SOSНачало строкиПоследовательность управляющих символов, завершающаяся (0x9C), которая (в отличие от , , или ) может содержать любой символ, кроме SOS или ST. Y15399SGC, SGCISingle Graphic Character IntroducerПредназначен для печати произвольного символа Unicode; за ним следует этот символ, скорее всего, закодированный в UTF-1. Kermit использовал APC для передачи команд.^1589EPMPrivacy Message 1599FAPCApplication Program Command

ASCII defined 32 control characters, plus a necessary extra character for the DEL character, 7FHEX or 01111111BIN (needed to punch out all the holes on a paper tape and erase it). This large number of codes was desirable at the time, as multi byte controls would require implementation of a state machine in the terminal, which was very difficult with contemporary electronics and mechanical terminals. Only a few codes have maintained their use: BEL, ESC, and the "Format Effector" (FEn) characters BS, TAB, LF, VT, FF, and CR. Others are unused or have acquired different meanings such as NUL being the C string terminator. Some data transfer protocols such as ANPA 1312, Kermit, and XMODEM do make extensive use of SOH, STX, ETX, EOT, ACK, NAK and SYN for purposes approximating their original definitions; and some file formats use the "Information Separators" (ISn) such as the Unix info format and Python's string method. The names of some codes were changed in ISO 6429:1992 (or ECMA 48:1991) to be neutral with respect to writing direction. The abbreviations used were not changed, as the standard had already specified that those would remain unchanged when the standard is translated to other languages. In this table both new and old names are shown for the renamed controls (the old name is the one matching the abbreviation). + ASCII control codes, originally defined in ANSI X3.4. Abbreviations Name Description000NUL␀Null Does nothing. The code of blank paper tape, and also used for padding to slow transmission.101TC1, SOH␁Start of Heading First character of the heading of a message.202TC2, STX␂Start of Text Terminates the header and starts the message text.303TC3, ETX␃End of Text Ends the message text, starts a footer (up to the next TC character). May place terminals on standby. e. g. in Perl. and the corresponding control picture code point is called SYMBOL FOR BELL. Perl subsequently switched to using BELL for the emoji in version 5.18.␇Bell, AlertCall for attention from an operator.808FE0, BS␈BackspaceMove one position leftwards. Next character may overprint or replace the character that was there.909FE1, HT␉Character Tabulation,Horizontal TabulationMove right to the next tab stop.100AFE2, LF␊Line FeedMove down to the same position on the next line (some devices also moved to the left column).110BFE3, VT␋Line Tabulation,Vertical TabulationMove down to the next vertical tab stop.120CFE4, FF␌Form FeedMove down to the top of the next page.130DFE5, CR␍Carriage ReturnMove to column zero while staying on the same line.140ESO, LS0␎Shift OutSwitch to an alternative character set.150FSI, LS1␏Shift InReturn to regular character set after SO.1610␐Data Link Escape Cause a limited number of contiguously following characters to be interpreted in some different way.1711DC1, XON␑Device Control OneTurn on (DC1 and DC2) or off (DC3 and DC4) devices. Teletype used these for the paper tape reader and the paper tape punch. The first use became the de facto standard for software flow control.1812DC2, TAPE␒Device Control Two1913DC3, XOFF␓Device Control Three2014DC4, TAPE␔Device Control Four2115TC8, NAK␕Negative Acknowledge Negative response to a sender, such as a detected error.2216TC9, SYN␖Synchronous Idle Sent in synchronous transmission systems when no other character is being transmitted.2317TC10, ETB␗[[End of Transmission Block character End of a transmission block of data when data are divided into such blocks for transmission purposes.2418CAN␘Cancel Indicates that the data preceding it are in error or are to be disregarded.2519EM ␙End of medium Indicates on paper or magnetic tapes that the end of the usable portion of the tape had been reached. attempted to define a method so an 8 bit "extended ASCII" code could be converted to a corresponding 7 bit code, and vice versa. (i. e. all but the C0 control codes), to be the characters that an 8 bit environment would print if it used the same code with the high bit set. This meant that the range through could not be printed in a 7 bit environment, thus it was decided that no alternative character set could use them, and that these codes should be additional control codes, which become known as the C1 control codes. To allow a 7 bit environment to use these new controls, the sequences ESC @ through ESC were to be considered equivalent. and JIS X 0211 (formerly JIS C 6323). Symbolic names defined by and early drafts of ISO 10646, but not in ISO/IEC 6429 (, and ) are also used. @12880PAD Proposed as a "padding" or "high byte" for single byte characters to make them two bytes long for easier interoperability with multiple byte characters. Extended Unix Code (EUC) occasionally uses this. A12981HOPFollows a graphic character where a line break is permitted. Roughly equivalent to a soft hyphen or zero width space except it does not define what is printed at the line break. C13183NBHNo Break HereFollows the graphic character that is not to be broken. See also word joiner. D13284INDIndexMove down one line without moving horizontally, to eliminate ambiguity about the meaning of LF. E13385NELNext LineEquivalent to CR+LF, to match the EBCDIC control character. F13486SSAStart of Selected AreaUsed by block oriented terminals. In xterm moves to the lower left corner of the screen, since certain software assumes this behaviour. G13587ESAEnd of Selected AreaH13688HTSCharacter Tabulation Set, Horizontal Tabulation SetSet a tab stop at the current position. I13789HTJRight justify the text since the last tab against the next tab stop. J1388AVTSLine Tabulation Set, Vertical Tabulation SetSet a vertical tab stop. K1398BPLDPartial Line Forward, Partial Line Down To produce subscripts and superscripts in ISO/IEC 6429. Subscripts use PLD text PLU while superscripts use PLU text PLD. L1408CPLUPartial Line Backward, Partial Line UpM1418DRIReverse Line Feed, Reverse IndexMove up one line. N1428ESS2Next character is from the G2 or G3 sets, respectively. O1438FSS3P14490DCSDevice Control StringFollowed by a string of printable characters (0x20 through 0x7E) and format effectors (0x08 through 0x0D), terminated by ST (0x9C). Xterm defined a number of these. Q14591PU1Private Use 1Reserved for private function agreed on between the sender and the recipient of the data. R14692PU2Private Use 2S14793STSSet Transmit StateT14894CCHCancel characterDestructive backspace, to eliminate ambiguity about meaning of U14995MWMessage WaitingV15096SPAStart of Protected AreaUsed by block oriented terminals. W15197EPAEnd of Protected AreaX15298SOSStart of StringFollowed by a control string terminated by (0x9C) which (unlike , , or ) may contain any character except SOS or ST. Y15399SGC, SGCISingle Graphic Character IntroducerIntended to allow an arbitrary Unicode character to be printed; it would be followed by that character, most likely encoded in UTF 1. Kermit used APC to transmit commands.^1589EPMPrivacy Message 1599FAPCApplication Program Command

Другие наборы контрольных кодов

Механизм расширения ISO/IEC 2022 (ECMA 35) позволял использовать управляющие последовательности для изменения наборов C0 и C1. Стандартный набор контрольных символов C0, представленный выше, выбирается с помощью определенной последовательности, а указанный набор C1 – с помощью последовательности "фиксированных" кодированных символов SP и DEL, которые доступны по своим кодам ASCII во всех кодировках, соответствующих стандарту. Также в стандарте указано, что если набор C0 включает коды управления передачей (TCn), они должны быть закодированы по своим кодам ASCII и не могут быть помещены в набор C1, а любые новые коды управления передачей должны быть включены в набор C1. Другие стандарты заменили EM и GS на SS2 и SS3, чтобы эти функции можно было использовать в 7-битной среде. Некоторые наборы заменили FS на SS2 (аналогично ANPA 1312). JIS C 6225, впоследствии обозначенный как JIS X 0207, был отозван и заменен, где FS был заменен на CEX или "Расширение управления", которое вводит управляющие последовательности для вертикального отображения текста, верхних и нижних индексов, а также для передачи пользовательской графики символов. Различные специализированные наборы контрольных кодов C1 зарегистрированы для использования в форматах Videotex. Хотя символ "Новая строка" (NL) соответствует ISO/IEC 6429 (хотя часто заменяется на LF в соответствии с соглашением о завершении строк UNIX),