Расширенная кодировка символов для кантонского диалекта

Введение

Расширенная кодировка символов для стандартного кантонского диалекта

Гонконгский комплект дополнительных символов (香港增補字符集; обычно сокращается до HKSCS) — это набор китайских иероглифов, насчитывающий 4702 в первом выпуске, используемый в кантонском диалекте, а также при написании названий некоторых мест в Гонконге (как в письменном кантонском, так и в стандартных китайских предложениях). Он произошел от предыдущего правительственного набора китайских иероглифов (政府通用字庫) или GCCS. GCCS — это набор дополнительных китайских иероглифов, закодированных в пользовательских областях кодировки Big5. Изначально он использовался в правительстве Гонконга, а затем стал доступен для широкой публики. Впоследствии он эволюционировал в Гонконгский комплект дополнительных символов, когда иероглифы из этого набора были представлены в ISO 10646 для кодирования.

Операционные системы

В Microsoft Windows 98, NT 4.0, 2000, XP поддержка HKSCS может быть включена с помощью патча Microsoft. В реализации Microsoft приложение, использующее страницу кода 950, автоматически использует скрытую таблицу страницы кода 951 для кодирования Big5 расширений HKSCS. В таблице поддерживаются все кодовые точки в HKSCS 2001, за исключением кодовых точек совместимости, указанных в стандарте. Кроме того, шрифт MingLiU изменяется с помощью патча Microsoft. Известно, что этот патч создает конфликты в таких приложениях, как Microsoft Office, или в любом приложении, использующем шрифты, поддерживающие упрощенные китайские символы (например, SimSun). Если целевая среда содержит пользовательский шрифт, сопоставленный с кодовыми точками, затронутыми патчем Microsoft, пользовательские шрифты могут отменить действие патча Microsoft. Кроме того, патч нарушает работу редактора EUDC, поставляемого с затронутыми версиями Windows. Начиная с Windows Vista, символы HKSCS 2004 поддерживаются только в Unicode 4.1 или более поздних версиях. Все символы присваиваются стандартными, не-PUA кодовыми точками. Символы отображаются с помощью шрифта MingLiU, и их можно вводить с клавиатуры. Патч, обеспечивающий кодирование HKSCS в Big5, не поддерживается в Windows Vista и более поздних версиях. Утилита, предоставляемая Microsoft, доступна для преобразования символов HKSCS и Unicode PUA в версию Unicode 4.1. В 2010 году Microsoft опубликовала патч HKSCS 2004 для Windows XP и Windows Server 2003. Он заменяет версии MingLiu, PMingLiu и MingLiu HKSCS для Windows XP (если был применен патч HKSCS 2001) на версии MingLiu, PMingLiu и MingLiu HKSCS для Windows 7. Кроме того, в целевую систему будут добавлены шрифты MingLiU ExtB, MingLiU HKSCS ExtB и PMingLiU ExtB. Однако IME не обновляется, как это было в случае с патчем HKSCS 2001, а шрифты взяты из предварительного релиза Windows 7. Для более ранних версий ОС поддержка HKSCS требует использования патча Microsoft или утилит Digital 21 правительства Гонконга. IBM присваивает CCSID 5471 кодовой странице HKSCS 2001 Big5 (с CPGID 1374 как CCSID 5470 в качестве компонента двойного байта), CCSID 9567 кодовой странице HKSCS 2004 (с CPGID 1374 как CCSID 9566 в качестве компонента двойного байта) и CCSID 13663 кодовой странице HKSCS 2008 (с CPGID 1374 как CCSID 13662 в качестве компонента двойного байта), в то время как CCSID 1375 (с CPGID 1374 как CCSID 1374 в качестве компонента двойного байта) присваивается развивающейся кодовой странице HKSCS, в настоящее время эквивалентной CCSID 13663. Поддержка HKSCS была добавлена в glibc в 2000 году, но с тех пор не обновлялась. Поддержка HKSCS 2004 обрабатывается как Unicode 4.1 и более поздние версии. Для окружения freedesktop.org шрифт AR PL ShanHeiSun Uni полностью поддерживает HKSCS 2004 начиная с версии 0.1.0.1, а последняя версия HKSCS 2004 поддерживается в версии 0.1.20060903. Современные настольные дистрибутивы (например, Ubuntu) включают шрифты UKai и UMing, соответствующие стандарту HKSCS от Arphic Technology, при выборе поддержки традиционного китайского языка во время установки. Их также можно установить вручную позднее. Mac OS X 10.0–10.2 поддерживает HKSCS 1999. 10.3–10.4 поддерживает HKSCS 2001. Некоторые символы, добавленные в HKSCS 2004, поддерживаются через Unicode PUA в OS X 10.4. Начиная с OS X 10.5, все символы HKSCS 2004 поддерживаются через стандартные кодовые точки Unicode 4.1.

In Microsoft Windows 98, NT 4.0, 2000, XP, HKSCS support can be enabled using Microsoft's patch. In Microsoft's implementation, application using code page 950 automatically uses a hidden code page 951 table for the Big5 encoding of the HKSCS extensions. The table supports all code points in HKSCS 2001, except for the compatibility code points specified by the standard. In addition, the MingLiU font is altered using Microsoft's patch. This patch is known to create conflicts in applications such as Microsoft Office, or any application using fonts supporting simplified Chinese characters (e. g.: SimSun). If the target environment contains custom font mapped to the code points affected by Microsoft's patch, the custom fonts can undo Microsoft's patch. Furthermore, the patch breaks EUDC Editor supplied with the affected versions of Windows. Starting with Windows Vista, HKSCS 2004 characters are only supported as Unicode 4.1 or later. All characters are assigned standard, non PUA codepoints. The characters are displayed with the MingLiU font, and these characters can be entered via the keyboard. The patch that provides Big5 encoding of HKSCS is unsupported in Windows Vista and later. A utility provided by Microsoft is available to convert HKSCS and Unicode PUA encoded characters to Unicode 4.1 version. In 2010, Microsoft published a HKSCS 2004 patch for Windows XP and Windows Server 2003. It replaces Windows XP version of MingLiu, PMingLiu, and MingLiu HKSCS (if HKSCS 2001 patch was applied) with Windows 7 version of MingLiu, PMingLiu and MingLiu HKSCS. In addition, MingLiU ExtB, MingLiU HKSCS ExtB and PMingLiU ExtB fonts will be added onto target system. However, IME is not updated as it was in the case of HKSCS 2001 patch, and the fonts are from pre release of Windows 7. For earlier versions of the OS, HKSCS support requires the use of Microsoft's patch, or the Hong Kong government's Digital 21's utilities. IBM assigns CCSID 5471 to the HKSCS 2001 Big5 code page (with CPGID 1374 as CCSID 5470 as the double byte component), CCSID 9567 to the HKSCS 2004 code page (with CPGID 1374 as CCSID 9566 as the double byte component), and CCSID 13663 to the HKSCS 2008 code page (with CPGID 1374 as CCSID 13662 as the double byte component), while CCSID 1375 (with CPGID 1374 as CCSID 1374 as its double byte component) is assigned to a growing HKSCS code page, currently equivalent to CCSID 13663. HKSCS support was added to glibc in 2000, but it has not been updated since then. HKSCS 2004 support is handled as Unicode 4.1 and later. For freedesktop. org setup, AR PL ShanHeiSun Uni font fully supports HKSCS 2004 since 0.1 0. dot.1, with latest revision of HKSCS 2004 supported in version 0.1.20060903 1. Modern desktop distributions (e. g. Ubuntu) include Arphic Technology's HKSCS compliant UKai and UMing fonts out of the box when Traditional Chinese Language support is selected during installation. They can also be installed manually at a later time. Mac OS X 10.0–10.2 supports HKSCS 1999. 10.3–10.4 supports HKSCS 2001. Some of the letters added to HKSCS 2004 is supported via Unicode PUA in OS X 10.4. Starting with OS X 10.5, all the HKSCS 2004 characters are supported via standard Unicode 4.1 code points.

Приложения и Интернет

Mozilla 1.5 и выше поддерживает HKSCS, с поддержкой HKSCS 2004, добавленной в кодовую базу Gecko 1.8.1. В отличие от вышеупомянутого исправления, Mozilla использует собственную таблицу кодовых страниц. Однако исправление ошибки 343129 не поддерживает символы, сопоставленные с кодовыми точками выше Базовой многоязычной плоскости (BMP). Приложения на базе QT 3.x (например, KDE) поддерживают только символы, сопоставленные с кодовыми точками FFFF и ниже. В QT4 символы вне BMP поддерживаются посредством суррогатных пар. Big5 HKSCS Text Codec поддерживает HKSCS 1999 начиная с Qt 2.3.x, но было слишком поздно в графике разработки Qt, чтобы официально включить его в серию Qt 2.3.x, поэтому официальная поддержка появилась в Qt 3.0.1. Поддержка HKSCS 2001 была добавлена в Qt 3.0.5. GNOME поддерживает символы HKSCS в диапазонах Unicode, за исключением тех, которые сопоставлены с блоком совместимости Базовой многоязычной плоскости. Исправления для поддержки символов, сопоставленных с кодовыми точками выше Базовой многоязычной плоскости, были внедрены в Pango 1.1. Стандарт кодирования WHATWG (используемый HTML5) включает HKSCS в свое определение Big5 (используется даже под обычным обозначением Big5). Однако только его декодер использует все расширения HKSCS, в то время как его кодировщик явно исключает те, у которых старшие байты ниже 0xA1 (тем самым исключая большинство расширений HKSCS, но включая, например, те, что унаследованы от Big5 ETEN). Новые браузеры следуют этому стандарту, включая Firefox.