Сандық деректерді форматтау түрлендіруі

Кіріспе

Цифрлық деректерді форматтар арасында түрлендіру файл форматтарын түрлендіру. Деректерді түрлендіру – компьютерлік деректерді бір форматтан екінші форматқа өзгерту. Компьютерлік ортада деректер әртүрлі тәсілдермен кодталады. Мысалы, компьютерлік жабдық белгілі бір стандарттар негізінде құрылады, бұл деректерде теңдік битін тексеру сияқты талаптардың болуын қажет етеді. Сол сияқты, операциялық жүйе деректерді және файлдарды өңдеудің белгілі бір стандарттарына сүйенеді. Әр компьютерлік бағдарлама деректерді өзгеше өңдейді. Осы айнымалылардың кез келгені өзгертілген кезде, деректерді басқа компьютер, операциялық жүйе немесе бағдарлама пайдалану алдында түрлендіру қажет. Тіпті осы элементтердің әртүрлі нұсқалары әдетте әртүрлі дерек құрылымдарын қамтиды. Мысалы, биттерді бір форматтан екінші форматқа ауыстыру, көбінесе қосымшалардың өзара үйлесімділігін қамтамасыз ету немесе жаңа мүмкіндіктерді пайдалану мақсатында деректерді түрлендіру болып табылады. Деректерді түрлендіру қарапайым болуы мүмкін, мысалы, мәтін файлын бір таңбалық кодтау жүйесінен екіншісіне түрлендіру; немесе офистік файл форматтарын, кескіндер мен аудио файл форматтарын түрлендіру сияқты күрделірек болуы мүмкін. Компьютерлік ортада деректерді түрлендірудің көптеген жолдары бар. Бұл жаңа компьютерлік бағдарлама нұсқасына жаңарту сияқты үздіксіз процесс болуы мүмкін. Керісінше, түрлендіру арнайы түрлендіру бағдарламасын пайдалану арқылы өңдеуді қажет етуі мүмкін, немесе ол аралық кезеңдерден өтудің күрделі процесін, немесе "экспорттау" және "импорттау" процедураларын қамтуы мүмкін, бұл қойындымен немесе үтірмен бөлінген мәтіндік файлға түрлендіруді қамтиды. Кейбір жағдайларда бағдарлама деректерді енгізу кезеңінде бірнеше дерек файл форматтарын тани алады және содан кейін шығыс деректерін бірнеше түрлі форматта сақтай алады. Мұндай бағдарлама файл форматтарын түрлендіру үшін қолданылуы мүмкін. Егер бастапқы немесе мақсатты формат танылмаса, үшінші бағдарлама қолжетімді болуы мүмкін, ол деректерді аралық форматқа түрлендіруге мүмкіндік береді, содан кейін бірінші бағдарламаны пайдаланып қайта форматтауға болады. Мүмкін болатын сценарийлер көптеген.

Conversion of digital data between formats
conversion of file formats

Data conversion is the conversion of computer data from one format to another. Throughout a computer environment, data is encoded in a variety of ways. For example, computer hardware is built on the basis of certain standards, which requires that data contains, for example, parity bit checks. Similarly, the operating system is predicated on certain standards for data and file handling. Furthermore, each computer program handles data in a different manner. Whenever any one of these variables is changed, data must be converted in some way before it can be used by a different computer, operating system or program. Even different versions of these elements usually involve different data structures. For example, the changing of bits from one format to another, usually for the purpose of application interoperability or of the capability of using new features, is merely a data conversion. Data conversions may be as simple as the conversion of a text file from one character encoding system to another; or more complex, such as the conversion of office file formats, or the conversion of image formats and audio file formats. There are many ways in which data is converted within the computer environment. This may be seamless, as in the case of upgrading to a newer version of a computer program. Alternatively, the conversion may require processing by the use of a special conversion program, or it may involve a complex process of going through intermediary stages, or involving complex "exporting" and "importing" procedures, which may include converting to and from a tab delimited or comma separated text file. In some cases, a program may recognize several data file formats at the data input stage and then is also capable of storing the output data in several different formats. Such a program may be used to convert a file format. If the source format or target format is not recognized, then at times a third program may be available which permits the conversion to an intermediate format, which can then be reformatted using the first program. There are many possible scenarios.

Негізгі ақпарат

Деректерді түрлендіруді жүзеге асыру алдында пайдаланушы немесе қолданба бағдарламалаушы есептеу және ақпарат теориясының негізгі принциптерін есте сақтауы тиіс. Олардың ішінде:

Ақпаратты компьютер оңай жоғалта алады, бірақ оған жаңа ақпарат қосу үшін күш жұмсау қажет. Компьютер ақпаратты ғана ережелерге сәйкес қоса алады. Деректерді үлкейту немесе көбірек мүмкіндіктерге ие форматқа түрлендіру ақпаратты арттырмайды, жай ғана оны қосуға орын жасайды, мұны әдетте адам жасауы керек. Электрондық форматта сақталған деректерді жылдам өзгертуге және талдауға болады. Мысалы, нақты түсті суретті сұр түске оңай түрлендіруге болады, ал кері процесі – ұзаққа соқатын жұмыс. Unix мәтіндік файлын Microsoft (DOS/Windows) мәтіндік файлына түрлендіруде таңбалар қосылады, бірақ бұл энтропияны арттырмайды, себебі ол ережеге негізделген; ал сұр түсті суретке түс ақпаратын қосу бағдарламалық жолмен сенімді түрде жасалмайды, себебі ол жаңа ақпаратты талап етеді, сондықтан түс қосуға жасалған әрбір әрекет компьютердің бұрынғы біліміне сүйенген шамалауды қажет етеді. 24 биттік PNG суретін 48 биттікке түрлендіру оған жаңа ақпарат қоспайды, ол бар RGB пикселдерінің мәнін нөлдермен толтырады, мысалы, FF C3 56 мәні бар пиксел FF00 C300 5600 болады. Түрлендіру пикселдің мәнін, мысалы, FF80 C340 56A0-қа өзгертуге мүмкіндік береді, бірақ түрлендірудің өзі оны жасамайды, тек суретті одан әрі өңдеу арқылы ғана мүмкін болады. Жоғалту форматындағы (мысалы, JPEG немесе Vorbis) кескінді немесе аудио файлын жоғалтусыз (мысалы, PNG немесе FLAC) немесе сығылмаған (мысалы, BMP немесе WAV) форматқа түрлендіру тек орынды ысыраптап қана қоймайды, себебі бастапқы ақпараты жоғалған сол сурет (жоғалтудан туындаған артефакттар) мақсатқа айналады. JPEG суретін жасалған бастапқы сурет сапасына қайта келтіру мүмкін емес, пайдаланушы өзінің сурет өңдеу бағдарламасының «JPEG артефактілерін жою» мүмкіндігін қанша рет сынаса да. Жоғалған ақпаратты автоматты түрде қалпына келтіру үшін жасанды интеллект саласында маңызды жетістіктер қажет болуы мүмкін. Компьютерлік және ақпараттық теорияның осы қағидаларына байланысты деректерді түрлендіру көбінесе күрделі және қателерге бейім процесс болып табылады, сондықтан сарапшылардың көмегі қажет болуы мүмкін.

Information can easily be discarded by the computer, but adding information takes effort. The computer can add information only in a rule based fashion. Upsampling the data or converting to a more feature rich format does not add information; it merely makes room for that addition, which usually a human must do. Data stored in an electronic format can be quickly modified and analyzed. For example, a true color image can easily be converted to grayscale, while the opposite conversion is a painstaking process. Converting a Unix text file to a Microsoft (DOS/Windows) text file involves adding characters, but this does not increase the entropy since it is rule based; whereas the addition of color information to a grayscale image cannot be reliably done programmatically, as it requires adding new information, so any attempt to add color would require estimation by the computer based on previous knowledge. Converting a 24 bit PNG to a 48 bit one does not add information to it, it only pads existing RGB pixel values with zeroes, so that a pixel with a value of FF C3 56, for example, becomes FF00 C300 5600. The conversion makes it possible to change a pixel to have a value of, for instance, FF80 C340 56A0, but the conversion itself does not do that, only further manipulation of the image can. Converting an image or audio file in a lossy format (like JPEG or Vorbis) to a lossless (like PNG or FLAC) or uncompressed (like BMP or WAV) format only wastes space, since the same image with its loss of original information (the artifacts of lossy compression) becomes the target. A JPEG image can never be restored to the quality of the original image from which it was made, no matter how much the user tries the "JPEG Artifact Removal" feature of his or her image manipulation program. Automatic restoration of information that was lost through a lossy compression process would probably require important advances in artificial intelligence. Because of these realities of computing and information theory, data conversion is often a complex and error prone process that requires the help of experts.

Півоталды конверсия

Деректерді бір форматтан екінші форматқа тікелей түрлендіруге болады, бірақ көптеген форматтар арасында түрлендіруді жүзеге асыратын қолданбалар, кез келген бастапқы форматты мақсатты форматқа түрлендіру үшін аралық өрнеуді пайдаланады. Мысалы, екі кодировка арасындағы сәйкестік кестесін пайдаланып, KOI8-R кодировкасындағы мәтінді Windows 1251 кодировкасына аударуға болады, бірақ қазіргі таңдау – KOI8-R файлын алдымен Unicode-қа, содан кейін Windows 1251-ге түрлендіру. Бұл басқаруға ыңғайлы тәсіл; барлық мүмкін таңба кодировкаларының жұптары үшін сәйкестік кестелерінің қажеті болмайды, қолданбаға әрбір таңба жинағы үшін бір ғана сәйкестік кестесі қажет, оны Unicode-қа және одан кері түрлендіру үшін пайдаланады, осылайша кестелер санын жүздегеннен бірнеше ондағанға дейін азайтады. Бұл принцип басқа салаларда да қолданылады. Office қолданбалары, офис файл форматтарын түрлендіргенде, өздерінің ішкі, стандартты файл форматтарын аралық формат ретінде пайдаланады. Мысалы, мәтін редакторы RTF файлын OpenDocument форматына, содан кейін WordPerfect форматына түрлендіру арқылы WordPerfect файлына айналдыруы мүмкін. Кескінді түрлендіру бағдарламасы PCX кескінін тікелей PNG форматына түрлендірмейді; керісінше, PCX кескінін жүктегенде, оны жадыда ішкі пайдалану үшін қарапайым битмап форматына декодтайды, ал PNG форматына түрлендіру командасы берілгенде, жадтағы кескінді мақсатты форматқа түрлендіреді. FLAC-тен AAC-ке түрлендіретін аудио түрлендіргіш бастапқы файлды алдымен жадыдағы шикі PCM деректеріне декодтайды, содан кейін мақсатты файлды алу үшін осы жадтағы кескінді жоғалтулы AAC сығылымынан өткізеді.

Жоғалған және дұрыс емес деректерді түрлендіру

Деректерді түрлендірудің мақсаты – барлық деректерді және мүмкіндігінше көп кіріктірілген ақпаратты сақтап қалу болып табылады. Бұл тек қана мақсатты формат бастапқы файлдағы бірдей мүмкіндіктер мен дерек құрылымдарын қолдаса ғана мүмкін. Сөз өңдеу құжатын қарапайым мәтін файлына түрлендіру кезінде пішімдеу туралы ақпараттың жоғалтылуы сөзсіз, себебі қарапайым мәтін форматы сөзді қалың әріппен белгілеу сияқты мәтін өңдеу құрылымдарын қолдамайды. Осы себепті, бір форматтан екінші форматқа, пайдаланушы үшін маңызды функцияларды қолдамайтын түрлендірулер сирек жасалады, бірақ өзара үйлесімділік үшін қажет болуы мүмкін, мысалы, файлды Microsoft Word-тің бір нұсқасынан ескі нұсқасына түрлендіру, осылайша басқа пайдаланушылар файлды өздерінің компьютерінде орнатылмаған Word-тің жаңа нұсқасы болмаса да, ашып көріп, пайдалана алады. Ақпараттың жоғалтылуын мақсатты форматта жуықтау арқылы азайтуға болады. ASCII стандартында «ä» сияқты таңбаны түрлендіруге мүмкіндік жоқ, бірақ «ae» деп жуықтап келтіру арқылы ақпаратты сақтап қалуға болады. Әрине, бұл ең жақсы шешім емес және іздеу, көшіру сияқты операцияларға әсер етуі мүмкін. Егер тіл «ä» мен «ae» арасында ерекшелік жасайтын болса, онда мұндай жуықтау ақпараттың жоғалтылуына әкеледі. Деректерді түрлендіруде де, тұжырымдық жағынан әртүрлі форматтарды түрлендіру нәтижесінде дәлдіксіздіктер туындауы мүмкін. WYSIWYG қағидасы, мәтін өңдеушілерде және беттік басылымдарда қолданылатын, SGML, XML және олардан туындаған HTML, MathML сияқты көптеген бағдарламалардағы құрылымдық сипаттамалық қағидадан өзгеше. WYSIWYG HTML редакторының қолдануы екі қағиданы араластырады, нәтижесінде HTML файлдарында оңтайлы емес, тіпті стандартқа сай келмейтін код пайда болады. WYSIWYG қағидасында екі жол үзілісі жаңа абзацты білдіреді, себебі бұл конструкцияның визуалды белгісі, бірақ WYSIWYG HTML редакторы мұндай тізбекті әдетте <BR><BR> деп түрлендіреді, бұл құрылымдық жағынан жаңа абзац емес. Мысалы, PDF-ті өңделінетін мәтін өңдеуші форматына түрлендіру қиын, себебі PDF мәтіндік ақпаратты тасқа қашағандай сақтайды, әр таңбаға белгілі бір орын беріліп, жол үзілістері тікелей кодталған, ал мәтін өңдеуші форматтары мәтіннің қайта құйылуына мүмкіндік береді. PDF сөздер арасындағы бос орынды білмейді – екі әріп арасындағы және екі сөз арасындағы бос орын тек мөлшерімен ғана ерекшеленеді. Сондықтан, әсер ету үшін кең әріптермен жазылған атау, мысалы, МЕМЛЕКЕТТІК, мәтін өңдеушіде бос орындармен жазылуы мүмкін, яғни I N T R O D U C T I O N болып шығуы мүмкін.

The objective of data conversion is to maintain all of the data, and as much of the embedded information as possible. This can only be done if the target format supports the same features and data structures present in the source file. Conversion of a word processing document to a plain text file necessarily involves loss of formatting information, because plain text format does not support word processing constructs such as marking a word as boldface. For this reason, conversion from one format to another which does not support a feature that is important to the user is rarely carried out, though it may be necessary for interoperability, e. g. converting a file from one version of Microsoft Word to an earlier version to enable transfer and use by other users who do not have the same later version of Word installed on their computer. Loss of information can be mitigated by approximation in the target format. There is no way of converting a character like ä to ASCII, since the ASCII standard lacks it, but the information may be retained by approximating the character as ae. Of course, this is not an optimal solution, and can impact operations like searching and copying; and if a language makes a distinction between ä and ae, then that approximation does involve loss of information. Data conversion can also suffer from inexactitude, the result of converting between formats that are conceptually different. The WYSIWYG paradigm, extant in word processors and desktop publishing applications, versus the structural descriptive paradigm, found in SGML, XML and many applications derived therefrom, like HTML and MathML, is one example. Using a WYSIWYG HTML editor conflates the two paradigms, and the result is HTML files with suboptimal, if not nonstandard, code. In the WYSIWYG paradigm a double linebreak signifies a new paragraph, as that is the visual cue for such a construct, but a WYSIWYG HTML editor will usually convert such a sequence to <BR><BR>, which is structurally no new paragraph at all. As another example, converting from PDF to an editable word processor format is a tough chore, because PDF records the textual information like engraving on stone, with each character given a fixed position and linebreaks hard coded, whereas word processor formats accommodate text reflow. PDF does not know of a word space character—the space between two letters and the space between two words differ only in quantity. Therefore, a title with ample letter spacing for effect will usually end up with spaces in the word processor file, for example INTRODUCTION with spacing of 1 em as I N T R O D U C T I O N on the word processor.

Ашық және құпия сипаттамалар

Деректерді сәтті түрлендіру үшін бастапқы және мақсатты форматтардың қалай жұмыс істейтінін толық білу қажет. Егер форматтың сипаттамасы белгісіз болса, түрлендіруді жүзеге асыру үшін кері инженерия жасау қажет болады. Кері инженерия түпнұсқа сипаттамаға жақын нәтиже беруге мүмкіндік береді, бірақ қателер мен кейбір мүмкіндіктердің жоғалтылуы әлі де болуы мүмкін.

Электроника

Деректер форматының түрлендірілуі электрондық байланыс жүйесінің физикалық қабатында да жүзеге асырылуы мүмкін. Қажет болған жағдайда NRZ және RZ сияқты сызықтық кодтар арасында түрлендіру жасалуы мүмкін.