Ақпаратты цифрлық форматқа көшіру процесі

Кіріспе

Ақпаратты цифрлық түрге түрлендіру

Цифрландыру – ақпаратты цифрлық (яғни компьютерде оқылaтын) форматқа түрлендіру процесі. Нәтижесінде объект, сурет, дыбыс, құжат немесе сигнал (әдетте аналогтық сигнал) дискретті нүктелер немесе үлгілер жиынтығын сипаттайтын сандар тізбегін жасау арқылы алынады. Нәтижесінде объект үшін цифрлық бейнелеу немесе, нақтырақ айтқанда, цифрлық сурет, ал сигнал үшін – цифрлық нысан деп аталады. Қазіргі практикада цифрланған деректер екілік сандар түрінде болады, бұл цифрлық компьютерлермен және басқа операциялармен өңдеуді жеңілдетеді, бірақ цифрландыру дегеніміз – «аналогтық бастапқы материалды сандық форматқа түрлендіру» дегенді білдіреді; ондық немесе кез келген басқа сандар жүйесі де қолданылуы мүмкін. Цифрландыру деректерді өңдеу, сақтау және беру үшін өте маңызды, себебі ол «барлық форматтағы және барлық түрдегі ақпаратты бірдей тиімділікпен жеткізуге және араластыруға мүмкіндік береді». Аналогтық деректер көбінесе тұрақтырақ болса да, цифрлық деректерді оңай бөлісуге және қол жеткізуге болады және теориялық тұрғыдан алғанда, қажет болған жағдайда жаңа, тұрақты форматтарға көшіру арқылы ұрпақтан ұрпаққа жоғалтпай таратуға болады. Осы мүмкіндік институционалдық цифрландыру жобаларына, мақсаты қолжетімділікті арттыруға бағытталған, және цифрлық сақтау саласының қарқынды өсуіне әкелді. Кейде цифрландыру мен цифрлық сақтау ұғымдары шатастырылады. Олар әртүрлі, бірақ цифрландыру цифрлық сақтаудың маңызды алғашқы қадамы болып табылады. Кітапханалар, мұрағаттар, мұражайлар және басқа да есте сақтау мекемелері құнды материалдарды сақтау және пайдаланушылар үшін қолжетімділік деңгейін арттыру үшін заттарды цифрландырады. Бұл ақпараттық қызметкерлер үшін қиындықтар тудырады, ал шешімдер оларды іске асыратын мекемелерге байланысты әртүрлі болуы мүмкін. Кейбір аналогтық материалдар, мысалы, аудио және бейне таспалар, өмірлік циклінің соңына жақындап қалды, сондықтан жабдықтардың ескіруі және материалдың нашарлауы салдарынан деректерді қайта алу мүмкін болмай қалмас бұрын оларды цифрландыру маңызды. Цифрландырумен байланысты уақыт, шығын, мәдени мұра мәселелері және тарихи тұрғыдан маргиналданған топтар үшін тең мүмкіндіктерді қамтамасыз ету сияқты қиындықтар мен салдар бар. Цифрландыруды жүзеге асыратын көптеген мекемелер осы қиындықтарға өз шешімдерін әзірлейді. Электрондық кітаптар баспа түріндегі кітаптардың сатылымын төмендеткенімен, 2017 жылғы зерттеу екеуінің де әртүрлі аудиторияларға және қолдану жағдайларына қызмет ететінін көрсетті. 1400-ден астам университет студенттерінің арасында жүргізілген зерттеуде физикалық әдебиеттің терең зерттеулер үшін қолайлы екені, ал электрондық кітаптар жеңіл оқылым үшін жақсырақ тәжірибе ұсынатыны анықталды.

Digitization is the process of converting information into a digital (i. e. computer readable) format. The result is the representation of an object, image, sound, document, or signal (usually an analog signal) obtained by generating a series of numbers that describe a discrete set of points or samples. The result is called digital representation or, more specifically, a digital image, for the object, and digital form, for the signal. In modern practice, the digitized data is in the form of binary numbers, which facilitates processing by digital computers and other operations, but digitizing simply means "the conversion of analog source material into a numerical format"; the decimal or any other number system can be used instead. Digitization is of crucial importance to data processing, storage, and transmission, because it "allows information of all kinds in all formats to be carried with the same efficiency and also intermingled." Though analog data is typically more stable, digital data has the potential to be more easily shared and accessed and, in theory, can be propagated indefinitely without generation loss, provided it is migrated to new, stable formats as needed. This potential has led to institutional digitization projects designed to improve access and the rapid growth of the digital preservation field. Sometimes digitization and digital preservation are mistaken for the same thing. They are different, but digitization is often a vital first step in digital preservation. Libraries, archives, museums, and other memory institutions digitize items to preserve fragile materials and create more access points for patrons. Doing this creates challenges for information professionals and solutions can be as varied as the institutions that implement them. Some analog materials, such as audio and video tapes, are nearing the end of their life cycle, and it is important to digitize them before equipment obsolescence and media deterioration makes the data irretrievable. There are challenges and implications surrounding digitization including time, cost, cultural history concerns, and creating an equitable platform for historically marginalized voices. Many digitizing institutions develop their own solutions to these challenges. Although e books have undermined the sales of their printed counterparts, a study from 2017 indicated that the two cater to different audiences and use cases. In a study of over 1400 university students it was found that physical literature is more apt for intense studies while e books provide a superior experience for leisurely reading.

Мысалдар

Бұл термин мысалы, редакциялау үшін компьютерлерге аналогтық көздерді (мысалы, басып шығарылған фотосуреттер немесе таспаға жазылған бейнелерді) сканерлеуді, объектінің бетін 3D-модельдеуді құрайтын 3D-сканерлеуді, сондай-ақ аудионы (мұнда үлгі алу жиілігі көбінесе килогерцтермен өлшенеді) және текстуралық карталарды түрлендіруді сипаттау үшін қолданылады. Соңғы жағдайда, әдеттегі фотосуреттердегідей, үлгі алу жылдамдығы – суреттің ажыратымдылығын көрсетеді, көбінесе дюймге пиксельмен өлшенеді. Цифрландыру – екі өлшемді аналогтық түпнұсқадан сканерленген немесе цифрлық камера, КТ сканері сияқты томографиялық құралдармен жабдықталған құрылғы арқылы түсірілген, немесе 3D-сканерлеу құрылғысын пайдалану арқылы автомобиль сияқты нақты объектінің дәл өлшемдерін алу арқылы алынған суреттерді беру және компьютерлік өңдеуге қолайлы форматта сақтаудың негізгі тәсілі. Цифрландыру географиялық ерекшеліктерді растрлық немесе векторлық суреттер арқылы цифрлық бейнелеу үшін, яғни географиялық ақпараттық жүйеде электрондық карталарды жасау үшін маңызды, бұл әртүрлі географиялық және спутниктік суреттерден (растрлық) немесе дәстүрлі қағаз карталарын немесе графиктерді (векторлық) цифрландыру арқылы жүзеге асырылады. "Цифрландыру" деректер қорын файлдармен немесе деректермен толтыру процесін сипаттау үшін де қолданылады. Бұл қолданыс техникалық тұрғыдан дұрыс болмаса да, мақсатты деректер қорына жүктеуден бұрын аналогтық көздерді, мысалы, басып шығарылған суреттер мен буклеттерді цифрландыруды қамтитын процестің сол бөлігін сипаттау үшін терминді бұрын дұрыс пайдаланудан туындаған.

Тарих

1957 жылы Стандартты электрондық автоматты компьютер (SEAC) ойлап табылды. Сол жылы Рассел Кирш SEAC-ке қосылған айналмалы барабанды сканер мен фотокөбейткішті пайдаланып, нәресте ұлының суретінен алғашқы цифрлық кескінді (176x176 пиксель) жасады. Бұл кескін SEAC жадында статизатор арқылы сақталып, катодты сәулелік осциллограф арқылы көрінді. Аналогтық сигналды цифрлыққа түрлендіру процесі екі кезеңнен тұрады: дискретизация және кванттау. Дискретизация толқын амплитудаларын белгілі интервалдармен өлшейді, оларды тік ось бойымен бөліп, сандық мән тағайындайды, ал кванттау екілік мәндер арасындағы өлшемдерді іздеп, оларды жоғарылатып немесе төмендетіп жуықтайды. Жазылған музыканың көбі цифрлық форматқа ауыстырылған, ал Интернет-фильмдер базасында тіркелген 500 000-нан астам фильмнің шамамен 12 пайызы цифрлық форматта шығарылып, DVD-де ұсынылған. Үйде түсірілген фильмдерді, слайдтарды және фотосуреттерді цифрлық форматқа көшіру – жеке мультимедианы сақтау және бөлісудің кең таралған тәсілі. Слайдтар мен фотосуреттерді бейне сканер арқылы жылдам сканерлеуге болады, бірақ аналогтық бейне үшін видеокассета ойнатқышы компьютерге қосылуы керек, ал материал нақты уақытта ойнатылады. Слайдтарды Nikon Coolscan 5000ED сияқты слайд сканерімен одан да жылдам цифрлық форматқа көшіруге болады. Цифрлық форматқа көшірудің тағы бір мысалы – Луганодағы Швейцарияның Ұлттық фонотекасы әзірлеген VisualAudio процесі. Олар жазбаның жоғары ажыратымдылықтағы суретін сканерлеу арқылы өңделген кескіннен дыбысты шығарып, қайта құрастырады. Аналогтық таспаларды олардың нашарлауына немесе зақымдануына дейін цифрлық форматқа көшіру арқылы болашақ ұрпақтар зерттеуі мен тамашалауы үшін жергілікті және дәстүрлі мәдени музыканың жалғыз ғана көшірмелерін сақтап қалуға болады.

Анологты мәтіндерді цифрлық мәтіндерге ауыстыру

Академиялық және мемлекеттік кітапханалар, қорлар және Google сияқты жеке компаниялар ескі баспа кітаптарды сканерлеп, оптикалық таңбаларды тану (OCR) технологияларын қолданады, осылайша оларды кілт сөздер бойынша іздеуге болады. Бірақ 2006 жылға дейін тек 20 кітаптың біреуі ғана цифрландырылған. Кітапханашылар мен архившілер осы көрсеткішті арттыру үшін жұмыс істеп жатыр және 2019 жылы 1923 және 1964 жылдар аралығында жарық көрген, қоғамдық доменге өткен 480 000 кітапты цифрландыруды бастады. Кітапханалар мен мұрағаттар арнайы жинақтардағы жарияланбаған қолжазбалар мен сирек кездесетін қағаздар мен құжаттарды цифрландырып жатыр, бірақ материалдардың көп болуы процесті баяулатып, ұзақ уақыт бойы маңызды тарихи және зерттеу құндылығы бар материалдарды көптеген пайдаланушылардан жасырып отырады (цифрлық кітапханаларға қараңыз). Цифрландыру әлі күнге дейін Ұлттық архивтер және құжаттар басқармасы (NARA) сияқты мекемелер осы ресурстарды сақтау және қолжетімді ету үшін пайдаланатын микрофильмдеу сияқты басқа архивтік бейнелеу әдістерін толыққанды алмастыра алмады. Аналогты мәтіндердің цифрлық нұсқаларына әлемнің кез келген жерінен қол жеткізуге болады, бірақ олар баспа материалдары мен қолжазбалар сияқты сенімді емес және болашақта оларды сақтау үшін қосымша шаралар қолданылмаса, ондаған жылдардан кейін қолжетімді болмауы мүмкін, ал көптеген кітаптар, қолжазбалар мен парқмалар ғасырлар бойы сақталған. Цифрландыру материалдардың мазмұнын сақтауға мүмкіндік береді, өйткені ол түпнұсқаға көптеген зардап тигізбеу үшін оның қолжетімді көшірмесін жасайды. Дыбыс жазбалары үшін аналогты жазбаларды цифрландыру технологиялық ескіруден сақтандырудың маңызды кепілі болып табылады. Цифрландыру жобаларын жоспарлаудың маңызды аспектісі – цифрлық файлдардың сақталуын және қолжетімділігін қамтамасыз ету. «Цифрлық сақтау» термині ең қарапайым мағынасында, уақыт өте келе цифрлық материалдарға қолжетімділікті сақтау үшін жасалатын шаралар жиынтығын білдіреді. Әлемдегі кітапханалар кездесетін «қағайбас кітаптар» мәселесі кітаптарды ұзақ сақтауға арналған цифрлық шешіммен шешілуде. 1800 жылдардың ортасынан бастап кітаптар ағаш целлюлозасынан жасалған қағазға басылды, ол шірігенде қышқылға айналады. Бұл жағдай кітапты пайдалануға жарамсыз етеді. Теориялық тұрғыдан алғанда, егер осы кең таралған кітаптарды қышқылсыздандыру процестері арқылы өңдемесе, онда қышқыл беттердегі материалдар жоғалып кетеді. Цифрлік технология дамыған сайын, бұл материалдарды сақтаудың тиімді әдісі ретінде қарастырылады, себебі ол материалдарға оңай қолжетімділік пен физикалық сақтау кеңістігіне деген қажеттілікті азайтады. Кембридж университетінің кітапханасы Кембридж цифрлық кітапханасын құруда, онда бастапқыда ғылым мен дінге қатысты маңызды еңбектерінің цифрлық нұсқалары болады. Оларға Исаак Ньютонның жеке түсіндірмелері бар «Философиялық табиғи принциптер» атты еңбегінің бірінші басылымы, сондай-ақ колледж дәптерлері мен басқа да материалдар, Типу Сахиб кітапханасынан Құран сияқты ислам қолжазбалары кіреді. Google, Inc. «Google Book Search» арқылы барлық кітаптарды цифрландыруға бағытталған қадамдар жасады. Кейбір академиялық кітапханалар осы қызметпен келісімшарт жасаған, бірақ авторлық құқықтарды бұзу мәселесі жобаны тоқтату қаупін тудырады. Дегенмен, ол кітапханаларға ақпарат алмасу және зерттеушілерге кітаптарды іздеу және материалдарды қарау үшін онлайн платформа ұсынады.

Academic and public libraries, foundations, and private companies like Google are scanning older print books and applying optical character recognition (OCR) technologies so they can be keyword searched, but as of 2006, only about 1 in 20 texts had been digitized. Librarians and archivists are working to increase this statistic and in 2019 began digitizing 480,000 books published between 1923 and 1964 that had entered the public domain. Unpublished manuscripts and other rare papers and documents housed in special collections are being digitized by libraries and archives, but backlogs often slow this process and keep materials with enduring historical and research value hidden from most users (see digital libraries). Digitization has not completely replaced other archival imaging options, such as microfilming which is still used by institutions such as the National Archives and Records Administration (NARA) to provide preservation and access to these resources. While digital versions of analog texts can potentially be accessed from anywhere in the world, they are not as stable as most print materials or manuscripts and are unlikely to be accessible decades from now without further preservation efforts, while many books manuscripts and scrolls have already been around for centuries. Digitization can provide a means of preserving the content of the materials by creating an accessible facsimile of the object in order to put less strain on already fragile originals. For sounds, digitization of legacy analog recordings is essential insurance against technological obsolescence. A fundamental aspect of planning digitization projects is to ensure that the digital files themselves are preserved and remain accessible; the term "digital preservation," in its most basic sense, refers to an array of activities undertaken to maintain access to digital materials over time. The prevalent Brittle Books issue facing libraries across the world is being addressed with a digital solution for long term book preservation. Since the mid 1800s, books were printed on wood pulp paper, which turns acidic as it decays. Deterioration may advance to a point where a book is completely unusable. In theory, if these widely circulated titles are not treated with de acidification processes, the materials upon those acid pages will be lost. As digital technology evolves, it is increasingly preferred as a method of preserving these materials, mainly because it can provide easier access points and significantly reduce the need for physical storage space. Cambridge University Library is working on the Cambridge Digital Library, which will initially contain digitised versions of many of its most important works relating to science and religion. These include examples such as Isaac Newton's personally annotated first edition of his Philosophiæ Naturalis Principia Mathematica as well as college notebooks and other papers, and some Islamic manuscripts such as a Quran from Tipu Sahib's library. Google, Inc. has taken steps towards attempting to digitize every title with "Google Book Search". While some academic libraries have been contracted by the service, issues of copyright law violations threaten to derail the project. However, it does provide – at the very least – an online consortium for libraries to exchange information and for researchers to search for titles as well as review the materials.

Цифрландыру мен цифрлық сақтау

Бір нәрсені цифрландыру, оны цифрлық түрде сақтаумен бірдей емес. Мысалы, фотосуретті сканерлеп, түпнұсқасын фотоальбомда сақтап, компьютерде цифрлық көшірмесін алу – бұл цифрлық сақтаудың бастапқы қадамы. Цифрлық сақтау ұзақ мерзім бойы цифрлық көшірмені сақтап, оның түпнұсқалығын және қолжетімділігін қамтамасыз етуді білдіреді. Ал цифрландыру аналогтық материалдарға ғана қатысты. Цифрлық дүниеге туған материалдар, технологиялық ескіру себептерінен ғана емес, сонымен қатар цифрлық сақтау мен күтімнің тұрақсыздығынан цифрлық сақтау үшін ерекше қиындық тудырады. Конгресс кітапханасы жеке коллекцияларын цифрландыру және цифрлық сақтауды жүзеге асыруға ниеттенгендерге көптеген ресурстар мен кеңестер ұсынады.

Цифрлық қайта пішімдеу

Цифрлік форматтау – аналогтық материалдарды түпнұсқаның орнына қолданылатын санариптік форматқа түрлендіру процесі. Санариптік көшірмелер түпнұсқаны пайдалануды азайту немесе тоқтату арқылы сақтау қызметін атқарады. Цифрлік форматтау материалдардың ең жоғары сапада түрлендірілуін қамтамасыз ету үшін бекітілген ең жақсы тәжірибелерге сүйенеді.

Аудионы цифрландыру және қайта пішімдеу

Аудио-медиа тарихи этнографиялық ақпараттың бай көзі болып табылады, ал дыбыстың жазылған алғашқы түрлері 1890 жылға дейін жетеді. Халықаралық дыбыс және аудиовизуалды архивтер қауымдастығының (IASA) мәлімдемесіне сәйкес, осы аудио деректердің көздері, сондай-ақ оларды ойнатуға қолданылатын ескірген технологиялар, нашарлау мен қолданудан шығу салдарынан қайтымсыз жоғалу қаупінде. Бұл бастапқы көздер «тасымалдағыштар» деп аталады және олар балауыз цилиндрлер, магниттік таспалар, ойылған беткейі бар жалпақ дискілер және тағы да басқа форматтарда кездеседі. Кейбір форматтар басқаларына қарағанда күштірек немесе жылдамырақ нашарлауға ұшырайды. Мысалы, лак дискілері қабаттанудан зардап шегеді. Аналогты таспалар «жабысқақ сынық» синдромынан бүлінуі мүмкін. Архивтік жұмыс ағыны және файлдарды стандарттау, цифрлық файлға айналдыру кезінде бастапқы тасымалдағыштан ақпарат жоғалтуын азайту үшін жасалған. Ең көп қауіп төнгіш форматтар үшін (магниттік таспа, цилиндрлер және т.б.) ұқсас жұмыс ағыны қолданылады. Тасымалдағышты тексеру, материалды көшіру алдында қандай шаралар қабылдау керектігін анықтауға көмектеседі. Ойнату құрылғыларын да осындай тексеруден өткізу қажет. Егер тасымалдағыш пен ойнату машинасының жағдайы қанағаттанарлық болса, аналогтан цифрлыққа түрлендіргіш арқылы көшіру жүзеге асырылады. Цифрлық сигнал аудио инженері үшін Audacity, WaveLab немесе Pro Tools сияқты цифрлық аудио жұмыс станциясында бейнеленеді. Анықтамалық көшірмелер кішірек үлгілеу жиілігінде жасалуы мүмкін. Архивтік мақсаттар үшін 96 кГц үлгілеу жиілігімен және арнаға 24 бит тереңдігімен көшіру стандартты болып саналады. Жоспарлауға, жұмысты орындауға, цифрлық файлдарды өңдеуге кеткен уақыт, сондай-ақ кейбір материалдардың қымбаттылығы мен нәзіктігі – бұл ең көп кездесетін мәселелердің бірі.

Уақыт жұмсалды

Цифрландыру – уақытты көп алатын процесс, егер аналогтық ресурстардың күйі немесе форматы ерекше өңдеуді қажет етсе, одан да көп уақыт талап етеді. Коллекцияның қай бөлігін цифрландыруға болатынын шешу кейде толығымен цифрландырудан да ұзаққа созылуы мүмкін. Әрбір цифрландыру жобасы ерекше болып келеді, сондықтан процестен өтетін басқа жобалардан жұмыс ағыны да өзгеше болады. Сондықтан материалдар мен күтілетін аудиторияға ең қолайлы жоспарды жасау үшін әр жобаны мұқият зерттеп, жоспарлауға уақыт жұмсау қажет.

Шығын

Жабдық құны, қызметкерлердің жұмыс уақыты, метадеректерді жасау және цифрлық сақтау құралдары коллекцияларды кең көлемде цифрландыруды барлық мәдени мекемелер үшін қымбатқа соқтырады. Кез келген мекеме цифрлық көшірмелерінің ең жақсы бейне сапасын қамтамасыз етуге тырысады, осылайша жоғары сапалы көшірме уақыт өте келе сақталады. Дегенмен, кішігірім мекемелер мұндай жабдыққа немесе кадрларға қол жеткізе алмайды, бұл цифрландырылатын материал мөлшерін шектейді. Сондықтан, мұрағаттар мен кітапханашылар өз оқырмандарының қажеттіліктерін біліп, оларға қажетті материалды цифрландыруға басымдық беруі керек. Ақпараттық мекемелерге мұрағаттарды цифрландырудың маңыздылығын анықтауға көмектесу үшін Касабланкас және басқа зерттеушілер ұсынылған модельді қолданып, әртүрлі цифрландыру стратегияларының мұрағат және кітапхана оқу залдарына келу сұраныстарын азайтуға тигізетін әсерін зерттеді.

MPLP

Уақытты және ресурстарды үнемдеудің бір жолы – материалдар өңделіп жатқанда цифрлық форматқа көшіру үшін "Көбірек өнім, азырақ процесс" (MPLP) әдісін пайдалану.

Ақыл-ой жүктеу

Ақыл жүктеу – (2023 жылға дейін) адам миын цифрлық компьютерге көшіріп, оны сол жерде модельдеуге болатын әзірге болжамды процесс. Бұл үшін қазіргі мүмкіндіктерден әлдеқайда толыққанды миды сканерлеу қажет болады.