Кіріспе

Есептеу және деректерді басқаруда деректерді карталау – екі түрлі дерек моделі арасындағы дерек элементтерін байланыстыру процесі. Деректерді карталау, деректерді интеграциялаудың көптеген тапсырмалары үшін алғашқы қадам болып табылады, оның ішінде:

Деректерді трансформациялау немесе дерек көзі мен түпкі нүктесі арасында деректерді жарасу.
Деректердің қатынастарын деректер тарихын талдау барысында анықтау.
Деректерді жасыру немесе идентификациялау жобасы аясында, басқа пайдаланушы идентификаторында жасырылған әлеуметтік сақтандыру нөмірінің соңғы төрт таңбасы сияқты құпиялы деректерді анықтау.
Бірнеше дерекқорынан бір дерекқорын құру және біріктіру немесе жою үшін қайталама деректер бағандарын анықтау.

Мысалы, басқа компаниялармен сатып алулар мен шот-фактураларды алмасуды жоспарлаған компания, сатып алу тапсырыстары мен шот-фактуралар сияқты элементтер үшін компанияның деректерін стандартталған ANSI ASC X12 хабарламаларына айналдыру үшін деректерді карталауды пайдалана алады.

Стандарттар

X12 стандарттары – кез келген салаға қарамастан, бір компанияның кез келген басқа компаниямен дерек алмасуына мүмкіндік беретін, жалпы электрондық деректер алмасу (EDI) стандарттары. Стандарттарды Аккредиттелген X12 стандарттар комитеті (ASC X12) ұстап тұрады, ал Америка Ұлттық Стандарттар Институты (ANSI) EDI стандарттарын белгілеуге аккредиттелген. X12 стандарттары көбінесе ANSI ASC X12 стандарттары деп аталады. W3C, R2RML-ді реляциялық деректер базасындағы деректерді Ресурстарды Сипаттау Шеңберінің (RDF) түріндегі деректерге бейімдеу стандарты ретінде енгізді. Болашақта RDF, Web Ontology Language (OWL) және стандартталған метадеректер тізілімі сияқты семантикалық веб тілдеріне негізделген құралдар деректерді бейімдеу процесін көбірек автоматтандырады. Егер әрбір қолданба метадеректерді жарияласа, бұл процесс жылдамдатылады. Толық автоматтандырылған деректерді бейімдеу – өте қиын мәселе (семантикалық аудармаға қараңыз).

Қолмен кодталған, графикалық нұсқаулық

Деректерді карталау процедуралық кодты қолдану, XSLT түрлендірулерін жасау немесе орындалатын түрлендіру бағдарламаларын автоматты түрде құратын графикалық карталау құралдарын пайдалану арқылы әртүрлі жолдармен жүзеге асырылуы мүмкін. Бұл – пайдаланушыға бір деректер жинағындағы өрістерден екінші деректер жинағындағы өрістерге сызықтар "салуға" мүмкіндік беретін графикалық құралдар. Кейбір графикалық деректерді карталау құралдары пайдаланушыларға дереккөз бен мақсатты "автоматты қосылым" жасауға мүмкіндік береді. Бұл мүмкіндік дереккөз бен мақсатты дерек элементтерінің атаулары бірдей болған жағдайда ғана қолжетімді. Түрлендіру бағдарламалары SQL, XSLT, Java немесе C++ тілдерінде автоматты түрде жасалады. Мұндай графикалық құралдар көптеген ETL (алу, түрлендіру және жүктеу) құралдарында деректерді жылжытуды қолдау үшін дерек карталарын енгізудің негізгі құралы ретінде табады. Мысалдарға SAP BODS және Informatica PowerCenter жатады.

Деректерге негізделген карталау

Бұл деректерді картаға түсірудің ең соңғы тәсілі болып табылады және екі дерек көзіндегі нақты дерек мәндерін эвристика мен статистиканы қолдана отырып, бірден бағалау арқылы екі дерек жиынтығы арасындағы күрделі байланыстарды автоматты түрде табуға мүмкіндік береді. Бұл тәсіл екі дерек жиынтығы арасындағы түрлендірулерді табуға қолданылады, соның ішінде үзінділерді, тізбектеуді, арифметикалық амалдарды, шартты операторларды және басқа да түрлендіру логикасын анықтайды. Бұл тәсіл сонымен қатар табылған түрлендіру логикасына сәйкес келмейтін деректердің қателіктерін де анықтайды.

Семантикалық карталау

Семантикалық карталау дерек карталаушылардың автобайланыс мүмкіндігіне ұқсас, бірақ дерек элементтерінің синонимдерін табу үшін метадеректер тізіліміне жүгіну мүмкіндігі бар. Мысалы, егер бастапқы жүйе FirstName деп көрсетсе, ал түпкілікті жүйе PersonGivenName деп көрсетсе, егер бұл дерек элементтері метадеректер тізілімінде синонимдер ретінде тіркелген болса, карталау жасалады. Семантикалық карталау деректер бағандары арасындағы нақты сәйкестіктерді ғана анықтай алады және бағандар арасындағы трансформация логикасын немесе ерекшеліктерді анықтай алмайды. Деректердің тамыры – деректердің талдау жүйесімен қабылдануы, өңделуі және шығарылуы кезіндегі өмірлік циклінің тіркелмесі. Бұл талдау процесіне көрінуді қамтамасыз етеді және қателерді олардың бастапқы көздеріне дейін іздеуді жеңілдетеді. Сондай-ақ, қадамдық түзету немесе жоғалған нәтижелерді қайта жасау үшін дерек ағынының нақты бөліктерін немесе кірістерін қайта ойнатуға мүмкіндік береді. Шындығында, дерекқор жүйелері осындай ақпаратты, деректердің тегі деп атап, бұрыннан-ақ осы сияқты тексеру және түзету мәселелерін шешіп келген.