SQL Server деректерді көшіру және трансформациялау құралы

Кіріспе

Деректер базасын көшіру бағдарламалық құралы

Microsoft SQL Server Integration Services (SSIS) – Microsoft SQL Server деректер базасы бағдарламалық құралының бір бөлігі, оны деректерді көшірудің кең ауқымын орындау үшін пайдалануға болады. SSIS – деректерді интеграциялау және жұмыс ағыны қолданбалары үшін платформа. Ол деректерді алу, түрлендіру және жүктеу (ETL) процесі үшін қолданылатын деректер қоймасы құралына ие. Бұл құрал SQL Server деректер базасын техникалық қызмет көрсетуді автоматтандыру және көп өлшемді куб деректерін жаңарту үшін де қолданылуы мүмкін. Алғаш рет Microsoft SQL Server 2005-пен бірге шығарылған SSIS, 7.0 нұсқасынан бері SQL Server-дің мүмкіндігі болған Data Transformation Services (DTS) құралын алмастырды. DTS барлық нұсқаларда болғаннан өзгеше, SSIS тек "Standard", "Business Intelligence" және "Enterprise" нұсқаларында қолжетімді. Microsoft "Visual Studio Dev Essentials" арқылы SSIS-ті Visual Studio 2017 бағдарламасымен тек дамыту және оқу мақсатында тегін пайдалануға болады.

Ерекшеліктері

SSIS импорт/экспорт шебері пайдаланушыға деректерді бір дерек көзінен мақсатқа ешқандай түрлендірусіз жылжытатын пакеттерді жасауға мүмкіндік береді. Шебер деректерді әртүрлі көз түрлерінен әртүрлі мақсат түрлеріне, соның ішінде мәтіндік файлдарға және басқа SQL Server инстанцияларына жылдам жылжыта алады. SSIS пакеттерін құру немесе ұстаумен айналысатын әзірлеушілер Microsoft Visual Studio-ға негізделген визуалды әзірлеу құралын, SQL Server Business Intelligence Development Studio (BIDS) қолданады. Ол пайдаланушыларға SSIS пакеттерін сүйреп тастау арқылы өңдеуге мүмкіндік береді. Құралда бағдарламалық кодты жазу үшін скрипт ортасы да бар. Пакетте жұмыс ағынын анықтайтын әртүрлі элементтер бар. Пакетті орындағаннан кейін құрал түстермен кодталған нақты уақыт бақылауын қамтамасыз етеді. (Ескертпе: MS SQL Server-дің соңғы нұсқаларында BIDS "SQL Server Data Tools Business Intelligence" (SSDT BI) дегенмен ауыстырылды.) Қосылымдар Қосылым белгілі бір дерек көзіне қосылу үшін қажетті ақпаратты қамтиды. Тапсырмалар қосылысты оның атауымен сілтемелей алады, бұл қосылымның егжей-тегжейін орындау кезінде өзгертуге немесе конфигурациялауға мүмкіндік береді. Оқиғаларды басқарушылар Жұмыс ағыны олардың болуы мүмкін әртүрлі ауқымдарындағы бірқатар оқиғалар үшін жобалануы мүмкін. Осылайша, тапсырмалар пакет ішінде болған оқиғаларға жауап ретінде орындалуы мүмкін, мысалы, қателерден кейін тазалау. Параметрлер (SQL Server 2012 Integration Services) Параметрлер пакетті орындау кезінде пакеттің қасиеттеріне мән беруге мүмкіндік береді. Сізде жоба параметрлері мен пакет параметрлері болуы мүмкін. Жалпы, егер сіз пакеттерді орналастыру үлгісін пайдаланатын болсаңыз, параметрлердің орнына конфигурацияларды қолдануыңыз керек. Басымдық шектеулері Тапсырмалар басымдық шектеулерімен байланыстырылады. Белгілі бір тапсырманың алдындағы басымдық шектеуі сол тапсырма орындалғанға дейін орындалуы тиіс. Орындалу уақыты тапсырмаларды қатар орындауды қолдайды, егер олардың басымдық шектеулері бұған мүмкіндік берсе. Басқаша шектеулер басқа тапсырмалардың сәттілігіне немесе сәтсіздіктеріне байланысты әртүрлі орындау жолдарын рұқсат етуі мүмкін. Тапсырмалармен бірге басымдық шектеулері пакет жұмыс ағынын құрайды. Тапсырмалар Тапсырма – белгілі бір іс-әрекетті орындайтын атомдық жұмыс бірлігі. Бұл қорапта файлдар жүйесінің тапсырмасынан (файлдарды көшіріп немесе жылжыта алады) деректерді түрлендіру тапсырмасына дейін бірнеше оншақты тапсырма бар. Деректерді түрлендіру тапсырмасы деректерді көшіреді; ол өнімнің ETL мүмкіндіктерін іске асырады. Айтмалылар Тапсырмалар нәтижелерді сақтау, шешімдер қабылдау немесе олардың конфигурациясына әсер ету үшін айнымалыларға сілтеме жасай алады. Пакет SQL Server инстанциясындағы иерархиялық атау кеңістігі бар файлға немесе қоймаға сақталуы мүмкін. Екі жағдайда да пакет мазмұны XML-де сақталады. Аяқталғаннан кейін дизайнер пайдаланушыға пакетті орындауды бастауға мүмкіндік береді. Басталғаннан кейін, пакетті оңай жөндеуге немесе бақылауға болады.

The SSIS Import/Export Wizard lets the user create packages that move data from a single data source to a destination with no transformations. The Wizard can quickly move data from a variety of source types to a variety of destination types, including text files and other SQL Server instances. Developers tasked with creating or maintaining SSIS packages use a visual development tool based on Microsoft Visual Studio called the SQL Server Business Intelligence Development Studio (BIDS). It allows users to edit SSIS packages using a drag and drop user interface. A scripting environment for writing programming code is also available in the tool. A package holds a variety of elements that define a workflow. Upon package execution, the tool provides color coded real time monitoring. (Note: In more recent versions MS SQL Server, BIDS has been replaced with "SQL Server Data Tools Business Intelligence" (SSDT BI).) Connections A connection includes the information necessary to connect to a particular data source. Tasks can reference the connection by its name, allowing the details of the connection to be changed or configured at run time. Event handlers A workflow can be designed for a number of events in the different scopes where they might occur. In this way, tasks may be executed in response to happenings within the package — such as cleaning up after errors. Parameters (SQL Server 2012 Integration Services) Parameters allow you to assign values to properties within packages at the time of package execution. You can have project parameters and package parameters. In general, if you are deploying a package using the package deployment model, you should use configurations instead of parameters. Precedence constraints Tasks are linked by precedence constraints. The precedence constraint preceding a particular task must be met before that task executes. The run time supports executing tasks in parallel, if their precedence constraints so allow. Constraints may otherwise allow different paths of execution depending on the success or failure of other tasks. Together with the tasks, precedence constraints comprise the workflow of the package. Tasks A task is an atomic work unit that performs some action. There are a couple of dozen tasks that ship in the box, ranging from the file system task (that can copy or move files) to the data transformation task. The data transformation task actually copies data; it implements the ETL features of the product
Variables Tasks may reference variables to store results, make decisions, or affect their configuration. A package may be saved to a file or to a store with a hierarchical namespace within a SQL Server instance. In either case, the package content is persisted in XML. Once completed, the designer also allows the user to start the package's execution. Once started, the package may be readily debugged or monitored.

Басқа да құралдар

Импорт/экспорт шебері мен дизайнерден басқа, өнімге тағы бірнеше ерекше құралдар кіреді. DTEXEC командалық жол арқылы кез келген жерде сақталған пакетті іске қосады. Пакетті іске қосу алдында, құралға конфигурациялық ақпаратты қолдануға нұсқау берілуі мүмкін, бұл сол пакетті аздап өзгеше параметрлермен, соның ішінде оның түйіндік нүктелері үшін әртүрлі қосылым тізбектерімен қайта пайдалануға мүмкіндік береді. DTUTIL командалық қабықтан пакеттерді басқару мүмкіндігін ұсынады. Құрал пакетті файлдан серверлік сақтауға көшіруге немесе жылжытуға, немесе кері қайтаруға болады. Басқа да көптеген қосымша функциялардың ішінде, оны пакеттерді жою, атауын өзгерту, шифрлау немесе шифрын ашу үшін де пайдалануға болады. Көлемдік көшіру бағдарламасы (Bulk Copy Program, BCP) – Microsoft SQL Server немесе Sybase дерекқорына деректерді импорттау немесе экспорттау үшін қолданылатын командалық жол құралы.

Кеңейту және бағдарламалау

Пайдаланушылар өздерінің қосылыс объектілерін, журнал провайдерлерін, түрлендіргіштерді және тапсырмаларды анықтау үшін код жаза алады. SSIS бағдарламаланатын объектілер моделін ұсынады, бұл дамытушыларға пакеттерді орындау үшін өздерінің хосттарын жасауға мүмкіндік береді. Мұндай хост оқиғаларға жауап бере алады, пакеттерді іске қосу және тоқтату сияқты әрекеттерді орындай алады. Объектілер моделі сонымен қатар дамытушыларға пакеттерді құруға, сақтауға және жүктеуге, сондай-ақ олардың құрамындағы кез келген объектілерді жасауға, жоюға және өзгертуге мүмкіндік береді. Белгілі бір шектеулерде SSIS пакеттері CLI жинағы DLL-дерін жүктей және шақыра алады, бұл .NET CLR-мен рұқсат етілген кез келген операцияға қол жеткізуді қамтамасыз етеді. SSIS Express және Workgroup нұсқаларынан басқа, SQL Server 2005, 2008, 2008 R2, 2012, 2014 және 2016 нұсқаларының барлығында қолданылуы мүмкін.