Введение
Преобразование данных между различными форматами
В вычислительной технике преобразование данных — это процесс изменения данных из одного формата или структуры в другой формат или структуру. Это фундаментальный аспект большинства задач интеграции и управления данными, таких как подготовка данных, хранение данных, интеграция данных и интеграция приложений. Преобразование данных может быть простым или сложным в зависимости от необходимых изменений данных между исходными данными и целевыми данными. Преобразование данных обычно выполняется с помощью сочетания ручных и автоматизированных шагов. Инструменты и технологии, используемые для преобразования данных, могут значительно различаться в зависимости от формата, структуры, сложности и объема преобразуемых данных. Переработка основных данных — это другая форма преобразования данных, при которой вся база данных значений данных преобразуется или переформатируется без извлечения данных из базы данных. Все данные в хорошо спроектированной базе данных прямо или косвенно связаны с ограниченным набором основных таблиц базы данных посредством сети ограничений внешних ключей. Каждое ограничение внешнего ключа зависит от уникального индекса базы данных из родительской таблицы. Следовательно, когда соответствующая основная таблица базы данных перерабатывается с другим уникальным индексом, непосредственно и косвенно связанные данные также перерабатываются или перефразируются. Непосредственно и косвенно связанные данные также могут быть просмотрены в исходном виде, поскольку исходный уникальный индекс все еще существует вместе с основными данными. Кроме того, переработка базы данных должна выполняться таким образом, чтобы не повлиять на архитектуру приложений. Когда сопоставление данных является косвенным через промежуточную модель данных, процесс также называется медиацией данных.
Ограничения традиционной трансформации данных
Этот традиционный процесс также имеет ограничения, которые снижают его общую эффективность. Как правило, пользователи передают задачу преобразования данных разработчикам, обладающим необходимыми навыками программирования или технической экспертизой для определения и выполнения этих преобразований. Эта проблема обусловила потребность в гибкости и возможности самостоятельного обслуживания при интеграции данных (то есть в расширении прав пользователей данных и предоставлении им возможности интерактивно преобразовывать данные самостоятельно). Тем не менее, могут возникать проблемы совместимости (например, новые источники данных, такие как Интернет вещей, могут некорректно работать со старыми инструментами) и ограничения, связанные с соблюдением нормативных требований, из-за различий в подходах к управлению данными, их подготовке и проведению аудита.