Словарь данных: определения и представления элементов данных.

Введение

Набор метаданных, содержащий определения и представления элементов данных.

Словарь данных, или хранилище метаданных, как определено в IBM Dictionary of Computing, представляет собой "централизованное хранилище информации о данных, включая их смысл, связи с другими данными, происхождение, использование и формат". Oracle определяет его как набор таблиц, содержащих метаданные. Этот термин может иметь несколько тесно связанных значений, относящихся к базам данных и системам управления базами данных (СУБД):

Документ, описывающий базу данных или набор баз данных.
Неотъемлемый компонент СУБД, необходимый для определения её структуры.
Промежуточное программное обеспечение, расширяющее или заменяющее встроенный словарь данных СУБД.

Документация

Термины "словарь данных" и "репозиторий данных" обозначают более общую программную утилиту, чем каталог. Каталог тесно связан с программным обеспечением СУБД. Он предоставляет информацию, хранящуюся в нем, пользователю и администратору БД, но в основном доступ к нему осуществляется различными программными модулями самой СУБД, такими как компиляторы DDL и DML, оптимизатор запросов, процессор транзакций, генераторы отчетов и модуль обеспечения целостности ограничений. С другой стороны, словарь данных – это структура данных, хранящая метаданные, то есть (структурированные) данные об информации. Программный пакет для автономного словаря данных или репозитория данных может взаимодействовать с программными модулями СУБД, но в основном используется разработчиками, пользователями и администраторами компьютерной системы для управления информационными ресурсами. Эти системы содержат информацию о конфигурации аппаратного и программного обеспечения системы, документации, приложениях и пользователях, а также другую информацию, относящуюся к администрированию системы. Если система словаря данных используется только разработчиками, пользователями и администраторами, а не программным обеспечением СУБД, она называется пассивным словарем данных. В противном случае она называется активным словарем данных. При обновлении пассивного словаря данных это делается вручную и независимо от каких-либо изменений в структуре СУБД (базы данных). В случае активного словаря данных, словарь обновляется первым, и изменения в СУБД происходят автоматически в результате. Пользователи баз данных и разработчики приложений могут извлечь выгоду из авторитетного документа-словаря данных, который каталогизирует организацию, содержимое и соглашения одной или нескольких баз данных. Как правило, это включает в себя названия и описания различных таблиц (записей или сущностей) и их содержимого (полей), а также дополнительные сведения, такие как тип и длина каждого элемента данных. Другой важной информацией, которую может предоставить словарь данных, являются связи между таблицами. Это иногда отображается в диаграммах "сущность-связь" (ERD) или, при использовании дескрипторов множеств, определяет, в каких множествах участвуют таблицы баз данных. В активном словаре данных могут быть наложены ограничения на базовые данные. Например, может быть установлен диапазон для значения числовых данных в элементе данных (поле), или запись в таблице может быть принудительно включена в связь множества с другим типом записи. Кроме того, распределенная СУБД может содержать определенные сведения о местоположении, описанные в ее активном словаре данных (например, где физически расположены таблицы). Словарь данных состоит из типов записей (таблиц), созданных в базе данных с помощью системных командных файлов, адаптированных для каждой поддерживаемой бэк-энд СУБД. Oracle предоставляет список конкретных представлений для пользователя "sys". Это позволяет пользователям находить необходимую информацию. Командные файлы содержат SQL-инструкции для CREATE TABLE, CREATE UNIQUE INDEX, ALTER TABLE (для обеспечения ссылочной целостности) и т. д., используя конкретные инструкции, требуемые для данного типа базы данных. Не существует универсального стандарта относительно уровня детализации такого документа.

The terms data dictionary and data repository indicate a more general software utility than a catalogue. A catalogue is closely coupled with the DBMS software. It provides the information stored in it to the user and the DBA, but it is mainly accessed by the various software modules of the DBMS itself, such as DDL and DML compilers, the query optimiser, the transaction processor, report generators, and the constraint enforcer. On the other hand, a data dictionary is a data structure that stores metadata, i. e., (structured) data about information. The software package for a stand alone data dictionary or data repository may interact with the software modules of the DBMS, but it is mainly used by the designers, users and administrators of a computer system for information resource management. These systems maintain information on system hardware and software configuration, documentation, application and users as well as other information relevant to system administration. If a data dictionary system is used only by the designers, users, and administrators and not by the DBMS Software, it is called a passive data dictionary. Otherwise, it is called an active data dictionary or data dictionary. When a passive data dictionary is updated, it is done so manually and independently from any changes to a DBMS (database) structure. With an active data dictionary, the dictionary is updated first and changes occur in the DBMS automatically as a result. Database users and application developers can benefit from an authoritative data dictionary document that catalogs the organization, contents, and conventions of one or more databases. This typically includes the names and descriptions of various tables (records or entities) and their contents (fields) plus additional details, like the type and length of each data element. Another important piece of information that a data dictionary can provide is the relationship between tables. This is sometimes referred to in entity relationship diagrams (ERDs), or if using set descriptors, identifying which sets database tables participate in. In an active data dictionary constraints may be placed upon the underlying data. For instance, a range may be imposed on the value of numeric data in a data element (field), or a record in a table may be forced to participate in a set relationship with another record type. Additionally, a distributed DBMS may have certain location specifics described within its active data dictionary (e. g. where tables are physically located). The data dictionary consists of record types (tables) created in the database by systems generated command files, tailored for each supported back end DBMS. Oracle has a list of specific views for the "sys" user. This allows users to look up the exact information that is needed. Command files contain SQL Statements for CREATE TABLE, CREATE UNIQUE INDEX, ALTER TABLE (for referential integrity), etc., using the specific statement required by that type of database. There is no universal standard as to the level of detail in such a document.

Среднее оборудование

При создании приложений баз данных может быть полезно внедрить дополнительный уровень программного обеспечения словаря данных, то есть промежуточное ПО, которое взаимодействует со словарем данных базовой СУБД. Такой словарь данных «высокого уровня» может предлагать дополнительные функции и гибкость, превосходящие ограничения встроенного словаря данных «низкого уровня», основная задача которого – поддержка базовых функций СУБД, а не требований конкретного приложения. Например, словарь данных высокого уровня может предоставлять альтернативные модели «сущность-связь», адаптированные для различных приложений, использующих общую базу данных. Расширения словаря данных также могут помочь в оптимизации запросов к распределенным базам данных. Кроме того, функции администратора баз данных (DBA) часто автоматизируются с помощью инструментов реструктуризации, тесно связанных с активным словарем данных. Программные платформы, предназначенные для быстрой разработки приложений, иногда включают средства словаря данных высокого уровня, что может значительно сократить объем программирования, необходимого для создания меню, форм, отчетов и других компонентов приложения базы данных, включая саму базу данных. Например, PHPLens включает библиотеку классов PHP для автоматизированного создания таблиц, индексов и ограничений внешних ключей, переносимых между различными базами данных. Другой словарь данных на основе PHP, входящий в состав RADICORE, автоматически генерирует программные объекты, скрипты и SQL-код для меню и форм с проверкой данных и сложными соединениями. Для среды ASP.NET словарь данных Base One предоставляет кросс-платформенные возможности для автоматизированного создания баз данных, проверки данных, повышения производительности (кеширование и использование индексов), безопасности приложений и расширенных типов данных. Функции Visual DataFlex позволяют использовать DataDictionaries в качестве файлов классов для создания промежуточного слоя между пользовательским интерфейсом и базой данных. Цель состоит в создании стандартизированных правил для обеспечения целостности данных и соблюдения бизнес-правил в одном или нескольких связанных приложениях. В некоторых отраслях обобщенные словари данных используются в качестве технических стандартов для обеспечения совместимости между системами. Например, в сфере недвижимости используется словарь данных RESO, которому Национальная ассоциация риэлторов предписывает соответствовать организациям MLS через свой политический справочник. Этот промежуточный уровень отображения для нативных баз данных MLS поддерживается компаниями-разработчиками программного обеспечения, предоставляющими API-сервисы организациям MLS.

In the construction of database applications, it can be useful to introduce an additional layer of data dictionary software, i. e. middleware, which communicates with the underlying DBMS data dictionary. Such a "high level" data dictionary may offer additional features and a degree of flexibility that goes beyond the limitations of the native "low level" data dictionary, whose primary purpose is to support the basic functions of the DBMS, not the requirements of a typical application. For example, a high level data dictionary can provide alternative entity relationship models tailored to suit different applications that share a common database. Extensions to the data dictionary also can assist in query optimization against distributed databases. Additionally, DBA functions are often automated using restructuring tools that are tightly coupled to an active data dictionary. Software frameworks aimed at rapid application development sometimes include high level data dictionary facilities, which can substantially reduce the amount of programming required to build menus, forms, reports, and other components of a database application, including the database itself. For example, PHPLens includes a PHP class library to automate the creation of tables, indexes, and foreign key constraints portably for multiple databases. Another PHP based data dictionary, part of the RADICORE toolkit, automatically generates program objects, scripts, and SQL code for menus and forms with data validation and complex joins. For the ASP. NET environment, Base One's data dictionary provides cross DBMS facilities for automated database creation, data validation, performance enhancement (caching and index utilization), application security, and extended data types. Visual DataFlex features provides the ability to use DataDictionaries as class files to form middle layer between the user interface and the underlying database. The intent is to create standardized rules to maintain data integrity and enforce business rules throughout one or more related applications. Some industries use generalized data dictionaries as technical standards to ensure interoperability between systems. The real estate industry, for example, abides by a RESO's Data Dictionary to which the National Association of REALTORS mandates its MLSs comply with through its policy handbook. This intermediate mapping layer for MLSs' native databases is supported by software companies which provide API services to MLS organizations.

Примеры конкретных платформ

Разработчики используют спецификацию описания данных (DDS) для описания атрибутов данных в описаниях файлов, которые внешние по отношению к прикладным программам, обрабатывающим эти данные, в среде IBM i. Системная таблица ts$ в Oracle хранит информацию о каждой таблице в базе данных. Она является частью словаря данных, создаваемого при установке базы данных Oracle. Разработчики также могут использовать контекст DDS из программного обеспечения с открытым исходным кодом (FOSS) для структурированных и транзакционных запросов в открытых средах.