Общий стандарт обмена информацией между государственными органами NIEMOpen

NIEMOpen: стандарт обмена данными для госсектора. Единая терминология, XML, OASIS. CTAS 3.0 – первый утвержденный стандарт. Полный набор к концу 2024 года.

14 мин чтения

100%

Источник: NIEMOpen — Wikipedia

Сравнивайте с английским: нажмите на абзац — оригинал откроется в окне. Кнопка EN под абзацем показывает его прямо в тексте.

Содержание

Введение

Общий словарный запас и структура для обмена правительственной информацией

NIEMOpen (neemopen), часто называемый NIEM, возник как информационный обменный фреймворк на основе XML из Соединенных Штатов, но перешел в проект OASIS Open. Эта инициатива формализует статус NIEM как официального стандарта в национальной и международной политике и при государственных закупках. Управляющий совет проекта NIEMOpen недавно утвердил первый стандарт в рамках этого нового проекта – Спецификацию атрибутов целевых показателей соответствия (CTAS) версии 3.0. Ожидается, что полный набор стандартов NIEMOpen будет представлен к концу 2024 года. NIEM предлагает общий словарный запас, обеспечивающий эффективный обмен информацией между различными государственными и частными организациями. В настоящее время NIEM разрабатывает NIEM Metamodel и Common Model Format, которые могут быть представлены в любой сериализации данных, поддерживаемой NIEM, включая, но не ограничиваясь JSON. NIEM, созданный в результате межведомственного партнерства, стал представлять собой совместное партнерство агентств и организаций на всех уровнях правительства (федеральном, штатном, племенном и местном), а также частного сектора. Цель этого партнерства – эффективно и результативно обмениваться критически важной информацией в ключевых точках принятия решений во всех областях правосудия, общественной безопасности, управления чрезвычайными ситуациями и ликвидации последствий стихийных бедствий, разведки, Министерства обороны США и обеспечения внутренней безопасности. NIEM предназначен для разработки, распространения и поддержки общекорпоративных стандартов и процессов обмена информацией, которые позволят юрисдикциям автоматизировать обмен данными. Сегодня NIEMOpen спонсируется Управлением J6 Объединенного штаба в Министерстве обороны США, Директоратом науки и технологий Министерства внутренней безопасности (DHS S&T), Службой информации ФБР по уголовному правосудию (CJIS) в ФБР США, Equivant, Исследовательским институтом Georgia Tech, Национальной ассоциацией информационных систем правосудия, sFractal Consulting LLC, Институтом IJIS, Министерством транспорта США и Управлением управления данными и аналитики штата Вирджиния. NIEM обеспечивает рабочее и совместное партнерство между правительственными учреждениями, специалистами-практиками, разработчиками систем и органами по стандартизации в федеральных, штатных, местных, племенных, территориальных, международных и частных организациях. NIEM был определен как ключевой фактор для реализации концепции Joint All-Domain Command and Control (JADC2). NIEM упоминается в JADC2 Reference Architecture (RA) версии 3.0, Приложение D (JADC2 Capability Development and Analytical Framework) в рамках принципов приложений и сервисов, интерфейсов, а также данных и информации. JADC2 Reference Design (RD) версии 1.0, Standard View 2 (StdV 2). Ранее NIEM называлась Национальной моделью обмена информацией. Этот межведомственный правительственный проект вырос из проекта Глобальной модели данных XML по правосудию (GJXDM) Министерства юстиции США. В рамках межведомственного проекта он был расширен, включив в себя другие федеральные и штатные агентства, такие как Управление директора национальной разведки, Министерство обороны США, Федеральное бюро расследований, Техас, Флорида, Нью-Йорк, Пенсильвания и другие.

NIEMOpen (neemopen), frequently referred to as NIEM, originated as an XML based information exchange framework from the United States, but has transitioned to an OASIS Open Project. This initiative formalizes NIEM's designation as an official standard in national and international policy and procurement. NIEMOpen's Project Governing Board recently approved the first standard under this new project; the Conformance Targets Attribute Specification (CTAS) Version 3.0. A full collection of NIEMOpen standards are anticipated by end of year 2024. NIEM offers a common vocabulary that enables effective information exchanges across diverse public and private organizations. NIEM is currently developing the NIEM Metamodel and Common Model Format which can be expressed in any data serialization that NIEM supports, including, but not limited to JSON. Formed from an interagency partnership, NIEM has come to represent a collaborative partnership of agencies and organizations across all levels of government (federal, state, tribal, and local) in addition to private industry. The purpose of this partnership is to effectively and efficiently share critical information at key decision points throughout the whole of the justice, public safety, emergency and disaster management, intelligence, United States Department of Defense and homeland security enterprise. NIEM is designed to develop, disseminate, and support enterprise wide information exchange standards and processes that will enable jurisdictions to automate information sharing. Today, NIEMOpen is sponsored by the Joint Staff J6 Directorate within the U. S. Department of Defense, the Department of Homeland Security Science and Technology Directorate (DHS S"&"T), the FBI Criminal Justice Information Services (CJIS) within the U. S. FBI, Equivant, Georgia Tech Research Institute, the National Association for Justice Information Systems, sFractal Consulting LLC, the IJIS Institute, the US Department of Transportation, and the Virginia Office of Data Governance and Analytics. NIEM provides a working and collaborative partnership among governmental agencies, operational practitioners, systems developers, and standards bodies across Federal, State, Local, Tribal, Territorial, International and Private organizations. NIEM has been identified as a key enabler for Joint All Domain Command and Control (JADC2). NIEM is cited in the JADC2 Reference Architecture (RA) Version 3.0 Enclosure D (JADC2 Capability Development and Analytical Framework) within the Application and services, Interface and Data & Information principals. JADC2 Reference Design (RD) Version 1.0, Standard View 2 (StdV 2). NIEM most recently was referred to as the National Information Exchange Model. That interagency government project was an outgrowth of the United States Department of Justice's Global Justice XML Data Model (GJXDM) project. As an interagency project it was expanded to include other federal and state agencies such as the Office of the Director of National Intelligence, United States Department of Defense, Federal Bureau of Investigation, Texas, Florida, New York, Pennsylvania, and others.

Введение

NIEM разработан для упрощения создания автоматизированных информационных обменов в масштабе предприятия, которые могут быть единообразно разработаны, централизованно поддерживаться, быстро идентифицированы и обнаружены, а также эффективно повторно использованы.

Основные понятия

Следующие ключевые понятия необходимы для понимания цели, архитектуры, процессов и других возможностей NIEM, а также для формирования общей базы знаний, позволяющей эффективно использовать NIEM. Компоненты данных. Фундаментальным строительным блоком NIEM является компонент данных. Компоненты данных – это базовые элементы бизнес-данных, представляющие реальные объекты и понятия. Информация, обмениваемая между ведомствами, может быть разложена на отдельные компоненты – например, данные о людях, местах, материальных объектах и событиях. Компоненты, которые часто и единообразно используются на практике, специфицируются в NIEM и затем могут быть повторно использованы специалистами для обмена информацией, независимо от характера их деятельности или операционного контекста обмена, при условии семантической согласованности. Документация пакета обмена информацией. Информация, которая обычно или повсеместно обменивается между участвующими доменами, может быть организована в пакеты обмена информацией (IEP) в форме XML-схем. Примером такого набора информации являются данные, связанные с арестом. Обмениваемые данные включают не только описательные и персональные идентификационные данные об арестованном (т.е. компонент «лицо», описанный выше), но и информацию о предполагаемом правонарушении, месте его совершения, сотруднике, произведшем арест, и т.д. IEP представляет собой набор данных, фактически передаваемых между ведомствами для конкретной бизнес-цели (например, инициирование обвинительного заключения местным прокурором). Он включает в себя фактический XML-экземпляр, содержащий полезную нагрузку или информацию. Дополнительная информация об этом конкретном обмене может быть дополнительно задокументирована в виде документации пакета обмена информацией (IEPD), которая также содержит данные, описывающие структуру, содержание и другие артефакты обмена информацией. IEPD поддерживает конкретный набор бизнес-требований в операционной среде. Ядро NIEM. Компоненты данных в рамках обмена информацией, которые универсально используются и понимаются всеми (или почти всеми) доменами, идентифицируются как универсальные компоненты (например, «лицо», «адрес» и «организация»). Для того чтобы стать универсальным компонентом, требуется консенсус всех доменов относительно семантики и структуры компонента. Набор универсальных компонентов NIEM стабилен (после установления) и относительно невелик. Домены. В контексте NIEM домен относится к бизнес-предприятию, широко отражающему ведомства, подразделения правительства, операционные функции, услуги и информационные системы, которые организованы или связаны для достижения общих целей. Домены NIEM организованы для обеспечения управления, и каждый из них обладает определенной степенью устойчивости. Каждый домен традиционно включает в себя сплоченную группу управляющих данными, являющихся экспертами в предметной области (SME), обладающих определенным уровнем полномочий в представляемых ими доменах и участвующих в процессах, связанных с гармонизацией конфликтов и разрешением неоднозначности компонентов данных. Сообщества интересов. Сообщества интересов (COI) – это совместные группы пользователей, обменивающихся информацией для достижения общих целей, интересов, задач или бизнес-процессов и, следовательно, нуждающиеся в общем словаре для обмениваемой информации. COI повторно используют компоненты данных и артефакты, найденные в NIEM, для документирования обмена информацией. Одно или несколько COI могут координировать разработку нового контента по мере выявления пробелов в компонентах данных, необходимых для документирования обмена информацией. Соответствие NIEM. Существуют правила соответствия NIEM, которые служат руководством для ведомств, использующих NIEM для реализации обмена информацией. Получатели грантов, разрабатывающие межведомственный обмен данными на основе XML, должны соблюдать специальные условия, содержащиеся в гранте, и следовать соответствующим рекомендациям по внедрению NIEM.

The following key concepts are essential to understanding the purpose, architecture, processes, and other capabilities of NIEM, as well as to establish a common knowledge base with which to develop the ability to use NIEM effectively. Data Components. The fundamental building block of NIEM is the data component. Data components are the basic business data elements that represent real world objects and concepts. Information exchanged between agencies can be broken down into individual components – for example, information about people, places, material things, and events. Components that are frequently and uniformly used in practice are specified in NIEM and can then be reused by practitioners for information exchanges, regardless of the nature of their business or the operational context of their exchanges, provided they are semantically consistent. Information Exchange Package Documentation. The information that is commonly or universally exchanged between participating domains can be organized into information exchange packages (IEPs) in the form of XML Schemas. An example of this collection of information is data associated with an arrest. The data to be exchanged includes not only descriptive and personal identification data regarding the individual arrested (i. e., the person component described above) but also information about the person's alleged offense, the location of the offense, the arresting officer, etc. The IEP represents a set of data that is actually transmitted between agencies for a specific business purpose (e. g., initiating a charging document by the local prosecutor). It includes the actual XML instance that delivers the payload or information. Additional information regarding this specific exchange can be further documented in the form of an information exchange package documentation (IEPD), which also contains data describing the structure, content, and other artifacts of the information exchange. An IEPD supports a specific set of business requirements in an operational setting. NIEM Core. Data components within an information exchange that are universally shared and understood among all (or almost all) domains are identified as universal components (e. g., person, address, and organization). To become a universal component, consensus by all domains is needed on the semantics and structure of the component. The set of NIEM universal components is stable (once established) and relatively small. Domains. For purposes of NIEM, a domain refers to a business enterprise broadly reflecting the agencies, units of government, operational functions, services, and information systems which are organized or affiliated to meet common objectives. NIEM domains are organized to facilitate governance, and each has some measure of persistency. Each domain traditionally includes a cohesive group of data stewards who are subject matter experts (SMEs), have some level of authority within the domains they represent, and participate in the processes related to harmonizing conflicts and resolving data component ambiguities. Communities of Interest. Communities of interest (COIs) are collaborative groups of users who exchange information in pursuit of shared goals, interests, missions, or business processes and who therefore must have a shared vocabulary for the information they exchange. COIs reuse data components and artifacts found in NIEM to document their information exchanges. One or more COIs can coordinate to develop new domain content as they identify gaps in the data components needed for documenting information exchanges. NIEM Conformance. There are NIEM conformance rules that serve as guidelines for agencies utilizing NIEM to implement their information sharing exchanges. Grantees developing inter agency XML based exchanges must comply with the special condition language contained in the grant, and follow the associated NIEM implementation guidelines.

Обучение и другие технические ресурсы

NIEM – это постоянно развивающаяся программа, и новые ведомства и COI постоянно присоединяются к работе над ней. По мере подключения новых заинтересованных сторон им необходимо получать информацию для понимания основных возможностей NIEM и способов участия в обмене информацией в рамках NIE. В 2022 году NIEM разработал серию обучающих видеороликов, доступных на NIEM.gov/learn, включающую углубленное техническое изучение и предназначенную для поддержки разработчиков и специалистов по внедрению. Ежемесячные пользователи могут зарегистрироваться на виртуальные обучающие сессии, которые включают предварительно записанные видеоматериалы, а также живую сессию с экспертом NIEM, отвечающим на вопросы в режиме реального времени. NIEM.gov предоставляет письменные учебные материалы, такие как информационные справки и документацию по процессам на NIEM GitHub, а также другие ресурсы, такие как справочная служба и база знаний по национальным стандартам обмена информацией. Обучение предоставляет заинтересованным сторонам необходимые знания и навыки для использования инструментов и других возможностей, предоставляемых NIEM. Подробное описание инструментов и возможностей обучения NIEM приведено ниже. Другие учебные материалы, такие как брифинги для руководства, маркетинговые материалы и презентации для конференций и семинаров, предлагаются периодически и адаптируются в зависимости от аудитории. Выбор онлайн-материалов также доступен как на основном веб-сайте NIEM.gov, так и на таких ресурсах, как Youtube.com (поиск по запросу "NIEM training").

Сайт NIEM.gov

Веб-сайт NIEM является основным способом предоставления NIEM актуальной документации и загрузок заинтересованным сторонам. Он также служит отправной точкой для тех, кто хочет обратиться к сотрудникам NIEM с вопросами, запросами о поддержке и информацией. По мере развития связанных с NIEM проектов, инструментов и ресурсов поддержки, веб-сайт будет расширяться и станет центральным узлом для этих дополнительных материалов.

Технические стандарты

NIEM использует стандартные конструкции и методы XML-схемы, включая роли, связи и расширения, заимствованные из отраслевых стандартов, таких как язык XML-схемы, разработанный консорциумом World Wide Web Consortium (W3C).

Моделирование NIEM и концепции схем

Ниже кратко описаны технические концепции и механизмы моделирования и схемы NIEM, обеспечивающие создание новых компонентов данных, соответствующих конкретным требованиям, и повторное использование существующих компонентов данных NIEM. Более подробную информацию можно найти в руководстве пользователя NIEM и в NDR NIEM.

Элементы данных, классы, типы и свойства

Модель данных NIEM использует концепции, заимствованные из объектно-ориентированного программирования (ООП). ООП определяет класс как конкретную сущность в модели данных, которая может представлять реальный объект, но также может представлять любой концептуальный объект, например, связи и сообщения. Свойства объекта описывают этот объект. При генерации XML-схем NIEM из модели данных NIEM, классы модели данных представляются в виде типов XML-схем, а свойства модели данных – в виде элементов и атрибутов XML.

Специализация с наследством

Специализация применяется, когда базовый объектный класс (тип) включает в себя или может быть разбит на более конкретные подклассы. В этом случае подкласс, производный от базового класса, наследует свойства более общего базового или родительского класса. Этот механизм используется для обмена или повторного использования свойств между общим компонентом данных и его специализацией. Например, тип (или класс) транспортного средства определяется как компонент данных, обладающий свойствами, такими как идентификационный номер транспортного средства (VIN), марка и модель. Тип (или класс) грузовика является специализацией транспортного средства и, следовательно, наследует свойства транспортного средства, но также имеет собственные специфические свойства, например, длину кузова. Специализация не зависит от времени и обычно используется только тогда, когда базовый класс и подкласс всегда существуют.

Роли

Роль — это особый тип, который представляет определенную функцию, назначение, контекст или деятельность для сущности. Роли, как правило, зависят от времени и, следовательно, являются временными. Новый тип может быть создан для роли, если с этой ролью связаны специфические данные и собственный жизненный цикл. Тип роли имеет свойство RoleOf, которое указывает, какой объект выполняет эту роль. Одна сущность может выполнять несколько ролей. Например, роль оружия могут выполнять различные сущности. Поэтому, если транспортное средство используется как оружие (для нанесения телесных повреждений или убийства), то экземпляр типа WeaponType будет содержать свойство RoleOf, ссылающееся на экземпляр транспортного средства, используемого в качестве оружия. Тип WeaponType (роль) также может содержать свойства, описывающие вовлеченных лиц и действия, даты и время вовлечения, а также способ использования сущности в качестве оружия.

Ассоциации

Тип ассоциации — это объект, представляющий связь между компонентами данных. Например, два экземпляра PersonType, Абигейль и Боб, могут быть связаны типом MarriageAssociationType, чтобы отразить факт их брака. MarriageAssociationType может содержать собственные свойства, такие как дата заключения брака, количество детей, дата развода, смерть одного из супругов и т. д.

Увеличение

Дополнение типа данных NIEM позволяет добавить информацию, специфичную для конкретной области или модели, к концепции, представленной в типе NIEM, не создавая новый тип NIEM. Включение всех возможных свойств, специфичных для модели предметной области, в основные схемы NIEM для общего использования было бы непрактичным и сложным. Вместо этого, разработчикам моделей предметных областей необходимо иметь возможность определять данные для своих нужд, независимо от общих определений. Более того, эти данные должны быть применимы непосредственно к объекту данных NIEM и использоваться повторно в различных обменах. Механизм дополнения, реализованный в NIEM, использует конструкции XML-схемы для повторного использования существующих представлений модели данных в формате XML-схемы, позволяя расширять их новой информацией.

Адаптация внешних стандартов

Помимо добавления новых типов и свойств NIEM в NIEM, можно адаптировать существующие внешние (не NIEM) пространства имен для использования в структуре NIEM. Это позволяет использовать внешние стандарты в рамках NIEM IEPD без необходимости приведения самих внешних стандартов в соответствие с NIEM. Цель этого подхода – обеспечить возможность использования компонентов внешних стандартов в том виде, в котором они были изначально определены.

Метаданные

Метаданные, или данные о данных, определяют информацию, поддерживающую фактическое содержимое экземпляров XML. Функция метаданных предоставляет механизм для присоединения структурированных свойств, описывающих происхождение или источник (когда было сообщено, кто сообщил, насколько надежен источник и т. д.) к любому компоненту данных модели (типу или объекту, свойству, ассоциации, роли или расширению) в любом пространстве имен. Это позволяет расширять наборы метаданных дополнительными свойствами для локальных нужд и допускает повторение свойств метаданных.

Понятия словаря EIEM

NIEM представила концепцию словарей модели обмена корпоративной информацией (EIEM), чтобы предоставить разработчикам NIEM возможность использовать локальные наборы компонентов, специфичные для их организации. Как правило, эти компоненты могут быть взяты из корпоративной модели данных (EDM), а затем экспортированы и преобразованы в XML-компоненты, соответствующие стандарту NIEM NDR. Подробную информацию о создании словарей EIEM можно найти в разделе "Инструменты" ниже.

Инструменты

NIEM предоставляет эталонный набор инструментов, свободно доступных с каждым релизом NIEM. Эти инструменты реализуют все структурные и содержательные характеристики релиза, включая NIEM NDR. Четко определенные интерфейсы и выходные данные NIEM также поддерживают разработку независимых инструментов сторонних разработчиков. Примеры поддерживаемых инструментов сторонних разработчиков приведены ниже.

Таблица словаря данных XML NIEM

Таблица словаря данных NIEM XML является конкретным представлением всего словаря данных NIEM. Она включает в себя все имена элементов, организованные иерархически под основными компонентами данных (лицо, имущество, организация и т.д.) со ссылками на связанные элементы. Эта таблица также предоставляет информацию о типе представляемых данных (дата, целое число, строка и т.д.) и точное, контекстуально насыщенное определение каждого компонента словаря.

Инструмент генерации подмножеств схемы

Инструмент генерации подмножеств схемы (SSGT) позволяет пользователям осуществлять поиск в модели данных NIEM, просматривать информацию об элементах и типах NIEM и создавать пользовательское подмножество XML-схемы для определенной версии NIEM. Модель данных NIEM содержит более 12 000 элементов и охватывает более десятка доменов; подмножества позволяют пользователям, разрабатывающим IEPD, выбирать только необходимые элементы, исходя из конкретных требований обмена данными. С помощью этого инструмента пользователи могут:

Осуществлять поиск и изучение модели данных NIEM. Создать подмножество схемы, содержащее компоненты, необходимые для обмена данными. Загрузить текущее подмножество в виде zip-файла (выберите "Создать документы > Сохранить схему подмножества в файл"). Возобновить редактирование предыдущего подмножества (выберите "Параметры > Загрузить список желаемых" и загрузите файл wantlist.xml, содержащийся в ранее загруженном подмножестве). Переключаться между различными версиями NIEM (выберите "Параметры > Сменить версию"). Загрузить уже сгенерированные подмножества для каждого домена.

Помощник по тестированию соответствия

Помощник по тестированию соответствия (ConTesA) позволяет пользователю проверять XML-схемы NIEM на соответствие автоматизированным правилам, определенным в правилах именования и проектирования NIEM (NDR). Это важный первый шаг для подтверждения соответствия NIEM. Пользователи могут загружать одну XML-схему NIEM или ZIP-файл (как правило, представляющий собой IEPD) и просматривать или скачивать результаты в виде отчета о соответствии.

Движение

Движение позволяет пользователям искать и просматривать содержимое последней версии NIEM. Оно предоставляет удобный интерфейс и более точные результаты поиска. Кроме того, это программное обеспечение с открытым исходным кодом: сообщество, вдохновившее его создание, может участвовать в его развитии.

Инструмент миграции

Инструмент миграции позволяет пользователю обновить подмножество выпуска схемы XML NIEM, сгенерированное SSGT, до следующего выпуска. Для обновления до непоследовательных выпусков можно выполнить несколько миграций.

Каталог инструментов

См. каталог инструментов NIEM для получения информации о других инструментах, разработанных сообществом NIEM.

Статус

Начиная с 2022 года, NIEM 5.2 является текущей версией. Она была выпущена 23 декабря 2022 года и содержит незначительные изменения. Важные изменения в NIEM 5.2 касаются содержания и инструментов. Изменения в спецификациях и инструментах представлены ниже:

Спецификации, используемые для 5.0 - 5.2

Правила именования и проектирования NIEM (NDR), 5.0
Спецификация пакета документации обмена информацией NIEM (IEPD), 5.0
Новое название для предыдущей спецификации описания модельного пакета (MPD), 3.0.1. Упрощает артефакты и структуру IEPD.
Спецификация NIEM JSON, 5.0
Спецификация соответствия NIEM, 5.0
Спецификация кодовых списков NIEM, 5.0

5.1 обновления инструментов

Инструмент генерации подмножеств схемы (SSGT): Добавлен выпуск 5.2
Переход: Текущий выпуск (5.0) заменен на выпуск 5.2
Помощник тестирования соответствия (ConTesA): Добавлена поддержка правил Schematron NDR 5.0
Инструмент миграции: Добавлена поддержка миграции подмножеств SSGT 5.1 в подмножества 5.2

История релизов

NIEM 5.2 Выпуск 23 декабря 2022 года
NIEM 5.1 Выпуск 23 декабря 2021 года
NIEM 5.0 Выпуск 22 декабря 2020 года
NIEM 4.2 Выпуск 1 октября 2019 года
NIEM 4.1 Выпуск 1 августа 2018 года
NIEM 4.0 Выпуск 28 июня 2017 года
NIEM 3.0 Выпуск 21 октября 2013 года
NIEM 2.1 Выпуск 28 сентября 2009 года
NIEM 2.0 Выпуск 31 июля 2007 года
NIEM 1.0 Выпуск 1 ноября 2006 года
NIEM 0.3 Выпуск 12 апреля 2006 года
NIEM 0.2.1 Выпуск 24 февраля 2006 года
NIEM 0.2 Выпуск 23 декабря 2005 года
NIEM 0.1 Выпуск 11 октября 2005 года