Основные понятия импорта данных по манифесту

Прием файлов, основанный на манифестах, предоставляет конечным пользователям и системам надежный механизм загрузки метаданных о наборах данных в экземпляре Azure Data Manager for Energy. Эти метаданные индексируются системой и позволяют конечным пользователям искать наборы данных.

Прием файлов на основе манифеста — это непроницаемый метод загрузки, который не анализирует и не понимает содержимое файла. Он создает запись метаданных на основе манифеста и делает запись доступным для поиска.

Что такое манифест?

Манифест — это документ JSON, имеющий предопределенную структуру для фиксации сущностей, определенных как "вид", то есть зарегистрированных в качестве схем со службой схем Известные определения схемы (WKS).

Пример документа json манифеста можно найти здесь.

Схема манифеста содержит контейнеры для следующих типов групп OSDU®:

  • ReferenceData (ноль или более) — набор допустимых значений, используемых другими полями данных (master или transaction). Примеры включают единицу измерения (футов),валюту и т. д.
  • MasterData (ноль или более) — один источник базовых бизнес-данных, используемых в нескольких системах, приложениях и/или процессах. Примеры: Wells и Wellbores
  • WorkProduct (WP) (один — обязательно должен присутствовать при загрузке WorkProductComponents) — это граница сеанса или коллекция (например, проект или исследование), включающая набор сущностей, которые необходимо обработать совместно. Например, можно обработать одну или несколько коллекций журналов.
  • WorkProductComponents (WPC) (ноль или более - должен присутствовать при загрузке наборов данных) — типизированная, наименьшая единица бизнес-данных, которая может использоваться независимо, передаваемая в составе рабочего продукта (коллекции данных, которые собираются вместе). Каждый компонент рабочего продукта (WPC) обычно использует эталонные данные, принадлежит некоторым главным данным и поддерживает ссылку на наборы данных. Пример: журналы, ошибки, документы
  • Наборы данных (ноль или несколько- должны присутствовать при загрузке записей WorkProduct и WorkProductComponent) — каждый компонент рабочего продукта (WPC) состоит из одного или нескольких контейнеров данных, известных как наборы данных.

Данные манифеста загружаются в определенной последовательности:

  1. Массив 'ReferenceData' (если заполнен).
  2. Массив MasterData (если заполнен).
  3. Структура "Данные" обрабатывается последней (если заполнена). В свойстве Data обработка выполняется в следующем порядке:
    1. массив "Наборы данных"
    2. массив «WorkProductComponents»
    3. рабочий продукт

Все массивы упорядочены. если существуют взаимозависимости, зависимые элементы должны быть помещены за их целевыми объектами отношений, например, запись "Master-data Well" должна быть помещена в массив MasterData перед его возможностями.

Рабочий процесс приема файлов с использованием манифеста

Экземпляр Azure Data Manager для энергетики поддерживает из коробки рабочий процесс обработки файлов на основе манифеста. Osdu_ingest В вашем экземпляре предварительно настроен Airflow DAG.

Компоненты рабочего процесса приема файлов на основе манифеста

Рабочий процесс приема файлов на основе манифеста состоит из следующих компонентов:

  • Служба рабочих процессов — служба-оболочка, запущенная на вершине обработчика рабочих процессов Airflow.
  • Движок Airflow — это система оркестрации рабочих процессов, которая выполняет рабочие процессы, зарегистрированные как DAG (направленный ациклический граф). Airflow — это выбранный движок рабочих процессов сообществом OSDU® для оркестрации и запуска процессов приема. Airflow не предоставляется напрямую, его функции доступны через службу управления рабочими процессами.
  • Служба хранилища — служба , используемая для сохранения записей метаданных манифеста на платформе данных.
  • Служба схем управления — это служба, управляющая схемами OSDU®, определенными на платформе данных. Схемы используются в процессе поглощения файлов на основе манифеста.
  • Служба прав — служба , управляющая группами доступа. Эта служба используется во время загрузки данных для проверки разрешений на прием. Эта служба также используется во время получения записи метаданных для проверки правильности операций записи при их чтении.
  • Юридическая служба — служба , которая проверяет соответствие с помощью юридических тегов.
  • Служба поиска используется для проверки целостности ссылок во время процесса приема манифеста.

Предварительные требования

Прежде чем запускать рабочий процесс приема файлов на основе манифеста, клиенты должны убедиться, что учетные записи пользователей, выполняющие рабочий процесс, имеют доступ к основным службам (Поиск, Хранилище, Схема, Доступ и Юридические услуги) и службе рабочих процессов (Workflow) (см. роли полномочий для подробностей). В рамках подготовки экземпляра Azure Data Manager для энергетики предварительно загружаются стандартные схемы OSDU® и связанные справочные данные. Клиенты должны убедиться, что учетная запись пользователя, используемая для приема манифестов, включена в соответствующие списки владельцев и списки доступа зрителей. Клиенты должны убедиться, что манифесты настроены с правильными правовыми тегами, владельцами и списками управления доступом для зрителей (ACL), справочными данными и т. д.

Последовательность рабочих процессов

На следующем рисунке представлен рабочий процесс приема файлов на основе манифеста: снимок экрана последовательности приема манифеста.

Пользователь отправляет манифест в Workflow Service, используя рабочий процесс с именем "Osdu_ingest". Если запрос является правильным, и пользователь может запустить рабочий процесс, служба рабочего процесса загружает манифест и инициирует рабочий процесс приема манифеста.

Служба рабочего процесса выполняет ряд манифестов syntax validation , таких как структура манифеста и проверка атрибутов в соответствии с определенной схемой и проверка обязательных атрибутов схемы. Затем система выполняет referential integrity validation между компонентами рабочего продукта и наборами данных. Например, существуют ли упомянутые родительские данные.

После успешной проверки система обрабатывает содержимое в хранилище, записывая каждую допустимую сущность на платформу данных с помощью API службы хранилища.

OSDU® — это товарный знак Open Group.

Дальнейшие действия

  • Last updated on