Службы OSDU® M25.1, доступные в Azure Data Manager для энергетики

Azure Data Manager в энергетической сфере сейчас соответствует релизу OSDU® M25.1. Ниже приведен обзор служб OSDU®, доступных в Azure Data Manager для энергетики. Эта страница будет регулярно обновляться по мере развития версий служб и доступности.

Основные и вспомогательные службы

• Каталог CRS: предоставляет конечные точки API для работы с геодезическими эталонными данными, позволяя разработчикам получать определения CRS, выбирать соответствующие CRS для интеграции данных и искать CRS на основе различных ограничений.
• Преобразование СКС: обеспечивает преобразование координат из одной системы координат (СКС) в другую.
• Набор данных. Предоставляет внутренние и внешние конечные точки API, позволяющие и приложению или пользователю получать инструкции по хранилищу и извлечению различных типов наборов данных.
• Права: используется для предоставления авторизации в экосистеме данных OSDU. Служба позволяет создавать группы. Имя группы определяет разрешение. Пользователи, добавленные в группу, получают это разрешение. Основной мотивацией службы управления правами доступа является авторизация данных, но функциональность включает три варианта использования: группы доступа к данным, используемые для авторизации данных, группы доступа к службам, используемые для авторизации доступа к услугам, группы пользователей, используемые для иерархической организации пользователей и сервисов.
• Файл: Предоставляет внутренние и внешние конечные точки API, чтобы позволить приложению или пользователю получать любые записи из системы или запрашивать данные о расположении файлов.
• Индексатор: предоставляет механизм индексирования документов, содержащих структурированные или неструктурированные данные. Документы и индексы сохраняются в отдельном постоянном хранилище, оптимизированном для операций поиска. API индексатора может индексировать любое количество документов.
• Очередь индексатора: предоставляет набор API, которые помогают переадресовать сообщения в службу хранилища и из службы хранилища в службу индексатора.
• Юридический: управление юридическими тегами, связанными с наборами данных. LegalTag — это сущность, представляющая юридический статус данных в экосистеме данных. Это коллекция свойств, которые управляют способом использования и приема данных.
• Уведомление. Позволяет заинтересованным потребителям подписываться на изменения данных и метаданных с помощью шаблона публикации или подписчика.
• Пакет SDK для Python: предлагает средства и библиотеки для разработчиков для взаимодействия со службами OSDU с помощью Python.
• Регистрация. Разрешить приложению зарегистрировать действие (активируемая функция). Он ожидает, что данные (контекст) будут поступать из OSDU, чтобы включить действие, и приложение может зарегистрировать фильтр (включить или отключить), чтобы сказать, какие данные можно использовать с этим действием.
• Схема: Обеспечивает централизованное управление схемами в экосистеме данных. Он предлагает реализацию стандарта схемы. Служба схем предоставляет все необходимые API для получения, создания, обновления и маркировки устаревшей схемы.
• Поиск. Предоставляет механизм поиска индексов. Поддерживает полнотекстовый поиск по строковым полям, запросам диапазона по датам, числовым или строковым полям и т. д., а также геопространствному поиску.
• Секрет (предварительная версия): упрощает хранение и получение различных типов секретов в указанном репозитории( ies), чтобы секреты могли быть защищены, отделены от секретов в репозитории инфраструктуры и управляться с помощью взаимодействия приложений.
• Метаданные сейсмического файла: управляет метаданными, связанными с сейсмическими данными. Он аннотирует измерения, каналы значений и пары универсальных ключей и значений.
• Хранилище. Предоставляет набор API для управления всем жизненным циклом метаданных, таким как прием (сохраняемость), изменение, удаление, управление версиями и схема данных.
• Единица: предоставляет определения размеров/измерений и единиц.

Службы управления данными домена (DDMS)

• Сейсмическая DDMS: обеспечивает безопасный доступ и эффективную обработку сейсмических наборов данных.
• Wellbore DDMS: обеспечивает безопасный доступ и обработку данных, связанных с отверстием скважины.
• Поставка скважины DDMS: обеспечивает безопасный доступ, хранение и взаимодействие данных о поставке скважины (планировании и выполнении).
• DDMS для образцов пород и жидкости: позволяет управлять хранением, извлечением и сопоставлением эталонных данных, анализа и отчетов образца породы и жидкости.
• Резервуарная система DDMS [предварительная версия]: обеспечивает хранение данных, связанных с сейсмической и скважинной интерпретацией, структурным моделированием, геологическим моделированием и моделированием резервуаров, включая входные данные для симуляции резервуаров.

Службы приема

• EDS DMS [предварительная версия]: извлекает указанные данные (метаданные) из источников данных, совместимых с OSDU, с помощью запланированных заданий при выходе из связанных файлов набора данных (LAS, SEG-Y и т. д.), хранящихся во внешнем источнике для извлечения по требованию.
  • EDS Fetch & Ingest DAG: упрощает получение данных от внешних поставщиков и прием их в платформу OSDU. Он включает шаги, такие как регистрация у поставщиков, создание заданий данных и запуск процесса приема.
  • EDS Scheduler DAG: автоматизирует получение данных на основе предопределенных расписаний и отправляет сообщения электронной почты получателям по мере необходимости. Это гарантирует, что данные остаются текущими без вмешательства вручную
  • EDS Naturalization DAG: преобразует ссылки на внешние наборы данных в внутренние, извлекая и сохраняя фактические файлы данных на платформе OSDU, обеспечивая полную интеграцию и выравнивание с внутренними схемами.
• Процесс загрузки данных: инициирует бизнес-процессы в системе. На этапе прототипа он упрощает операции CRUD с метаданными рабочего процесса и активирует рабочие процессы в Apache Airflow. Кроме того, служба управляет записями запуска процесса, выступая в качестве оболочки для функций Airflow.
• DAG загрузки манифеста: используется для загрузки одного или нескольких артефактов метаданных о наборах данных в экземпляр Azure Data Manager для энергетики. Узнайте больше о загрузке на основе манифеста.
• DAG для разбора CSV: помогает преобразовывать CSV-файлы в формат, удобный для приема и обработки. Дополнительные сведения о приеме синтаксического анализа CSV.
• osdu-airflow-lib: библиотека, которая обеспечивает интеграцию контекста пользователя в рабочих процессах Airflow.
• osdu-ingestion-lib: библиотека, которая поддерживает загрузку контекста пользователя и включает различные исправления, связанные с версиями Python и заменой полномочий.
• SegY-to-oVDS DAG: преобразует форматы файлов SegY в oVDS.
• SegY to-oZGY DAGY: преобразует форматы файлов SrgY в ZGY.
• Wellbore-DDMS Worker: Внутренне используется службой Wellbore DDMS и осуществляет доступ к большим объемам данных скважины через внутренний API.

Эталонные значения данных и версии схемы

Значения и схемы справочных данных выпускаются по независимым графикам сообщества OSDU и не связаны с выпуском ключевых этапов OSDU. В результате при обновлении менеджера данных Azure для энергетики до нового этапа он включает версии схем OSDU и справочных данных OSDU, которые актуальны на момент обновления.

Службы OSDU® недоступны в Azure Data Manager для энергетики

Примечание. В настоящее время в Azure Data Manager для энергетики недоступны следующие службы OSDU®.

• Зона геопространственного потребления Пользователи также могут развернуть службу зоны геопространственного потребления , интегрированную с ADME.
• Партиция Операции с партициями все еще можно выполнять с помощью доступных API секционирования данных или через портал Azure.
• Обновление схемы Пользователи могут также развернуть средство обновления схемы , интегрированное с ADME.
• Производственные DDMS (историк или ядро) Пользователи могут также развертывать DDMS для тестирования автономных функциональных возможностей.
• Energistcs Parser DAG (WITSML Parser v2, Resqml Parser, ProdML Parser)
• Загрузка манифеста по ссылке через DAG
• Служба управления политиками
• API Seismic DDMS версии 4
• DAG синтаксического анализа WITSML