Рабочие процессы индексирования и поиска в Azure Data Manager для энергетики

Все данные и связанные метаданные, которые используются на платформе, индексируются для включения поиска. Метаданные доступны для обеспечения осведомленности, даже если данные недоступны.

Служба индексатора

Этот Indexer Service предоставляет механизм индексирования документов, содержащих структурированные и неструктурированные данные.

Рабочий процесс индексирования

На следующей схеме показан рабочий процесс индексирования:

Когда клиент загружает данные на платформу, связанные метаданные загружаются с использованием Storage service. Предоставляет Storage service набор API для управления всем жизненным циклом метаданных, включая такие процессы, как интеграция данных (хранение), изменение, удаление, управление версиями, извлечение и управление схемами данных. Каждая запись метаданных хранилища, созданная Storage service, содержит параметр type, который ссылается на базовую схему. Эта схема определяет атрибуты, индексированные индексами Indexer service.

Storage service При создании записи метаданных генерируется событие recordChangedMessages, которое собирается в Azure Service Bus (очередь сообщений). Служба Indexer queue извлекает сообщение из служебной шины Azure, выполняет базовую проверку и отправляет его на него Indexer service. Если при отправке сообщений в сообщение Indexer serviceвозникли сбои, Indexer queue служба повторяет отправку сообщения до максимального допустимого количества повторных попыток. Если попытки повторных попыток завершаются ошибкой, отрицательные подтверждения отправляются в служебную шину Azure, которая затем архивирует сообщение.

Когда событие recordChangedMessages принимается компонентом Indexer Service, он извлекает необходимые схемы из кэша схем или при помощи Schema service API. Затем Indexer Service создает новый индекс в Elasticsearch (если он еще не существует), после чего отправляется групповой запрос на создание или обновление записей при необходимости. Если ответ от Elasticsearch является отказом типа сервис недоступен или время ожидания запроса истекло, Indexer Service создаёт recordChangedMessages для этих идентификаторов сбоев записей и помещает сообщение в шину службы Azure. Эти сообщения снова будут извлечены службой Indexer Queue и будут следовать тому же процессу, что и раньше.

Для получения дополнительной информации см. документацию OSDU® по службе индексатора, которая предоставляет сведения о службе индексатора.

Рабочий процесс поиска

Search service предоставляет механизм обнаружения индексированных документов метаданных. API поддерживает полнотекстовый поиск по строковым полям, запросы диапазона по датам, числовым или строковым полям и т.п., а также геопространственные поиски.

При загрузке записей метаданных на платформу Storage service можно установить права доступа для зрителей и собственников записей метаданных в поле acl. Просмотрщики и пользователи назначаются через группы, как определено в разделе Entitlement service. При выполнении поиска в качестве пользователя соответствующие записи метаданных будут отображаться только для пользователей, которым назначена группа.

Для подробного ознакомления с Search service, обратитесь к документации службы поиска OSDU®

Рабочий процесс переиндексации

API переиндексирования позволяет пользователям переиндексировать тип без повторного приема записей через API хранения. Подробную информацию см. в документации OSDU® по переиндексации

OSDU® — это товарный знак Open Group.

Дальнейшие действия