Как выполнять прием данных с помощью Azure Data Factory в Azure Cosmos DB для PostgreSQL

Область применения: Azure Cosmos DB для PostgreSQL (работает на базе расширения базы данных Citus для PostgreSQL)

Фабрика данных Azure — это облачная служба ETL и интеграции данных. Служба позволяет создавать рабочие процессы на основе данных для их перемещения и преобразования в большом масштабе.

С помощью фабрики данных можно создавать и планировать рабочие процессы на основе данных (называемые конвейерами), которые используют данные из разрозненных хранилищ данных. Конвейеры могут работать локально, в Azure или с использованием других поставщиков облачных служб для аналитики и создания отчетов.

Фабрика данных имеет приемник данных для Azure Cosmos DB для PostgreSQL. Приемник данных позволяет перенести ваши данные (реляционные, NoSQL, файлы озера данных) в таблицы PostgreSQL в Azure Cosmos DB для хранения, обработки и отчетности.

Фабрика данных для поглощения данных в реальном времени

Ниже перечислены основные причины выбора Azure Data Factory для приема данных в Azure Cosmos DB для PostgreSQL.

• Простота в использовании. Предлагает визуальную среду без применения кода для оркестрации и автоматизации перемещения данных.
• Мощные возможности. Использует полную мощность базовой пропускной способности сети до 5 ГиБ/с.
• Встроенные соединители — интегрирует все источники данных с более чем 90 встроенными соединителями.
• Экономичность — поддерживает полностью управляемую облачную службу без сервера, которая масштабируется по требованию.

Инструкции по использованию Data Factory

В этой статье описано, как создать конвейер данных с помощью пользовательского интерфейса фабрики данных. Конвейер в этой фабрике данных копирует данные из хранилища BLOB-объектов Azure в базу данных. Список хранилищ данных, используемых в качестве источников и приемников, см. в таблице Поддерживаемые хранилища данных.

В фабрике данных можно использовать действие копирования для копирования данных между хранилищами данных, расположенными в локальной среде и в облаке в Azure Cosmos DB для PostgreSQL. Если вы не знакомы с фабрикой данных, ознакомьтесь с кратким руководством по началу работы:

1. После создания фабрики данных перейдите к ней и запустите Azure Data Factory Studio. Вы увидите домашнюю страницу фабрики данных, как показано на следующем изображении:

   

2. На домашней странице Фабрика данных Azure Studio выберите Orchestrate.

   

3. В разделе "Свойства" введите имя конвейера.

4. В инструментарии действий разверните категорию Move & Transform и перетащите операцию копирования данных в область конструктора конвейера. В нижней части панели конструктора на вкладке "Общие " введите имя действия копирования.

   

5. Настройка источника.

   1. На странице "Действия" выберите вкладку "Источник". Нажмите кнопку "Создать", чтобы создать исходный набор данных.

   2. В диалоговом окне Новый набор данных выберите Хранилище BLOB-объектов Azure и щелкните Продолжить.

   3. Выберите тип формата данных, а затем нажмите кнопку Продолжить.

   4. На странице "Задать свойства" в разделе "Связанная служба" выберите "Создать".

   5. На странице "Новая связанная служба" введите название связанной службы и выберите вашу учетную запись хранения из списка Имя учетной записи хранения.

      

   6. В разделе "Тестовое подключение" выберите "Путь к файлу", введите контейнер и каталог для подключения, а затем выберите "Проверить подключение".

   7. Нажмите кнопку "Создать", чтобы сохранить конфигурацию.

   8. На экране "Задать свойства" нажмите кнопку "ОК".

6. Настройка приемника.

   1. На странице "Действия" выберите вкладку "Приемник". Нажмите кнопку "Создать", чтобы создать набор данных приемника.

   2. В диалоговом окне Создать набор данных выберите элемент База данных Azure PostgreSQL, а затем — команду Продолжить.

   3. На странице "Задать свойства" в разделе "Связанная служба" выберите "Создать".

   4. На странице "Новая связанная служба" введите имя связанной службы, а затем выберите 'Ввести вручную' в методе выбора учетной записи.

   5. Введите имя координатора кластера в поле "Полное доменное имя ". Вы можете скопировать имя координатора на странице обзора кластера Azure Cosmos DB для PostgreSQL.

   6. Оставьте порт 5432 по умолчанию в поле "Порт " для прямого подключения к координатору или замените его портом 6432, чтобы подключиться к управляемому порту PgBouncer .

   7. Введите имя базы данных в кластере и укажите учетные данные для подключения к нему.

   8. Выберите SSL в раскрывающемся списке метода шифрования.

      Скриншот, показывающий настройку приемника в Azure Data Factory.

   9. Выберите "Проверить подключение" в нижней части панели, чтобы проверить конфигурацию приемника.

   10. Нажмите кнопку "Создать", чтобы сохранить конфигурацию.

   11. На экране "Задать свойства" нажмите кнопку "ОК".

   12. На вкладке "Приемник" на странице "Действия" выберите "Открыть рядом с раскрывающимся списком набора данных приемника" и выберите имя таблицы в целевом кластере, где требуется принять данные.

   13. В методе Запись выберите команду Copy.

   

7. На панели инструментов над холстом выберите элемент Проверка, чтобы проверить параметры конвейера. Исправьте все ошибки, повторно проверьте, и убедитесь, что проверка конвейера выполнена успешно.

8. Выберите "Отладка " на панели инструментов для выполнения конвейера.

   

9. После успешного запуска конвейера в верхней панели инструментов выберите Опубликовать все. Это действие опубликует созданные сущности (наборы данных и конвейеры) в фабрике данных.

Вызов хранимой процедуры в Data Factory

В некоторых конкретных сценариях может потребоваться вызвать хранимую процедуру или функцию, чтобы отправить агрегированные данные из промежуточной таблицы в сводную таблицу. Фабрика данных не предлагает действие хранимой процедуры для Azure Cosmos DB для PostgreSQL, но в качестве обходного решения можно использовать действие поиска с запросом для вызова хранимой процедуры, как показано ниже:

Следующие шаги

• Узнайте, как создать панель мониторинга в режиме реального времени с помощью Azure Cosmos DB для PostgreSQL.
• Узнайте, как переместить рабочую нагрузку в Azure Cosmos DB для PostgreSQL