Краткое руководство: Быстрый старт. Прием данных с помощью Azure Synapse Pipelines (предварительная версия)

Программа Microsoft Cloud Migration Factory (CMF) предназначена для поддержки клиентов при миграции в Fabric. Программа предлагает практические ресурсы клавиатуры без затрат для клиента. Эти ресурсы назначаются в течение 6–8 недель с предопределенной и согласованной областью. Номинации клиентов принимаются от команды учетных записей Microsoft или непосредственно путем отправки запроса на помощь команде CMF.

Из этого краткого руководства вы узнаете, как загрузить данные из источника данных в пул Azure Synapse Data Explorer.

Предпосылки

• Подписка Azure. Создайте бесплатную учетную запись Azure.

• Создать пул Data Explorer с помощью Synapse Studio или портала Azure

• Создать базу данных Data Explorer.

  1. В Synapse Studio в области слева выберите элемент Данные.

  2. Выберите + (Добавить новый ресурс) >пул обозревателя данных, а затем используйте следующие сведения:

     Setting	Рекомендуемое значение	Description
     Имя пула	contosodataexplorer	Имя пула Data Explorer, который вы будете использовать.
     Имя	TestDatabase	Имя базы данных должно быть уникальным в пределах кластера.
     Срок хранения по умолчанию	365.	Интервал времени (в днях), в течение которого данные будут гарантированно доступны для запросов. Интервал времени измеряется с момента приема данных.
     Период кэширования по умолчанию	31	Интервал времени (в днях), в течение которого необходимо хранить часто запрашиваемые данные в хранилище SSD или ОЗУ, а не в долговременном хранилище.

  3. Чтобы создать базу данных, выберите Создать. Создание обычно занимает меньше минуты.

• Создание таблицы

  1. В Synapse Studio в области слева выберите элемент Разработка.
  2. В разделе Скрипты KQL выберите + (Добавить новый ресурс) >Скрипт KQL. В области справа можно присвоить имя вашему сценарию.
  3. В меню Подключение к выберите contosodataexplorer.
  4. В меню Использование базы данных выберите TestDatabase.
  5. Вставьте следующую команду и выберите Выполнить, чтобы создать таблицу.

  .create table StormEvents (StartTime: datetime, EndTime: datetime, EpisodeId: int, EventId: int, State: string, EventType: string, InjuriesDirect: int, InjuriesIndirect: int, DeathsDirect: int, DeathsIndirect: int, DamageProperty: int, DamageCrops: int, Source: string, BeginLocation: string, EndLocation: string, BeginLat: real, BeginLon: real, EndLat: real, EndLon: real, EpisodeNarrative: string, EventNarrative: string, StormSummary: dynamic)
  

  Подсказка

  Убедитесь, что таблица была успешно создана. В области слева выберите Данные, откройте дополнительное меню contosodataexplorer и выберите Обновить. В разделе contosodataexplorer разверните элемент Таблицы и убедитесь, что в списке присутствует таблица StormEvents.

• Получите конечные точки для запроса и загрузки данных. Для настройки связанной службы потребуется конечная точка запроса.

  1. В Synapse Studio в области навигации слева выберите Управление>пулы Data Explorer.

  2. Выберите пул обозревателя данных, который вы хотите использовать для просмотра сведений.

     

  3. Запишите конечные точки приема запросов и данных. Используйте конечную точку запроса в качестве кластера при настройке подключений к пулу Обозревателя данных. При настройке пакетов SDK для приема данных используйте конечную точку приема данных.

     

Создание связанной службы

В Azure Synapse Analytics связанная служба — это место, где вы определяете сведения о подключении к другим службам. В этом разделе описано, как создать связанную службу для Azure Data Explorer.

1. В Synapse Studio на левой панели выберите "Управление>".

2. Нажмите кнопку +Создать.

   

3. Выберите службу Azure Data Explorer из коллекции и нажмите кнопку "Продолжить".

   

4. На странице "Новые связанные службы" используйте следующие сведения:

   Setting	Рекомендуемое значение	Description
   Имя	contosodataexplorerlinkedservice	Имя новой связанной службы Azure Data Explorer.
   Метод аутентификации	Управляемая идентичность	Метод проверки подлинности для новой службы.
   Метод выбора учетной записи	Введите вручную	Метод указания конечной точки запроса.
   Endpoint	https://contosodataexplorer.contosoanalytics.dev.kusto.windows.net	Конечная точка запроса, о ней вы записали ранее.
   База данных	TestDatabase	База данных, в которую вы хотите загрузить данные.

   

5. Нажмите кнопку Test connection (Проверить подключение), чтобы проверить параметры, а затем Create (Создать).

Создание конвейера для приема данных

Конвейер содержит логический поток для выполнения набора действий. В этом разделе вы создадите конвейер, содержащий действие копирования, которое отправляет данные из предпочтительного источника в пул Data Explorer.

1. В Synapse Studio на левой панели выберите "Интеграция".

2. Выберите +>Пайплайн. На правой панели можно указать имя конвейера.

   

3. В разделе Действия>Перемещение и преобразование перетащите Копировать данные на холст конвейера.

4. Выберите действие копирования и перейдите на вкладку "Источник ". Выберите или создайте новый исходный набор данных в качестве источника для копирования данных.

5. Перейдите на вкладку Слив. Выберите Новый, чтобы создать новый набор данных.

   

6. Выберите набор данных Azure Data Explorer из коллекции и нажмите кнопку "Продолжить".

7. В области "Задать свойства " используйте следующие сведения, а затем нажмите кнопку "ОК".

   Setting	Рекомендуемое значение	Description
   Имя	AzureDataExplorerTable	Имя нового конвейера.
   Связанная служба	contosodataexplorerlinkedservice	Связанная служба, которую вы создали ранее.
   Таблица	StormEvents	Созданная ранее таблица.

   

8. Чтобы проверить конвейер, выберите "Проверить " на панели инструментов. Результат вывода проверки конвейера отображается на правой стороне страницы.

Отладка и публикация конвейера

После завершения настройки конвейера можно выполнить отладку перед публикацией артефактов, чтобы убедиться, что все правильно.

1. Выберите "Отладка " на панели инструментов. Состояние выполнения конвейера вы можете найти на вкладке Выходные данные в нижней части окна.

2. После успешного выполнения конвейера в верхней панели инструментов выберите кнопку Опубликовать все. Это действие публикует сущности (наборы данных и конвейеры), созданные в службе Synapse Analytics.

3. Подождите, пока не увидите сообщение "Успешно опубликовано ". Чтобы просмотреть сообщения уведомления, нажмите кнопку колокольчика в правом верхнем углу.

Активация и мониторинг конвейера

В этом разделе вы вручную активируете конвейер, опубликованный на предыдущем шаге.

1. Выберите Добавить триггер на панели инструментов, а затем Trigger Now (Запустить сейчас). На странице "Запуск конвейера" нажмите кнопку "ОК".

2. Перейдите на вкладку "Монитор ", расположенную на левой боковой панели. Вы видите выполнение конвейера, инициированное вручную.

3. После успешного выполнения конвейера выберите ссылку в столбце имени конвейера, чтобы просмотреть сведения о выполнении действия или повторно запустить конвейер. В этом примере существует только одно действие, поэтому в списке отображается только одна запись.

4. Чтобы увидеть сведения об операции копирования, щелкните ссылку Сведения (значок очков) в столбце Название действия. Вы можете отслеживать детали, такие как объем данных, копируемых из источника в получатель, скорость передачи данных, этапы выполнения с указанием длительности и используемые параметры.

5. Чтобы вернуться к представлению "Запуски конвейера", выберите ссылку Все запуски конвейеров в верхней части окна. Щелкните Обновить, чтобы обновить список.

6. Проверьте правильность записи данных в пуле Обозревателя данных.

Дальнейшие шаги

• Анализ с помощью Data Explorer
• Мониторинг пулов в Data Explorer