Задание CI/CD для копирования в фабрике данных в Microsoft Fabric

Для успешного выполнения проектов аналитики данных с помощью "Copy job" необходимо использовать управление версиями, непрерывную интеграцию, непрерывное развертывание и совместную среду.

В Microsoft Fabric вы получите два основных средства для этого: интеграция Git и конвейеры развертывания. Они позволяют управлять ресурсами рабочей области и обновлять их по мере необходимости.

С помощью конвейеров интеграции и развертывания Git вы можете подключить собственные репозитории Git в Azure DevOps или GitHub и использовать встроенные средства развертывания Fabric. Это упрощает настройку гладких рабочих процессов CI/CD, поэтому вы можете создавать, тестировать и развертывать проекты данных с уверенностью.

Кроме того, с поддержкой библиотеки переменных можно параметризировать подключения в задании копирования. Эта мощная возможность упрощает процессы CI/CD путем вынесения значений подключений наружу, что позволяет развертывать одно задание Copy Job в нескольких средах, при этом внедрение правильного подключения осуществляется с использованием библиотеки переменных для каждого этапа.

Интеграция Git для операции копирования

Выполните следующие действия, чтобы подключить задание копирования в Фабрике данных к Git. Это помогает отслеживать изменения, работать с командой и обеспечить безопасность работы:

1. Необходимые условия
2. Подключение к репозиторию Git
3. Подключение к рабочей области
4. Фиксация изменений в Git

Предварительные требования для интеграции с Git

• Вам нужна лицензия Power BI Premium или емкость Fabric.
• Убедитесь, что эти параметры администратора включены:
  • Пользователи могут создавать элементы Fabric
  • Пользователи могут синхронизировать элементы рабочей области с репозиториями Git
  • (Для пользователей GitHub) Пользователи могут синхронизировать элементы рабочей области с репозиториями GitHub
• Вам нужна организация Azure DevOps или учетная запись GitHub.
  • Для Azure DevOps:
    • Зарегистрируйте бесплатную учетную запись Azure , если у вас ее нет.
    • Убедитесь, что у вас есть доступ к репозиторию.
  • Для GitHub:
    • Зарегистрируйте бесплатную учетную запись GitHub , если у вас нет учетной записи.
    • Вам нужен подробный маркер с разрешениями на чтение и запись для содержимого или классический маркер GitHub с включенными областями репозитория.

Шаг 1. Подключение к репозиторию Git

Чтобы использовать интеграцию Git с заданием копирования в Fabric, сначала необходимо подключиться к репозиторию Git:

1. Войдите в Fabric и перейдите в рабочую область, которую вы хотите подключить к Git.

2. Выберите параметры рабочей области.

   

3. Выберите интеграцию Git.

4. Выберите поставщика Git — Azure DevOps или GitHub. Если выбрать GitHub, выберите "Добавить учетную запись " для подключения учетной записи GitHub. После входа нажмите кнопку Connect , чтобы Fabric могли получить доступ к учетной записи GitHub.

   

Шаг 2. Подключение к рабочей области

После подключения к репозиторию Git необходимо подключиться к рабочей области.

1. В раскрывающемся меню введите сведения о рабочей области и ветви, которые вы хотите использовать:

   • Для Azure DevOps:

     • Название организации
     • Имя проекта
     • Имя репозитория
     • Имя ветви
     • Имя папки

   • Для GitHub:

     • URL-адрес репозитория
     • Имя ветви
     • Имя папки

2. Выберите "Подключиться и синхронизировать".

3. После подключения выберите систему управления версиями для получения сведений о связанной ветви, состоянии каждого элемента и времени последней синхронизации.

   

Шаг 3. Фиксация изменений в Git

Чтобы зафиксировать изменения в Git, сделайте следующее:

1. Перейдите в вашу рабочую область.
2. Щелкните значок система контроля версий. Отображается число, показывающее, сколько изменений еще не зафиксировано.
3. На панели управления версиями выберите вкладку Изменения. Вы увидите список всех изменений, а также значки состояния.
4. Выберите элементы, которые нужно зафиксировать. Чтобы выбрать все, установите флажок в верхней части.
5. (Необязательно) Добавьте комментарий фиксации об изменениях.
6. Выберите Подтвердить.

После коммита эти элементы исчезают из списка, и ваше рабочее пространство указывает на последний коммит.

Конвейеры развертывания для Git

Выполните следующие действия, чтобы использовать конвейеры развертывания Git с рабочей областью Fabric:

1. Необходимые условия
2. Создание конвейера развертывания
3. Назначьте рабочую область для конвейера развертывания
4. Развертывание на пустой сцене
5. Развертывание содержимого из одного этапа в другую

Предварительные требования для конвейеров развертывания

Прежде чем приступить к работе, обязательно настройте следующие предварительные требования:

• Активная подписка на Microsoft Fabric.
• Доступ администратора к рабочей области Fabric.

Шаг 1. Создание конвейера развертывания

1. В меню "Рабочие области" выберите конвейеры развертывания.
2. Когда откроется окно "Создание конвейера развертывания" , введите имя и описание конвейера, а затем нажмите кнопку "Далее".
3. Выберите количество этапов, которые требуется выполнить в конвейере. По умолчанию вы увидите три этапа: разработка, тестирование и производство.

Шаг 3. Назначение рабочей области конвейеру развертывания

После создания конвейера необходимо добавить в него содержимое, которым вы хотите управлять. Добавление содержимого в конвейер выполняется путем назначения рабочей области любому этапу конвейера:

1. Откройте конвейер развертывания.

2. На этапе, которому вы хотите присвоить рабочую область, разверните раскрывающийся список под названием Добавить содержимое в этот этап.

3. Выберите рабочую область, которую вы хотите назначить этому этапу.

   

4. Выберите "Назначить".

Развертывание в пустую среду

Когда вы будете готовы переместить содержимое из одного этапа конвейера на следующий, его можно развернуть с помощью одного из следующих вариантов:

• Полное развертывание: выберите это, чтобы развернуть все с текущего этапа на следующий этап.
• Выборочное развертывание. Выберите только элементы, которые требуется развернуть.
• Обратное развертывание. Перемещение содержимого с более поздней стадии обратно на более ранний этап. Вы можете сделать это только в том случае, если целевой этап пуст (не назначена никакая рабочая область).

Выбрав вариант развертывания, вы можете просмотреть сведения и оставить заметку о развертывании, если вы хотите.

Развертывание содержимого из одного этапа в другую

1. После размещения содержимого на этапе конвейера, его можно развернуть на следующем этапе, даже если в следующем рабочем пространстве уже есть содержимое. Парные элементы перезаписываются. Дополнительные сведения об этом процессе см. в статье "Развертывание содержимого в существующей рабочей области "

2. Вы также можете просмотреть журнал развертывания, чтобы узнать последнюю дату развертывания содержимого на каждом этапе. Чтобы изучить различия между двумя конвейерами перед развертыванием, см. статью "Сравнение содержимого" на разных этапах развертывания.

   

Параметризация подключения с библиотекой переменных для задания копирования

Для параметризации подключений в задании копирования можно выполнить следующие действия с помощью библиотеки переменных. Дополнительные сведения о библиотеке переменных.

Шаг 1. Создание библиотеки переменных

1. Выберите +Создать элемент в Fabric, чтобы создать библиотеку переменных.

2. Когда откроется окно новой библиотеки переменных, введите имя библиотеки переменных , а затем нажмите кнопку "Создать".

3. Выберите +Создать переменную , чтобы создать переменные для исходных и целевых подключений.

4. Добавьте в переменные разные идентификаторы подключения в качестве наборов значений для разных сред, таких как разработка, тестирование и производство. Вы можете найти идентификатор подключения из параметров | Управление подключениями и шлюзами. Там вы найдете идентификатор подключения, щелкнув "Параметры " рядом с именем подключения.

   

Шаг 2. Использование библиотеки переменных в задании копирования

1. Откройте задание на копирование.

2. Перейдите к исходным и целевым подключениям и свяжите их с созданной библиотекой переменных.

   

Шаг 3. Активация различных значений подключения в каждой рабочей области

После развертывания задания копирования из рабочей области разработки в тестовую или производственную среду, вы можете активировать новый идентификатор подключения, выбрав соответствующий набор значений для каждой рабочей области.

1. Перейдите в целевую рабочую область и откройте библиотеку переменных.

2. Активируйте соответствующий идентификатор подключения для этой рабочей области в библиотеке переменных.

   

Известные ограничения

Ниже приведены некоторые из текущих ограничений при использовании CI/CD для копировочного задания в Microsoft Fabric Data Factory:

• Переменные рабочей области: CI/CD в настоящее время не поддерживает переменные рабочей области.
• Ограниченная поддержка интеграции Git: в настоящее время Fabric поддерживает интеграцию Git только с Azure DevOps и GitHub. Интеграция Azure DevOps Git рекомендуется, так как интеграция GitHub Git имеет больше ограничений.

Связанный контент

• Введение в процесс CI/CD в рамках цикла ALM в Microsoft Fabric
• Начало использования интеграции с Git, инструментом управления жизненным циклом приложений Fabric (ALM)
• Начните использовать конвейеры развертывания и средство управления жизненным циклом приложений Fabric (ALM)