Интеграция Git со службой "Машинное обучение Azure"

Git — это популярная система управления версиями, позволяющая совместно использовать проекты и совместно над ними работать. В этой статье объясняется, как Машинное обучение Azure интегрироваться с локальным репозиторием Git для отслеживания репозитория, ветви и текущей информации о фиксации в рамках задания обучения.

Машинное обучение Azure полностью поддерживает репозитории Git для отслеживания работы. Клонировать репозитории можно непосредственно на общую файловую систему рабочей области, использовать Git на локальной рабочей станции или использовать Git из конвейера непрерывной интеграции и непрерывного развертывания (CI/CD).

При отправке задания обучения Машинное обучение Azure с исходными файлами из локального репозитория Git информация о репозитории отслеживается в рамках задания обучения. Так как информация поступает из локального репозитория Git, она не привязана к конкретному центральному репозиторию. Репозиторий можно клонировать из любой службы, совместимой с Git, например GitHub, GitLab, Bitbucket или Azure DevOps.

Репозитории Git в файловой системе рабочей области

Машинное обучение Azure предоставляет общую файловую систему для всех пользователей в рабочей области. Лучший способ клонировать репозиторий Git в эту общую папку — создать вычислительный экземпляр и открыть терминал. В терминале у вас есть доступ к полному клиенту Git и клонировать и работать с Git с помощью интерфейса командной строки Git. Дополнительные сведения см . в Git CLI.

Вы можете клонировать любой репозиторий Git, в который можно выполнить проверку подлинности, например репозиторий GitHub, Azure Repos или BitBucket. Лучше клонировать репозиторий в каталог пользователей, чтобы другие пользователи не сталкивались непосредственно в рабочей ветви.

Существует ряд различий между клонированием в локальную файловую систему вычислительного экземпляра или клонированием в общую файловую систему, подключенную как ~/cloudfiles/code/ directory. Как правило, клонирование в локальную файловую систему обеспечивает лучшую производительность, чем клонирование в подключенную файловую систему. Однако при удалении и повторном создании вычислительного экземпляра локальная файловая система теряется, а подключенная общая файловая система сохраняется.

Клонирование репозитория Git с помощью SSH

Клонировать репозиторий можно с помощью протокола Secure Shell (SSH). Чтобы использовать SSH, необходимо пройти проверку подлинности учетной записи Git с помощью ключа SSH.

Создание и сохранение нового ключа SSH

Чтобы создать новый ключ SSH, перейдите на страницу Студия машинного обучения Azure Notebook, откройте терминал и выполните следующую команду, подставив адрес электронной почты.

ssh-keygen -t ed25519 -C "[email protected]"

Команда возвращает следующие выходные данные:

Generating public/private ed25519 key pair.
Enter file in which to save the key (/home/azureuser/.ssh/id_ed25519):

Убедитесь, что расположение в предыдущем выходных данных равно /home/azureuser/.sshили измените его на это расположение, а затем нажмите клавишу ВВОД.

Рекомендуется добавить парольную фразу в ключ SSH для дополнительной безопасности. В следующих запросах введите безопасную парольную фразу.

Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 

При нажатии клавиши ВВОД ssh-keygen команда создает новый ключ SSH с предоставленным адресом электронной почты в виде метки. Файл ключа сохраняется в вычислительном экземпляре и доступен только владельцу вычислительного экземпляра.

Добавление открытого ключа в учетную запись Git

Необходимо добавить открытый ключ SSH в учетную запись Git. Чтобы получить ключ, выполните следующую команду в окне терминала. Если файл ключа имеет другое имя, замените id_ed25519.pub его именем файла открытого ключа.

cat ~/.ssh/id_ed25519.pub

Команда отображает содержимое файла открытого ключа. Скопируйте выходное значение.

Добавьте ключ SSH в учетную запись Git, выполнив следующие инструкции в зависимости от службы Git:

• GitHub
• GitLab
• Azure DevOps
• BitBucket

Клонирование репозитория Git с помощью SSH

Чтобы клонировать репозиторий Git, скопируйте URL-адрес Клонирования SSH Git из репозитория. В терминале запустите git clone url-адрес клонирования SSH Git. Например:

git clone [email protected]:GitUser/azureml-example.git

SSH может отобразить отпечаток SSH сервера и попросить проверить его, как показано в следующем примере.

The authenticity of host 'github.com (000.00.000.0)' can't be established.
ECDSA key fingerprint is SHA256:0000000000000000000/00000000/00000000.
Are you sure you want to continue connecting (yes/no/[fingerprint])?

SSH отображает этот отпечаток при подключении к неизвестному узлу и защищает вас от атак типа "злоумышленник в середине". Убедитесь, что отпечатки пальцев соответствуют одному из отпечатков пальцев на странице открытых ключей SSH. После принятия отпечатка пальца узла SSH не предложит вам снова, если изменения отпечатков пальцев не будут изменены.

SSH отображает ответ, как показано в следующем примере:

Cloning into 'azureml-example'...
Warning: Permanently added 'github.com,000.00.000.0' (ECDSA) to the list of known hosts.
Enter passphrase for key '/home/azureuser/.ssh/id_ed25519': 

После ввода парольной фразы Git клонирует репозиторий и настраивает удаленный источник для подключения к SSH для будущих команд Git.

Трассировка кода, поступающего из репозиториев Git

При отправке учебного задания из пакета SDK для Python или интерфейса командной строки службы "Машинное обучение" файлы, необходимые для обучения модели, отправляются в рабочую область. git Если команда доступна в среде разработки, процесс отправки проверяет, хранятся ли исходные файлы в репозитории Git.

В этом случае процесс отправляет репозиторий, ветвь и текущую информацию о фиксации в рамках задания обучения. Эти сведения хранятся в следующих свойствах задания обучения для заданий, использующих средство оценки, конвейер машинного обучения или выполнение скрипта.

git Если команда недоступна в среде разработки или ваши учебные файлы не находятся в репозитории Git, информация, связанная с Git, не отслеживается.

Просмотр сведений о Git

Сведения Git хранятся в виде кода JSON в свойствах для задания обучения. Данные Git, зарегистрированные в журнале, могут содержать следующие свойства:

"azureml.git.repository_uri": "[email protected]:azure/<repo-name>",
"azureml.git.branch": "<branch-name>",
"azureml.git.commit": "<commit-id>",
"azureml.git.dirty": "<True/False>",
"mlflow.source.git.repoURL": "[email protected]:azure/<repo-name>",
"mlflow.source.git.branch": "<branch-name>",
"mlflow.source.git.commit": "<commit-id>",

Эти сведения можно просмотреть с помощью портал Azure, пакета SDK для Python или Azure CLI.

Портал Azure

В рабочей области в Студия машинного обучения Azure выберите задание на странице "Задания". В разделе "Свойства" страницы обзора задания выберите необработанный JSON в разделе "Просмотреть все свойства".

В формате JSON найдите свойства Git, например:

    "properties": {
        "mlflow.source.git.repoURL": "[email protected]:azure/azureml-examples",
        "mlflow.source.git.branch": "main",
        "mlflow.source.git.commit": "0000000000000000000000000000000000000000",
        "azureml.git.dirty": "False",
        ...
    },

Пакет SDK для Python версии 2

После отправки учебного запуска возвращается объект Job . Атрибут properties этого объекта содержит записанные сведения о Git. Например, можно выполнить следующую команду, чтобы получить хэш фиксации:

job.properties["mlflow.source.git.commit"]

Azure CLI 2.0

Чтобы отобразить сведения о Git, можно выполнить az ml job show команду с аргументом --query . Например, следующий запрос получает mlflow.source.git.commit значение свойства:

az ml job show --name my-job-id --query "{GitCommit:properties.azureml.git.commit} --resource-group my-resource-group --workspace-name my-workspace"

Связанный контент

• Доступ к терминалу вычислительных экземпляров в рабочей области
• Запуск редактора Visual Studio Code, интегрированного со службой Машинное обучение Azure (предварительная версия)
• Использование управления версиями в Visual Studio Code
• Работа с GitHub в Visual Studio Code