Защита рабочей области Машинное обучение Azure с помощью виртуальных сетей (версия 1)

ОБЛАСТЬ ПРИМЕНЕНИЯ:Расширение ml для Azure CLI v1Python SDK azureml v1

В этой статье вы узнаете, как защитить рабочую область Azure Machine Learning и связанные с ней ресурсы в виртуальной сети Azure.

Эта статья входит в цикл статей, посвященных вопросам защиты рабочего процесса Машинного обучения Azure. Другие статьи этой серии:

• Общие сведения о виртуальных сетях
• Защита среды обучения
• Обеспечьте безопасность среды вывода
• Включение функций Студии
• Использование пользовательских DNS-серверов
• Использование брандмауэра
• Сетевая изоляция платформы API

Для руководства по созданию безопасной рабочей области см. Руководство: Создание безопасной рабочей области, шаблон Bicep или шаблон Terraform.

Из этой статьи вы узнаете, как настроить следующие ресурсы рабочих областей в виртуальной сети:

Предварительные условия

• Прочитайте статью Обзор сетевой безопасности, чтобы ознакомиться с типовыми сценариями виртуальной сети и общей архитектурой виртуальной сети.

• Изучите подробности в статье Рекомендации по обеспечению корпоративной безопасности с помощью службы "Машинное обучение Azure".

• Существующая виртуальная сеть и подсеть для использования с вычислительными ресурсами.

  Предупреждение

  Не используйте диапазон IP-адресов 172.17.0.0/16 для виртуальной сети. Это диапазон подсети по умолчанию, используемый сетью моста Docker, и приведет к ошибкам при использовании для виртуальной сети. Другие диапазоны также могут конфликтовать в зависимости от того, что вы хотите подключить к виртуальной сети. Например, если вы планируете подключить локальную сеть к виртуальной сети, а локальная сеть также использует диапазон 172.16.0.0/16. В конечном счете, это зависит от вас, как спланировать сетевую инфраструктуру.

• Чтобы развернуть ресурсы в виртуальной сети или подсети, учетная запись пользователя должна иметь разрешения на доступ к следующим действиям в управлении доступом на основе ролей в Azure (Azure RBAC):

  • "Microsoft.Network/*/read" в ресурсе виртуальной сети. Это разрешение не требуется для развертываний шаблонов Azure Resource Manager (ARM).
  • "Microsoft.Network/virtualNetworks/join/action" в ресурсе виртуальной сети.
  • "Microsoft.Network/virtualNetworks/subnets/join/action" в ресурсе подсети.

  Дополнительные сведения об Azure RBAC при работе с сетью см. в разделе Встроенные роли сети.

Реестр контейнеров Azure

• Реестр контейнеров Azure должен иметь версию "Премиум". Дополнительные сведения об обновлении см. в разделе Изменение SKU.

• Если в Реестре контейнеров Azure используется частная конечная точка, то она должна находиться в той же виртуальной сети, что и учетная запись хранения и целевые объекты вычислений, применяемые для обучения или получения выводов. Если же используется конечная точка службы, то она должна находиться в той же виртуальной сети и подсети, что и учетная запись хранения и целевые объекты вычислений.

• Рабочая область Машинного обучения Azure должна содержать кластер вычислительных ресурсов Машинного обучения Azure.

Ограничения

Учетная запись хранения Azure

• Если вы планируете использовать Студию машинного обучения Azure, а учетная запись хранения также находится в виртуальной сети, то при проверке предъявляются дополнительные требования.

  • Если учетная запись хранения использует конечную точку службы, то частная конечная точка рабочей области и конечная точка службы хранилища должны находиться в одной подсети виртуальной сети.
  • Если учетная запись хранения использует частную конечную точку, то частная конечная точка рабочей области и частная конечная точка хранилища должны находиться в одной виртуальной сети. При этом они могут находиться в разных подсетях.

Экземпляры контейнеров Azure

Если рабочая область Машинного обучения Azure настроена через частную конечную точку, развертывание в контейнеры Azure в виртуальной сети не поддерживается. Вместо этого рекомендуется использовать управляемую сетевую конечную точку с сетевой изоляцией.

Реестр контейнеров Azure

Если ACR находится за виртуальной сетью, Машинное обучение Azure не может использовать его для непосредственного создания образов Docker. Вместо этого для построения образов используется кластер вычислений.

Azure Monitor

Требуется общий доступ в Интернет

Машинному обучению Azure требуется как входящий, так и исходящий доступ к общедоступному Интернету. В следующих таблицах представлена информация о требуемом доступе и его назначении. Для тегов служб, которые заканчиваются на .region, замените region на регион Azure, содержащий рабочую область. Например, Storage.westus:

Кроме того, может потребоваться разрешить исходящий трафик к Visual Studio Code и на сайты, не относящиеся к Майкрософт, для установки пакетов, необходимых для проекта машинного обучения. В следующей таблице перечислены часто используемые репозитории для машинного обучения.

При использовании службы Azure Kubernetes Service (AKS) с Машинным обучением Azure разрешите следующий трафик в виртуальной сети AKS.

• Общие требования к входящему/исходящему трафику для AKS приведены в статье Ограничение исходящего трафика в Службе Azure Kubernetes.
• Исходящий трафик на mcr.microsoft.com.
• При развертывании модели в кластере AKS используйте руководство в статье Развертывание моделей машинного обучения в Службе Azure Kubernetes.

Для получения сведений об использовании брандмауэра см. Использование брандмауэра с Azure Machine Learning.

Защита рабочей области с помощью частной конечной точки

Приватный канал Azure позволяет подключаться к рабочей области через частную конечную точку. Частная конечная точка — это набор частных IP-адресов в виртуальной сети. Затем можно ограничить доступ к рабочей области, чтобы доступ осуществлялся только через частные IP-адреса. Частная конечная точка помогает снизить риск утечки данных.

Дополнительные сведения о настройке частной конечной точки для рабочей области см. в Как настроить частную конечную точку.

Защита учетных записей хранения Azure

Машинное обучение Azure поддерживает учетные записи хранения, которые настроены для использования частной конечной точки или конечной точки службы.

Защищенное хранилище Azure Key Vault

Машинное обучение Azure использует связанный экземпляр Key Vault для хранения следующих учетных данных:

• строка подключения связанной учетной записи хранения;
• Пароли для репозиториев контейнеров Azure
• строки подключения к хранилищам данных.

Azure Key Vault можно настроить для использования частной конечной точки или конечной точки службы. Чтобы использовать возможности экспериментирования в системе Машинного обучения Azure с хранилищем ключей Azure за виртуальной сетью, выполните следующие действия.

Настройка Реестра контейнеров Azure (ACR)

Реестр контейнеров Azure можно настроить для использования частной конечной точки. Чтобы настроить рабочую область для использования Реестра контейнеров Azure в виртуальной сети, выполните следующие действия.

1. Чтобы найти имя Реестра контейнеров Azure для рабочей области, используйте один из следующих методов:

   • Azure CLI
   • Пакет SDK для Python

   ОБЛАСТЬ ПРИМЕНЕНИЯ: расширение Azure CLI для модулей машинного обучения версии 1

   Если вы установили расширение Машинное обучение версии 1 для Azure CLI, можно использовать az ml workspace show команду для отображения сведений о рабочей области.

   az ml workspace show -w yourworkspacename -g resourcegroupname --query 'containerRegistry'
   

   Эта команда возвращает значение следующего вида: "/subscriptions/{GUID}/resourceGroups/{resourcegroupname}/providers/Microsoft.ContainerRegistry/registries/{ACRname}". Последняя часть строки — это имя реестра контейнеров Azure для рабочей области.

2. Ограничьте доступ к виртуальной сети по инструкции из статьи Частное подключение к Реестру контейнеров Azure . При добавлении виртуальной сети выберите виртуальную сеть и подсеть для ресурсов Машинного обучения Azure.

3. Настройте ACR для рабочей области на разрешение доступа доверенным службам.

4. создадите вычислительный кластер Машинного обучения Azure; Этот кластер используется для создания образов Docker, когда Azure Container Registry (ACR) находится в виртуальной сети. Дополнительные сведения см. в разделе Создание вычислительного кластера.

5. Используйте один из описанных ниже методов, чтобы настроить рабочую область для создания образов Docker с помощью вычислительного кластера.

   Внимание

   При использовании вычислительного кластера для сборок образов применяются следующие ограничения:

   • Поддерживается только SKU c ЦП.
   • Если вы используете вычислительный кластер, настроенный для отсутствия общедоступного IP-адреса, то для доступа к общедоступному Интернету кластеру необходимо предоставить какой-то способ. Доступ к Интернету необходим при доступе к образам, хранящимся в реестре контейнеров Майкрософт, пакетам, установленным на Pypi, Conda и т. д. Вам необходимо настроить определяемую пользователем маршрутизацию (UDR) для доступа к общедоступному IP-адресу, чтобы получить доступ к Интернету. Например, вы можете воспользоваться общедоступным IP-адресом своего брандмауэра или использовать NAT виртуальных сетей с общедоступным IP-адресом. Дополнительные сведения см. в статье о безопасном обучении в виртуальной сети.
   • Azure CLI
   • Пакет SDK для Python

   Вы можете использовать команду az ml workspace update, чтобы задать вычисление сборки. Эта команда одинакова для расширений Azure CLI версии 1 и версии 2 для Машинного обучения. В приведенной ниже команде замените myworkspace на имя рабочей области, myresourcegroup — на группу ресурсов, которая содержит эту рабочую область, а mycomputecluster — на имя вычислительного кластера.

   az ml workspace update --name myworkspace --resource-group myresourcegroup --image-build-compute mycomputecluster
   

Хранилища данных и наборы данных

В следующей таблице перечислены службы, которые необходимо пропустить при проверке.

С помощью следующего примера кода создается новое хранилище Blob Azure и задается skip_validation=True.

blob_datastore = Datastore.register_azure_blob_container(workspace=ws,  

                                                         datastore_name=blob_datastore_name,  

                                                         container_name=container_name,  

                                                         account_name=account_name, 

                                                         account_key=account_key, 

                                                         skip_validation=True ) // Set skip_validation to true

Использование наборов данных

Отключение проверки набора данных схожим образом выполняется для следующих типов наборов данных:

• файл с разделителями полей
• JSON (JavaScript Object Notation)
• Паркет
• SQL
• Файлы

С помощью следующего кода создается новый набор данных в формате JSON и задается значение validate=False.

json_ds = Dataset.Tabular.from_json_lines_files(path=datastore_paths, 

validate=False) 

Обеспечение безопасности Azure Monitor и Application Insights

Чтобы включить сетевую изоляцию для Azure Monitor и экземпляра Application Insights в рабочей области, выполните следующие действия.

1. Откройте ресурс Application Insights на портале Azure. Вкладка "Обзор" может иметь или не может иметь свойство "Рабочая область". Если у него нет свойства, выполните шаг 2. Если это так, можно перейти непосредственно к шагу 3.

   Совет

   Новые рабочие области по умолчанию создают ресурс Application Insights на базе рабочей области. Если рабочая область была создана недавно, вам не потребуется выполнить шаг 2.

2. Обновите инстанцию Application Insights для рабочей области. Инструкции по обновлению см. в статье "Переход на ресурсы Application Insights, основанные на рабочей области".

3. Создайте область действия Private Link в Azure Monitor и добавьте экземпляр Application Insights из шага 1 в эту область. Инструкции по этой настройке см. в статье "Настройка приватного канала Azure Monitor".

Безопасное подключение к рабочей области

Чтобы подключиться к рабочей области, защищенной виртуальной сетью, используйте один из перечисленных ниже методов.

• VPN-шлюз Azure подключает локальные сети к виртуальной сети через частное подключение. Подключение осуществляется через общедоступный Интернет. Доступно два типа VPN-шлюзов.

  • "точка — сеть": каждый клиентский компьютер использует VPN-клиент для подключения к виртуальной сети;
  • "сеть — сеть": VPN-устройство подключает виртуальную сеть к локальной сети.

• ExpressRoute. Подключает локальные сети к облаку через частное подключение. Подключение устанавливается с помощью поставщика услуг подключения.

• Бастион Azure. В этом сценарии вы создаете виртуальную машину Azure (иногда называемую блоком перехода) в виртуальной сети. Затем вы подключаетесь к виртуальной машине с помощью Бастиона Azure. Бастион позволяет подключаться к виртуальной машине с помощью сеанса RDP или SSH из локального веб-браузера. Затем вы используете "jump box" в качестве среды разработки. Так как он находится внутри виртуальной сети, он имеет прямой доступ к рабочей области. Для примера использования пограничного сервера см. раздел Создание защищенной рабочей области.

Если у вас возникли проблемы с подключением к рабочей области, см. статью Устранение неполадок с безопасным подключением к рабочей области.

Диагностика рабочей области

Из Студии машинного обучения Azure или пакета SDK Python можно запустить диагностику в рабочей области. После выполнения диагностики возвращается список всех обнаруженных проблем. Этот список содержит ссылки на возможные решения. Дополнительные сведения см. в статье Как использовать диагностику рабочей области.

Следующие шаги

Эта статья входит в цикл статей, посвященных вопросам защиты рабочего процесса Машинного обучения Azure. Другие статьи этой серии:

• Общие сведения о виртуальных сетях
• Защита среды обучения
• Обеспечьте безопасность среды вывода
• Включение функций Студии
• Использование пользовательских DNS-серверов
• Использование брандмауэра
• Руководство. Создание защищенной рабочей области
• Шаблон Bicep
• Шаблон Terraform.
• Сетевая изоляция платформы API