Настройка входящего и исходящего сетевого трафика

Машинное обучение Azure нуждается в доступе к серверам и службам в публичном интернете. При реализации сетевой изоляции необходимо понять, какой доступ необходим и как его включить.

Общие термины и сведения

В этой статье используются следующие термины и сведения:

• Теги службы Azure. Тег службы — это простой способ указать диапазоны IP-адресов, используемые службой Azure. Например, AzureMachineLearning тег представляет IP-адреса, используемые службой Машинное обучение Azure.

  Внимание

  Теги службы Azure поддерживаются только некоторыми службами Azure. Список тегов служб, поддерживаемых группами безопасности сети и Брандмауэр Azure, см. в статье тегов службы виртуальной сети.

  Если вы используете решение, отличное от Azure, например брандмауэр стороннего поставщика, скачайте список диапазонов IP-адресов Azure и тегов служб. Извлеките файл и найдите тег службы в файле. IP-адреса могут периодически изменяться.

• Регион. Некоторые теги служб позволяют указать регион Azure. Это ограничивает доступ к IP-адресам службы в определенном регионе, как правило, той, в которую входит ваша служба. В этой статье, когда увидите <region>, замените его на ваш регион Azure. Например, BatchNodeManagement.<region>, если ваша рабочая область Azure Machine Learning находится в регионе Запад США.

• Azure Batch: кластеры вычислений и экземпляры вычислений Azure Machine Learning зависят от бэкэнд экземпляра Azure Batch. Эта серверная служба размещается в подписке Майкрософт.

• Порты: в этой статье используются следующие порты. Если диапазон портов не указан в этой таблице, он предназначен для службы и может не содержать опубликованных сведений о том, для чего он используется:

  Порт	Описание
  80	Незащищенный веб-трафик (HTTP)
  443	Защищенный веб-трафик (HTTPS)
  445	Трафик SMB, используемый для доступа к общим файловым ресурсам в хранилище файлов Azure
  8787	Используется для подключения к RStudio на вычислительном экземпляре
  18881	Используется для подключения к языковому серверу для включения IntelliSense для записных книжек на вычислительном экземпляре.

• Протокол: если не указано иное, весь сетевой трафик, упомянутый в этой статье, использует TCP.

Базовая конфигурация

Эта конфигурация делает следующие предположения:

• Вы используете образы Docker, предоставляемые предоставленным реестром контейнеров, и не используете образы, предоставляемые корпорацией Майкрософт.
• Вы используете частный репозиторий пакетов Python и не обращаетесь к общедоступным репозиториям пакетов, таким как pypi.org, *.anaconda.comили *.anaconda.org.
• Частные конечные точки могут взаимодействовать напрямую друг с другом в виртуальной сети. Например, все службы имеют частную конечную точку в одной виртуальной сети:
  • Рабочая область службы "Машинное обучение Azure"
  • учетная запись хранилища Azure (блоб, файл, таблица, очередь)

Входящий трафик

Исходящий трафик

Рекомендуемая конфигурация для обучения и развертывания моделей

Исходящий трафик

Чтобы разрешить установку пакетов Python для обучения и развертывания, разрешите исходящий трафик следующим именам узлов:

Сценарий. Установка RStudio на вычислительном экземпляре

Чтобы разрешить установку RStudio в вычислительном экземпляре, брандмауэр должен разрешить исходящий доступ к сайтам, откуда будет извлекаться образ Docker. Добавьте следующее правило приложения в политику Брандмауэр Azure:

• Имя: AllowRStudioInstall.
• Тип источника: IP-адрес
• Исходные IP-адреса: диапазон IP-адресов подсети, в которой создается вычислительный экземпляр. Например, 172.16.0.0/24.
• Тип назначения: полное доменное имя.
• Целевое полное доменное имя: ghcr.io, pkg-containers.githubusercontent.com
• Протокол: Https:443

Чтобы разрешить установку пакетов R, необходимо разрешить исходящий трафик на cloud.r-project.org. Этот узел используется для установки пакетов CRAN.

Сценарий. Использование вычислительного кластера или вычислительного экземпляра с общедоступным IP-адресом

При использовании вычислительного экземпляра или вычислительного кластера Azure Machine Learning (с общедоступным IP-адресом) разрешите входящий трафик от службы Azure Machine Learning. Вычислительный экземпляр или вычислительный кластер без общедоступного IP-адресане требует этого входящего подключения. Группа безопасности сети, которая позволяет динамически создавать этот трафик, может потребоваться также создать определяемые пользователем маршруты (UDR), если у вас есть брандмауэр. При создании UDR для этого трафика можно использовать IP-адреса или теги службы для маршрутизации трафика.

az network route-table route create -g MyResourceGroup --route-table-name MyRouteTable -n AzureMLRoute --address-prefix AzureMachineLearning --next-hop-type Internet

Дополнительные сведения о настройке UDR см. в разделе Маршрутизация сетевого трафика с помощью таблицы маршрутов.

Сценарий: Брандмауэр между конечными точками Azure Machine Learning и Azure Storage.

Кроме того, необходимо разрешить исходящий доступ к Storage.<region> на порту 445.

Сценарий: Рабочая область, созданная с включенным флагом hbi_workspace

Кроме того, необходимо разрешить исходящий доступ к Keyvault.<region>. Этот исходящий трафик используется для доступа к экземпляру хранилища ключей для серверной службы Azure Batch.

Дополнительные сведения о флаге hbi_workspace см. в статье о шифровании данных.

Сценарий. Использование вычислений Kubernetes

Кластер Kubernetes, работающий за исходящим прокси-сервером или брандмауэром, требует дополнительной конфигурации сети исходящего трафика.

• Для Kubernetes с подключением к Azure Arc настройте требования к сети Azure Arc, необходимые агентам Azure Arc.
• Для кластера AKS без подключения к Azure Arc настройте требования к сети расширения AKS.

Помимо указанных выше требований, для Машинное обучение Azure также требуются следующие исходящие URL-адреса.

Требования к обмену данными в кластере

Чтобы установить расширение Машинное обучение Azure в вычислительных ресурсах Kubernetes, все компоненты, связанные с Машинным обучением Azure, развертываются в azureml пространстве имен. Для обеспечения хорошой работы рабочих нагрузок машинного обучения в кластере AKS необходимо следующее взаимодействие.

• Компоненты в azureml пространстве имен должны иметь возможность взаимодействовать с сервером API Kubernetes.
• Компоненты в azureml пространстве имен должны иметь возможность взаимодействовать друг с другом.
• Компоненты в azureml пространстве имен должны иметь возможность взаимодействовать с kube-dns и konnectivity-agent, находящимися в kube-system пространстве имен.
• Если кластер используется для вывода прогнозов в режиме реального времени, azureml-fe-xxx PODы должны иметь возможность взаимодействовать с модельными PODами, развернутыми на порту 5001 в другом пространстве имен. azureml-fe-xxx PODs должны открыть порты 11001, 12001, 12101, 12201, 20000, 8000, 8001 и 9001 для внутренней коммуникации.
• Если кластер используется для инференса в режиме реального времени, развернутые POD модели должны иметь возможность взаимодействовать с amlarc-identity-proxy-xxx POD на порту 9999.

Сценарий: Visual Studio Code

Visual Studio Code использует определенные узлы и порты для установления удаленного подключения.

Хосты

Узлы, упоминаемые в данном разделе, используются для установки пакетов Visual Studio Code, чтобы можно было создать удаленное подключение между Visual Studio Code и вычислительными экземплярами в вашей рабочей области службы "Машинное обучение Azure".

Порты

Необходимо разрешить сетевой трафик портам 8704–8710. Сервер VS Code динамически выбирает первый доступный порт в этом диапазоне.

Сценарий: сторонний брандмауэр или Брандмауэр Azure без тегов службы

Рекомендации в этом разделе являются универсальными, так как каждый брандмауэр имеет собственную терминологию и конкретные конфигурации. Если у вас появились вопросы, изучите документацию по используемому вами брандмауэру.

Если конфигурация настроена неправильно, брандмауэр может вызвать проблемы при использовании рабочего пространства. Есть различные имена узлов, которые используются как другими службами, так и рабочей областью в Azure Machine Learning. В следующих разделах перечислены хосты, необходимые для Azure Machine Learning.

API зависимостей

Чтобы получить список узлов и портов, для которых необходимо разрешить исходящий трафик, можно также использовать REST API Машинного обучения Azure. Для этого выполните следующие действия:

1. Получите маркер проверки подлинности. Следующая команда показывает использование интерфейса командной строки Azure для получения токена аутентификации и идентификатора подписки.

   TOKEN=$(az account get-access-token --query accessToken -o tsv)
   SUBSCRIPTION=$(az account show --query id -o tsv)
   

2. Вызовите API. В следующей команде замените следующие значения:

   • Замените <region> на регион Azure, содержащий вашу рабочую область. Например, westus2.
   • Замените <resource-group> группой ресурсов, содержащей рабочую область.
   • Замените <workspace-name> именем своей рабочей области.

   az rest --method GET \
       --url "https://<region>.api.azureml.ms/rp/workspaces/subscriptions/$SUBSCRIPTION/resourceGroups/<resource-group>/providers/Microsoft.MachineLearningServices/workspaces/<workspace-name>/outboundNetworkDependenciesEndpoints?api-version=2018-03-01-preview" \
       --header Authorization="Bearer $TOKEN"
   

Результатом вызова API является документ JSON. Следующий фрагмент кода является выдержкой из этого документа:

{
  "value": [
    {
      "properties": {
        "category": "Azure Active Directory",
        "endpoints": [
          {
            "domainName": "login.microsoftonline.com",
            "endpointDetails": [
              {
                "port": 80
              },
              {
                "port": 443
              }
            ]
          }
        ]
      }
    },
    {
      "properties": {
        "category": "Azure portal",
        "endpoints": [
          {
            "domainName": "management.azure.com",
            "endpointDetails": [
              {
                "port": 443
              }
            ]
          }
        ]
      }
    },
...

Хостинг Microsoft

Узлы, указанные в приведенных ниже таблицах, принадлежат корпорации Майкрософт и предоставляют службы, необходимые для правильного функционирования вашей рабочей области. Таблицы перечисляют узлы для публичного доступа Azure, Azure для государственных организаций и Microsoft Azure, работающих в регионах, управляемых компанией 21Vianet.

Общие узлы Azure

Узлы Машинного обучения Azure

Узлы вычислительных экземпляров и вычислительных кластеров Машинного обучения Azure

Образы Docker, поддерживаемые платформой Машинного обучения Azure

Кроме того, используйте сведения в разделе вычислите с общедоступным IP, чтобы добавить IP-адреса для BatchNodeManagement и AzureMachineLearning.

Сведения о том, как ограничить исходящий трафик в Службе AKS, см. в статье Ограничение исходящего трафика в службе Azure Kubernetes (AKS).

Мониторинг, метрики и диагностика

• dc.applicationinsights.azure.com
• dc.applicationinsights.microsoft.com
• dc.services.visualstudio.com
• *.in.applicationinsights.azure.com

Список IP-адресов этих узлов приведен в разделе IP-адреса, используемые Azure Monitor.

Следующие шаги

Эта статья входит в цикл статей, посвященных вопросам защиты рабочего процесса Машинного обучения Azure. Другие статьи этой серии:

• Общие сведения о виртуальных сетях

• Включение функций Студии
• Использование пользовательских DNS-серверов

Дополнительные сведения о настройке службы "Брандмауэр Azure" см. в статье Развертывание и настройка службы "Брандмауэр Azure" с помощью портала Azure.