Сетевая изоляция в потоке запросов

Поток подсказок можно защитить с помощью частных сетей. В этой статье объясняются требования к использованию prompt flow в окружении, защищенном частными сетями.

Задействованные службы

При разработке приложений искусственного интеллекта с помощью потока запросов требуется безопасная среда. Вы можете настроить сетевую изоляцию для следующих служб:

Основные службы Машинное обучение Azure

• Workspace. Настройте рабочую область Машинное обучение Azure как частную и ограничьте входящий и исходящий трафик.
• Вычислительный ресурс. Примените правила для входящего и исходящего трафика, чтобы ограничить доступ к вычислительным ресурсам в рабочей области.
• Учетная запись хранения: Ограничение доступа учетной записи хранения до определенной виртуальной сети.
• Реестр контейнеров: защита реестра контейнеров с помощью конфигурации виртуальной сети.
• Endpoint: Управляйте доступом к вашим развернутым конечным точкам, указывая, каким службам Azure или IP-адресам разрешено их использовать.

Инструменты литейного производства

• Azure OpenAI. Используйте конфигурацию сети, чтобы сделать Azure OpenAI частной, а затем использовать частные конечные точки для связи Машинное обучение Azure.
• Azure Контентная безопасность: Настройка доступа к частной сети и создание частных конечных точек для безопасного взаимодействия.
• Поиск с использованием ИИ Azure: включите параметры частной сети и используйте частные конечные точки для безопасной интеграции.

Внешние ресурсы

• Non-Azure ресурсы: Для внешних API, таких как SerpAPI, добавьте правила FQDN в ограничения исходящего трафика, чтобы обеспечить доступ.

Параметры в разных настройках сети

В Машинное обучение Azure у нас есть два варианта защиты сетевой изоляции: принести собственную сеть или использовать управляемую рабочей областью виртуальную сеть. Дополнительные сведения о ресурсах безопасной рабочей области.

Ниже приведена таблица, чтобы проиллюстрировать варианты в различных настройках сети для потокового взаимодействия.

• В сценариях частной виртуальной сети рекомендуется использовать управляемую виртуальную сеть с поддержкой рабочей области. Это самый простой способ защитить рабочую область и связанные ресурсы.
• Использование управляемой виртуальной сети и использование собственной виртуальной сети в одной рабочей области не поддерживается. Кроме того, поскольку управляемая конечная точка в Сети поддерживается только с управляемой виртуальной сетью, вы не можете развернуть поток команд в управляемой конечной точке в Сети в рабочей области с включенной собственной виртуальной сетью.
• Вы можете иметь одну рабочую область для разработки потока команд с вашей собственной виртуальной сетью и другую рабочую область для развертывания потока команд, используя управляемую точку онлайн-доступа с управляемой рабочей областью виртуальной сетью.

Обеспечьте безопасность потока команд с помощью виртуальной сети, управляемой рабочей областью.

Рекомендуется использовать управляемую рабочей областью виртуальную сеть для поддержки сетевой изоляции в процессе обработки запросов. Она обеспечивает простую конфигурацию для защиты рабочей области. После включения управляемой виртуальной сети на уровне рабочей области ресурсы, связанные с рабочей областью в той же виртуальной сети, будут использовать те же параметры сети на уровне рабочей области. Вы также можете настроить рабочую область для использования частных конечных точек для доступа к другим ресурсам Azure, таким как Azure OpenAI, Azure безопасности содержимого и Поиск с использованием ИИ Azure. Вы также можете настроить правила полного доменного имени для утверждения исходящих подключений к ресурсам, не являющимся частями Azure, используемым в вашем потоке запросов, например SerpAPI.

1. Следуйте процедуре управляемой рабочей областью сетевой изоляции, чтобы включить управляемую рабочей областью виртуальную сеть.

   Важно

   Создание управляемой виртуальной сети откладывается до создания вычислительного ресурса или вручную запускается процесс подготовки. Вы можете использовать следующую команду для ручного запуска настройки сети.

   az ml workspace provision-network --subscription <sub_id> -g <resource_group_name> -n <workspace_name>
   

2. Добавьте MSI рабочей области как Storage File Data Privileged Contributor в учетную запись хранения, связанную с рабочей областью.

   2.1 Перейдите на портал Azure и найдите рабочую область.

   

   2.2. Поиск учетной записи хранения, связанной с рабочей областью.

   

   2.3 Перейдите на страницу назначения ролей учетной записи хранения.

   

   2.4. Найдите роль привилегированного участника для данных файла хранилища.

   

   2.5 Назначьте роль привилегированного участника данных файлов хранения управляемому удостоверению рабочей области.

   

   Примечание

   Эта операция может занять несколько минут.

3. Если вы хотите взаимодействовать с частными инструментами Foundry, необходимо добавить пользовательские правила исходящего соединения в соответствующий ресурс. Рабочая область Машинное обучение Azure создает частную конечную точку в связанном ресурсе с автоматическим одобрением. Если состояние зависло в ожидании, перейдите к связанному ресурсу, чтобы утвердить частную конечную точку вручную.

   

   

4. Если вы ограничиваете исходящий трафик, только разрешая определенные назначения, необходимо добавить соответствующее пользовательское правило исходящего трафика, чтобы разрешить соответствующий FQDN.

   

5. В рабочих областях, включающих управляемую виртуальную сеть, можно развернуть prompt flow только в управляемых сетевых конечных точках. Вы можете следовать указаниям Как обезопасить управляемые онлайн-точки с помощью сетевой изоляции, чтобы защитить управляемую онлайн-точку.

Безопасный поток запроса с помощью собственной виртуальной сети

• Чтобы настроить связанные с Машинное обучение Azure ресурсы как приватные, см. раздел Защитите ресурсы рабочей области.

• Если у вас есть строгие правила исходящего трафика, убедитесь, что вы открыли необходимый общедоступный интернет-доступ.

• Добавьте MSI рабочей области как Storage File Data Privileged Contributor в учетную запись хранения, связанную с рабочей областью. Выполните шаг 2 в безопасном потоке запросов в рабочей области, управляемой виртуальной сетью.

• Если вы используете бессерверный тип вычислений в разработке потоков, необходимо задать настраиваемую виртуальную сеть на уровне рабочей области. Дополнительные сведения о Secure Машинное обучение Azure учебной среде с виртуальными сетями

  serverless_compute:
    custom_subnet: /subscriptions/<sub id>/resourceGroups/<resource group>/providers/Microsoft.Network/virtualNetworks/<vnet name>/subnets/<subnet name>
    no_public_ip: false # Set to true if you don't want to assign public IP to the compute
  

• Между тем вы можете следить за частными средствами Foundry , чтобы сделать их частными.

• Если вы хотите развернуть поток запроса в рабочей области, защищенной собственной виртуальной сетью, можно развернуть его в кластере AKS, который находится в той же виртуальной сети. Вы можете следовать инструкциям Secure Служба Azure Kubernetes инференсной среды, чтобы защитить кластер AKS. Узнайте больше о развертывании потока запросов в кластере AKS с помощью кода.

• Вы можете создать частную конечную точку в одной виртуальной сети или использовать пиринг между виртуальными сетями, чтобы сделать их обмен данными друг с другом.

Известные ограничения

• Для управляемых сетевых конечных точек с выбранным исходящим трафиком требуется рабочая область с управляемой виртуальной сетью. Если вы используете собственную виртуальную сеть, рассмотрите этот подход с двумя рабочими областями: используйте одну рабочую область с виртуальной сетью для создания потока запросов; используйте отдельную рабочую область с управляемой vNet для развертывания потока запросов через управляемую онлайн-конечную точку.

Дальнейшие действия

• Безопасные ресурсы рабочей области
• Изоляция управляемой сети в рабочей области
• Безопасная среда инференса в Служба Azure Kubernetes
• Защита управляемых конечных точек в Сети с помощью сетевой изоляции
• Защита рабочих процессов RAG с помощью сетевой изоляции