Настройка частной сети для Foundry Agent Service

Служба агента Foundry предлагает стандартную настройку с частной сетевой средой. Эта настройка создает изолированную сетевую среду, которая обеспечивает безопасный доступ к данным, сохраняя полный контроль над сетевой инфраструктурой.

По умолчанию стандартная настройка с частными сетями гарантирует следующее:

• Нет публичного выхода: фундаментальная инфраструктура обеспечивает правильную аутентификацию и безопасность для агентов и инструментов, без необходимости обхода доверенных служб.
• Интеграция подсети: вы предоставляете делегированную подсеть из виртуальной сети. Платформа подключает вычислительные ресурсы агента к этой подсети, обеспечивая локальную связь с ресурсами Azure в одной виртуальной сети.
• Доступ к частным ресурсам. Если ресурсы помечены как частные и необнаруженные из Интернета, сеть платформы по-прежнему может получить доступ к ним, если необходимые учетные данные и авторизация находятся на месте.

Если у вас нет существующей виртуальной сети, стандартная настройка с частным сетевым потоком может подготовить необходимую сетевую инфраструктуру.

Необходимые условия

• Подписка Azure: Создайте бесплатно.

• Убедитесь, что пользователь, создающий учетную запись и проект, имеет роль владельца учетной записи Azure AI в области подписки.

• Пользователь, создав эту настройку, также должен иметь разрешения на назначение ролей необходимым ресурсам (Azure Cosmos DB, Поиск с использованием ИИ Azure, служба хранилища Azure).

  • Необходима встроенная роль — администратор доступа на основе ролей.
  • Кроме того, роль владельца на уровне подписки также удовлетворяет этому требованию.
  • Основное разрешение, которое требуется: Microsoft.Authorization/roleAssignments/write

• Python 3.9 или более поздней версии

• После настройки среды агента убедитесь, что каждому участнику команды, который хочет использовать песочницу агента или пакет SDK для создания или изменения агентов, была назначена встроенная роль пользователя Azure AIRBAC для проекта.

  • Минимальный набор разрешений: агенты/*/чтение, агенты/*/действие, агенты/*/удаление

• Регистрация поставщиков. Необходимо зарегистрировать следующие поставщики:

  • Microsoft.KeyVault
  • Microsoft.CognitiveServices
  • Microsoft.Storage
  • Microsoft.MachineLearningServices
  • Microsoft.Search
  • Microsoft.Network
  • Microsoft.App
  • Microsoft.ContainerService
  • Использование средства поиска Bing: Microsoft.Bing

     az provider register --namespace 'Microsoft.KeyVault'
     az provider register --namespace 'Microsoft.CognitiveServices'
     az provider register --namespace 'Microsoft.Storage'
     az provider register --namespace 'Microsoft.MachineLearningServices'
     az provider register --namespace 'Microsoft.Search'
     az provider register --namespace 'Microsoft.Network'
     az provider register --namespace 'Microsoft.App'
     az provider register --namespace 'Microsoft.ContainerService'
     # only to use Grounding with Bing Search tool
     az provider register --namespace 'Microsoft.Bing'
  

Настройте среду, защищенную сетью

Эту настройку можно создать на портале Azure или развернуть с помощью Bicep или Terraform.

На высоком уровне развертывание включает следующие действия.

1. Выберите целевой Azure регион для ресурсов Foundry.
2. Решите, использовать ли собственную виртуальную сеть и подсеть или воспользоваться автоматически созданными сетями.
3. Если вы предоставляете собственную виртуальную сеть, соберите идентификаторы ресурсов виртуальной сети и подсети.
4. Создайте программу установки на портале Azure или разверните ее с помощью Bicep или Terraform.
5. Проверьте развертывание (см. раздел "Проверка развертывания").

Программа установки подготавливает следующие ресурсы (если вы не приносите собственные):

• Учетная запись Foundry и проект Foundry.
• Развертывание модели gpt-4o.
• служба хранилища Azure, Azure Cosmos DB и Поиск с использованием ИИ Azure для хранения файлов, потоков и векторных данных.
• Эти ресурсы подключены к проекту.
• ключи шифрования, управляемые Microsoft для учетной записи хранения и Когнитивной учетной записи (Foundry), используются по умолчанию.

Выберите предпочтительный метод развертывания с помощью следующих вкладок:

Проверка развертывания

После завершения развертывания убедитесь, что все ресурсы настроены правильно:

1. Подтвердите делегирование подсети: На портале Azure перейдите к виртуальной сети >Подсети и убедитесь, что в подсети агента показано делегирование на Microsoft.App/environments.
2. Проверьте общедоступный сетевой доступ: откройте каждый ресурс (Foundry, Поиск с использованием ИИ Azure, служба хранилища Azure, Azure Cosmos DB) и убедитесь, что для параметра Public network access задано значение Disabled.
3. Проверка разрешения DNS частной конечной точки. С компьютера, подключенного к виртуальной сети, выполните команду nslookup для каждой конечной точки, указанной в сводке конфигураций зоны DNS. Убедитесь, что каждое имя разрешается в частный IP-адрес (10.x, 172.16-31.x или 192.168.x).
4. Подключение агента тестирования: доступ к проекту Foundry из виртуальной сети (см. раздел "Доступ к защищенным агентам") и подтверждение создания и запуска агента.

Ограничения

• Ограничение IP-адресов подсети: обе подсети должны иметь диапазоны IP-адресов в допустимых RFC1918 частных диапазонов IPv4: 10.0.0.0/8или 172.16-31.0.0/12192.168.0.0/16. Диапазоны общедоступных 100.64.0.0IP-адресов и CGNAT —100.127.255.255 не поддерживаются.
• Эксклюзивность подсети агента: подсеть агента не может совместно использоваться несколькими ресурсами Foundry. Каждый ресурс Foundry должен использовать выделенную подсеть агента.
• Размер подсетиAgent: рекомендуемый размер делегированной подсети агента — /24 (256 адресов) из-за делегирования подсети в Microsoft.App/environments. Дополнительные сведения о размерах подсети см. в статье Configuring virtual networks for Контейнеры приложений Azure.
• Список разрешений на выход из сети агента: Если вы интегрируете Брандмауэр Azure с защищенным стандартным агентом частной сети, внесите в белый список полные доменные имена (FQDN), перечисленные в статье Managed Identity в разделе Интеграция с Брандмауэр Azure, или добавьте тег службы AzureActiveDirectory.
  • Убедитесь, что проверка TLS не выполняется в брандмауэре, который может добавлять самоподписанный сертификат. При возникновении сбоев проверьте, попадает ли какой-либо трафик на брандмауэр и для какого трафика применяется блокировка.
• Ресурс Foundry должен быть развернут в том же регионе, что и виртуальная сеть. Другие Azure ресурсы, такие как Azure Cosmos DB, Поиск с использованием ИИ Azure и служба хранилища Azure, могут быть развернуты в разных регионах. Рассмотрим последствия затрат для развертываний между регионами.
• Доступность региона:
  • Для развертываний моделей в поддерживаемых регионах см. Поддержка регионов моделей Azure OpenAI.
• Хранилище BLOB-объектов Azure. Использование Хранилище BLOB-объектов Azure файлов с средством поиска файлов не поддерживается.
• Приземление с помощью поиска Bing: поддерживаются только следующие регионы: Западная Европа, Восточная Европа, Восточная Канада, Северная Швейцария, Центральная Испания, Северная Корея, Центральная Корея, Центральная Польша, Центральная Польша, Юго-Восточная Азия, Западная часть США 2, Западная часть США 3, Восточная ЧАСТЬ США, Центральная ЧАСТЬ США, Центральная Часть США, Южная Индия, Восточная Часть Великобритании, Восточная Норвегия, Восточная Австралия, Центральная Канада, Центральная Швеция Северная Африка, Италия Северная Италия, Южная Бразилия
• Удаление сетевого инжектора. Если вы хотите удалить ресурс Foundry и стандартный агент с защищенной настройкой сети, удалите ресурс Foundry и виртуальную сеть в последнюю очередь. Перед удалением виртуальной сети удалите ресурс Foundry и очистите его.
• Инъекция виртуальной сети для размещенного агента: для размещенных агентов необходимо включить конфигурацию виртуальной сети (инъекция сети) при первоначальном создании учетной записи Foundry. Добавление сетевого внедрения в существующую учетную запись Foundry после её создания не поддерживается для размещенных агентов.
• Реестр контейнеров размещенных агентов за частной сетью: для размещенных агентов Реестр контейнеров Azure (ACR), который хранит образ контейнера агента, на данный момент не может быть размещен за частной сетью (частная конечная точка с отключённым доступом к публичной сети). ACR должен быть доступен через общедоступную конечную точку, чтобы платформа смогла загрузить образ.

Схема архитектуры

Просмотр выделенных сетевых ресурсов

Следующие ресурсы автоматически подготавливаются при использовании стандартной установки с частными сетями, если только вы не предоставляете собственные ресурсы:

Сетевая инфраструктура

• Виртуальная сеть (192.168.0.0/16)
• Подсеть агента (192.168.0.0/24): хосты клиентской программы агента
• Подсеть частной конечной точки (192.168.1.0/24): размещает узлы частных конечных точек

Возможности виртуальной сети

Виртуальная сеть управляет тем, какие конечные точки могут вызывать API к ресурсам. Служба Azure автоматически отклоняет вызовы API с устройств за пределами определенной сети.

Сетевые правила

Все учетные записи и соответствующие проекты защищены по умолчанию с помощью флага "Отключен доступ к общедоступной сети ", требуя явной настройки для разрешения доступа через частные конечные точки. Эти правила применяются ко всем протоколам, включая REST и WebSocket.

Сводка конфигураций зоны DNS

Чтобы создать условный пересылатель в DNS на виртуальный сервер Azure DNS, используйте список зон, упомянутых в приведенной выше таблице. IP-адрес виртуального сервера Azure DNS — 168.63.129.16.

Получите доступ к защищённым агентам

После завершения развертывания вы можете получить доступ к проекту Foundry за виртуальной сетью с помощью одного из следующих методов:

• Azure VPN Gateway: подключает локальные сети к виртуальной сети через частное подключение. Подключение осуществляется через общедоступный Интернет. Существует два типа VPN-шлюзов, которые можно использовать:
  • Точка-сайт: Каждый клиентский компьютер использует VPN-клиент для подключения к виртуальной сети.
  • Межсетевая связь: Устройство VPN подключает виртуальную сеть к вашей локальной сети.
• ExpressRoute: подключает локальные сети к облаку через частное подключение. Подключение выполняется с помощью поставщика подключений.
• Бастион Azure: В этом сценарии вы создаете виртуальную машину Azure (иногда называемую трамплином) в виртуальной сети. Затем вы подключаетесь к виртуальной машине с помощью Бастион Azure. Бастион позволяет подключаться к виртуальной машине с помощью сеанса RDP или SSH из локального веб-браузера. Затем вы используете поле перехода в качестве среды разработки. Так как он находится в виртуальной сети, он может напрямую получить доступ к рабочей области.

Вопросы и ответы

Какой диапазон адресов следует использовать для общей виртуальной сети?

Диапазон адресов виртуальной сети может быть любым частным диапазоном IP-адресов, который оставляет достаточное адресное пространство для делегированной подсети агента и подсети частной конечной точки.

Можно ли использовать пиринговые виртуальные сети или размещать ресурсы в разных виртуальных сетях?

Поддерживаются пиринговые виртуальные сети, но затраты на передачу данных могут увеличиться.

Могут ли несколько ресурсов Foundry повторно использовать ту же виртуальную сеть и подсеть?

Да, та же виртуальная сеть, но не та же подсеть. Несколько ресурсов Foundry могут повторно использовать одну виртуальную сеть. Однако для каждого ресурса Foundry требуется собственная подсеть среды выполнения агента. Подсеть агента не может быть общей для нескольких ресурсов Foundry.

Должна ли виртуальная сеть находиться в той же группе ресурсов, что и ресурс Foundry?

Нет. Виртуальная сеть и ресурс Foundry не должны находиться в одной группе ресурсов, но они должны находиться в одном регионе.

Руководство по устранению неполадок

Ознакомьтесь с этим руководством, чтобы устранить ошибки во время или после развертывания агента уровня "Стандартный", независимо от того, использовали ли вы портал Azure, Bicep или Terraform.

Ошибки развертывания

"CreateCapabilityHostRequestDto is invalid: Agents CapabilityHost supports a single, non empty value for vectorStoreConnections property."

"Agents CapabilityHost supports a single, non empty value for storageConnections property."

"Agents CapabilityHost supports a single, non empty value for threadStorageConnections property."

Решение: Обеспечение всех подключений к ресурсам BYO требует наличия подключений ко всем этим ресурсам. Вы не можете создать защищенный стандартный агент в Foundry без всех трех ресурсов.

"Provided subnet must be of the proper address space. Please provide a subnet which has address space in the range of 172 or 192."

Решение. Вы не используете правильный диапазон IP-адресов для делегированной подсети агента. Убедитесь, что вы используете допустимое пространство частных IP-адресов. Допустимые диапазоны RFC1918 включают 10.0.0.0/8, 172.16-31.0.0/12и 192.168.0.0/16. Текст сообщения об ошибке может не перечислять все допустимые диапазоны.

"Subscripton is not registered with the required resource providers, please register with the resource providers Microsoft.App and Microsoft.ContainerService."

Решение. Отсутствует правильная регистрация ресурсов. Убедитесь, что необходимые ресурсы зарегистрированы в тенанте.

"Failed to create Aml RP virtual workspace due to System.Exception: Failed async operation." Или "The resource operation completed with terminal provisioning state 'Failed'. Capability host operation failed."

Решение: Это универсальная ошибка. Создайте запрос в службу поддержки для изучения настройки. Проверьте хост возможностей на наличие ошибки.

"Subnet requires any of the following delegation(s) [Microsoft.App/environments] to reference service association link /subscriptions/11111-aaaaa-2222-bbbb-333333333/resourceGroups/agentRANGEChange/providers/Microsoft.Network/virtualNetworks/my-agent-vnet/subnets/agent-subnet/serviceAssociationLinks/legionservicelink."

Solution: эта ошибка возникает при попытке удалить настройку защищенного стандартного шаблона в Azure и неправильно удалить все ресурсы. Одно из решений — перейти на страницу ресурса Foundry на портале Azure и выбрать Манаж удаленных ресурсов. Оттуда удалите ресурс, к которому был привязан агент для этой виртуальной сети. Другим вариантом является запуск deleteCaphost.sh скрипта в защищенном стандартном шаблоне.

"Timeout of 60000ms exceeded" error when loading the Agent pages in the Foundry project

Solution: проект Foundry имеет проблемы с коммуникацией с Azure Cosmos DB для создания агентов. Проверьте подключение к Azure Cosmos DB (частная конечная точка и DNS).

Сбой разрешения DNS частной конечной точки

Решение. Если ресурсы недоступны через частные конечные точки, убедитесь, что каждая частная зона DNS связана с виртуальной сетью. Убедитесь, что условные пересылки указывают на IP-адрес виртуального сервера Azure DNS 168.63.129.16. На машине, подключенной к сети VNet, запустите nslookup <resource-fqdn> и убедитесь, что каждое имя разрешается на частный IP-адрес.

Дальнейшие действия

Теперь вы успешно настроили сетевой безопасный аккаунт и проект. Используйте краткое руководство по созданию первого агента.

Дополнительные сведения о конфигурации и параметрах сетевой изоляции см. в разделе "Настройка сетевой изоляции".