Справочник по настройке кластера Kubernetes для Машинного обучения Azure

В этой статье содержатся справочные сведения о настройке Kubernetes с помощью Машинное обучение Azure.

Поддерживаемая версия и регион Kubernetes

• Кластеры Kubernetes, устанавливающие расширение Машинное обучение Azure, имеют окно поддержки версий N-2, которое соответствует политике поддержки версий Служба Azure Kubernetes (AKS), где N является последней дополнительной версией общедоступной версии Служба Azure Kubernetes.

  • Например, если AKS сегодня вводит значение 1,20.a, это значит, что поддерживаются версии 1,20.a, 1,20.b, 1.19.c, 1.19.d, 1.18.e и 1.18.f.

  • Если клиенты выполняют неподдерживаемую версию Kubernetes, им предлагается обновиться при запросе поддержки кластера. Кластеры под управлением неподдерживаемых выпусков Kubernetes не охватываются политиками поддержки расширений Машинное обучение Azure.

• доступность региона расширения Машинное обучение Azure:

  • расширение Машинное обучение Azure можно развернуть в AKS или Kubernetes с поддержкой Azure Arc в поддерживаемых регионах, перечисленных в Поддержка региона Kubernetes с поддержкой Azure Arc.

Рекомендуемое планирование ресурсов

При развертывании расширения Машинное обучение Azure некоторые связанные службы развертываются в кластере Kubernetes для Машинное обучение Azure. В следующей таблице перечислены связанные службы и их использование ресурсов в кластере:

Кроме собственных развертываний и модулей pod, общие минимальные требования к системным ресурсам приведены следующим образом:

Предварительные требования для кластеров ARO или OCP

Отключение расширенной системы безопасности Linux (SELinux)

Машинное обучение Azure набор данных (компонент SDK версии 1, используемый в заданиях обучения Машинное обучение Azure), не поддерживается на компьютерах с поддержкой SELinux. Поэтому для использования Машинное обучение Azure набора данных необходимо отключить selinux все рабочие роли.

Привилегированная настройка для ARO и OCP

Для развертывания расширений Машинное обучение Azure в кластере ARO или OCP предоставьте привилегированный доступ к учетным записям службы Машинное обучение Azure, выполните oc edit scc privileged команду и добавьте следующие учетные записи службы в разделе "пользователи:":

• system:serviceaccount:azure-arc:azure-arc-kube-aad-proxy-sa
• system:serviceaccount:azureml:{EXTENSION-NAME}-kube-state-metrics
• system:serviceaccount:azureml:prom-admission
• system:serviceaccount:azureml:default
• system:serviceaccount:azureml:prom-operator
• system:serviceaccount:azureml:load-amlarc-selinux-policy-sa
• system:serviceaccount:azureml:azureml-fe-v2
• system:serviceaccount:azureml:prom-prometheus
• system:serviceaccount:{KUBERNETES-COMPUTE-NAMESPACE}:default
• system:serviceaccount:azureml:azureml-ingress-nginx
• system:serviceaccount:azureml:azureml-ingress-nginx-admission

Собранные сведения о журнале

Некоторые журналы о Машинное обучение Azure рабочих нагрузок в кластере будут собираться с помощью компонентов расширения, таких как состояние, метрики, жизненный цикл и т. д. В следующем списке показаны все собранные сведения о журнале, включая тип собранных журналов и место их отправки или хранения.

Машинное обучение Azure задания подключаются к пользовательскому хранилищу данных

Постоянный том (PV) и утверждение постоянного тома (PVC) — это концепция Kubernetes, позволяющая пользователю предоставлять и применять различные ресурсы хранилища.

1. Создайте PV, взяв NFS в качестве примера

apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-pv 
spec:
  capacity:
    storage: 1Gi 
  accessModes:
    - ReadWriteMany 
  persistentVolumeReclaimPolicy: Retain
  storageClassName: ""
  nfs: 
    path: /share/nfs
    server: 20.98.110.84 
    readOnly: false

2. Создайте PVC в том же пространстве имен Kubernetes с рабочими нагрузками Машинного обучения. В metadataэтом случае необходимо добавить метку ml.azure.com/pvc: "true" для распознавания Машинное обучение Azure и добавить заметкуml.azure.com/mountpath: <mount path>, чтобы задать путь подключения.

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: nfs-pvc  
  namespace: default
  labels:
    ml.azure.com/pvc: "true"
  annotations:
    ml.azure.com/mountpath: "/mnt/nfs"
spec:
  storageClassName: ""
  accessModes:
  - ReadWriteMany      
  resources:
     requests:
       storage: 1Gi

Поддерживаемые ограничения и разрешения Машинного обучения Azure

Tint и Toleration — это основные понятия Kubernetes, которые работают вместе, чтобы гарантировать, что модули pod не запланированы на неуместные узлы.

Кластеры Kubernetes, интегрированные с Машинное обучение Azure (включая кластеры AKS и Arc Kubernetes), теперь поддерживают определенные Машинное обучение Azure тонации и терпимости, что позволяет пользователям добавлять определенные Машинное обучение Azure тоны на них. Машинное обучение Azure выделенные узлы, чтобы предотвратить планирование рабочих нагрузок без Машинное обучение Azure на эти выделенные узлы.

Мы поддерживаем размещение на узлах только определенных идентификаторов amlarc, которые определяются следующим образом:

Рекомендации

В соответствии с требованиями к планированию выделенных Машинное обучение Azure узлов можно добавить несколько тонов, относящихся к amlarc, чтобы ограничить то, что Машинное обучение Azure рабочие нагрузки могут выполняться на узлах. Мы перечислим рекомендации по использованию амларковых оттенков:

• Чтобы не Машинное обучение Azure рабочие нагрузки выполнялись на выделенных Машинное обучение Azure узлах или пулах узлов, можно просто добавить их в aml overall эти узлы.
• Чтобы предотвратить запуск модулей pod, не относящихся к системе, на Машинное обучение Azure выделенных узлах или пулах узлов, необходимо добавить следующие фрагменты:
  • amlarc overall душок
  • amlarc system душок
• Чтобы предотвратить выполнение рабочих нагрузок, отличных от машинного обучения, на выделенных Машинное обучение Azure узлах или пулах узлов, необходимо добавить следующие фрагменты:
  • amlarc overall душок
  • amlarc workloads душок
• Чтобы предотвратить работу рабочих нагрузок, не созданных из рабочей области X, на Машинное обучение Azure выделенных узлах или пулах узлов необходимо добавить следующие фрагменты:
  • amlarc overall душок
  • amlarc resource group (has this <workspace X>) душок
  • amlarc <workspace X> душок
• Чтобы предотвратить работу рабочих нагрузок, не созданных целевым объектом вычислений X, на выделенных Машинное обучение Azure узлах или пулах узлов необходимо добавить следующие фрагменты:
  • amlarc overall душок
  • amlarc resource group (has this <workspace X>) душок
  • amlarc workspace (has this <compute X>) душок
  • amlarc <compute X> душок

Интеграция другого контроллера входящего трафика с расширением Машинное обучение Azure по протоколу HTTP или HTTPS

Помимо Машинное обучение Azure по умолчанию подсистема балансировки нагрузки azureml-fe по умолчанию, можно также интегрировать другие подсистемы балансировки нагрузки с расширением Машинное обучение Azure по протоколу HTTP или HTTPS.

В этом руководстве показано, как интегрировать контроллер входящего трафика Nginx или Шлюз приложений Azure.

Необходимые компоненты

• Разверните расширение Машинное обучение Azure с inferenceRouterServiceType=ClusterIP помощью и allowInsecureConnections=True, чтобы контроллер Ingress Nginx сам может обрабатывать завершение TLS, а не передавать его в azureml-fe, когда служба предоставляется по протоколу HTTPS.
• Для интеграции с контроллером Ingress Nginx требуется настройка кластера Kubernetes с контроллером Ingress Nginx.
  • Создайте базовый контроллер: если вы начинаете с нуля, ознакомьтесь с этими инструкциями.
• Для интеграции с Шлюз приложений Azure требуется настройка кластера Kubernetes с Шлюз приложений Azure контроллером входящего трафика.
  • Развертывание Greenfield: если вы начинаете с нуля, ознакомьтесь с этими инструкциями.
  • Развертывание Brownfield: если у вас есть существующий кластер AKS и Шлюз приложений, ознакомьтесь с этими инструкциями.
• Если вы хотите использовать HTTPS в этом приложении, вам нужен сертификат x509 и его закрытый ключ.

Предоставление служб по протоколу HTTP

Чтобы предоставить azureml-fe, мы будем использовать следующий ресурс входящего трафика:

# Nginx Ingress Controller example
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: azureml-fe
  namespace: azureml
spec:
  ingressClassName: nginx
  rules:
  - http:
      paths:
      - path: /
        backend:
          service:
            name: azureml-fe
            port:
              number: 80
        pathType: Prefix

Эта входящий трафик предоставляет azureml-fe службу и выбранное развертывание в качестве серверной части контроллера входящего трафика Nginx по умолчанию.

# Azure Application Gateway example
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: azureml-fe
  namespace: azureml
spec:
  ingressClassName: azure-application-gateway
  rules:
  - http:
      paths:
      - path: /
        backend:
          service:
            name: azureml-fe
            port:
              number: 80
        pathType: Prefix

Эта входящий трафик предоставляет azureml-fe службу и выбранное развертывание в качестве серверной части Шлюз приложений по умолчанию.

Сохраните указанный выше ресурс входящего трафика как ing-azureml-fe.yaml.

1. Разверните ing-azureml-fe.yaml, выполнив следующую команду:

   kubectl apply -f ing-azureml-fe.yaml
   

2. Проверьте состояние развертывания в журнале контроллера объекта ingress.

3. Теперь приложение azureml-fe должно быть доступно. Вы можете проверить, посетите:

   • Контроллер входящего трафика Nginx: общедоступный адрес LoadBalancer контроллера Ingress Nginx
   • Шлюз приложений Azure: общедоступный адрес Шлюз приложений.

4. Создайте задание вывода и вызов.

   Примечание.

   Замените IP-адрес в scoring_uri общедоступным адресом LoadBalancer контроллера Ingress Nginx перед вызовом.

Предоставление служб по протоколу HTTPS

1. Прежде чем развертывать объект ingress, необходимо создать секрет Kubernetes для размещения сертификата и закрытого ключа. Чтобы создать секрет Kubernetes, выполните следующую команду:

   kubectl create secret tls <ingress-secret-name> -n azureml --key <path-to-key> --cert <path-to-cert>
   

2. Задайте указанные ниже параметры входящего трафика. В параметрах входящего трафика укажите имя секрета в разделе secretName.

   # Nginx Ingress Controller example
   apiVersion: networking.k8s.io/v1
   kind: Ingress
   metadata:
     name: azureml-fe
     namespace: azureml
   spec:
     ingressClassName: nginx
     tls:
     - hosts:
       - <domain>
       secretName: <ingress-secret-name>
     rules:
     - host: <domain>
       http:
         paths:
         - path: /
           backend:
             service:
               name: azureml-fe
               port:
                 number: 80
           pathType: Prefix
   

   # Azure Application Gateway example
   apiVersion: networking.k8s.io/v1
   kind: Ingress
   metadata:
     name: azureml-fe
     namespace: azureml
   spec:
     ingressClassName: azure-application-gateway
     tls:
     - hosts:
       - <domain>
       secretName: <ingress-secret-name>
     rules:
     - host: <domain>
       http:
         paths:
         - path: /
           backend:
             service:
               name: azureml-fe
               port:
                 number: 80
           pathType: Prefix
   

   Примечание.

   Замените <domain> и <ingress-secret-name> в приведенном выше ресурсе входящего трафика доменом, указывающим на LoadBalancer контроллера входящего трафика Nginx/Шлюз приложений и имя секрета. Сохраните указанный выше ресурс входящего трафика в файла под названием ing-azureml-fe-tls.yaml.

3. Развертывание ing-azureml-fe-tls.yaml путем выполнения

   kubectl apply -f ing-azureml-fe-tls.yaml
   

4. Проверьте состояние развертывания в журнале контроллера объекта ingress.

5. Теперь приложение доступно по протоколу azureml-fe HTTPS. Это можно проверить, перейдя по общедоступному адресу LoadBalancer контроллера Ingress Nginx.

6. Создайте задание вывода и вызов.

   Примечание.

   Замените протокол и IP-адрес в scoring_uri https и доменом, указывающим на LoadBalancer контроллера входящего трафика Nginx или Шлюз приложений перед вызовом.

Использование шаблона ARM для развертывания расширения

Расширение в управляемом кластере можно развернуть с помощью шаблона ARM. Пример шаблона можно найти из deployextension.json с помощью демонстрационного файла параметров deployextension.parameters.json

Чтобы использовать пример шаблона развертывания, измените файл параметров с правильным значением, а затем выполните следующую команду:

az deployment group create --name <ARM deployment name> --resource-group <resource group name> --template-file deployextension.json --parameters deployextension.parameters.json

Дополнительные сведения об использовании шаблона ARM см. в документации по шаблону ARM.

Примечание о выпуске расширения AzuremML