Краткое руководство. Интерактивное обработка данных с помощью Apache Spark в Машинное обучение Azure

Для обработки интерактивных Машинное обучение Azure обработки данных записной книжки Машинное обучение Azure интеграция с Azure Synapse Analytics обеспечивает простой доступ к платформе Apache Spark. Этот доступ позволяет Машинное обучение Azure интерактивные данные записной книжки.

В этом кратком руководстве описано, как выполнять интерактивные операции обработки данных с помощью Машинное обучение Azure бессерверных вычислений Spark, учетной записи хранения Azure Data Lake Storage (ADLS) 2-го поколения и сквозного руководства пользователя.

Необходимые компоненты

• Подписка Azure; Если у вас нет подписки Azure, создайте бесплатную учетную запись перед началом работы.
• Рабочая область Машинного обучения Azure. Посетите страницу "Создание ресурсов рабочей области".
• Учетная запись хранения Azure Data Lake Storage (ADLS) 2-го поколения. Посетите учетную запись хранения Azure Data Lake Storage (ADLS) 2-го поколения.

Хранение учетных данных учетной записи хранения Azure в качестве секретов в Azure Key Vault

Для хранения учетных данных учетной записи хранения Azure в качестве секретов в Azure Key Vault с помощью пользовательского интерфейса портал Azure:

1. Перейдите в Azure Key Vault в портал Azure

2. Выбор секретов на левой панели

3. Выберите + Создать или импортировать.

   

4. На экране "Создание секрета" введите имя для создаваемого секрета.

5. Перейдите к учетной записи Хранилище BLOB-объектов Azure в портал Azure, как показано на этом рисунке:

   

6. Выбор ключей доступа на панели слева на странице "Учетная запись Хранилище BLOB-объектов Azure"

7. Нажмите кнопку "Показать рядом с ключом 1", а затем скопируйте в буфер обмена , чтобы получить ключ доступа к учетной записи хранения

   Примечание.

   Выбор соответствующих параметров для копирования

   • Маркеры подписанного URL-адреса контейнера хранилища BLOB-объектов Azure
   • Учетные данные субъекта-службы учетной записи хранения Azure Data Lake Storage (ADLS) 2-го поколения
     • идентификатор клиента
     • идентификатор клиента и
     • secret

   в соответствующих пользовательских интерфейсах при создании секретов Azure Key Vault для них

8. Вернитесь к экрану "Создание секрета"

9. В текстовом поле "Секретное значение" введите учетные данные ключа доступа для учетной записи хранения Azure, скопированной в буфер обмена на предыдущем шаге.

10. Нажмите кнопку Создать

    

Добавление назначений ролей в учетные записи хранения Azure

Перед началом интерактивной обработки данных необходимо убедиться, что пути входных и выходных данных доступны. Во-первых, для

• Удостоверение пользователя сеанса Notebooks, вошедшего в систему пользователя

  or

• субъект-служба

назначьте роли чтения и чтения blob-объектов хранилища удостоверениям пользователя, вошедшего в систему. Однако в некоторых сценариях может потребоваться записать входящие данные обратно в учетную запись хранения Azure. Роли чтения и чтения BLOB-объектов хранилища предоставляют доступ только для чтения к удостоверению пользователя или субъекту-службе. Чтобы включить доступ на чтение и запись, назначьте роли участника и участника данных BLOB-объектов хранилища удостоверению пользователя или субъекту-службе. Чтобы назначить соответствующие роли удостоверению пользователя, выполните следующие действия.

1. Откройте microsoft портал Azure

2. Поиск и выбор службы учетных записей хранения

   

3. На странице учетных записей хранения выберите учетную запись хранения Azure Data Lake Storage (ADLS) 2-го поколения из списка. Откроется страница с обзором учетной записи хранения

   

4. Выберите контроль доступа (IAM) на левой панели

5. Добавить назначение ролей

   

6. Поиск и выбор участника данных BLOB-объектов хранилища ролей

7. Выберите Далее

   

8. Выбор пользователя, группы или субъекта-службы

9. Выбор и выбор элементов

10. Поиск удостоверения пользователя под кнопкой "Выбрать"

11. Выберите удостоверение пользователя из списка, чтобы оно отображалось в разделе "Выбранные члены"

12. Выберите соответствующее удостоверение пользователя

13. Выберите Далее

    

14. Выбор проверки и назначения

    

15. Повторите шаги 2–13 для назначения роли участника

После назначения удостоверений пользователя данные в учетной записи хранения Azure должны стать доступными.

Обеспечение доступа к ресурсам для заданий Spark

Для доступа к данным и другим ресурсам задания Spark могут использовать управляемое удостоверение или сквозное руководство пользователя. В следующей таблице приведены различные механизмы доступа к ресурсам при использовании Машинное обучение Azure бессерверных вычислений Spark и присоединенного пула Synapse Spark.

Если код интерфейса командной строки или пакета SDK определяет возможность использования управляемого удостоверения, Машинное обучение Azure бессерверные вычисления Spark используют управляемое удостоверение, назначаемое пользователем, подключенное к рабочей области. Управляемое удостоверение, назначаемое пользователем, можно подключить к существующей рабочей области Машинное обучение Azure с помощью интерфейса командной строки Машинное обучение Azure версии 2 или с ARMClientпомощью.

Следующие шаги

• Apache Spark в Машинное обучение Azure
• Присоединение пула Synapse Spark и управление ими в Машинное обучение Azure
• Интерактивная обработка данных с помощью Apache Spark в Машинное обучение Azure
• Отправка заданий Spark в Машинное обучение Azure
• Примеры кода для заданий Spark с помощью интерфейса командной строки Машинное обучение Azure
• Примеры кода для заданий Spark с помощью пакета SDK для Python Машинное обучение Azure