Создание связанной службы для Azure Databricks
Чтобы запустить записные книжки в рабочей области Azure Databricks, конвейер Фабрики данных Azure должен иметь возможность подключаться к рабочей области; для этого требуется проверка подлинности. Чтобы включить это аутентифицированное подключение, необходимо выполнить две задачи конфигурации:
- Создайте маркер доступа для рабочей области Azure Databricks.
- Создайте связанную службу в ресурсе Фабрики данных Azure, использующего маркер доступа для подключения к Azure Databricks.
Создание маркера доступа
Маркер доступа предоставляет метод проверки подлинности для Azure Databricks в качестве альтернативы учетным данным в форме имени пользователя и пароля. Маркеры доступа для приложений можно создать, указав срок действия, после которого маркер должен быть повторно создан и обновлен в клиентских приложениях.
Чтобы создать маркер доступа, используйте параметр "Создать новый маркер " на вкладке "Разработчик " страницы "Параметры пользователя " на портале Azure Databricks.
Создание связанной службы
Чтобы подключиться к Azure Databricks из Фабрики данных Azure, необходимо создать связанную службу для вычислений Azure Databricks . Вы можете создать связанную службу на странице связанных служб в разделе "Управление " Фабрики данных Azure.
При создании связанной службы Azure Databricks необходимо указать следующие параметры конфигурации:
| Настройки | Описание |
|---|---|
| Имя | Уникальное имя связанной службы |
| Описание | Понятное описание |
| Среда выполнения интеграции | Среда выполнения интеграции, используемая для выполнения действий в этой связанной службе. Дополнительные сведения см. в среде выполнения интеграции в Фабрике данных Azure . |
| Подписка Azure | Подписка Azure, в которой подготовлен Azure Databricks |
| Рабочая область Databricks | Рабочая область Azure Databricks |
| Кластер | Кластер Spark, в котором будет выполняться код действия. Azure Databricks можно динамически подготовить кластер заданий по запросу или указать существующий кластер в рабочей области. |
| Тип проверки подлинности | Как связанное подключение будет проходить проверку подлинности Azure Databricks. Например, с помощью маркера доступа (в этом случае необходимо указать маркер доступа, созданный для рабочей области). |
| Конфигурация кластера | Версия среды выполнения Databricks, версия Python, тип рабочего узла и количество рабочих узлов для кластера. |