Поделиться через

Подключение к источникам данных из Azure Databricks

  • Статья

Эта статья содержит ссылки на все источники данных, которые можно подключать к Azure Databricks. Используйте примеры по этим ссылкам, чтобы извлечь данные из исходных данных Azure (например, Azure Blob Storage, Azure Event Hubs и т. д.) в кластер Azure Databricks и выполнять аналитические задачи с ними.

Требования

  • Вам потребуется рабочая область Azure Databricks и кластер Spark. Следуйте инструкциям Начните работу.

Источники данных для Azure Databricks

В следующем списке приведены источники данных в Azure, которые можно использовать с Azure Databricks. Полный список источников данных, которые можно использовать с Azure Databricks, см. в источниках данных для Azure Databricks.

  • База данных SQL Azure

    Это ссылка на API DataFrame для подключения к базам данных SQL с помощью JDBC и сведения об управлении параллелизмом при операциях чтения через интерфейс JDBC. Эта статья содержит подробные примеры использования API Scala, а также краткие примеры для Python и Spark SQL (в конце).

  • Хранилище Azure Data Lake

    Эта ссылка содержит примеры использования служебной учетной записи Microsoft Entra ID (ранее Azure Active Directory) для аутентификации в хранилище данных Azure Data Lake Storage. Также в статье объясняется, как получить доступ из Azure Databricks к данным в Azure Data Lake Storage.

  • Хранилище BLOB-объектов Azure

    Здесь приводятся примеры, как с помощью ключа доступа или SAS можно напрямую получить доступ к Azure Blob Storage от Azure Databricks для заданного контейнера. Ссылка также предоставляет информацию о доступе к хранилищу BLOB-объектов Azure из Azure Databricks с помощью RDD API.

  • Центры событий Azure

    Эта ссылка содержит инструкции по использованию соединителя Kafka из Azure Databricks для доступа к данным в Центры событий Azure.

  • Azure Synapse Analytics

    Эта ссылка содержит инструкции по запросу данных в Azure Synapse.

Следующие шаги

Сведения о источниках, из которых можно импортировать данные в Azure Databricks, см. в источниках данных для Azure Databricks.