Соединители сообщества в Lakeflow Connect

Important

Эта функция доступна в бета-версии. Администраторы рабочей области могут управлять доступом к этой функции на странице "Предварительные версии ". См. статью "Управление предварительными версиями Azure Databricks".

Соединители сообщества — это соединители с открытым кодом, которые расширяют Lakeflow Connect к источникам без поддержки управляемых соединителей. Сообщество создает и поддерживает их. Вам доступны следующие варианты:

Опция Description
Использование зарегистрированного соединителя сообщества Используйте зарегистрированный соединитель сообщества для приема данных из поддерживаемого источника в Azure Databricks.
Создание пользовательского соединителя Создайте настраиваемый соединитель для нового источника с помощью платформы сообщества и шаблонов.

Как работают соединители сообщества

Соединители сообщества построены на интерфейсе LakeflowConnect, который обёртывает API источника данных Spark Python. Каждый соединитель обрабатывает проверку подлинности, обнаружение схемы и добавочные операции чтения данных, чтобы можно было создавать, настраивать и запускать конвейер приема, поддерживаемый Декларативными конвейерами Spark Lakeflow.

При использовании соединителя сообщества Azure Databricks клонирует исходный код соединителя из репозитория GitHub в указанный каталог рабочей области. Затем конвейер считывает исходный код соединителя во время выполнения и выполняет логику приема для настроенного источника.

Поддерживаемые источники

Сообщество регулярно регистрирует новые соединители. Последний список поддерживаемых источников см. в пользовательском интерфейсе добавления данных (Data Ingestion) в рабочей области Azure Databricks или репозитории Lakeflow Community Connectors на GitHub.

Рекомендации

  • Соединители сообщества находятся в активной разработке. Интерфейсы и поведение подвержены изменению.
  • Databricks не поддерживает соединители сообщества. Они не поддерживаются уровнем обслуживания Databricks и не гарантируют совместимость с будущими версиями.

Отправка отзывов

Сообщите об ошибках и отправьте запросы функций в репозитории Соединителей сообщества Lakeflow .