Подключение к источникам управляемой загрузки данных

Подключения Lakeflow Connect для управляемого приема данных хранят учетные данные аутентификации для ваших источников данных в Unity Catalog. Любой пользователь с привилегией USE CONNECTION для этого подключения может создавать управляемые конвейеры приема данных для таких источников, как Salesforce и SQL Server.

Пользователь администратора должен создать подключение, если пользователи, которые будут создавать конвейеры, являются пользователями, не являющихся администраторами, или будут использовать программные интерфейсы. Эти интерфейсы требуют, чтобы пользователи указали существующее подключение при создании конвейера.

Кроме того, администраторы могут создавать подключение и конвейер одновременно в пользовательском интерфейсе приема данных. См. концепции разъёмов Lakeflow Connect.

Обработка данных и федеративные подключения

Lakeflow Connect предлагает полностью управляемые коннекторы импорта для приложений и баз данных предприятия. Федерация Lakehouse позволяет выполнять запросы к внешним источникам данных без необходимости переноса данных. Вы можете создавать подключения для приема и федерации запросов в обозревателе каталогов.

Требования к привилегиям

Права пользователя, необходимые для подключения к управляемому источнику данных, зависят от выбранного интерфейса:

Сценарий Поддерживаемые интерфейсы Необходимые привилегии пользователей
Администратор создает подключение и конвейер ввода одновременно. Пользовательский интерфейс приема данных
  • CREATE CONNECTION в хранилище метаданных
  • USE CATALOG в целевом каталоге
  • (приложения SaaS) USE SCHEMA и CREATE TABLE в существующей схеме или CREATE SCHEMA в целевом каталоге
  • (Базы данных) USE SCHEMA, CREATE TABLE и CREATE VOLUME на существующей схеме или CREATE SCHEMA в целевом каталоге
Администратор создает подключение, чтобы пользователи, не являющиеся администраторами, могли создавать конвейеры. Администратор
  • Обозреватель каталогов

Неадминистратор:
  • Пользовательский интерфейс приема данных
  • Декларативные пакеты автоматизации
  • API системы Databricks
  • Пакеты SDK Databricks
  • Интерфейс командной строки Databricks
 Администратор
  • CREATE CONNECTION в хранилище метаданных

Неадминистратор:
  • USE CONNECTION в существующем подключении
  • USE CATALOG в целевом каталоге
  • (приложения SaaS) USE SCHEMA и CREATE TABLE в существующей схеме или CREATE SCHEMA в целевом каталоге
  • (Базы данных) USE SCHEMA, CREATE TABLE и CREATE VOLUME на существующей схеме или CREATE SCHEMA в целевом каталоге

Создание подключения

Пошаговые инструкции по созданию подключения Unity Catalog для определённого источника управляемой загрузки данных см. на странице «Создание подключения» для соответствующего коннектора в документации по управляемым коннекторам.

Дальнейшие действия

После создания подключения к источнику управляемого приема в Catalog Explorer, любой пользователь с привилегиями USE CONNECTION на подключение может создать конвейер приема следующим образом:

  • Мастер импортирования (только поддерживаемые соединители)
  • Декларативные пакеты автоматизации
  • API системы Databricks
  • Пакеты SDK Databricks
  • Интерфейс командной строки Databricks

Инструкции по созданию конвейера см. в документации по управляемому соединителю.

  • Last updated on