Подключение Фабрика данных Azure и Microsoft Purview

В этой статье описаны действия, необходимые для подключения учетной записи Фабрика данных Azure к учетной записи Microsoft Purview для отслеживания происхождения данных и приема источников данных. В этой статье также описаны сведения о покрытии действий область и поддерживаемых шаблонах происхождения.

При подключении Фабрика данных Azure к Microsoft Purview каждый раз, когда выполняется поддерживаемое действие Фабрика данных Azure, он автоматически получает метаданные об исходных данных действия, выходных данных и действии в Схема данных Microsoft Purview.

Если источник данных уже сканирован и существует в схеме данных, процесс приема добавляет сведения о происхождении данных из Фабрика данных Azure в этот существующий источник. Если источник или выходные данные не существуют в схеме данных и поддерживаются Фабрика данных Azure происхождения, Microsoft Purview автоматически добавляет их метаданные из Фабрика данных Azure в карту данных в корневой коллекции.

Это подключение — отличный способ мониторинга пространства данных, когда пользователи перемещают и преобразуют информацию с помощью Фабрика данных Azure.

Просмотр существующих подключений к Фабрике данных

Несколько Azure Фабрики данных могут подключаться к одному Purview для отправки сведений о происхождении. Текущее ограничение позволяет одновременно подключать до 10 Фабрика данных Azure учетных записей из Центра управления Microsoft Purview. Чтобы отобразить список учетных записей Фабрика данных Azure, подключенных к учетной записи Microsoft Purview, выполните следующие действия.

1. Выберите Управление в области навигации слева.

2. В разделе Подключения к происхождению выберите Фабрика данных.

3. Откроется список подключения к фабрике данных.

   

4. Обратите внимание на различные значения состояния подключения:

   • Подключено. Фабрика данных подключена к учетной записи Microsoft Purview.
   • Отключено. Фабрика данных имеет доступ к каталогу, но подключена к другому каталогу. В результате данные о происхождении данных не будут передаваться в каталог автоматически.
   • Неизвестно: текущий пользователь не имеет доступа к фабрике данных, поэтому состояние подключения неизвестно.

Создание подключения Фабрика данных Azure

Выполните следующие действия, чтобы подключить существующий Фабрика данных Azure к учетной записи Microsoft Purview. Вы также можете подключить фабрику данных к учетной записи Microsoft Purview из ADF.

1. Выберите Управление в области навигации слева.

2. В разделе Подключения к происхождению выберите Фабрика данных.

3. На странице Подключение к фабрике данных выберите Создать.

4. Выберите учетную запись Фабрика данных Azure в списке и нажмите кнопку ОК. Вы также можете фильтровать по имени подписки, чтобы ограничить список.

   Некоторые экземпляры Фабрика данных Azure могут быть отключены, если Фабрика данных Azure уже подключен к текущей учетной записи Purview или Фабрика данных Azure не имеет управляемого удостоверения. Если какой-либо из выбранных Azure Фабрики данных уже подключен к другой учетной записи Microsoft Purview, отображается предупреждающее сообщение. При нажатии кнопки ОК подключение Фабрика данных Azure с другой учетной записью Microsoft Purview отключается. Другие подтверждения не требуются.

   

Принцип работы проверки подлинности

Фабрика данных Azure использует управляемое удостоверение для проверки подлинности операций отправки происхождения из Microsoft Purview. При подключении Фабрика данных Azure к Purview в пользовательском интерфейсе автоматически добавляется назначение роли.

Предоставьте управляемому удостоверению Фабрика данных Azure роль куратора данных в корневой коллекции Microsoft Purview. Дополнительные сведения см. в разделах Управление доступом в Microsoft Purview и Добавление ролей и ограничение доступа через коллекции.

Удаление подключений к фабрике данных

Чтобы удалить подключение Фабрика данных Azure, выполните следующие действия.

1. На странице Подключение к Фабрике данных нажмите кнопку Удалить рядом с одним или несколькими Фабрика данных Azure подключениями.

2. Выберите Подтвердить во всплывающем окне, чтобы удалить выбранные подключения Фабрика данных Azure.

   

Мониторинг Фабрика данных Azure ссылок

На портале Microsoft Purview можно отслеживать ссылки фабрики данных.

Поддерживаемые действия Фабрика данных Azure

Microsoft Purview фиксирует происхождение данных среды выполнения из следующих Фабрика данных Azure действий:

• Копирование данных
• Поток данных
• Выполнение пакета служб SSIS

Интеграция между Фабрика данных Azure и Microsoft Purview поддерживает только подмножество систем данных, которые Фабрика данных Azure поддерживает. Дополнительные сведения см. в следующих разделах.

поддержка действие Copy

* Microsoft Purview в настоящее время не поддерживает запрос или хранимую процедуру для происхождения или сканирования. Происхождение данных ограничено только источниками таблиц и представлений.

Если вы используете локальную Integration Runtime, обратите внимание на минимальную версию с поддержкой происхождения:

• Любой вариант использования: версии 5.9.7885.3 или более поздней
• Копирование данных из Oracle: версии 5.10 или более поздней
• Копирование данных в Azure Synapse Analytics с помощью команды COPY или PolyBase версии 5.10 или более поздней

Ограничения происхождения действий копирования

В настоящее время, если вы используете следующие функции действия копирования, происхождение данных еще не поддерживается:

• Копирование данных в Azure Data Lake Storage 1-го поколения в двоичном формате.
• Параметр сжатия для двоичных файлов, файлов с разделителями, Excel, JSON и XML.
• Параметры исходного раздела для базы данных Azure SQL, Управляемый экземпляр SQL Azure, аналитики Azure Synapse, SQL Server и таблицы SAP.
• Копирование данных в приемник на основе файлов с параметром max rows per file.
• Происхождение на уровне столбца в настоящее время не поддерживается действием копирования, если задан ресурс источника или приемника.

Помимо происхождения данных, схема ресурса данных (показанная на вкладке Актив —> Схема) отображается для следующих соединителей:

• ФАЙЛЫ CSV и Parquet в Azure BLOB-объектах, Файлы Azure, ADLS 1-го поколения, ADLS 2-го поколения и Amazon S3
• Azure Data Explorer, база данных Azure SQL, Управляемый экземпляр SQL Azure, Azure Synapse Analytics, SQL Server, Teradata

поддержка Поток данных

* Microsoft Purview в настоящее время не поддерживает запрос или хранимую процедуру для происхождения или сканирования. Происхождение данных ограничено только источниками таблиц и представлений.

Ограничения происхождения потока данных

• Происхождение потока данных может создавать набор ресурсов на уровне папки без видимости для соответствующих файлов.
• Происхождение на уровне столбцов в настоящее время не поддерживается, если источник или приемник задан ресурсом.
• Для активности потока данных Microsoft Purview поддерживает отображение только источника и приемника. Подробные данные о происхождении для преобразования потока данных пока не поддерживаются.
• Происхождение данных не поддерживается, если потоки входят в поток данных.
• В настоящее время Purview не поддерживает отчеты о происхождении данных для таблиц Synapse (база данных LakeHouse или база данных рабочей области)

Поддержка пакета служб SSIS

См. поддерживаемые хранилища данных.

Доступ к защищенной учетной записи Microsoft Purview

Если брандмауэр защищает учетную запись Microsoft Purview, узнайте, как разрешить Фабрика данных Azure доступ к защищенной учетной записи Microsoft Purview через частные конечные точки Microsoft Purview.

Перенос происхождения Фабрика данных Azure в Microsoft Purview

Комплексное пошаговое руководство см. в руководстве по отправке данных фабрики данных в Microsoft Purview.

Поддерживаемые шаблоны происхождения

Microsoft Purview поддерживает несколько шаблонов происхождения. Созданные данные происхождения зависят от типа источника и приемника, используемых в действиях Фабрика данных Azure. Хотя Фабрика данных Azure поддерживает более 80 источников и приемников, Microsoft Purview поддерживает только подмножество. Сведения о поддерживаемых источниках и приемниках см. в разделе Поддерживаемые действия Фабрика данных Azure.

Сведения о настройке Фабрика данных Azure отправки сведений о происхождении см. в статье Начало работы с данными о происхождении данных.

Сведения в представлении происхождения можно найти с помощью следующих методов:

• На вкладке Происхождение наведите указатель мыши на фигуры, чтобы просмотреть дополнительные сведения об активе в подсказке.
• Выберите узел или ребро, чтобы увидеть тип ресурса, к которому он принадлежит, или для переключения ресурсов.
• На вкладке Происхождение отображаются столбцы набора данных слева. Дополнительные сведения о происхождении на уровне столбцов см. в разделе Происхождение столбцов набора данных.

Происхождение данных для операций 1:1

Наиболее распространенный шаблон записи происхождения данных перемещает данные из одного входного набора данных в один выходной набор данных с процессом между ними.

Пример этого шаблона включает следующие компоненты:

• 1 источник/входные данные: Customer (таблица SQL)
• 1 приемник/вывод: Customer1.csv (Azure BLOB-объект)
• Процесс 1: CopyCustomerInfo1#Customer1.csv (фабрика данных действие Copy)

Перемещение данных с поддержкой происхождения данных 1:1 и подстановочными знаками

Другим распространенным сценарием записи происхождения является использование подстановочного знака для копирования файлов из одного входного набора данных в один выходной набор данных. Подстановочный знак позволяет действиям копирования соответствовать нескольким файлам для копирования с использованием общей части имени файла. Microsoft Purview записывает данные на уровне файла для каждого отдельного файла, скопированного соответствующим действием копирования.

Пример этого шаблона включает следующие компоненты:

• Источник и ввод: CustomerCall*.csv (путь к ADLS 2-го поколения)
• Приемник/вывод: CustomerCall*.csv (Azure файл BLOB-объекта)
• Процесс 1: CopyGen2ToBlob#CustomerCall.csv (фабрика данных действие Copy)

Перемещение данных с происхождением n:1

Действия Поток данных можно использовать для выполнения таких операций с данными, как слияние, присоединение и т. д. Для создания целевого набора данных можно использовать несколько исходных наборов данных. В этом примере Microsoft Purview записывает данные на уровне файлов для отдельных входных файлов в таблицу SQL, которая является частью действия Поток данных.

Пример этого шаблона включает следующие компоненты:

• 2 источника и входных данных: Customer.csv, Sales.parquet (Путь ADLS 2-го поколения)
• 1 приемник/вывод: данные компании (Azure SQL таблица)
• Процесс 1. DataFlowBlobsToSQL (действие фабрики данных Поток данных)

Происхождение данных для наборов ресурсов

Набор ресурсов — это логический объект в каталоге, представляющий множество файлов секций в базовом хранилище. Дополнительные сведения см. в разделе Общие сведения о наборах ресурсов. Когда Microsoft Purview записывает данные о происхождении из Фабрика данных Azure, он применяет правила для нормализации отдельных файлов секций и создания единого логического объекта.

В следующем примере набор ресурсов Data Lake 2-го поколения Azure создается из большого двоичного объекта Azure:

• 1 источник/вход: Employee_management.csv (Azure BLOB-объект)
• 1 приемник/вывод: Employee_management.csv (Azure Data Lake 2-го поколения)
• 1 процесс: CopyBlobToAdlsGen2_RS (Фабрика данных Azure действие Copy)

Дальнейшие действия

Руководство по отправке данных о происхождении данных фабрики данных в Microsoft Purview

Руководство пользователя по происхождению данных каталога

Ссылка на Azure Data Share для происхождения данных