Источники данных, которые подключаются к схеме данных

В этой статье перечислены поддерживаемые источники данных, типы файлов и основные понятия сканирования в Схема данных Microsoft Purview.

Перечисление источников данных по типу

В приведенных ниже таблицах показаны все источники данных с техническими метаданными, доступными в Схема данных Microsoft Purview, а также другие поддерживаемые возможности. Выберите имя источника данных в столбце Источник данных , чтобы получить инструкции по подключению этого источника к схеме данных.

• Microsoft Azure
• База данных
• Файл
• Службы и приложения

Azure

Azure ресурсы доступны только в том же клиенте, что и учетная запись Microsoft Purview, если на странице каждого источника данных не указано иное.

* Помимо происхождения данных в ресурсах в источнике данных, также поддерживается происхождение, если набор данных используется в качестве источника или приемника в фабрике данных или конвейере Synapse.

База данных

* Помимо происхождения данных в ресурсах в источнике данных, также поддерживается происхождение, если набор данных используется в качестве источника или приемника в фабрике данных или конвейере Synapse.

File

* Помимо происхождения данных в ресурсах в источнике данных, также поддерживается происхождение, если набор данных используется в качестве источника или приемника в фабрике данных или конвейере Synapse.

Службы и приложения

* Помимо происхождения данных в ресурсах в источнике данных, также поддерживается происхождение, если набор данных используется в качестве источника или приемника в фабрике данных или конвейере Synapse.

** Элементы Power BI в клиенте Fabric доступны в динамическом режиме.

Регионы сканера карты данных

В следующем списке показаны все Azure регионах источника данных (центра обработки данных), в которых работает сканер карты данных. Если источник данных Azure находится в регионе за пределами этого списка, средство проверки выполняется в регионе экземпляра Microsoft Purview.

• Восток Австралии
• Юго-восток Австралии
• Южная Бразилия
• Центральная Канада
• Восточная Канада
• Центральная Индия
• Северный Китай 3
• Восточная Азия
• Восточная часть США
• Восточная часть США 2
• Центральная Франция
• Центрально-Западная Германия
• Восточная Япония
• Центральная Корея
• Центрально-северная часть США
• Северная Европа
• Центральный Катар
• Северная часть Южной Африки
• Центрально-южная часть США
• Юго-Восточная Азия
• Северная Швейцария
• Север ОАЭ
• Южная часть Соединенного Королевства
• USGov Вирджиния
• Центрально-западная часть США
• Западная Европа
• Западная часть США
• Западная часть США 2
• Западная часть США 3

Типы файлов, поддерживаемые для сканирования

Типы файлов, перечисленные в следующем разделе, поддерживают сканирование, извлечение схемы и классификацию, если применимо. Кроме того, карта данных поддерживает пользовательские расширения файлов и настраиваемые средства синтаксического анализа.

Форматы структурированных файлов, поддерживаемые расширением, включают сканирование, извлечение схемы, а также классификацию на уровне активов и столбцов:

• AVRO
• CSV
• GZIP
• JSON
• ОРК
• ПАРКЕТ*
• PSV
• SSV
• TSV
• TXT
• XML

*Для несжатых файлов PARQUET поддерживаются все форматы Parquet. Для сжатых файлов PARQUET поддерживается только формат Snappy Parquet.

Форматы файлов документов, поддерживаемые расширением, включают сканирование и классификацию на уровне ресурсов:

• ДОКТОР
• DOCM
• DOCX
• ТОЧКА
• ODP
• ODS
• ODT
• PDF
• ГОРШОК
• PPS
• PPSX
• PPT
• PPTM
• PPTX
• XLC
• XLS
• XLSB
• XLSM
• XLSX
• XLT

Извлечение схемы

Для источников данных, поддерживающих извлечение схемы во время сканирования, количество столбцов не усечено напрямую схему ресурсов.

Вложенные данные

Вложенные данные поддерживаются только для содержимого JSON. Для всех поддерживаемых системой типов файлов, если в столбце есть вложенное содержимое JSON, средство проверки анализирует вложенные данные JSON и отображает их на вкладке схемы ресурса.

Вложенные данные или синтаксический анализ вложенной схемы не поддерживается в SQL. Столбец со вложенными данными будет сообщаться и классифицироваться как есть, а подданные не будут анализироваться.

Выборка данных для классификации

В терминологии карты данных:

• Проверка L1. Извлекает основные сведения и метаданные, такие как имя файла, размер и полное имя.
• Проверка L2: извлекает схему для структурированных типов файлов и таблиц баз данных.
• Проверка L3: извлекает схему, если применимо, и подвергает выборку файл системным и пользовательским правилам классификации.

Дополнительные сведения о настройке уровней сканирования.

Для всех форматов структурированных файлов Схема данных Microsoft Purview сканировать файлы следующим образом:

• Для структурированных типов файлов он отсортирует первые 128 строк в каждом столбце или первые 1 МБ в зависимости от того, какая из них меньше.
• Для форматов файлов документов он отытет первые 20 МБ каждого файла. — Если размер файла документа превышает 20 МБ, сканер не выполняет глубокое сканирование (при условии классификации). В этом случае Microsoft Purview записывает только базовые метаданные, такие как имя файла и полное имя.
• Для табличных источников данных (SQL) он отсортирует первые 128 строк.
• Для Azure Cosmos DB для NoSQL для схемы собираются до 300 уникальных свойств из первых 10 документов в контейнере. Для каждого свойства сканер выполняет выборку значений до 128 документов или первых 1 МБ.

Выборка файла набора ресурсов

Если папка или группа файлов секций соответствуют политике набора системных ресурсов или определенной клиентом политике набора ресурсов, карта данных обнаруживает их как набор ресурсов. Если сканер обнаруживает набор ресурсов, он проверяет каждую папку, в ней содержится. Дополнительные сведения о наборах ресурсов см. в разделе Наборы ресурсов в Схема данных Microsoft Purview.

Выборка файлов для наборов ресурсов по типам файлов:

• Файлы с разделителями (CSV, PSV, SSV, TSV): сканер примеров 1 в 100 файлов (проверка L3) в папке или группе файлов секций, которые считаются набором ресурсов.
• Типы файлов Data Lake (Parquet, Avro, Orc): сканер примеров 1 в 18 446 744 073 709 551 615 (long max) файлов (проверка L3) в папке или группе файлов секций, которые считаются набором ресурсов.
• Другие структурированные типы файлов (JSON, XML, TXT): сканер примеров 1 из 100 файлов (проверка L3) в папке или группе файлов секционирования, которые считаются набором ресурсов.
• Объекты SQL и Azure сущности Cosmos DB. Сканер L3 сканирует каждый файл.
• Типы файлов документов. Сканер L3 сканирует каждый файл. Шаблоны набора ресурсов не применяются к этим типам файлов.

Дальнейшие действия

• Обнаружение источника хранилища BLOB-объектов Azure и управление ими
• Сканирование и прием в Microsoft Purview
• Управление источниками данных в Microsoft Purview