Мониторинг численности карт данных в Microsoft Purview

В Microsoft Purview можно сканировать различные типы источников данных и просматривать состояние сканирования с течением времени. Вы также можете подключить другие службы к Microsoft Purview и просмотреть тенденции приема ресурсов и связей. В этой статье описывается, как отслеживать и просматривать с высоты птичьего полета население карты данных Purview.

Мониторинг выполнения сканирования

1. Откройте учетную запись Microsoft Purview и выберите Карта данных ->Мониторинг. Для доступа к этой странице требуется роль администратора источника данных в любой коллекции. Вы увидите запуски сканирования, принадлежащие коллекциям, для которых у вас есть права администратора источника данных.

2. Высокоуровневые ключевые показатели эффективности показывают общее количество запусков сканирования в течение определенного периода. Период времени по умолчанию — последние 30 дней. Вы также можете выбрать последние семь дней. В зависимости от выбранного фильтра времени можно увидеть распределение успешных, завершенных с исключениями, неудачных, отмененных и выполняемых проверок по неделям или дням на графике. Это комплексное состояние выполнения сканирования, включая этапы обнаружения и приема. Дополнительные сведения о состоянии см. в разделе Сведения о выполнении сканирования .

   

3. В нижней части диаграммы есть ссылка Просмотреть дополнительные сведения. Ссылка открывает страницу Состояние сканирования . Здесь вы можете увидеть имя проверки и количество попыток успешного выполнения, завершения с исключениями, сбоя или отмены за период времени. Вы также можете отфильтровать список по типам источников.

   

4. Вы можете изучить конкретную проверку, выбрав имя сканирования. Он соединяет вас со страницей журнала сканирования, где можно найти список запусков сканирования с дополнительными сведениями о выполнении.

   

5. Выберите идентификатор запуска, чтобы проверка дополнительные сведения о выполнении сканирования.

Известные ограничения

В настоящее время этот интерфейс мониторинга не включает следующие сведения. Вы можете проверка соответствующие сведения о выполнении проверки.

• Запуски сканирования извлечения происхождения для базы данных Azure SQL не охвачены.
• При сканировании рабочей области Azure Synapse Analytics, Azure подписки или группы ресурсов и учетной записи Amazon Web Services (AWS) она фиксирует только состояние или количество родительских запусков сканирования, но не дочерние запуски сканирования для каждого ресурса.

Проверка сведений о выполнении

Журнал выполнения проверки для заданной проверки можно просмотреть из разных мест:

• Перейдите в раздел Карта данных —>Мониторинг, как описано в разделе Мониторинг выполнения сканирования.
• Перейдите в раздел Карта данных ->Источники.> Выберите нужный источник данных.> См. статью Сканирование, Последние проверки или Последние неудачные проверки.
• Перейдите в раздел Карта данных ->Коллекции -> выберите нужную коллекцию ->Scans -> выберите имя сканирования, которое требуется просмотреть.

Срок хранения журнала выполнения сканирования составляет 90 дней.

Выберите идентификатор запуска, чтобы проверка дополнительные сведения о выполнении сканирования:

• В разделе сверху приведены общие сведения о выполнении проверки, включая следующие сведения:

  • Идентификатор запуска. Идентификатор guid, используемый для идентификации конкретного запуска сканирования.
  • Тип сканирования: ручная или запланированная проверка.
  • Тип выполнения: полная или добавочная проверка.
  • Набор правил сканирования: набор правил проверки, используемый при выполнении, если применимо.
  • Состояние выполнения сканирования: общее состояние сканирования. Он объединяет состояние этапов обнаружения и приема метаданных.
  • Длительность выполнения сканирования: длительность выполнения до конца и время начала и окончания.

• Раздел обнаружения метаданных содержит сводку метрик для этапа обнаружения, который Purview подключает к источнику, извлекает метаданные или происхождение и классифицирует данные.

  • Состояние обнаружения:

    Состояние	Описание
    Завершено	Обнаружение метаданных выполнено успешно.
    Завершено с исключениями	Обнаружение метаданных завершается, в то время как некоторые базовые операции завершают сбой, что может привести к отсутствовать ресурсу, метаданным или классификации в результате сканирования. Сведения можно просмотреть в журналах исключений.
    Не выполнено	Сбой обнаружения метаданных. Вы можете проверка сведения об ошибке, щелкнув ссылку "Дополнительные сведения" рядом с ней.
    Canceled.	Запуск сканирования отменяется пользователем.
    Развиваться	Выполняется обнаружение метаданных.
    В очереди	Обнаружение метаданных ожидает доступного ресурса среды выполнения интеграции. Если вы используете локальную среду выполнения интеграции, обратите внимание, что каждый узел может одновременно выполнять множество одновременных проверок в зависимости от спецификации компьютера (ЦП и памяти). Другие проверки находятся в состоянии в очереди.
    Задушил	Обнаружение метаданных регулируется. Это означает, что эта учетная запись Microsoft Purview на данный момент имеет больше выполняемых проверок, чем допустимое максимальное число одновременных операций. Дополнительные сведения об ограничении см. здесь. Этот конкретный запуск сканирования ожидается и начнется после завершения других текущих проверок.

    При выполнении проверки не взимается плата за состояние "Throttled" или "В очереди".

    • Обнаруженные ресурсы. Количество ресурсов, перечисляемых из источника. Для полной и добавочной проверки она включает все ресурсы в настроенном область независимо от того, относятся ли они к существующим ресурсам или только что созданным или обновленным с момента последнего запуска проверки. Для добавочной проверки Microsoft Purview извлекает подробные метаданные только для вновь созданных или обновленных ресурсов.

  • Классифицированные ресурсы. Количество ресурсов, которые были выбраны для классификации данных, независимо от того, имеют ли ресурсы соответствующую классификацию. Это подмножество обнаруженных ресурсов на основе механизма выборки. Для добавочного сканирования для классификации могут быть выбраны только вновь созданные или обновленные ресурсы.

  • Длительность: длительность этапа обнаружения и время начала и окончания.

• Раздел приема метаданных содержит сводку метрик для этапа приема, который заполняет карту данных определенными метаданными и связью.

  • Состояние приема:

    Состояние	Описание
    Завершено	Все ресурсы и связи успешно попадают в карту данных.
    Завершено с исключениями (ранее "Частично завершено")	Часть ресурсов и связей успешно попадает в карту данных, а некоторые из них завершаются сбоем. Сведения можно просмотреть в журналах исключений.
    Не выполнено	Сбой этапа приема.
    Canceled.	Запуск сканирования отменяется пользователем, поэтому прием отменяется вместе.
    Развиваться	Прием выполняется.
    В очереди	При приеме ожидается доступ к ресурсу службы или ожидается сканирование для обнаружения метаданных.

  • Ресурсы, которые были в приеме: количество ресурсов, которые были загружены в карту данных. При добавочной проверке она включает только вновь созданные или обновленные ресурсы, в этом случае может быть меньше числа обнаруженных ресурсов. При проверке файлового источника это число необработанных ресурсов перед агрегированием набора ресурсов.

  • Связи приема: количество связей, поданных в карту данных. Он включает в себя происхождение и другие связи, такие как связи с внешним ключом.

  • Длительность: длительность приема, время начала и окончания.

Просмотр журнала исключений (предварительная версия)

Если не удается обнаружить некоторые ресурсы или связи из источника или не получить данные в схеме данных во время выполнения сканирования, состояние сканирования отображается с исключениями. Журнал исключений можно просмотреть, выполнив следующие действия.

1. Выберите сканирование.
2. Выберите идентификатор выполнения проверки с ошибками или исключениями.
3. Выберите Скачать журнал на панели сведений о выполнении сканирования . Он предоставляет файлы журнала исключений, в которые записываются сведения о сбоях.

Журнал фазы обнаружения

В следующей таблице показана схема файла журнала фазы обнаружения.

Известные ограничения:

• Журнал фазы обнаружения поддерживается при использовании среды выполнения интеграции Azure или управляемой виртуальная сеть среды выполнения интеграции для сканирования.
• Журнал фазы обнаружения поддерживается при сканировании Azure или источников данных Power BI.
• В настоящее время он может не записывать все исключения, которые происходят во время выполнения проверки.

Журнал фазы приема

В следующей таблице показана схема файла журнала фазы приема.

Мониторинг ссылок

Вы можете подключить другие службы с помощью Microsoft Purview, чтобы установить "ссылку", которая делает метаданные и происхождение ресурсов этой службы доступными для Microsoft Purview. В настоящее время ссылка поддерживается для Фабрика данных Azure и Azure Synapse Analytics.

Чтобы отслеживать ресурсы и связи, передаваемые по ссылкам, выполните следующие действия:

1. Перейдите к учетной записи Microsoft Purview.> Откройте портал управления Microsoft Purview ->Карта данных ->Мониторинг ->Ссылки. Для доступа к вкладке Мониторинг необходимо иметь роль администратора источника данных в любой коллекции. Вы также можете просмотреть результаты, относящиеся к коллекциям, для которых у вас есть права администратора источника данных. Разрешение на корневую коллекцию требуется для отслеживания Фабрика данных Azure и ссылок Azure Synapse Analytics.

2. Вы можете просмотреть высокоуровневые ключевые показатели эффективности, включая общее количество источников, количество принятых ресурсов и связь (происхождение), за которыми следуют трендовые диаграммы с течением времени. Чтобы сузить результаты, можно применить дополнительные фильтры к следующим:

   • Тип источника
   • Имя источника
   • Диапазон дат: по умолчанию — 30 дней. Вы также можете выбрать последние семь дней или пользовательский диапазон дат. Срок хранения составляет 45 дней.

   Метрики отображаются до даты, указанной в правом верхнем углу. И агрегирование происходит ежечасно.

   

3. В нижней части диаграммы есть ссылка Просмотреть дополнительные сведения. На странице Состояние связи вы можете просмотреть список имен источников, а также тип источника, данные приема ресурсов, данные о связи и время последнего выполнения. Фильтры на предыдущей странице переносятся, и вы можете дополнительно отфильтровать список по типу источника, имени источника и диапазону дат.

   

4. Чтобы просмотреть сведения о следующем уровне, щелкните имя источника, выполните детализацию по каждому источнику. Например, для Фабрика данных Azure показано, как каждое действие конвейера сообщает о ресурсах и связях с Microsoft Purview с именем в формате <pipeline_name>/<activity_name>.

   

Известные ограничения

• Для Фабрика данных Azure и аналитики Azure Synapse в настоящее время этот мониторинг связи фиксирует ресурсы и связи, созданные в связи с действием копирования, но не потоком данных и действиями служб SSIS.
• Агрегирование и фильтр даты находятся в формате UTC.

Сканирование больше не выполняется

Если проверка Microsoft Purview выполнялась успешно, но теперь завершается сбоем, проверка следующие моменты:

1. Проверьте сообщение об ошибке на наличие сведений о сбое.
2. Вы изменили или изменили учетные данные для ресурса? Если да, обновите проверку правильными учетными данными.
3. Предотвращает ли Политика Azureобновления учетных записей хранения? Если это так, следуйте инструкциям в руководстве по тегу исключения Microsoft Purview , чтобы создать исключение для учетных записей Purview.
4. Используете ли вы локальную среду выполнения интеграции? Убедитесь, что оно обновлено с последней версией программного обеспечения и подключено к вашей сети.

Дальнейшие действия

• Поддерживаемые источники данных и типы файлов в Microsoft Purview
• Управление источниками данных
• Сканирование и прием