Качество данных для локальных источников данных (предварительная версия)

Качество данных локального источника данных — это способность оценивать, отслеживать, оценивать и улучшать качество данных, которые находятся в корпоративной инфраструктуре, например локальной SQL Server и локальной среде Oracle. Эти наборы данных хранятся в среде частной сети клиента, а не на облачных платформах.

Предварительные условия

Локальные базы данных проверяются в локальной инфраструктуре, чтобы убедиться, что данные не перемещаются за пределы клиентской среды. Необходимо настроить кластер Kubernetes для размещения среды выполнения, которая сканирует эти базы данных. Перед использованием Качество данных Microsoft Purview для локальных источников данных:

  1. Создайте кластер Kubernetes.
  2. Скачайте среду выполнения интеграции данных.
  3. Зарегистрируйте его в Microsoft Purview.

Предварительные требования, установку и настройку см. в разделе:

Перед выполнением проверки качества данных необходимо проверить ресурсы с помощью сканирования карты данных. Для проверки карты данных необходимо установить и настроить локальную среду выполнения интеграции.

Настройка подключения к локальным базам данных

Создавайте подключения для локальных источников данных так же, как и для других типов источников данных. В Единый каталог выберите Управление работоспособностью, а затем — Качество данных. Выберите домен управления, в котором вы создали продукт данных с локальным ресурсом данных. Выберите Управление и подключение , чтобы настроить подключение к локальным базам данных. Поддерживаемые локальные источники данных:

  • Oracle
  • SQL Server

Создавайте подключения, связывая их с экземпляром среды выполнения интеграции данных. В SQL Server одна база данных может содержать таблицы, принадлежащие нескольким схемам. Таким образом, можно использовать одно подключение для сканирования всех схем в одной базе данных. Таким образом, подключение принимает только сведения о базе данных, но не схему. Для базы данных Oracle подключение можно создать на уровне схемы или базы данных. Если вы хотите ограничить подключение на уровне схемы, добавьте имя схемы на странице конфигурации подключения.

Примечание.

  • Одна база данных Oracle должна иметь только одно подключение на уровне базы данных, но она может иметь много подключений на уровне схемы для схем 1, схемы 2 и схемы 3.
  • Каждое подключение на уровне схемы используется в качестве отдельного подключения, так как они являются отдельными схемами.
  • Если база данных Oracle имеет подключения как на уровне схемы, так и на уровне базы данных, система использует только подключение на уровне схемы.
  • Если база данных Oracle имеет два подключения на уровне базы данных, система использует только первое подключение.

Проверка качества данных

После завершения настройки подключения следуйте документации по проверке качества данных, чтобы измерять и отслеживать качество данных Oracle и SQL Server локальных источников данных.

Ограничения

  • Профилирование локальных источников данных не поддерживается.
  • Правила подстановки таблиц не поддерживаются, если таблицы не публикуются как ресурсы данных или если базы данных ссылочных таблиц не выполняются или не размещаются на том же сервере.
  • Правило свежести не поддерживается для SQL Server базы данных.
  • Пользовательские выражения, поддерживаемые для облачных источников, не поддерживаются для SQL Server базы данных, но поддерживается настраиваемый SQL.
  • Правила регулярных выражений не поддерживаются, но поддерживается like.

Устранение распространенных ошибок

  • Ошибка: значение не может иметь значение NULL. (Параметр "Свойство пароля отсутствует"). Эта ошибка возникает, если секрет хранилища ключей не найден. Фактическое сообщение об ошибке в журнале Kubernetes: "Секрет с (name/id) KVSecretsOfficers-purview не найден в этом хранилище ключей".
  • Last updated on