Реализация Azure Purview

Microsoft Purview — это единая служба управления данными, которая помогает управлять данными, размещенными в локальных средах, нескольких облаках и на платформах SaaS (программное обеспечение как услуга). Вы сможете создать целостную и актуальную схему своей архитектуры благодаря автоматическому обнаружению данных, классификации конфиденциальных данных и сквозному контролю происхождения данных. Позволяет кураторам данных управлять структурами данных и защищать их. Предоставьте потребителям данных возможность находить ценные и надежные данные.

Принцип работы

Microsoft Purview автоматизирует обнаружение данных, путем предоставления сканирования и классификации данных в качестве службы для ресурсов в ваших активах данных. Метаданные и описания обнаруженных ресурсов данных интегрируются в целостную схему активов данных. На вершине этой схемы есть специальные приложения, которые создают среды для обнаружения данных, управления доступом, а также для аналитических сведений о ландшафте ваших данных.

Поддерживаемые возможности

Понимание того, как конфиденциальные данные размещаются и перемещаются во всем домене данных, является одним из основных применений Azure Purview для Базы данных SQL Azure.

Создание единой карты данных по всему домену данных

Azure Purview помогает заложить основу для эффективного управления данными, предоставляя следующие возможности:

• автоматизация управления метаданными для гибридных ресурсов;
• классификация данных с помощью встроенных и пользовательских классификаций и меток конфиденциальности для защиты информации;
• обеспечение согласованности меток для конфиденциальных данных в SQL Server, Azure, Microsoft 365 и Power BI;
• удобная интеграция любых систем данных с помощью API Apache Atlas.

Упростите поиск данных

Упростите поиск данных, используя хорошо знакомые условия для поиска технических и бизнес-данных, с поддержкой следующих возможностей:

• обеспечение оптимальной бизнес-ценности данных пользователей с помощью Каталога данных Microsoft Purview;
• устранение необходимости хранить словари данных в формате Excel благодаря использованию словаря на уровне всей организации;
• получение представления о происхождении данных с помощью интерактивной визуализации источников данных;
• предоставление специалистам по обработке и анализу данных, инженерам и аналитикам важных данных для бизнес-аналитики, ИИ и машинного обучения.

Получите представление о конфиденциальных данных

Microsoft Purview предлагает многосторонний обзор ваших действий по управлению данными в Data Insights (предварительная версия), включая следующие возможности:

• просмотр всего домена данных и распределения его ресурсов по таким измерениям, как тип источника, классификация и размер файла;
• получение обновлений состояния по количеству успешно пройденных, неудачных или отмененных проверок;
• получение важнейших аналитических сведений для улучшения результатов поиска путем добавления или перераспределения терминов глоссария.

Требования

Перед началом работы с Microsoft Purview убедитесь, что выполняются следующие требования.

• Доступ к Microsoft Azure с подпиской на среду разработки или рабочую среду
• Возможность создавать ресурсы Azure, включая Microsoft Purview.
• Доступ к таким источникам данных, как Azure Data Lake Storage или Azure SQL, в тестовой среде, среде разработки или рабочей среде.
  • Требуемой ролью для проверки в Data Lake Storage является роль Читатель.
  • Что касается Azure SQL, удостоверение должно иметь возможность выполнять запросы к таблицам для выборки классификаций.
• Доступ к Microsoft Defender для облака или возможности совместной работы с администратором Defender для облака для маркировки данных.
• Активная учетная запись Microsoft Purview.
• Чтобы зарегистрировать источник и управлять им на портале Microsoft Purview, нужно иметь права администратора источника данных и читателя данных.

Вопросы безопасности

Давайте рассмотрим некоторые важные возможности безопасности, доступные при сканировании Базы данных SQL с помощью Microsoft Purview.

Параметры брандмауэра

Если на сервере базы данных включен брандмауэр, необходимо обновить брандмауэр, чтобы разрешить доступ одним из двух способов:

• Разрешить подключения Azure через брандмауэр: это простой способ передавать трафик через сеть Azure без отдельной настройки виртуальных машин.

• Установка локальной среды выполнения интеграции: установите локальную среду выполнения интеграции на компьютере в локальной сети и предоставьте ему доступ через брандмауэр. Если у вас настроена частная виртуальная сеть в Azure или другая закрытая сеть, вы сможете через локальную среду выполнения интеграции на компьютере в закрытой сети полностью управлять потоком трафика и использовать существующую сеть.

• Использование управляемой виртуальной сети: среду выполнения интеграции Azure можно использовать в закрытой сети, настроив управляемую виртуальную сеть для подключения к Azure SQL с помощью учетной записи Microsoft Purview.

Проверка подлинности

Чтобы сканировать источник данных, необходимо настроить метод проверки подлинности в Базе данных SQL Azure. При подготовке к сканированию можно выбрать следующие методы проверки подлинности.

• Назначаемое системой управляемое удостоверение (рекомендуется): это удостоверение, сопоставленное непосредственно с учетной записью Microsoft Purview, что позволяет напрямую выполнять проверку подлинности для доступа к другим ресурсам Azure без настройки нескольких наборов учетных данных или пользователей. При создании ресурса Microsoft Purview создается управляемое удостоверение, назначаемое системой, которое управляется платформой Azure и использует предоставленное имя учетной записи Microsoft Purview. Управляемое удостоверение, назначаемое системой, в настоящее время нельзя использовать в сочетании с локальной средой выполнения интеграции для Azure SQL.

• Назначаемое пользователем управляемое удостоверение (предварительная версия) — аналогично управляемому удостоверению, назначаемого системой, управляемое удостоверение, назначаемое пользователем, — это ресурс учетных данных, позволяющий Microsoft Purview проходить проверку подлинности в идентификаторе Microsoft Entra. Управляемое удостоверение, назначаемое пользователем, управляется не платформой Azure, а пользователями в среде Azure, что обеспечивает более строгий контроль над безопасностью. Управляемое удостоверение, назначаемое пользователем, в настоящее время нельзя использовать в сочетании с локальной средой выполнения интеграции для Azure SQL. Дополнительные сведения см. в нашем руководстве по управляемым удостоверениям, назначаемым пользователем.

• Субъект-служба: это специальное приложение, не связанное напрямую с отдельным человеком, которому можно назначать разрешения доступа, как обычным группам или пользователям. Эти разрешения имеют дату окончания срока действия, что может быть полезным для временных проектов.

• Проверка подлинности SQL: подключение к базе данных SQL с именем пользователя и паролем.

Регистрация и сканирование Базы данных SQL с помощью Azure Purview

В этом разделе описано, как зарегистрировать Базу данных SQL Azure в качестве источника и настроить для нее сканирование.

Регистрация источника данных

Для настройки сканирования необходимо зарегистрировать источник данных в Microsoft Purview.

1. Откройте учетную запись Microsoft Purview и выберите Открыть портал управления Microsoft Purview.

   

2. Выберите коллекции карт> данных на левой панели, чтобы открыть страницу управления коллекциями. Создайте иерархию коллекций с помощью меню "Коллекции " и при необходимости назначьте разрешения отдельным вложенным коллекциям.

   

3. Перейдите к соответствующей коллекции в меню Источники и щелкните Зарегистрировать, чтобы зарегистрировать новую Базу данных SQL.

   

4. Выберите источник данных "База данных SQL Azure" и щелкните Продолжить.

   

5. Укажите имя источника данных, выберите подписку Azure, выберите имя сервера База данных SQL и щелкните Применить.

   

6. База данных SQL Azure появится в выбранной коллекции.

   

Создание проверки

Чтобы создать и настроить сканирование, выполните следующие действия.

1. Откройте учетную запись Microsoft Purview и щелкните Открыть портал управления Microsoft Purview.

   

2. Нажмите на значок Сопоставление данных, а затем на Источники, чтобы просмотреть иерархию коллекций.

   

3. Щелкните значок Новое сканирование под экземпляром Базы данных SQL Azure, который вы зарегистрировали ранее.

   

4. Укажите имя для сканирования, выберите Ручной ввод для свойства Database selection method (Метод выбора базы данных), введите Имя базы данных и выберите Учетные данные. Выберите коллекцию для сканирования и щелкните Проверить подключение. Если подключение установлено успешно, нажмите Продолжить.

   

Назначение области и запуск сканирования

Чтобы ограничить область сканирования и запустить его, выполните следующие действия.

1. Вы можете задать область проверки для определенных объектов баз данных, выбрав соответствующие элементы в списке.

   

2. Выберите набор правил проверки. Можно выбрать вариант по умолчанию, существующий пользовательский набор правил или создать новый встроенный набор правил.

   

3. Выберите New scan rule set (Новый набор правил сканирования) и укажите для него имя.

   

4. Вы можете выбрать правила классификации, которые нужно включить в правило сканирования. Затем щелкните Создать.

   

5. На странице Select a scan rule set (Выбор набора правил сканирования) появится созданный вами набор правил сканирования.

   

6. На странице Set a scan trigger (Настройка триггера сканирования) настройте триггер сканирования. Выберите Продолжить.

   

7. Просмотрите параметры сканирования, а затем выберите Сохранить и выполнить.

   

Просмотр сканирования

Чтобы просмотреть сканирование, выполните следующие действия.

1. Перейдите к источнику данных в коллекции и щелкните Просмотреть сведения, чтобы проверить состояние сканирования.

   

2. Сведения о сканировании отражают ход выполнения проверки в поле Состояние последнего выполнения, а также число проверенных и классифицированных ресурсов. Состояние последнего выполнения будет изменено на Выполняется, а после успешного завершения всего сканирования — на Завершено.

   

Управление сканированием

Сканированием можно управлять или выполнять его повторно после завершения.

1. Выберите имя сканирования для управления сканированием.

   

2. На странице журнала сканирования можно повторно запустить, изменить или удалить сканирование.

   

3. Вы также можете выполнить добавочное или полное сканирование.

   

Происхождение данных

Как правило, происхождение данных описывает полный путь, по которому данные перемещаются от источника к месту назначения с течением времени. Оно используется для многих целей, в том числе для устранения неполадок, отслеживания первопричин проблем в конвейерах данных и отладки.

Каталог данных Microsoft Purview подключается к другим платформам хранения данных, обработки и аналитики для сбора сведений о происхождении данных. В результате каталог предоставляет универсальный интерфейс для анализа происхождения данных в конкретном сценарии.

Microsoft Purview поддерживает происхождение данных из Базы данных SQL Azure. Во время настройки проверки вы можете включить переключатель, отвечающий за извлечение происхождения данных.

Необходимые условия для настройки извлечения происхождения данных при сканировании

1. Выполните действия, описанные в разделе о проверке с использованием управляемого удостоверения, чтобы предоставить службе Microsoft Purview разрешения на сканирование Базы данных SQL Azure.

2. Войдите в База данных SQL Azure с помощью учетной записи Microsoft Entra и назначьте соответствующее разрешение (например, db_owner) управляемому удостоверению Purview. Используйте синтаксис из приведенного ниже примера SQL, чтобы создать пользователя и предоставить ему разрешение, заменив заполнитель purview-account реальным именем учетной записи.

   CREATE user <purview-account> FROM EXTERNAL PROVIDER
   GO
   EXEC sp_addrolemember 'db_owner', <purview-account> 
   GO
   

3. Выполните приведенную ниже команду в Базе данных SQL Azure, чтобы создать главный ключ.

   CREATE MASTER KEY
   GO
   

Создание сканирования с включенным переключателем извлечения происхождения

1. Включите переключатель извлечения происхождения данных на экране сканирования.

   

2. Выберите метод проверки подлинности, выполнив действия, описанные в разделе о сканировании.

3. Успешно завершив настройку сканирования, как описано в предыдущем шаге, вы получите новый тип сканирования Lineage extraction (Извлечение происхождения данных), который будет каждые 6 часов выполнять добавочные сканирования для извлечения сведений о происхождении данных из База данных SQL Azure. Сведения о происхождении извлекаются с помощью специальной хранимой процедуры, которая выполняется в Базе данных SQL Azure.

Поиск ресурсов в Базе данных SQL Azure и просмотр происхождения данных в среде выполнения

Описанные ниже действия позволяют вручную просматривать каталог данных и выполнять в нем поиск, чтобы получать сведения о ресурсах в Базе данных SQL Azure.

1. Перейдите к ресурсу и на вкладке происхождения данных изучите происхождение для поддерживаемых ресурсов. Сведения о поддерживаемых сценариях для происхождения данных а Базе данных SQL Azure представлены в разделе о поддерживаемых возможностях. Дополнительные сведения о происхождении данных в целом см. в руководстве пользователя по происхождению данных.

   

2. Перейдите к ресурсу хранимой процедуры, щелкните "Свойства" и "Связанные ресурсы", чтобы просмотреть сведения о последнем выполнении хранимых процедур.

   

3. Щелкните гиперссылку, которая ведет на хранимую процедуру, рядом с кнопкой "Запуски", чтобы просмотреть обзорные сведения о выполнении хранимой процедуры в Azure SQL. Перейдите на вкладку свойств, чтобы изучить расширенные сведения времени выполнения о работе хранимой процедуры. Здесь вы найдете время выполнения, количество обработанных строк, информацию о подключении и многое другое.