Выберите правильную конфигурацию среды выполнения интеграции для своего сценария.

Среда выполнения интеграции (IR) — это вычислительная инфраструктура, которую Microsoft Purview использует для проверки данных в разных сетевых средах. В этой статье представлены различные типы среды выполнения интеграции, доступные в Microsoft Purview, и приведены рекомендации по выбору правильной конфигурации среды выполнения интеграции для вашего сценария.

Типы сред выполнения интеграции

Purview предоставляет следующие типы сред выполнения интеграции:

  • среда выполнения интеграции Azure. Среда выполнения интеграции Azure — это полностью управляемые и эластичные вычисления, которые можно использовать для сканирования Azure или не Azure источников данных. Среда Azure IR поддерживает подключения к хранилищам данных и службам вычислений с общедоступными конечными точками. Это среда выполнения интеграции по умолчанию, которую не нужно создавать для начала работы.

  • Управляемая среда выполнения интеграции виртуальная сеть. Вы можете создать управляемую среду выполнения интеграции виртуальная сеть, которая находится в управляемом виртуальная сеть Purview. Он может использовать частные конечные точки для безопасного подключения и сканирования поддерживаемых источников данных. Дополнительные сведения см. в разделе Управляемые виртуальная сеть и управляемые частные конечные точки.

  • Локальная среда выполнения интеграции. Локальная среда выполнения интеграции может использоваться для сканирования источников данных в локальной или виртуальной сети. Его можно установить на локальном компьютере или виртуальной машине в частной сети. Дополнительные сведения см. в статье Создание локальных сред выполнения интеграции и управление ими.

  • Локальная среда выполнения интеграции, поддерживаемая Kubernetes. Эта среда выполнения интеграции размещена в кластере Kubernetes и может использоваться для сканирования источников данных в локальной или виртуальной сети. Поддержка Kubernetes повышает общую производительность и позволяет среде выполнения интеграции масштабироваться вместе с заданием. Дополнительные сведения см. в статье Создание поддерживаемых kubernetes локальных сред выполнения интеграции и управление ими.

  • Среда выполнения интеграции AWS. Среда выполнения интеграции AWS — это полностью управляемая и эластичная среда вычислений, размещенная Microsoft Purview в AWS. Это применимо при сканировании источников данных Amazon, таких как S3, RDS.

Выбор правильной среды выполнения интеграции

Выберите подходящую среду выполнения интеграции в соответствии со своими потребностями. Рассмотрите существующую архитектуру и требования для интеграции данных. Также подумайте о том, как удовлетворить растущие бизнес-потребности и любое будущее увеличение рабочей нагрузки.

Следующие рекомендации помогут вам принять решение:

  1. Какие типы источников данных нужно сканировать?

    Ознакомьтесь с разделом Поддерживаемые источники данных , чтобы узнать о поддерживаемых типах IR для источников данных, которые требуется сканировать.

  2. Что такое управление доступом к сети в источнике данных?

    Различные источники данных имеют разные параметры сетевого брандмауэра, чтобы защитить их от случайного доступа через Интернет. Эти параметры применяются к локальным, облачным хранилищам данных и хранилищам данных SaaS. В следующей таблице перечислены некоторые распространенные параметры брандмауэра. Выберите поддерживаемый тип IR в соответствии с вашим сценарием.

    Брандмауэр источника данных Azure IR Управляемое виртуальная сеть IR ШИР Поддерживаемый Kubernetes SHIR
    Разрешить общий доступ
    Разрешение службы Azure или доверенной службы
    Разрешение доступа из определенной виртуальной сети Azure ✓ (с поддержкой управляемой частной конечной точки)
    Разрешить определенный IP-адрес или диапазон IP-адресов
    Доступ к другим локальным или частным сетям
  3. Какой параметр брандмауэра в Microsoft Purview?

    Purview предоставляет различные параметры брандмауэра сети. Дополнительные сведения см . в статье Настройка брандмауэра Microsoft Purview. Выберите поддерживаемый тип IR в соответствии с вашим сценарием.

    Брандмауэр Purview Azure IR Управляемое виртуальная сеть IR ШИР Поддерживаемый Kubernetes SHIR
    Включена из всех сетей
    Отключено во всех сетях ✓ (требуется управляемая частная конечная точка) ✓ (необходимо создать частную конечную точку из сети) ✓ (необходимо создать частную конечную точку из сети)
  4. Какой уровень безопасности требуется во время передачи данных?

    Расположение среды выполнения интеграции определяет расположение внутренних вычислений и место выполнения операций сканирования. Чтобы рассмотреть вопрос о месте расположения данных:

    • При использовании Azure IR Purview автоматически определяет расположение источника данных и использует ir в этом регионе. Если Purview не может определить регион, он использует регион учетной записи Purview.

    • При использовании управляемого виртуальная сеть IR она выполняется в регионе, настроенном для управляемой виртуальной сети.

    • При использовании SHIR можно полностью выбрать расположение на локальных или Azure виртуальных машинах.

      Чтобы защититься от атак типа "злоумышленник в середине" во время передачи данных, используйте частную конечную точку и приватный канал для обеспечения безопасности данных.

    • Управляемые частные конечные точки можно создавать в хранилищах данных при использовании управляемого виртуальная сеть IR. Служба Purview поддерживает частные конечные точки в управляемой виртуальной сети.

    • Вы также можете создавать частные конечные точки в виртуальной сети, а SHIR может использовать их для доступа к хранилищам данных.

  5. Какой уровень обслуживания вы можете обеспечить?

    Обслуживание инфраструктуры, серверов и оборудования является одной из важных задач ИТ-отдела предприятия. Обычно это занимает много времени и усилий.

  6. Производительность и масштабируемость

    При необходимости используйте полностью управляемую и автомасштабируемую среду выполнения Azure IR, управляемое виртуальная сеть IR или локальную среду выполнения интеграции, поддерживаемую Kubernetes. Благодаря эластичности они могут повысить производительность и масштабируемость, особенно при сканировании крупномасштабных систем данных.

Гибернация среды выполнения интеграции управляемой виртуальной сети

Если среда выполнения интеграции неактивна (более 90 дней не выполняется никаких проверок в среде выполнения интеграции), управляемый виртуальная сеть Integration Runtime автоматически переходит в режим гибернации. Его состояние отображается как Гибернировано при выборе среды выполнения интеграции.

Что это изменение означает для вас

  1. При запуске тестового подключения в гибернируемой среде выполнения интеграции тестовое подключение завершается сбоем. Через 15 минут появится сообщение о попытке проверить подключение. К этому времени управляемый виртуальная сеть возвращается в нормальное состояние. После этого вы можете выполнять тестовые подключения и проверки в обычном режиме.

  2. При выполнении сканирования непосредственно с помощью параметра Выполнить сканирование сейчас или Изменить параметры сканирования без запуска тестового подключения из гибернированного Integration Runtime или проверки через API отображается сообщение о том, что эта проверка занимает до 15 дополнительных минут. Это дополнительное время для пробуждения Integration Runtime в режиме гибернации и начала процесса сканирования. Состояние сканирования отображается как Queued_Waking up IR вместо состояния в очереди , которое отображается в случае обычной проверки. После первой проверки вы можете выполнять все следующие проверки в обычном режиме.

Поддерживаемые источники данных

В следующей таблице показаны все источники данных, поддерживаемые Purview scan, и поддерживаемые типы среды выполнения интеграции.

Категория Поддерживаемо хранилище данных Azure IR/AWS IR Управляемое виртуальная сеть IR ШИР Kubernetes SHIR
Azure Несколько источников
Хранилище BLOB-объектов Azure ✓ (включая управляемую частную конечную точку)
Azure Cosmos DB (API для NoSQL) ✓ (включая управляемую частную конечную точку)
Azure Data Explorer ✓ (только версия 2)
Azure Data Lake Storage 1-го поколения ✓ (только версия 2)
Azure Data Lake Storage 2-го поколения ✓ (включая управляемую частную конечную точку)
База данных Azure для MySQL ✓ (включая управляемую частную конечную точку)
База данных Azure для PostgreSQL ✓ (включая управляемую частную конечную точку)
хранилище метаданных Azure Databricks Hive
Каталог Unity Azure Databricks ✓ (только версия 2, включая управляемую частную конечную точку)
Выделенный пул SQL Azure (ранее — SQL DW) ✓ (включая управляемую частную конечную точку)
Файлы Azure ✓ (включая управляемую частную конечную точку)
База данных SQL Azure ✓ (включая управляемую частную конечную точку)
Управляемый экземпляр SQL Azure ✓ (включая управляемую частную конечную точку)
аналитика Azure Synapse (рабочая область) ✓ (включая управляемую частную конечную точку)
База данных Amazon RDS
Amazon Redshift
Cassandra ✓ (только версия 2)
Db2
Google BigQuery
База данных хранилища метаданных Hive
MongoDB
MySQL ✓ (только версия 2)
Oracle
PostgreSQL ✓ (только версия 2)
Хранилище SAP для бизнеса
SAP HANA
Снежинка ✓ (только версия 2, включая управляемую частную конечную точку)
Сервер SQL Server.
SQL Server на Azure Arc
Teradata
File Amazon S3
HDFS
Службы и приложения Dataverse ✓ (только версия 2)
Erwin
Looker ✓ (только версия 2)
Ткань ✓ (только версия 2)
Power BI ✓ (только версия 2)
Qlik Sense ✓ (только версия 2)
Salesforce ✓ (только версия 2)
SAP ECC
SAP S/4HANA
Tableau ✓ (только версия 2)