Копирование данных в Azure Data Explorer или из Azure Data Explorer с помощью Фабрика данных Azure или Synapse Analytics

ПРИМЕНИМО К: Фабрика данных Azure Azure Synapse Analytics

В этой статье описывается, как использовать действие копирования в конвейерах Фабрика данных Azure и Synapse Analytics для копирования данных в Azure Data Explorer. Это продолжение статьи о действии копирования, в которой представлены общие сведения о копировании.

Поддерживаемые возможности

Этот соединитель Azure Data Explorer поддерживается для следующих возможностей:

(1) Azure среды выполнения интеграции (2) локальная среда выполнения интеграции

Данные можно скопировать из любого поддерживаемого исходного хранилища данных в Azure Data Explorer. Вы также можете скопировать данные из Azure Data Explorer в любое поддерживаемое хранилище данных приемника. Список хранилищ данных, которые операция копирования поддерживает в качестве источников или приемников, см. в таблице Поддерживаемые хранилища данных.

С помощью соединителя Azure Data Explorer можно выполнить следующие действия:

• Скопируйте данные, используя аутентификацию с использованием токена приложения Microsoft Entra с сервисным принципалом службы.
• В качестве источника извлекайте данные с помощью запроса KQL (Kusto).
• Добавлять данные в таблицу назначения с использованием роли приемника.

Начало работы

Для выполнения действия копирования с конвейером можно использовать один из следующих средств или пакетов SDK:

• Средство копирования данных
• портал Azure
• SDK .NET
• пакет SDK Python
• Azure PowerShell
• REST API
• шаблон Azure Resource Manager

Создание связанной службы для Azure Data Explorer с помощью пользовательского интерфейса

Выполните следующие действия, чтобы создать связанную службу для Azure Data Explorer в пользовательском интерфейсе портала Azure.

1. Перейдите на вкладку "Управление" в рабочей области Фабрика данных Azure или Synapse и выберите "Связанные службы", а затем нажмите кнопку "Создать".

   • Фабрика данных Azure
   • Azure Synapse

   

2. Найдите Explorer и выберите коннектор Azure Data Explorer (Kusto).

   

3. Настройте сведения о службе, проверьте подключение и создайте связанную службу.

   

Сведения о конфигурации соединителя

В следующих разделах содержатся сведения о свойствах, используемых для определения сущностей, относящихся к соединителю Azure Data Explorer.

Свойства связанной службы

Соединитель Azure Data Explorer поддерживает следующие типы проверки подлинности. Дополнительные сведения см. в соответствующих разделах:

• Проверка подлинности служебного субъекта
• Проверка подлинности с помощью назначенного системой управляемого удостоверения
• Проверка подлинности с помощью управляемой идентификации, назначаемой пользователем

Аутентификация субъекта-службы

Чтобы использовать аутентификацию служебного принципала, выполните следующие действия, чтобы получить служебный принципал и предоставить разрешения:

1. Зарегистрируйте приложение с помощью платформа удостоверений Майкрософт. Дополнительные сведения см. в статье Quickstart: регистрация приложения с помощью платформа удостоверений Майкрософт. Запишите эти значения, которые используются для определения связанной службы:

   • Идентификатор приложения
   • ключ приложения.
   • Идентификатор клиента

2. Предоставьте субъекту-службе правильные разрешения в Azure Data Explorer. Подробные сведения о ролях и разрешениях, а также об управлении разрешениями см. в статье Управление разрешениями базы данных Azure Data Explorer. Как правило, необходимо:

   • В качестве источника предоставьте базе данных по крайней мере роль Просмотр базы данных;
   • В качестве приемника назначьте вашей базе данных по крайней мере роль пользователя базы данных

Для связанной службы Azure Data Explorer поддерживаются следующие свойства:

Пример: использование проверки подлинности с помощью ключа служебного принципала

{
    "name": "AzureDataExplorerLinkedService",
    "properties": {
        "type": "AzureDataExplorer",
        "typeProperties": {
            "endpoint": "https://<clusterName>.<regionName>.kusto.windows.net ",
            "database": "<database name>",
            "tenant": "<tenant name/id e.g. microsoft.onmicrosoft.com>",
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalKey": {
                "type": "SecureString",
                "value": "<service principal key>"
            }
        }
    }
}

Проверка подлинности с помощью назначенного системой управляемого удостоверения

Дополнительные сведения об управляемых удостоверениях для ресурсов Azure см. в статье Управляемые удостоверения для ресурсов Azure.

Для использования проверки подлинности с помощью управляемого удостоверения, назначаемого системой, выполните приведенные ниже действия по предоставлению разрешений.

1. Получите информацию об управляемом удостоверении, скопировав значение идентификатора объекта управляемого удостоверения (Object ID), сгенерированного вместе с вашей фабрикой или рабочей областью Synapse.

2. Предоставьте управляемому удостоверению правильные разрешения в Azure Data Explorer. Подробные сведения о ролях и разрешениях, а также об управлении разрешениями см. в статье Управление разрешениями базы данных Azure Data Explorer. Как правило, необходимо:

   • В качестве источника предоставьте роль средства просмотра базы данных вашей базе данных.
   • В качестве приемника предоставьте для вашей базы данных роли инжестора базы данных и просмотрщика базы данных.

Для связанной службы Azure Data Explorer поддерживаются следующие свойства:

Пример: использование проверки подлинности с помощью управляемого удостоверения, назначаемого системой

{
    "name": "AzureDataExplorerLinkedService",
    "properties": {
        "type": "AzureDataExplorer",
        "typeProperties": {
            "endpoint": "https://<clusterName>.<regionName>.kusto.windows.net ",
            "database": "<database name>",
        }
    }
}

Аутентификация пользовательской управляемой идентичностью

Дополнительные сведения об управляемых удостоверениях для ресурсов Azure см. в статье Управляемые удостоверения для ресурсов Azure

Для использования проверки подлинности с помощью назначаемой пользователем управляемой идентичности выполните следующие шаги.

1. Создайте одно или несколько управляемых удостоверений, назначаемых пользователем и предоставьте разрешения для Azure Data Explorer. Подробные сведения о ролях и разрешениях, а также об управлении разрешениями см. в статье Управление разрешениями базы данных Azure Data Explorer. Как правило, необходимо:

   • В качестве источника предоставьте базе данных по крайней мере роль Просмотр базы данных;
   • предоставить базе данных в роли приемника данных по крайней мере роль агента загрузки данных.

2. Присвойте Фабрике данных или рабочему пространству Synapse одно или несколько управляемых удостоверений, назначаемых пользователем, и создайте учетные данные для каждого подобного удостоверения.

Для связанной службы Azure Data Explorer поддерживаются следующие свойства:

Пример: использование проверки подлинности с помощью управляемого удостоверения пользователя

{
    "name": "AzureDataExplorerLinkedService",
    "properties": {
        "type": "AzureDataExplorer",
        "typeProperties": {
            "endpoint": "https://<clusterName>.<regionName>.kusto.windows.net ",
            "database": "<database name>",
            "credential": {
                "referenceName": "credential1",
                "type": "CredentialReference"
            }
        }
    }
}

Свойства набора данных

Полный список разделов и свойств, доступных для определения наборов данных, см. в разделе Наборы данных. В этом разделе перечислены свойства, поддерживаемые набором данных Azure Data Explorer.

Чтобы скопировать данные в Azure Data Explorer, задайте для свойства типа набора данных значение AzureDataExplorerTable.

Поддерживаются следующие свойства:

Пример свойств набора данных:

{
   "name": "AzureDataExplorerDataset",
    "properties": {
        "type": "AzureDataExplorerTable",
        "typeProperties": {
            "table": "<table name>"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Azure Data Explorer linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Свойства действие Copy

Полный список разделов и свойств, доступных для определения действий, см. в разделе Конвейеры и действия. В этом разделе представлен список свойств, поддерживаемых источниками и приемниками Azure Data Explorer.

Azure Data Explorer в качестве источника

Чтобы скопировать данные из Azure Data Explorer, задайте для свойства type в источнике действие Copy значение AzureDataExplorerSource. В разделе source действия копирования поддерживаются следующие свойства:

Пример:

"activities":[
    {
        "name": "CopyFromAzureDataExplorer",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "AzureDataExplorerSource",
                "query": "TestTable1 | take 10",
                "queryTimeout": "00:10:00"
            },
            "sink": {
                "type": "<sink type>"
            }
        },
        "inputs": [
            {
                "referenceName": "<Azure Data Explorer input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ]
    }
]

Azure Data Explorer в качестве приемника

Чтобы скопировать данные в Azure Data Explorer, задайте для свойства type в приемнике действий копирования значение AzureDataExplorerSink. В разделе sink для действий копирования поддерживаются следующие свойства:

Пример:

"activities":[
    {
        "name": "CopyToAzureDataExplorer",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "AzureDataExplorerSink",
                "ingestionMappingName": "<optional Azure Data Explorer mapping name>",
                "additionalProperties": {<additional settings for data ingestion>}
            }
        },
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Azure Data Explorer output dataset name>",
                "type": "DatasetReference"
            }
        ]
    }
]

Сопоставление свойств потока данных

При преобразовании данных в потоке сопоставления данных можно считывать и записывать в таблицы в Azure Data Explorer. Дополнительные сведения см. в описаниях преобразования источника и преобразования приемника в разделе, посвященном потокам данных для сопоставления. Вы можете использовать набор данных Azure Data Explorer или набор данных inline dataset в качестве типа источника и приемника.

Преобразование источника

В таблице ниже перечислены свойства, поддерживаемые источником Azure Data Explorer. Изменить эти свойства можно на вкладке Source options (Параметры источника).

примеры исходного скрипта Azure Data Explorer

При использовании набора данных Azure Data Explorer как источника, скрипт, связанный с потоком данных, будет следующим:

source(allowSchemaDrift: true,
	validateSchema: false,
	query: 'table | take 10',
	format: 'query') ~> AzureDataExplorerSource

Если используется встроенный набор данных, связанный сценарий потока данных будет следующим:

source(allowSchemaDrift: true,
    validateSchema: false,
    format: 'query',
    query: 'table | take 10',
    store: 'azuredataexplorer') ~> AzureDataExplorerSource

Преобразование приемника

В таблице ниже перечислены свойства, поддерживаемые приемником Azure Data Explorer. Эти свойства можно изменить на вкладке "Параметры ". При использовании встроенного набора данных вы увидите дополнительные параметры, которые совпадают с свойствами, описанными в разделе свойств набора данных.

примеры скриптов приемника Azure Data Explorer

При использовании Azure Data Explorer набора данных в качестве типа приемника соответствующий скрипт потока данных:

IncomingStream sink(allowSchemaDrift: true,
	validateSchema: false,
	format: 'table',
	preSQLs:['pre SQL scripts'],
	postSQLs:['post SQL script'],
	skipDuplicateMapInputs: true,
	skipDuplicateMapOutputs: true) ~> AzureDataExplorerSink

Если используется встроенный набор данных, связанный сценарий потока данных будет следующим:

IncomingStream sink(allowSchemaDrift: true,
    validateSchema: false,
    format: 'table',
    store: 'azuredataexplorer',
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> AzureDataExplorerSink

Свойства операции поиска

Дополнительные сведения о свойствах см. в статье об действии поиска.

Связанный контент

• Список хранилищ данных, поддерживаемых действием копирования в качестве источников и приемников, приведен в разделе Поддерживаемые хранилища данных.

• Узнайте больше о том, как копировать данные из Фабрика данных Azure и Synapse Analytics в Azure Data Explorer.