Копирование данных из и в Salesforce Service Cloud версии 2 с помощью Azure Data Factory или Azure Synapse Analytics

ПРИМЕНИМО К: Azure Data Factory Azure Synapse Analytics

В этой статье описывается использование действия копирования в конвейерах Azure Data Factory и Azure Synapse для копирования данных из облака Salesforce Service Cloud. Это продолжение статьи с обзором действия копирования, в которой представлены общие сведения о действии копирования.

Поддерживаемые возможности

Этот соединитель Salesforce Service Cloud поддерживается для следующих возможностей:

(1) Azure среды выполнения интеграции (2) локальная среда выполнения интеграции

Список хранилищ данных, которые поддерживаются в качестве источников или приемников, см. в таблице Поддерживаемые хранилища данных.

В частности, этот соединитель Salesforce Service Cloud поддерживает следующее:

• Выпуски Salesforce Developer, Professional, Enterprise и Unlimited.
• Копирование данных из пользовательского домена и в него (пользовательский домен можно настроить как в рабочих, так и в тестовых средах).

Вы можете явно задать версию API, используемую для чтения и записи данных с помощью apiVersion свойства в связанной службе. При копировании данных в Salesforce Service Cloud соединитель использует BULK API 2.0.

Prerequisites

• В Salesforce требуется включить разрешение API.

• Вам потребуется настроить подключенные приложения на портале Salesforce, ссылаясь на этот официальный документ или наше пошаговое руководство в рекомендации в этой статье.

  Important

  • Пользователь выполнения должен иметь разрешение только на API.
  • Срок действия токена доступа можно изменить с помощью политик сеансов вместо токена обновления.

Ограничения Salesforce Bulk API 2.0

Мы используем API Salesforce Bulk API 2.0 для запроса и приема данных. В пакетном API 2.0 пакеты создаются автоматически. Вы можете отправлять до 15 000 пакетов на 24-часовой период. Если пакеты превышают предел, вы увидите сбои.

В Bulk API 2.0 только задания на ввод обрабатывают пакеты. Задания запросов не выполняются. Для получения дополнительной информации см. руководство разработчика по массовому API 2.0.

Дополнительные сведения см. в разделе "Общие ограничения" в ограничениях разработчика Salesforce.

Get started

Для выполнения действия копирования с конвейером можно использовать один из следующих средств или пакетов SDK:

• Средство копирования данных
• портал Azure
• SDK .NET
• пакет SDK Python
• Azure PowerShell
• REST API
• шаблон Azure Resource Manager

Создание связанной службы для Salesforce Service Cloud с помощью пользовательского интерфейса

Выполните следующие действия, чтобы создать связанную службу в Salesforce Service Cloud в пользовательском интерфейсе портала Azure.

1. Перейдите на вкладку "Управление" в рабочей области Azure Data Factory или Synapse и выберите "Связанные службы", а затем нажмите кнопку "Создать".

   • Фабрика данных Azure
   • Azure Synapse

   

2. Найдите Salesforce и выберите соединитель Salesforce Service Cloud.

   

3. Настройте сведения о службе, проверьте подключение и создайте связанную службу.

   

Сведения о конфигурации соединителя

В следующих разделах содержатся сведения о свойствах, которые используются для определения сущностей, относящихся к соединителю Salesforce Service Cloud.

Свойства связанной службы

Следующие свойства поддерживаются для связанной службы Salesforce Service Cloud.

Пример хранения учетных данных

{
    "name": "SalesforceServiceCloudLinkedService",
    "properties": {
        "type": "SalesforceServiceCloudV2",
        "typeProperties": {
            "environmentUrl": "<environment URL>",
            "authenticationType": "OAuth2ClientCredentials",
            "clientId": "<client ID>",
            "clientSecret": {
                "type": "SecureString",
                "value": "<client secret>"
            },
            "apiVersion": "<API Version>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Example: хранение учетных данных в Key Vault

{
    "name": "SalesforceServiceCloudLinkedService",
    "properties": {
        "type": "SalesforceServiceCloudV2",
        "typeProperties": {
            "environmentUrl": "<environment URL>",
            "authenticationType": "OAuth2ClientCredentials",
            "clientId": "<client ID>",
            "clientSecret": {
                "type": "AzureKeyVaultSecret",
                "secretName": "<secret name of client secret in AKV>",
                "store":{
                    "referenceName": "<Azure Key Vault linked service>",
                    "type": "LinkedServiceReference"
                }
            },
            "apiVersion": "<API Version>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Свойства набора данных

Полный список разделов и свойств, доступных для определения наборов данных, см. в статье о наборах данных. В этом разделе содержится список свойств, поддерживаемых набором данных Salesforce Service Cloud.

Чтобы скопировать данные из и в Облако Salesforce Service, задайте для свойства типа набора данных значение SalesforceServiceCloudV2Object. Поддерживаются следующие свойства.

Example:

{
    "name": "SalesforceServiceCloudDataset",
    "properties": {
        "type": "SalesforceServiceCloudV2Object",
        "typeProperties": {
            "objectApiName": "MyTable__c"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Salesforce Service Cloud linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Свойства Copy activity

Полный список разделов и свойств, используемых для определения действий, обратитесь к статье Конвейеры. Этот раздел содержит список свойств, поддерживаемых источником и приемником Salesforce Service Cloud.

Salesforce Service Cloud как тип источника

Чтобы скопировать данные из Salesforce Service Cloud, задайте тип источника в действии копирования в SalesforceServiceCloudV2Source. В разделе source действия копирования поддерживаются следующие свойства:

Example:

"activities":[
    {
        "name": "CopyFromSalesforceServiceCloud",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Salesforce Service Cloud input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "SalesforceServiceCloudV2Source",
                "query": "SELECT Col_Currency__c, Col_Date__c, Col_Email__c FROM AllDataType__c",
                "includeDeletedObjects": false,
                "preserveScaleFromSchema": false,
                "partitionOption": "AutoDetect"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Salesforce Service Cloud как тип приемника

Чтобы скопировать данные в Salesforce Service Cloud, установите конечный тип в процессе копирования на SalesforceServiceCloudV2Sink. В секции sink операции копирования поддерживаются следующие свойства.

Пример: приемник Salesforce Service Cloud в задаче копирования

"activities":[
    {
        "name": "CopyToSalesforceServiceCloud",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Salesforce Service Cloud output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "SalesforceServiceCloudV2Sink",
                "writeBehavior": "Upsert",
                "externalIdFieldName": "CustomerId__c",
                "writeBatchSize": 10000,
                "ignoreNullValues": true
            }
        }
    }
]

Сопоставление типов данных для облака службы Salesforce

При копировании данных из Salesforce Service Cloud используются следующие сопоставления типов данных Salesforce Service Cloud с промежуточными типами данных внутри службы. Дополнительные сведения о том, как действие копирования сопоставляет исходную схему и типы данных для приемника, см. в статье Сопоставление схем и типов данных.

Свойства операции поиска

Подробные сведения об этих свойствах см. в разделе Действие поиска.

Жизненный цикл и обновление соединителя Salesforce Service Cloud

В следующей таблице показаны этап выпуска и журналы изменений для различных версий соединителя Salesforce Service Cloud:

Обновление соединителя Salesforce Service Cloud

Ниже приведены инструкции по обновлению соединителя Salesforce Service Cloud:

1. Настройте подключенные приложения на портале Salesforce, указав необходимые условия.

2. Создайте связанную службу Salesforce Service Cloud и настройте ее, ссылаясь на свойства связанной службы.

3. Если вы используете SQL-запрос в источнике операции копирования или в операции поиска, которые ссылаются на связанную службу версии 1, вам нужно преобразовать их в запрос SOQL. Узнайте больше о запросе SOQL из Salesforce Service Cloud в качестве исходного типа и языка запросов объектов Salesforce (SOQL).

4. Поддержка partitionOption в источнике операции копирования. Подробные сведения о конфигурации см. в разделе Salesforce Service Cloud в качестве исходного типа.

5. Поддержка preserveScaleFromSchema в источнике операции копирования. Подробные сведения о конфигурации см. в разделе Salesforce Service Cloud в качестве исходного типа.

6. readBehavior заменяется includeDeletedObjects в источнике действия копирования или в действии подстановки. Подробные сведения о конфигурации см. в разделе Salesforce Service Cloud в качестве исходного типа.

Связанный контент

Список хранилищ данных, поддерживаемых в рамках функции копирования в качестве источников и приемников, см. в разделе Поддерживаемые хранилища данных.