Использование параметров, выражений и функций в фабрике данных Azure

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

В этом документе основное внимание уделено изучению фундаментальных концепций с различными примерами по созданию параметризованных конвейеров данных в фабрике данных Azure. Параметризация и динамические выражения являются значительными дополнениями к ADF, так как они могут значительно сэкономить время и обеспечить гораздо более гибкое решение для ETL (извлечение, преобразование и загрузка) или ELT (извлечение, загрузка, преобразование), что значительно сократит затраты на обслуживание решения и ускорит внедрение новых функций в существующие конвейеры. Эти преимущества обусловлены тем, что параметризация уменьшает количество конкретных значений переменных и увеличивает объем повторно используемых объектов и процессов.

Если вы не знакомы с использованием параметров в пользовательском интерфейсе ADF, ознакомьтесь с визуальными пояснениями в статьях Пользовательский интерфейс Data Factory для связанных служб с параметрами и Пользовательский интерфейс Data Factory для конвейеров на основе метаданных с параметрами.

Параметры можно использовать для передачи внешних значений в конвейеры, наборы данных, связанные службы и потоковые данные. Переданный в ресурс параметр потом изменить не получится. Параметризация ресурсов позволяет повторно их использовать каждый раз с разными значениями. Параметры можно использовать по отдельности или в составе выражений. Значения JSON в определении могут быть литералами или выражениями, которые вычисляются в среде выполнения.

Например:

"name": "value"

или

"name": "@pipeline().parameters.password"

Выражения могут встречаться в любом месте строкового значения JSON и всегда возвращают другое значение JSON. Здесь password — это параметр конвейера в выражении. Если значение JSON является выражением, текст выражения извлекается без знака \"\@\". Если требуется строковый литерал, начинающийся с @, его необходимо экранировать с помощью @@. В примерах ниже показано, как вычисляются выражения.

Выражения также могут содержаться внутри строк, используя возможность интерполяции строк, где выражения заключаются в @{ ... }. Например: "name" : "First Name: @{pipeline().parameters.firstName} Last Name: @{pipeline().parameters.lastName}"

При использовании интерполяции строки результатом всегда будет строка. Предположим, myNumber определено как 42, а myString — как foo:

Приведенный ниже пример - это сложный пример, который ссылается на глубокую подкатегорию выходных данных деятельности. Чтобы сослаться на параметр конвейера, который вычисляется в подполе, используйте синтаксис [] вместо оператора точка (.), как в случае с subfield1 и subfield2.

@activity('*activityName*').output.*subfield1*.*subfield2*[pipeline().parameters.*subfield3*].*subfield4*

Редактор динамического содержимого автоматически экранирует символы в содержимом после завершения редактирования. Например, следующее содержимое в редакторе —это интерполяция строк с двумя функциями выражений.

{ 
  "type": "@{if(equals(1, 2), 'Blob', 'Table' )}",
  "name": "@{toUpper('myData')}"
}

Редактор динамического содержимого преобразует вышеприведенное содержимое в выражение "{ \n \"type\": \"@{if(equals(1, 2), 'Blob', 'Table' )}\",\n \"name\": \"@{toUpper('myData')}\"\n}". Результатом этого выражения является строка формата JSON, показанная ниже.

{
  "type": "Table",
  "name": "MYDATA"
}

В следующем примере BlobDataset принимает параметр с именем path. Его значение используется для задания значения свойства folderPath с помощью выражения: dataset().path.

{
    "name": "BlobDataset",
    "properties": {
        "type": "AzureBlob",
        "typeProperties": {
            "folderPath": "@dataset().path"
        },
        "linkedServiceName": {
            "referenceName": "AzureStorageLinkedService",
            "type": "LinkedServiceReference"
        },
        "parameters": {
            "path": {
                "type": "String"
            }
        }
    }
}

В следующем примере конвейер принимает параметры inputPath и outputPath. Путь к параметризованному набору данных типа blob задается с помощью значений этих параметров. Синтаксис, используемый здесь: pipeline().parameters.parametername.

{
    "name": "Adfv2QuickStartPipeline",
    "properties": {
        "activities": [
            {
                "name": "CopyFromBlobToBlob",
                "type": "Copy",
                "inputs": [
                    {
                        "referenceName": "BlobDataset",
                        "parameters": {
                            "path": "@pipeline().parameters.inputPath"
                        },
                        "type": "DatasetReference"
                    }
                ],
                "outputs": [
                    {
                        "referenceName": "BlobDataset",
                        "parameters": {
                            "path": "@pipeline().parameters.outputPath"
                        },
                        "type": "DatasetReference"
                    }
                ],
                "typeProperties": {
                    "source": {
                        "type": "BlobSource"
                    },
                    "sink": {
                        "type": "BlobSink"
                    }
                }
            }
        ],
        "parameters": {
            "inputPath": {
                "type": "String"
            },
            "outputPath": {
                "type": "String"
            }
        }
    }
}

Внутри выражений можно вызывать функции. В следующих разделах предоставлены сведения о функциях, которые могут использоваться в выражении.

Для работы со строками вы можете использовать эти строковые функции, а также некоторые функции для коллекций. Строковые функции работают только со строками.

Для работы с коллекциями, обычно массивами, строками, а иногда и словарями, вы можете использовать следующие функции.

Эти функции полезны в условиях и могут использоваться для оценки логики любого типа.

Эти функции используются для преобразования между собственными типами языка:

• строка
• целое число
• с плавающей запятой
• boolean
• массивы
• словари

Эти функции могут использоваться для любого типа чисел: целых чисел и чисел с плавающей запятой.

В руководстве по передаче параметров копирования в конвейере фабрики данных Azure описано, как передавать параметры между конвейером и активностью, а также между активностями.

Следуйте статье Сопоставление потока данных с параметрами для полного примера использования параметров в потоке данных.

Используйте конвейер с параметрами, управляемый метаданными, чтобы узнать больше об использовании параметров для проектирования конвейеров, управляемых метаданными. Это популярный вариант использования параметров.

Список системных переменных, которые можно использовать в выражениях, см. в статье System variables supported by Azure Data Factory (Системные переменные, поддерживаемые фабрикой данных Azure).