Прочитать на английском

Поделиться через

Преобразование данных с помощью действия Pig для Hadoop в Фабрике данных Azure или Synapse Analytics

  • Статья
  • 03.10.2024

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

Совет

Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !

Действие Pig HDInsight в конвейере фабрики данных выполняет запросы Pig к вашему собственному кластеру HDInsight или кластеру HDInsight по запросу. Данная статья основана на материалах статьи о действиях преобразования данных , в которой приведен общий обзор преобразования данных и список поддерживаемых действий преобразования.

Дополнительные сведения см. в вводной информации о Фабрике данных Azure и Synapse Analytics, а перед изучением этой статьи выполните действия в руководстве по преобразованию данных.

Добавление действия HDInsight Pig в конвейер с помощью пользовательского интерфейса

Чтобы использовать в конвейере действие HDInsight Pig, выполните следующие действия:

  1. Выполните поиск элемента Pig на панели конвейера «Действия» и перетащите действие Pig на холст конвейера.

  2. Выберите новое действие Pig на холсте, если оно еще не выбрано.

  3. Перейдите на вкладку Кластер HDI, чтобы выбрать или создать связанную службу для кластера HDInsight, которая будет использоваться для выполнения действия MapReduce.

    Отображает пользовательский интерфейс для действия Pig.

  4. Перейдите на вкладку Скрипт, чтобы выбрать или создать связанную службу скрипта для службы хранилища Azure, в котором будет размещаться скрипт. Укажите имя класса для выполнения и путь к файлу в месте хранения. Можно также настроить дополнительные сведения, в частности конфигурацию отладки, аргументы и параметры для отправки в скрипт.

    Отображает пользовательский интерфейс для вкладки

Синтаксис

{
    "name": "Pig Activity",
    "description": "description",
    "type": "HDInsightPig",
    "linkedServiceName": {
        "referenceName": "MyHDInsightLinkedService",
        "type": "LinkedServiceReference"
    },
    "typeProperties": {
        "scriptLinkedService": {
            "referenceName": "MyAzureStorageLinkedService",
            "type": "LinkedServiceReference"
        },
        "scriptPath": "MyAzureStorage\\PigScripts\\MyPigScript.pig",
        "getDebugInfo": "Failure",
        "arguments": [
            "SampleHadoopJobArgument1"
        ],
        "defines": {
            "param1": "param1Value"
        }
    }   
}

Сведения о синтаксисе

Свойство Описание: Обязательное поле
name Имя действия. Да
описание Текст, описывающий, для чего используется действие No
type Для действия Hive используется тип действия HDinsightPig. Да
linkedServiceName Ссылка на кластер HDInsight, зарегистрированный в качестве связанной службы. Дополнительные сведения об этой связанной службе см. в статье Вычислительные среды, поддерживаемые фабрикой данных Azure. Да
scriptLinkedService Ссылки на связанные службы хранилища Azure, используемые для хранения скрипта Pig, который следует выполнить. Здесь поддерживаются только связанные службы Хранилище BLOB-объектов Azure и ADLS 2-го поколения. Если не указать эту связанную службу, будет использоваться связанная служба хранилища Azure, определенная в связанной службе HDInsight. No
scriptPath Укажите путь к файлу скрипта, который хранится в службе хранилища Azure, на который ссылается scriptLinkedService. В имени файла учитывается регистр знаков. No
getDebugInfo Указывает, когда файлы журнала копируются в службу хранилища Azure, используемую кластером HDInsight или определенную scriptLinkedService. Допустимые значения: None, Always или Failure. Значение по умолчанию: None. No
аргументы Указывает массив аргументов для задания Hadoop. Аргументы передаются в качестве аргументов командной строки в каждую задачу. No
defines Параметры в виде пары "ключ — значение", ссылки на которые указываются в скрипте Pig. No

Связанный контент

Ознакомьтесь со следующими ссылками, в которых описаны способы преобразования данных другими способами:

Дополнительные ресурсы