Начало работы с Azure Data Lake Analytics с помощью Azure CLI

Статья
2023-12-20

Это важно

Новые учетные записи Azure Data Lake Analytics больше не могут быть созданы, если подписка не включена. Если вам нужно включить подписку, свяжитесь со службой поддержки и предоставьте ваш бизнес-кейс.

Если вы уже используете Azure Data Lake Analytics, вам потребуется создать план миграции в Azure Synapse Analytics для вашей организации к 29 февраля 2024 г.

В этой статье описывается, как использовать интерфейс командной строки Azure CLI для создания учетных записей Azure Data Lake Analytics, отправки заданий USQL и каталогов. Задание считывает файл с значениями, разделёнными табуляцией (TSV), и преобразует его в файл CSV с значениями, разделёнными запятыми.

Предпосылки

Перед началом работы вам потребуется следующее:

подписка Azure. См. получите бесплатную пробную версию Azure.
В этой статье требуется, чтобы вы работали с Azure CLI версии 2.0 или более поздней. Если вам необходимо выполнить установку или обновление, см. статью Установка Azure CLI 2.0.

Чтобы войти в подписку Azure, выполните следующее:

az login

Вам предлагается перейти по URL-адресу и ввести код проверки подлинности. А затем следуйте инструкциям, чтобы ввести учетные данные.

После входа в систему команда входа выводит список подписок.

Чтобы использовать определенную подписку, выполните указанные действия.

az account set --subscription <subscription id>

Создание учетной записи Data Lake Analytics

Перед выполнением любых заданий требуется учетная запись Data Lake Analytics. Чтобы создать учетную запись Data Lake Analytics, необходимо указать следующие элементы:

группу ресурсов Azure. Учетная запись Data Lake Analytics должна быть создана в группе ресурсов Azure. Azure Resource Manager позволяет работать с ресурсами в приложении в качестве группы. Вы можете развернуть, обновить или удалить все ресурсы для приложения в одной согласованной операции.

Чтобы получить список существующих групп ресурсов в подписке, выполните следующие действия.

az group list

Чтобы создать новую группу ресурсов:

az group create --name "<Resource Group Name>" --location "<Azure Location>"

Имя учетной записи Data Lake Analytics. У каждой учетной записи Data Lake Analytics есть имя.
Location. Используйте один из центров обработки данных Azure, поддерживающих Data Lake Analytics.
Учетная запись Data Lake Store по умолчанию: каждая учетная запись Data Lake Analytics имеет учетную запись Data Lake Store по умолчанию.

Чтобы получить список существующей учетной записи Data Lake Store, выполните указанные ниже действия.

az dls account list

Чтобы создать новую учетную запись Data Lake Store, выполните приведенные действия.

az dls account create --account "<Data Lake Store Account Name>" --resource-group "<Resource Group Name>"

Используйте следующий синтаксис для создания учетной записи Data Lake Analytics:

az dla account create --account "<Data Lake Analytics Account Name>" --resource-group "<Resource Group Name>" --location "<Azure location>" --default-data-lake-store "<Default Data Lake Store Account Name>"

После создания учетной записи можно использовать следующие команды для перечисления учетных записей и отображения сведений об учетной записи:

az dla account list
az dla account show --account "<Data Lake Analytics Account Name>"

Отправка данных в Data Lake Store

В этом руководстве вы обработаете несколько журналов поисковых запросов. Журнал поиска можно хранить в хранилище Data Lake или хранилище BLOB-объектов Azure.

Портал Azure предоставляет пользовательский интерфейс для копирования некоторых примеров файлов данных в учетную запись Data Lake Store по умолчанию, включающую файл журнала поиска. Посмотрите Подготовку исходных данных для загрузки данных в учетную запись Data Lake Store по умолчанию.

Чтобы отправить файлы с помощью Azure CLI, используйте следующие команды:

az dls fs upload --account "<Data Lake Store Account Name>" --source-path "<Source File Path>" --destination-path "<Destination File Path>"
az dls fs list --account "<Data Lake Store Account Name>" --path "<Path>"

Data Lake Analytics также может получить доступ к хранилищу BLOB-объектов Azure. Сведения о передаче данных в хранилище BLOB-объектов Azure см. в статье "Использование Azure CLI с хранилищем Azure".

Отправить задания в Data Lake Analytics

Задания Data Lake Analytics записываются на языке U-SQL. Дополнительные сведения об U-SQL см. в статье "Начало работы с языком U-SQL " и справочником по языку U-SQL.

Создание скрипта задания Data Lake Analytics

Создайте текстовый файл со следующим скриптом U-SQL и сохраните текстовый файл на рабочей станции:

@a  =
    SELECT * FROM
        (VALUES
            ("Contoso", 1500.0),
            ("Woodgrove", 2700.0)
        ) AS
              D( customer, amount );
OUTPUT @a
    TO "/data.csv"
    USING Outputters.Csv();

Этот скрипт U-SQL считывает исходный файл данных с помощью Extractors.Tsv(), а затем создает CSV-файл с помощью Outputters.Csv().

Не изменяйте два пути, если вы не копируете исходный файл в другое расположение. Data Lake Analytics создает выходную папку, если она не существует.

Проще использовать относительные пути для файлов, хранящихся в учетных записях Data Lake Store по умолчанию. Можно также использовать абсолютные пути. Рассмотрим пример.

adl://<Data LakeStorageAccountName>.azuredatalakestore.net:443/Samples/Data/SearchLog.tsv

Для доступа к файлам в связанных учетных записях хранения необходимо использовать абсолютные пути. Синтаксис файлов, хранящихся в связанной учетной записи хранения Azure:

wasb://<BlobContainerName>@<StorageAccountName>.blob.core.windows.net/Samples/Data/SearchLog.tsv

Замечание

Контейнеры Azure Blob с общедоступными объектами не поддерживаются. Контейнер BLOB-объектов Azure с общедоступными контейнерами не поддерживается.

Отправка заданий

Используйте следующий синтаксис для отправки задания.

az dla job submit --account "<Data Lake Analytics Account Name>" --job-name "<Job Name>" --script "<Script Path and Name>"

Рассмотрим пример.

az dla job submit --account "myadlaaccount" --job-name "myadlajob" --script @"C:\DLA\myscript.txt"

Вывод списка работ и отображение сведений о работе

az dla job list --account "<Data Lake Analytics Account Name>"
az dla job show --account "<Data Lake Analytics Account Name>" --job-identity "<Job Id>"

Отмена заданий

az dla job cancel --account "<Data Lake Analytics Account Name>" --job-identity "<Job Id>"

Получение результатов задания

После завершения задания можно использовать следующие команды для перечисления выходных файлов и скачивания файлов:

az dls fs list --account "<Data Lake Store Account Name>" --source-path "/Output" --destination-path "<Destination>"
az dls fs preview --account "<Data Lake Store Account Name>" --path "/Output/SearchLog-from-Data-Lake.csv"
az dls fs preview --account "<Data Lake Store Account Name>" --path "/Output/SearchLog-from-Data-Lake.csv" --length 128 --offset 0
az dls fs download --account "<Data Lake Store Account Name>" --source-path "/Output/SearchLog-from-Data-Lake.csv" --destination-path "<Destination Path and File Name>"