Управление Azure Data Lake Analytics с помощью Azure CLI
Внимание
Azure Data Lake Analytics вышел из эксплуатации 29 февраля 2024 года. Дополнительные сведения см. в этом объявлении.
Для аналитики данных ваша организация может использовать Azure Synapse Analytics или Microsoft Fabric.
Узнайте, как управлять учетными записями, источниками данных, пользователями и заданиями Azure Data Lake Analytics с помощью Azure CLI. Чтобы просмотреть разделы управления с помощью других средств, выберите вкладку выше.
Необходимые компоненты
Для работы с этим руководством вам потребуются следующие ресурсы:
Подписка Azure. См. страницу бесплатной пробной версии Azure.
Azure CLI. См. статью Установка и настройка интерфейса командной строки Azure.
- Скачайте и установите предварительно выпущенные средства Azure CLI, чтобы завершить эту демонстрацию.
Выполните аутентификацию с помощью команды
az loginи выберите подписку, которую хотите использовать. Дополнительные сведения об аутентификации с помощью рабочей или учебной учетной записи см. в статье Подключение к среде Azure с использованием интерфейса командной строки Azure (Azure CLI).az login az account set --subscription <subscription id>Теперь вы можете получить доступ к командам Data Lake Analytics и Data Lake Store. Выполните следующую команду, чтобы получить список команд Data Lake Store и Data Lake Analytics:
az dls -h az dla -h
Управление учетными записями
Перед выполнением любого задания аналитики озера данных необходимо иметь учетную запись аналитики озера данных. В отличие от Azure HDInsight, вы не оплачиваете учетную запись Аналитики, если она не выполняет задание. Вы оплачиваете только время выполнения задания. Дополнительные сведения см. в разделе Обзор аналитики озера данных Azure.
Создание учетных записей
Чтобы создать учетную запись Data Lake, выполните следующую команду.
az dla account create --account "<Data Lake Analytics account name>" --location "<Location Name>" --resource-group "<Resource Group Name>" --default-data-lake-store "<Data Lake Store account name>"
Обновление учетных записей
Следующая команда используется для обновления свойств существующей учетной записи данных озера аналитики.
az dla account update --account "<Data Lake Analytics Account Name>" --firewall-state "Enabled" --query-store-retention 7
Список учетных записей
Список учетных записей аналитики озера данных в конкретной группе ресурсов
az dla account list "<Resource group name>"
Получение сведений об учетной записи
az dla account show --account "<Data Lake Analytics account name>" --resource-group "<Resource group name>"
Удаление учетной записи
az dla account delete --account "<Data Lake Analytics account name>" --resource-group "<Resource group name>"
Управление источниками данных
Data Lake Analytics сейчас поддерживает два источника данных:
При создании учетной записи аналитики необходимо указать учетную запись хранения озера данных Azure в качестве учетной записи хранения по умолчанию. В учетной записи хранения Data Lake, используемой по умолчанию, хранятся метаданные задания и журналы аудита задания. После создания учетной записи Аналитики вы можете добавить другие учетные записи Data Lake Storage и (или) служба хранилища Azure учетной записи.
Поиск учетной записи хранения озера данных по умолчанию
Чтобы узнать, какая учетная запись Data Lake Store используется по умолчанию, выполните команду az dla account show. Имя учетной записи по умолчанию указано под свойством defaultDataLakeStoreAccount.
az dla account show --account "<Data Lake Analytics account name>"
Добавление других учетных записей хранения BLOB-объектов
az dla account blob-storage add --access-key "<Azure Storage Account Key>" --account "<Data Lake Analytics account name>" --storage-account-name "<Storage account name>"
Примечание.
Поддерживаются только короткие имена хранилищ BLOB-объектов. Не следует использовать полное доменное имя, например "myblob.blob.core.windows.net".
Добавление других учетных записей Data Lake Store
Следующая команда обновляет указанную учетную запись Data Lake Analytics с другой учетной записью Data Lake Store:
az dla account data-lake-store add --account "<Data Lake Analytics account name>" --data-lake-store-account-name "<Data Lake Store account name>"
Обновление существующего источника данных
Обновление существующего ключа учетной записи хранилища BLOB-объектов
az dla account blob-storage update --access-key "<New Blob Storage Account Key>" --account "<Data Lake Analytics account name>" --storage-account-name "<Data Lake Store account name>"
Получение списка источников данных
Чтобы получить список учетных записей Data Lake Store, используйте следующую команду:
az dla account data-lake-store list --account "<Data Lake Analytics account name>"
Чтобы получить список учетных записей хранилища BLOB-объектов, используйте следующую команду:
az dla account blob-storage list --account "<Data Lake Analytics account name>"
Удаление источников данных
Удаление учетной записи хранения озера данных Azure
az dla account data-lake-store delete --account "<Data Lake Analytics account name>" --data-lake-store-account-name "<Azure Data Lake Store account name>"
Удаление учетной записи хранения BLOB-объектов
az dla account blob-storage delete --account "<Data Lake Analytics account name>" --storage-account-name "<Data Lake Store account name>"
Управление заданиями
Для создания любого задания требуется учетная запись аналитики озера данных. Дополнительные сведения см. в разделе Управление учетными записями Data Lake Analytics.
Список заданий
az dla job list --account "<Data Lake Analytics account name>"
Получение сведений о задании
az dla job show --account "<Data Lake Analytics account name>" --job-identity "<Job Id>"
Отправка заданий
Примечание.
Приоритет задания по умолчанию — 1000, а степень параллелизма по умолчанию для задания — 1.
az dla job submit --account "<Data Lake Analytics account name>" --job-name "<Name of your job>" --script "<Script to submit>"
Отмена задания
Используйте команду list, чтобы найти идентификатор задания, а затем используйте команду cancel для отмены задания.
az dla job cancel --account "<Data Lake Analytics account name>" --job-identity "<Job Id>"
Конвейеры и повторения
Получение сведений о конвейерах и повторениях
Используйте команды az dla job pipeline, чтобы получить сведения о конвейерах для ранее отправленных заданий.
az dla job pipeline list --account "<Data Lake Analytics Account Name>"
az dla job pipeline show --account "<Data Lake Analytics Account Name>" --pipeline-identity "<Pipeline ID>"
Используйте команды az dla job recurrence, чтобы получить сведения о повторениях для ранее отправленных заданий.
az dla job recurrence list --account "<Data Lake Analytics Account Name>"
az dla job recurrence show --account "<Data Lake Analytics Account Name>" --recurrence-identity "<Recurrence ID>"