Управление Azure Data Lake Analytics с помощью портала Azure

В этой статье описывается управление учетными записями Azure Data Lake Analytics, источниками данных, пользователями и заданиями с помощью портала Azure.

Управление учетными записями Data Lake Analytics

Создать аккаунт

1. Войдите на портал Azure.
2. Выберите "Создать ресурс " и найдите Data Lake Analytics.
3. Выберите значения для следующих элементов:
   1. Имя: имя учетной записи Data Lake Analytics.
   2. Подписка: подписка Azure, используемая для учетной записи.
   3. Группа ресурсов: группа ресурсов Azure, в которой создается учетная запись.
   4. Расположение: центр обработки данных Azure для учетной записи Data Lake Analytics.
   5. Data Lake Store: хранилище по умолчанию, используемое для учетной записи Data Lake Analytics. Учетная запись Azure Data Lake Store и учетная запись Data Lake Analytics должны находиться в одном расположении.
4. Выберите Создать.

Удаление учетной записи Data Lake Analytics

Перед удалением учетной записи Data Lake Analytics удалите учетную запись Data Lake Store по умолчанию.

1. На портале Azure перейдите к учетной записи Data Lake Analytics.
2. Выберите команду Удалить.
3. Введите имя учетной записи.
4. Выберите команду Удалить.

Управление источниками данных

Data Lake Analytics поддерживает следующие источники данных:

• Data Lake Store
• Служба хранилища Azure

Обозреватель данных можно использовать для просмотра источников данных и выполнения базовых операций управления файлами.

Добавление источника данных

1. На портале Azure перейдите к учетной записи Data Lake Analytics.

2. Выберите обозреватель данных.

3. Выберите "Добавить источник данных".

   • Чтобы добавить учетную запись Data Lake Store, вам потребуется имя учетной записи и доступ к ней, чтобы запросить ее.
   • Чтобы добавить хранилище BLOB-объектов Azure, вам потребуется учетная запись хранения и ключ учетной записи. Чтобы найти их, перейдите к учетной записи хранения на портале и выберите ключи доступа.

Настройка правил брандмауэра

Вы можете использовать Data Lake Analytics для дальнейшего блокировки доступа к учетной записи Data Lake Analytics на уровне сети. Вы можете включить брандмауэр, указать IP-адрес или определить диапазон IP-адресов для доверенных клиентов. После включения этих мер только клиенты, имеющие IP-адреса в определенном диапазоне, могут подключаться к хранилищу.

Если другие службы Azure, такие как Azure Data Factory или виртуальные машины, подключаются к учетной записи Data Lake Analytics, убедитесь, что Разрешить службы Azure включено Включено.

Настройка правила брандмауэра

1. На портале Azure перейдите к учетной записи Data Lake Analytics.
2. В меню слева выберите брандмауэр.

Добавление нового пользователя

С помощью мастера добавления пользователей можно легко создавать новых пользователей Data Lake.

1. На портале Azure перейдите к учетной записи Data Lake Analytics.
2. Слева в разделе "Начало работы" выберите мастер добавления пользователей.
3. Выберите пользователя и нажмите кнопку "Выбрать".
4. Выберите роль и нажмите кнопку "Выбрать". Чтобы настроить нового разработчика для использования Azure Data Lake, выберите роль разработчика Data Lake Analytics .
5. Выберите списки управления доступом (ACL) для баз данных U-SQL. Когда вы удовлетворены вашим выбором, нажмите кнопку "Выбрать".
6. Выберите списки управления доступом для файлов. Для хранилища по умолчанию не изменяйте списки управления доступом для корневой папки "/" и для папки /system. Нажмите кнопку "Выбрать".
7. Просмотрите все выбранные изменения и нажмите кнопку "Выполнить".
8. По завершении мастера нажмите кнопку "Готово".

Управление контролем доступа на основе ролей в Azure

Как и другие службы Azure, вы можете использовать управление доступом на основе ролей Azure (Azure RBAC) для управления взаимодействием пользователей с службой.

Стандартные роли Azure имеют следующие возможности:

• Владелец: может отправлять задания, отслеживать задания, отменять задания от любого пользователя и настраивать учетную запись.
• Участник: может отправлять задания, отслеживать задания, отменять задания от любого пользователя и настраивать учетную запись.
• Читатель: может отслеживать задания.

Используйте роль разработчика Data Lake Analytics, чтобы разработчики U-SQL могли использовать службу Data Lake Analytics. Вы можете использовать роль разработчика Data Lake Analytics для следующих компонентов:

• Отправка заданий.
• Отслеживайте состояние задания и ход выполнения заданий, отправленных любым пользователем.
• Ознакомьтесь со скриптами U-SQL из заданий, отправленных любым пользователем.
• Отменяйте только свои собственные задания.

Добавление пользователей или групп безопасности в учетную запись Data Lake Analytics

1. На портале Azure перейдите к учетной записи Data Lake Analytics.

2. Выберите Управление доступом (IAM) .

3. Выберите Добавить>Добавить назначение ролей, чтобы открыть страницу Добавление назначения ролей.

4. Назначьте роль пользователю. Подробные инструкции см. в статье Назначение ролей Azure с помощью портала Microsoft Azure.

   

Управление заданиями

Отправка задания

1. На портале Azure перейдите к учетной записи Data Lake Analytics.

2. Выберите новое задание. Для каждого задания настройте:

   1. Имя задания: Название задания.
   2. Приоритет. Это в разделе "Дополнительные параметры". Более низкие числа имеют более высокий приоритет. Если два задания помещаются в очередь, первым выполняется то, которое имеет более низкий приоритет.
   3. AUS: максимальное количество единиц аналитики или вычислительных процессов, которые необходимо зарезервировать для этого задания.
   4. Среда выполнения: также в разделе "Дополнительные параметры". Выберите среду выполнения по умолчанию, если вы не получили настраиваемую среду выполнения.

3. Добавьте сценарий.

4. Выберите "Отправить задание".

Следите за заданиями

1. На портале Azure перейдите к учетной записи Data Lake Analytics.
2. Выберите "Просмотреть все задания " в верхней части страницы. Отображается список всех активных и недавно завершенных заданий в учетной записи.
3. При необходимости выберите фильтр, чтобы помочь вам найти задания по диапазону времени, состоянию, имени задания, идентификатору задания, имени конвейера или идентификатору конвейера, имени повторения или идентификатору повторения и автору.

Мониторинг заданий конвейера

Задания, которые являются частью конвейера, работают вместе, как правило, последовательно, для выполнения определенного сценария. Например, можно использовать конвейер, который очищает, извлекает, преобразует, агрегирует использование для аналитики клиентов. Задания конвейера определяются с помощью свойства Pipeline при отправке задания. Задания, запланированные с помощью ADF версии 2, автоматически заполняются этим свойством.

Чтобы просмотреть список заданий U-SQL, которые являются частью конвейеров:

1. На портале Azure перейдите к учетным записям Data Lake Analytics.
2. Выберите "Аналитика заданий". Вкладка "Все задания" будет использоваться по умолчанию, где отображается список выполняемых, очередных и завершенных заданий.
3. Перейдите на вкладку "Задания конвейера ". Список заданий конвейера будет отображаться вместе с статистической статистикой для каждого конвейера.

Мониторинг повторяющихся заданий

Повторяющееся задание — это задание с постоянной бизнес-логикой, но с разными входными данными при каждом запуске. В идеале повторяющиеся задания всегда должны успешно выполняться и иметь относительно стабильное время выполнения; мониторинг этих действий поможет обеспечить работоспособность задания. Повторяющиеся задания определяются с помощью свойства "Повторение". Задания, запланированные с помощью ADF версии 2, автоматически заполняются этим свойством.

Чтобы просмотреть список повторяющихся заданий U-SQL:

1. На портале Azure перейдите к учетным записям Data Lake Analytics.
2. Выберите "Аналитика заданий". Вкладка "Все задания" будет использоваться по умолчанию, где отображается список выполняемых, очередных и завершенных заданий.
3. Перейдите на вкладку "Повторяющиеся задания ". Список повторяющихся заданий будет отображаться вместе с статистической статистикой для каждого повторяющегося задания.

Дальнейшие действия

• Обзор Azure Data Lake Analytics
• Управление Azure Data Lake Analytics с помощью Azure PowerShell
• Управление Azure Data Lake Analytics с помощью политик