Рабочий процесс и ресурсы пакетной обработки данных.

В этом обзоре основных компонентов пакетной службы Azure мы обсудим высокоуровневый рабочий процесс, который разработчики пакетной службы могут использовать для создания крупномасштабных параллельных вычислительных решений вместе с основными ресурсами службы, которые используются.

Независимо от того, разрабатываете распределенное вычислительное приложение или службу, которая выдает прямые вызовы REST API или используете еще один из пакетов SDK, вы будете использовать множество ресурсов и функций, рассмотренных здесь.

Базовый рабочий процесс

Следующий высокоуровневый рабочий процесс обычно представляет собой практически все приложения и службы, использующие пакетную службу для обработки параллельных рабочих нагрузок:

1. Отправьте файлы данных , которые требуется обработать в учетную запись хранения Azure . Пакет включает встроенную поддержку для доступа к хранилищу BLOB-объектов Azure, и ваши задачи могут загружать эти файлы на вычислительные узлы при выполнении.
2. Отправьте файлы приложения , которые будут выполняться вашими задачами. Эти файлы могут быть двоичными файлами или скриптами и их зависимостями и выполняются задачами в заданиях. Ваши задачи могут скачать эти файлы из аккаунта хранения, или вы можете использовать функцию пакетов приложений службы Batch для управления и развертывания приложений.
3. Создайте пул вычислительных узлов. При создании пула необходимо указать количество вычислительных узлов для пула, их размер и операционную систему. При выполнении каждой задачи в задании она назначается для выполнения на одном из узлов в пуле.
4. Создайте задание. Работа управляет коллекцией задач. Каждое задание связывается с определенным пулом, где будут выполняться задачи этого задания.
5. Добавьте задачи в задание. Каждая задача запускает приложение или скрипт, которое вы загрузили для обработки файлов данных, которые он загружает из вашей учетной записи хранения. По завершении каждой задачи он может отправлять выходные данные в службу хранилища Azure.
6. Отслеживайте ход выполнения задания и извлеките выходные данные задачи из службы хранилища Azure.

Ресурсы пакетной службы

В следующих разделах рассматриваются ресурсы пакетной службы, которые позволяют выполнять распределенные вычислительные сценарии.

• Учетные записи для пакетной обработки и учетные записи хранения
• Узлы и пулы;
• Задания и задачи;
• Файлы и каталоги

Дальнейшие действия

• Узнайте о пакетных API и инструментах, доступных для создания пакетных решений.
• Здесь приведены основные сведения о разработке приложений с поддержкой пакетной службы с помощью клиентской библиотеки .NET для пакетной службы или Python. Эти краткие руководства помогут вам через пример приложения, которое использует пакетную службу для выполнения рабочей нагрузки на нескольких вычислительных узлах, и включает использование Azure Storage для промежуточной загрузки и извлечения файлов рабочей нагрузки.
• Скачайте и установите Batch Explorer для использования при разработке решений пакетной службы. Используйте Batch Explorer для создания, отладки и мониторинга приложений пакетной службы Azure.
• Ознакомьтесь с ресурсами сообщества, включая Stack Overflow, репозиторий сообщества пакетной службы и форум пакетной службы Azure.