Рекомендации по использованию задач хранения

В этой статье приведены рекомендации лучших практик по использованию задач хранения.

Композиция

Условия разработки, которые могут применяться к нескольким учетным записям хранения. Рекомендуется включить мягкое удаление BLOB-объектов перед использованием операций удаления в ваших сценариях и тщательно проверить влияние группировок условий. В этом разделе описывается каждая из этих рекомендаций.

Определение одного условия задачи хранения, которое можно применить к нескольким учетным записям хранения одновременно

При повторном использовании условий вы устраняете необходимость создания отдельных условий задачи хранения для каждой учетной записи хранения и упрощаете управление большим количеством учетных записей хранения.

Чтобы использовать эту функцию, создайте одно условие задачи хранения, чтобы сканировать большие двоичные объекты в учетных записях хранения и назначать их каждой учетной записи. Это можно сделать, добавив несколько назначений задач хранения для одной задачи хранения на портале Azure с помощью меню "Назначения " задачи хранилища.

После включения всех этих назначений задач, задача хранилища будет выполняться на blob-объектах в соответствующих учетных записях одновременно, позволяя горизонтально масштабировать.

Рекомендуется включить мягкое удаление BLOB-объектов в учетной записи хранения перед использованием операции удаления.

Для улучшенной защиты данных Майкрософт рекомендует включить мягкое удаление BLOB-объектов в учетной записи хранения. Удаление BLOB-объектов с возможностью восстановления обеспечивает дополнительный уровень безопасности и спокойствия, позволяя восстанавливать BLOB-объекты, которые были случайно удалены. Включив мягкое удаление blob-объектов, вы можете восстановить blob-объекты в течение срока хранения, минимизируя риск потери данных вследствие случайных удалений. Если объекты случайно удаляются в учетной записи с мягким удалением данных, операция восстановления в задаче хранения может быть использована для их восстановления.

Понимание воздействия назначения задачи хранения учетной записи, для которой включена политика управления жизненным циклом

Операция удаления может завершиться ошибкой, если политика управления жизненным циклом пытается удалить тот же блоб. Таким образом, если задача хранения содержит операцию удаления, а задача назначается учетной записи с активной политикой управления жизненным циклом, определяющей действие удаления, может возникнуть высокая вероятность сбоев, если они предназначены для того же набора облаков данных.

Понимание влияния группировки условий задачи хранения данных

Убедитесь, что способ группирования условий приводит к желаемому результату. Неправильное группирование может привести к непредвиденным операциям. Тщательно проверьте сгруппированные условия с помощью возможности предварительной версии. Убедитесь, что условия соответствуют объектам типа BLOB, как ожидалось.

Ратификация

Проверяйте условия по мере их создания и еще раз перед активацией назначения задачи хранения. В этом разделе описывается каждая из этих рекомендаций.

Проверяйте условия по мере их составления

Необходимо проверить каждое условие, созданное с помощью функции предварительного просмотра условий. Эта функция предоставляет интерактивный опыт, показывающий, какие из BLOB-объектов, выбранных вами, соответствуют условному предикату, который вы настроили. Предварительный просмотр условия не вносит никаких изменений в данные. Условие можно проверить для различных наборов блобов, указав различные учетные записи хранения или префиксы пути блобов. Неправильно составленные условия могут негативно повлиять на данные, что делает этот шаг важным для правильного создания условия.

Посмотреть эффект условий

Валидация условий перед фиксацией назначения задач хранения

Функция предварительного просмотра условий также отображается в области добавления задания. Перед выполнением задания используйте эту функцию, чтобы убедиться, что операция хранилища работает с правильным набором блобов в аккаунте хранилища. Если задача хранения используется в других назначениях учетных записей хранения, то непреднамеренные большие двоичные объекты не затрагиваются.

Масштаб и производительность

Активируйте задачи хранения поочередно. Применение методов для оптимизации условий и планирования назначений задач.

Включите назначение одной задачи хранилища за один раз

Функции хранилища в настоящее время поддерживают выполнение одного задания для хранилища за раз в учетной записи. Если две задачи хранения назначены на учетную запись и включены одновременно, сначала выполняется первая задача, а вторая ставится в очередь до завершения первой. Это относится как к одноразовым, так и к повторяющимся назначениям запланированных задач.

Для запланированных назначений задач, если предыдущая итерация задач по-прежнему выполняется, новые итерации пропускаются. Следующая запланированная задача будет выполняться только в указанное время триггера после завершения предыдущей задачи. При планировании повторяющихся задач рассмотрите последствия масштабирования, в которых назначения задач, применяемые к большим учетным записям хранения, могут занять больше времени. Поэтому рекомендуется запланировать их так, чтобы каждое выполнение задачи может завершиться до следующей итерации, чтобы предотвратить пропуск последующих итераций.

Для задач с единственным запуском, если параллельная задача уже выполняется, выполнение новой задачи откладывается на 60 минут плюс дополнительные случайные минуты перед повторной попыткой. Как правило, чтобы избежать путаницы относительно того, какое назначение задачи выполняется, корпорация Майкрософт рекомендует включать только одно назначение задачи за раз.

Обходные решения по ограничениям масштабирования

Действия хранилища определяют ограничения масштаба. См. ограничения масштабирования

Чтобы оптимизировать управление ограничениями масштабирования, рассмотрите возможность реализации следующих обходных решений:

1. Сегментация задач по префиксу. Вместо назначения одной задачи для обработки всех больших двоичных объектов в учетной записи хранения создайте несколько задач, каждая из которых отвечает за определенный отфильтрованный подмножество больших двоичных объектов на основе их префиксов. Этот подход сегментации распределяет рабочую нагрузку более равномерно и помогает оставаться в пределах масштабируемых ограничений. Фильтры можно добавить во время назначения задач, как показано ниже.

   

2. Шахматное планирование: распределение задач для выполнения в разное время, особенно для крупномасштабных операций. Распределяя время выполнения задач, вы избегаете одновременного выполнения, что может нарушить ограничения параллелизма и вызвать конфликт при выполнении задач.

3. Добавочная обработка: разбиение больших задач на небольшие и добавочные шаги. Этот метод гарантирует, что каждый сегмент задачи может завершиться в пределах заданных ограничений, что снижает риск неполных операций.

4. Мониторинг и корректировка: регулярно отслеживайте производительность и ход выполнения задач. Настройте условия задачи или префиксы и расписания по мере необходимости, чтобы обеспечить эффективную обработку в пределах шкалы.

Используя эти стратегии, вы можете эффективно управлять и работать над введенными ограничениями масштабирования, обеспечивая плавное и эффективное выполнение задач.

Надежность

Действия хранилища выполняются более надежно в учетных записях с геоизбыточным хранилищем (GRS) или геозонально избыточным хранилищем (GZRS).

Использование геоизбыточности для обеспечения непрерывности бизнес-процессов

Учетные записи хранения с GRS и GZRS реплицируют данные во вторичный регион в случае аварийного переключения учетной записи хранения. Непрерывность бизнес-операций действий, связанных с хранением, значительно зависит от конфигурации избыточности целевого аккаунта хранения. Учетные записи хранения, настроенные с геоизбыточностью, получают преимущества от автоматического процесса переключения на резервное хранилище. Это автоматическое управление гарантирует, что будущие назначения задач выполняются в итерациях, независимо от того, одиночные они или повторяющиеся, во вторичном регионе без проблем. Однако задачи хранения, которые выполнялись во время отработки отказа, могут столкнуться с неудачами. Новые задачи хранения и назначения задач хранения функционируют как положено.

Согласованный мониторинг учетной записи хранения имеет решающее значение. При перераспределении нагрузки необходимо тщательно просмотреть отчеты о задачах и мониторинг, чтобы проверить успешное завершение всех операций BLOB-объектов и определить несоответствия, требующие внимания.

Контроль

Периодически отслеживайте выполнение задач хранилища и избегайте удаления контейнера отчетов, в котором хранятся отчеты о выполнении задач.

Периодически отслеживайте задачи

Периодически следует отслеживать выполнение задачи хранилища, чтобы обеспечить выполнение задач должным образом. Просмотрите отчеты о задачах, метрики, панели мониторинга. Проверьте наличие ошибок и убедитесь, что задачи выполняются в течение ожидаемых периодов времени.

Убедитесь, что контейнер результирующих отчетов не удален

Действия хранилища создают подробные отчеты в формате CSV, которые записываются в контейнер отчетов результатов, настроенный во время назначения задачи. Эти отчеты предоставляют аналитические сведения о операциях выполнения задач, в которых каждая строка строки в CSV-файле содержит сведения о выполняемых операциях, состоянии каждой операции и всех возникших ошибках. Важно убедиться, что контейнер отчетов результатов, настроенный во время назначения задач, не удаляется из учетной записи хранения во время выполнения задачи. Если контейнер отчетов результатов удаляется во время выполнения задачи, выполнение задачи может завершиться ошибкой.

Действия хранилища создают подробные отчеты в формате CSV, которые записываются в контейнер отчетов результатов, настроенный во время назначения задачи. Эти отчеты предоставляют аналитические сведения об операциях выполнения задач, каждая строка в CSV-файле, включая сведения о выполняемых операциях, состоянии каждой операции и всех возникших ошибках. Важно убедиться, что контейнер отчетов результатов не удаляется из учетной записи хранения во время выполнения задачи. Если контейнер отчетов результатов удаляется во время выполнения задачи, выполнение задачи может завершиться ошибкой.

Жизненный цикл действий хранилища

Управление задачами с помощью подписки на центральную библиотеку

Чтобы эффективно управлять задачами и их назначениями, рекомендуется использовать единую подписку для создания библиотеки заданий по хранению. Этот подход позволяет назначать эти задачи нескольким учетным записям хранения в разных подписках и регионах одновременно, не настраивая их по отдельности для каждого региона или подписки. Централизованное управление задачами позволяет упростить процесс, сократить административные расходы и обеспечить согласованность выполнения задач во всей среде Azure.

См. также

• Обзор действий службы хранилища Azure
• Рекомендации по Azure RBAC
• Рекомендации по AKS