Выбор технологии пакетной обработки в Azure

Решения больших данных часто состоят из дискретных задач пакетной обработки, которые способствуют общему решению обработки данных. Пакетную обработку можно использовать для рабочих нагрузок, которые не требуют немедленного доступа к аналитическим сведениям. Пакетная обработка может дополнять требования к обработке в режиме реального времени. Вы также можете использовать пакетную обработку для балансировки сложности и снижения затрат на общую реализацию.

Основным требованием подсистем пакетной обработки является горизонтальное масштабирование вычислений для обработки большого объема данных. В отличие от обработки в режиме реального времени, пакетная обработка имеет задержки или время между приемом данных и вычислением результата, в минутах или часах.

Выбор технологии для пакетной обработки

Корпорация Майкрософт предлагает несколько служб, которые можно использовать для пакетной обработки.

Microsoft Fabric

Microsoft Fabric — это единая аналитика и платформа данных для организаций. Это программное обеспечение как услуга, которое упрощает подготовку, управление и контроль над комплексным решением для полной аналитики. Платформа обрабатывает перемещение данных, их обработку, прием, преобразование и составление отчетов. Функции платформы Fabric, используемые для пакетной обработки, включают проектирование данных, хранилища данных, озеро данных, а также обработку с использованием Apache Spark. Фабрика данных Azure в Fabric также поддерживает хранение данных в формате lakehouse. Чтобы упростить и ускорить разработку, можно включить Copilot на основе искусственного интеллекта.

  • Языки: R, Python, Java, Scala и SQL

  • Безопасность: управляемая виртуальная сеть и управление доступом на основе ролей OneLake (RBAC)

  • Основное хранилище: OneLake с сочетаниями клавиш и параметрами зеркального отображения

  • Spark: предварительно заполненный стартовый пул и пользовательский пул Spark с заранее заданными размерами узлов

Azure Databricks

Azure Databricks — это платформа аналитики на основе Spark. Она предоставляет широкие возможности и функции Spark уровня "Премиум", созданные на основе Spark с открытым кодом. Azure Databricks — это служба Майкрософт, которая интегрируется с остальными службами Azure. Она содержит дополнительные конфигурации для развертываний кластера Spark. И каталог Unity помогает упростить управление объектами Azure Databricks Spark.

  • Языки: R, Python, Java, Scala и Spark SQL.

  • Безопасность: проверка подлинности пользователей с помощью идентификатора Microsoft Entra.

  • Основное хранилище: Встроенная интеграция с хранилищем BLOB-объектов Azure, Data Lake Storage, Fabric OneLake и другими службами. Дополнительные сведения см. в разделе "Источники данных".

Другие преимущества:

  • Записные книжки на основе веб-технологий для совместной работы и просмотра данных.

  • Быстрое время запуска кластеров, автоматическое завершение и автомасштабирование.

  • Поддержка кластеров с поддержкой GPU.

Основные критерии выбора

Чтобы выбрать технологию пакетной обработки, рассмотрите следующие вопросы:

  • Хотите ли вы управлять управляемыми службами или управлять собственными серверами?

  • Какой подход будет использоваться для создания логики пакетной обработки: декларативный или императивный?

  • Выполняется ли пакетная обработка пачками? Если да, рассмотрите варианты, которые предоставляют возможность автоматического завершения кластера или с моделями ценообразования для каждого пакетного задания.

  • Нужно ли отправлять запросы к реляционным хранилищами данных во время пакетной обработки, например для поиска эталонных данных? Если да, рассмотрите варианты, которые предоставляют возможность запрашивать внешние реляционные хранилища.

Матрица возможностей

В следующих таблицах приведены основные различия в возможностях между службами.

Общие возможности

Возможность ткань Azure Databricks
Программное обеспечение как услуга Да1 Нет
Управляемая служба Нет Да
Реляционное хранилище данных Да Да
Модель ценообразования Единицы емкости Блок 2 Azure Databricks и час работы кластера

[1] Назначенная емкость Fabric.

[2] Единица Azure Databricks — это мощность обработки в час.

Другие возможности

Возможность ткань Azure Databricks
Автомасштабирование Нет Да
Степень детализации при горизонтальном масштабировании SKU для ткани По кластерам
Выполняющееся в памяти кэширование данных Нет Да
Отправка запросов из внешних реляционных хранилищ Да Да
Проверка подлинности Microsoft Entra ID Microsoft Entra ID
Аудит Да Да
Безопасность на уровне строк Да Да
Поддержка брандмауэров Да Да
Динамическое маскирование данных Да Да

Соавторы

Эта статья поддерживается корпорацией Майкрософт. Первоначально он был написан следующими участниками.

Основные авторы:

Чтобы просмотреть недоступные профили LinkedIn, войдите в LinkedIn.

Следующие шаги

  • Last updated on