Выбор технологии хранения больших данных в Azure

В этой статье сравниваются варианты хранения данных для решений больших данных, в частности, хранилища данных для массового поглощения и пакетной обработки данных, а не для аналитических хранилищ или потокового приема данных в реальном времени.

Варианты при выборе хранилища данных в Azure

Существует несколько вариантов для приема данных в Azure, которые вы можете выбрать в зависимости от своих потребностей.

Единое логическое озеро данных:

• OneLake в Microsoft Fabric

Хранилище файлов:

• Объекты блоб службы хранилища Azure
• Azure Data Lake Storage 2-го поколения

Базы данных NoSQL

• Azure Cosmos DB
• HBase в HDInsight

Аналитические базы данных:

• Обозреватель данных Azure

OneLake в Fabric

OneLake в Fabric — это единое и логическое озеро данных, адаптированное для всей организации. Он служит основным узлом для всех аналитических данных и входит в состав каждого клиента Microsoft Fabric. OneLake в Fabric построен на основе Data Lake Storage 2-го поколения.

OneLake в Fabric:

• Поддерживает структурированные и неструктурированные типы файлов.
• Хранит все табличные данные в формате Delta Parquet.
• Предоставляет единое хранилище данных в пределах арендатора, управляемое по умолчанию.
• Поддерживает создание рабочих областей в тенанте, чтобы организация могла определять политики владения и доступа.
• Поддерживается создание различных элементов данных, таких как озерохранилища и хранилища данных, предоставляющие доступ к данным.

OneLake в Fabric служит общим местом хранения для загрузки, преобразования, аналитики в режиме реального времени и визуализаций бизнес-аналитики. Она централизует различные службы Fabric и сохраняет элементы данных, которые используются всеми нагрузками в Fabric. Чтобы выбрать подходящее хранилище данных для рабочих нагрузок Fabric, см. руководство по принятию решений Fabric: выберите хранилище данных.

Объекты Blob хранилища Azure

Служба хранилища Azure — управляемая облачная служба с высоким уровнем доступности, безопасности, надежности, масштабируемости и избыточности. Корпорация Майкрософт отвечает за обслуживание и решает критические проблемы, не требуя вашего участия. Служба хранилища Azure является самым универсальным решением для хранения данных в Azure, так как с ней можно сочетать множество служб и средств.

Существует несколько служб хранилища Azure, которые можно использовать для хранения данных. Наиболее гибким вариантом хранения BLOB-объектов из многих источников данных является хранилище BLOB-объектов. Блоб по сути является файлом. Они хранят изображения, документы, HTML-файлы, виртуальные жесткие диски (виртуальные жесткие диски), большие данные, такие как журналы, резервные копии баз данных— почти все. BLOB-объекты хранятся в контейнерах, которые похожи на папки. Контейнер группирует набор блобов. Учетная запись хранения может содержать неограниченное количество контейнеров, и каждый контейнер может хранить неограниченное количество блобов.

Хранилище Azure хорошо подходит для больших данных и аналитики благодаря гибкости, высокому уровню доступности и низкой цене. Оно предоставляет уровни хранения для разных вариантов использования: "горячее", "холодное" и "архивное". Дополнительные сведения см. в разделе Хранилище BLOB-объектов Azure: горячий, холодный и архивный уровни.

Хранилище BLOB-объектов Azure доступно из Hadoop (через HDInsight). HDInsight может использовать BLOB-контейнер в Azure Storage в качестве файловой системы по умолчанию для кластера. Через интерфейс распределенной файловой системы Hadoop (HDFS), предоставляемый драйвером WASB, полный набор компонентов в HDInsight может работать непосредственно с структурированными или неструктурированными данными, хранящимися в виде BLOB-объектов. К Azure Blob-хранилищу также можно получить доступ через Azure Synapse Analytics с использованием функции PolyBase.

Вот еще несколько полезных возможностей службы хранилища Azure:

• несколько стратегий параллелизма;
• Аварийное восстановление и высокий уровень доступности.
• шифрование при хранении;
• Контроль доступа на основе ролей Azure (RBAC) для управления доступом с использованием пользователей и групп Microsoft Entra.

Data Lake Storage 2-го поколения

Data Lake Storage 2-го поколения — это единый централизованный репозиторий, в котором можно хранить все данные, структурированные и неструктурированные. Озеро данных позволяет организации быстро и легко сохранять, использовать и анализировать разнообразные данные в одном месте. При использовании озера данных вам не нужно выполнять согласование данных в соответствии с существующей структурой. Вместо этого можно хранить данные в необработанном или собственном формате, обычно в виде файлов или больших двоичных объектов (BLOB-объектов).

Data Lake Storage 2-го поколения объединяет возможности Azure Data Lake Storage 1-го поколения и Хранилища BLOB-объектов Azure. Например, Data Lake Storage 2-го поколения поддерживает семантику файловой системы, защиту на уровне файлов и масштабирование. Так как эти возможности основаны на хранилище BLOB-объектов, вы также получаете низкозатратное многоуровневое хранение с высоким уровнем доступности и аварийного восстановления.

Data Lake Storage 2-го поколения использует службу хранилища Azure в качестве основы для создания корпоративных хранилищ данных в Azure. Разработанное с целью обработки нескольких петабайт информации и с поддержкой сотен гигабит пропускной способности хранилище Data Lake Storage 2-го поколения позволяет с легкостью управлять огромным количеством данных.

Azure Cosmos DB

Azure Cosmos DB — это глобально распределенная многомодельная база данных Майкрософт. Azure Cosmos DB гарантирует задержку измеряемую в единичных миллисекундах на 99-м процентиле в любой точке мира, предоставляет несколько четко определенных моделей согласованности для точной настройки производительности и гарантирует высокий уровень доступности с возможностями многодомового подключения.

Azure Cosmos DB является полностью бессхемной службой. Она автоматически индексирует все данные, избавляя вас от необходимости управлять схемой и индексами. В ней есть родная поддержка множества моделей данных, включая документные, ключ-значение, графовые и столбцово-семейные модели данных.

Функциональные возможности Azure Cosmos DB:

• Георепликация
• Глобальное эластичное масштабирование пропускной способности и хранилища.
• Пять четко определенных уровней согласованности.

HBase в HDInsight

Apache HBase — это база данных NoSQL с открытым кодом, созданная на основе Hadoop по типу Google BigTable. HBase обеспечивает прямой доступ и строгую согласованность для больших объемов неструктурированных и слабоструктурированных данных в бессхемной базе данных, упорядоченных в семейства столбцов.

Данные хранятся в строках таблицы, данные в строке группируются по семейству столбцов. HBase не имеет схемы в том смысле, что столбцы и типы хранимых в них данных не нужно определять до использования. Открытый код линейно масштабируется, чтобы обрабатывать петабайты данных на тысячах узлов. Он может полагаться на избыточность данных, пакетную обработку и другие особенности, которые предусмотрены распределенными приложениями в экосистеме Hadoop.

Реализация HDInsight использует масштабируемую по горизонтали архитектуру HBase для автоматического сегментирования таблиц, строгой согласованности для операций чтения и записи и автоматического переключения на резервный сервер. Производительность повышается за счет кэширования операций чтения в памяти и высокой пропускной способности потоковой записи. В большинстве случаев необходимо создать кластер HBase в виртуальной сети, чтобы другие кластеры и приложения HDInsight могли напрямую обращаться к таблицам.

Azure Data Explorer

Azure Data Explorer — это быстрая и высокомасштабируемая служба для изучения данных журналов и телеметрии. Она позволяет обрабатывать множество потоков данных, создаваемых современным программным обеспечением, позволяя собирать, хранить и анализировать данные. Обозреватель данных Azure идеально подходит для анализа больших объемов разнообразных данных, поступающих из любых источников данных, таких как веб-сайты, приложения, устройства Интернета вещей и др. Эти данные используются для диагностики, мониторинга, формирования отчетов, машинного обучения и дополнительного анализа. Azure Data Explorer упрощает прием этих данных и позволяет выполнять сложные незапланированные запросы на данные в секундах.

Масштаб Azure Data Explorer можно линейно горизонтально увеличить, чтобы увеличить пропускную способность приема и обработки запросов. Кластер Azure Data Explorer можно развернуть в виртуальной сети для включения частных сетей.

Основные критерии выбора

Чтобы ограничить количество вариантов, сначала ответьте на следующие вопросы:

• Требуется ли унифицированное озеро данных с поддержкой нескольких облаков, надежной системой управления и простой интеграцией с аналитическими инструментами? Если да, выберите OneLake в Fabric для упрощенного управления данными и расширенной совместной работы.

• Нужны ли вам управляемые, высокоскоростные или облачные хранилища для текстовых или двоичных данных любого типа? Если да, выберите один из вариантов хранилища файлов или аналитики.

• Нужно ли вам хранилище файлов, оптимизированное для параллельного выполнения аналитических рабочих нагрузок с высокой пропускной способностью и большим числом операций ввода-вывода в секунду? Если да, то выберите вариант, который нацелен на производительность аналитических рабочих нагрузок.

• Нужно ли вам хранить неструктурированные или частично структурированные данные в бессхемной базе данных? Если да, выберите один из нереляционных или аналитических параметров. Сравните варианты индексирования и моделей баз данных. В зависимости от типа данных, которые необходимо хранить, модели базы данных-источника могут быть самым большим фактором.

• Можно ли использовать эту службу в вашем регионе? Проверьте региональную доступность для каждой службы Azure. Дополнительные сведения см. в статье Доступность продуктов по регионам.

Матрица возможностей

В следующих таблицах перечислены основные различия в возможностях.

OneLake в возможностях Fabric

Возможности для хранения файлов

Возможности баз данных NoSQL

Возможности аналитических баз данных

Соавторы

Эта статья поддерживается корпорацией Майкрософт. Первоначально он был написан следующими участниками.

Главный автор

• Зойнер Теджада | Генеральный директор и архитектор

Следующие шаги

• Что такое Fabric
• Общие сведения о комплексной аналитике с помощью Fabric
• Решения и службы облачного хранилища Azure
• Просмотр параметров хранилища
• Введение в хранилище Azure
• Общие сведения о Azure Data Explorer

Связанные ресурсы

• Варианты архитектуры для обработки больших данных
• Стиль архитектуры больших данных
• Общие сведения о моделях хранилища данных