Поделиться через

Что такое хранение данных в Microsoft Fabric?

Область применения:✅ конечная точка аналитики SQL и хранилище в Microsoft Fabric

Хранилище данных Fabric — это реляционное хранилище корпоративного масштаба в основе озера данных.

  • Идеальными вариантами использования хранилища данных Fabric являются схемы star или snowflake, курируемые корпоративные киоски данных, управляемые семантические модели бизнес-аналитики.
  • Данные хранилища данных Fabric, как и все данные Fabric, хранятся в таблицах Delta, которые являются файлами данных Parquet с журналом транзакций на основе файлов. В основе открытого формата данных Fabric хранилище позволяет совместно использовать и сотрудничать между инженерами данных и бизнес-пользователями без ущерба для безопасности или управления.
  • Хранилище данных Fabric в основном разрабатывается с помощью T-SQL и использует большую область поверхности на основе ядра СУБД SQL с полной поддержкой транзакций ACID с несколькими таблицами, материализованными представлениями, функциями и хранимыми процедурами.
  • Массовая загрузка хранилища данных Fabric может выполняться через подключения T-SQL и TDS или с помощью Spark с массовой записью данных непосредственно в таблицы Delta.
  • Простой интерфейс SaaS также тесно интегрирован с Power BI для простого анализа и создания отчетов.

Клиенты хранилища данных получают следующие преимущества:

  • Межбазовые запросы могут использовать несколько источников данных для быстрого анализа с нулевым дублированием данных.
  • Легко выполняйте прием, загрузку и преобразование данных на масштабируемом уровне с помощью пайплайнов, потоков данных, межбазовых запросов или команды COPY INTO.
  • Автономное управление рабочими нагрузками с передовым в отрасли движком обработки распределенных запросов не требует настройки для достижения наилучшей производительности.
  • Масштабируйте практически мгновенно для удовлетворения потребностей бизнеса. Хранилище и вычислительные ресурсы разделены.
  • Данные автоматически реплицируются в OneLake Files для внешнего доступа.
  • Создан для любого уровня навыков: от гражданского разработчика до DBA или инженера данных.

Элементы хранения данных

Хранилище данных Fabric не является традиционным корпоративным хранилищем данных, это хранилище озера, которое поддерживает два отдельных элемента хранения: элемент хранилища Fabric и элемент конечной точки аналитики SQL. Оба предназначены для удовлетворения потребностей клиентов в бизнесе, обеспечивая лучшую производительность класса, минимизируя затраты и сокращая административные расходы.

Хранилище данных Fabric

В рабочей области Microsoft Fabric хранилище обозначается как хранилище в столбце "Тип". Если вам нужны все возможности и поддержка транзакций (запросы DDL и DML) хранилища данных, это быстрое и простое решение для вас.

Снимок экрана: тип хранилища в рабочей области.

Хранилище можно заполнить любым из поддерживаемых методов приема данных, таких как COPY INTO, Pipelines, Dataflows или варианты загрузки из других баз данных, такие как CREATE TABLE AS SELECT (CTAS), INSERT..SELECT или SELECT INTO.

Чтобы начать работу с хранилищем, см. следующую статью:

Конечная точка аналитики SQL в Lakehouse

В рабочей области Microsoft Fabric у каждого Lakehouse автоматически создаётся SQL-аналитическая конечная точка. Она может быть использована для перехода от представления Lakehouse, поддерживающего инженерные работы с данными и Apache Spark, к представлению SQL того же Lakehouse. Это позволяет создавать представления, функции, хранимые процедуры и применять SQL-безопасность.

Снимок экрана: тип конечной точки аналитики SQL в рабочей области.

Используя аналогичную технологию, хранилище, база данных SQL и Fabric OneLake все вместе автоматически поставляют конечную точку аналитики SQL при создании.

С помощью конечной точки аналитики SQL команды T-SQL могут определять и запрашивать объекты данных, но не управлять или изменять данные. В конечной точке аналитики SQL можно выполнить следующие действия:

  • Запросите таблицы, ссылающиеся на данные в папках Delta Lake в озере.
  • Создайте представления, встроенные TVF и процедуры, чтобы инкапсулировать семантику и бизнес-логику в T-SQL.
  • Управление разрешениями для объектов. Дополнительные сведения о безопасности конечной точки аналитики SQL см. в разделе "Безопасность OneLake для конечных точек аналитики SQL".

Чтобы начать работу с SQL-аналитической конечной точкой, см. следующую статью:

Склад или озеро

При выборе между использованием хранилища или озера важно учитывать конкретные потребности и контексты управления данными и аналитических требований.

  • Выберите хранилище данных, если вам нужно решение корпоративного масштаба с открытым стандартным форматом, высокой производительностью без сложных настроек и минимальной настройкой.  Лучше всего подходит для полуструктурированных и структурированных форматов данных, хранилище данных подходит как для начинающих, так и для опытных специалистов по данным, предлагая простой и интуитивно понятный интерфейс.

  • Выберите lakehouse , когда требуется большой репозиторий высокоструктурированных данных из разнородных источников и хотите использовать Spark в качестве основного средства разработки. Выступая в качестве упрощенного хранилища данных, вы всегда можете использовать конечную точку аналитики SQL и средства T-SQL для доставки отчетов и сценариев аналитики данных в lakehouse.

Вы всегда можете добавить одну или другую позже, если изменятся бизнес-потребности. Независимо от того, с чего вы начинаете, как склад, так и озерохранилище используют один и тот же мощный обработчик SQL для всех запросов T-SQL.

Более подробное руководство по принятию решений см. в руководстве по принятию решений Microsoft Fabric: выбор между Warehouse и Lakehouse.

Migration

Используйте помощник по миграции Fabric для хранилища данных для миграции из Azure Synapse Analytics, SQL Server и других платформ ядра СУБД SQL. Просмотрите методы планирования миграции и миграции для выделенных пулов SQL Azure Synapse Analytics в хранилище данных Fabric.

Рекомендации по миграции в Microsoft Fabric см. в обзоре средств и ссылок в обзоре миграции Microsoft Fabric.

Связанный контент