Поделиться через

Что такое хранение данных в Microsoft Fabric?

Область применения:✅ конечная точка аналитики SQL и хранилище в Microsoft Fabric

Хранилище данных Fabric — это решение для хранения данных следующего поколения в Microsoft Fabric.

Хранилище, ориентированное на данные озер, построено на распределенном обработчике данных корпоративного класса, который обеспечивает передовую производительность в отрасли в крупных масштабах, минимизируя потребность в настройке и управлении. Спроектированное для работы с озером данных и поддерживающее открытые форматы, хранилище данных Fabric позволяет беспрепятственное сотрудничество между инженерами данных и бизнес-пользователями, не ставя под угрозу безопасность и управление.

Простое в использовании решение SaaS также тесно интегрировано с Power BI для облегчения анализа и создания отчетов, объединяя миры озер данных и хранилищ, что значительно упрощает инвестиции организаций в их аналитическую инфраструктуру. 

Клиенты хранилища данных получают следующие преимущества:

  • Данные, хранящиеся в формате Delta-parquet, поддерживают транзакции ACID и совместимость с другими рабочими нагрузками Fabric, что означает, что вам не нужно создавать множество копий данных.
  • Межбазовые запросы могут использовать несколько источников данных для быстрого анализа с нулевым дублированием данных.
  • Легко выполняйте прием, загрузку и преобразование данных на масштабируемом уровне с помощью пайплайнов, потоков данных, межбазовых запросов или команды COPY INTO.
  • Автономное управление рабочими нагрузками с передовым в отрасли движком обработки распределенных запросов не требует настройки для достижения наилучшей производительности.
  • Масштабируйте практически мгновенно для удовлетворения потребностей бизнеса. Хранилище и вычислительные ресурсы разделены.
  • Сокращение времени для аналитики с помощью удобной и постоянно подключенной семантической модели, интегрированной с Power BI в режиме Direct Lake. Отчеты всегда имеют последние данные для анализа и отчетности.
  • Создан для любого уровня навыков: от гражданского разработчика до DBA или инженера данных.

Элементы хранения данных

Хранилище данных Fabric не является традиционным корпоративным хранилищем данных — это хранилище на основе озера данных, поддерживающее два отдельных компонента: хранилище данных Fabric и аналитический интерфейс SQL. Оба предназначены для удовлетворения потребностей клиентов в бизнесе, обеспечивая лучшую производительность класса, минимизируя затраты и сокращая административные расходы.

Хранилище данных Fabric

В рабочей области Microsoft Fabric хранилище обозначается как хранилище в столбце "Тип". Если вам нужны все возможности и поддержка транзакций (запросы DDL и DML) хранилища данных, это быстрое и простое решение для вас.

Снимок экрана: тип хранилища в рабочей области.

Хранилище можно заполнить любым из поддерживаемых методов приема данных, таких как COPY INTO, Pipelines, Dataflows или варианты загрузки из других баз данных, такие как CREATE TABLE AS SELECT (CTAS), INSERT..SELECT или SELECT INTO.

Чтобы начать работу с хранилищем, см. следующую статью:

Конечная точка аналитики SQL в Lakehouse

В рабочей области Microsoft Fabric у каждого Lakehouse автоматически создаётся SQL-аналитическая конечная точка. Она может быть использована для перехода от представления Lakehouse, поддерживающего инженерные работы с данными и Apache Spark, к представлению SQL того же Lakehouse. Это позволяет создавать представления, функции, хранимые процедуры и применять SQL-безопасность.

Снимок экрана: тип конечной точки аналитики SQL в рабочей области.

Используя аналогичную технологию, хранилище, база данных SQL и Fabric OneLake все вместе автоматически поставляют конечную точку аналитики SQL при создании.

С помощью конечной точки аналитики SQL команды T-SQL могут определять и запрашивать объекты данных, но не управлять или изменять данные. В конечной точке аналитики SQL можно выполнить следующие действия:

  • Запросите таблицы, ссылающиеся на данные в папках Delta Lake в озере.
  • Создайте представления, встроенные TVF и процедуры, чтобы инкапсулировать семантику и бизнес-логику в T-SQL.
  • Управление разрешениями для объектов.

Чтобы начать работу с SQL-аналитической конечной точкой, см. следующую статью:

Склад или озеро

При выборе между использованием хранилища или озера важно учитывать конкретные потребности и контексты управления данными и аналитических требований. В равной степени важно, это не одностороннее решение!

Вы всегда можете добавить одну или другую позже, если изменятся бизнес-потребности. Независимо от того, с чего вы начинаете, как склад, так и озерохранилище используют один и тот же мощный обработчик SQL для всех запросов T-SQL.

Ниже приведены некоторые общие рекомендации, которые помогут вам принять решение:

  • Выберите хранилище данных, если вам нужно решение корпоративного масштаба с открытым стандартным форматом, высокой производительностью без сложных настроек и минимальной настройкой.  Лучше всего подходит для полуструктурированных и структурированных форматов данных, хранилище данных подходит как для начинающих, так и для опытных специалистов по данным, предлагая простой и интуитивно понятный интерфейс.

  • Выберите lakehouse, если вам требуется большой репозиторий высоко неструктурированных данных из разнородных источников, и вы хотите использовать недорогое объектное хранилище, а также SPARK в качестве основного средства разработки. Выступая в качестве "упрощенного" хранилища данных, вы всегда можете использовать конечную точку SQL и средства T-SQL для доставки отчетов и сценариев аналитики данных в lakehouse.

Более подробное руководство по принятию решений см. в руководстве по принятию решений Microsoft Fabric: выбор между Warehouse и Lakehouse.

Связанный контент