Сценарии использования конечной точки SQL-аналитики Lakehouse

Конечная точка аналитики SQL — это оптимизированная для чтения поверхность T-SQL по данным Delta в Microsoft Fabric. В этой статье рассматриваются рабочая нагрузка хранилища данных в Fabric с конечной точкой аналитики SQL Lakehouse и сценарии использования Lakehouse для хранилищ данных.

Что такое конечная точка аналитики SQL Lakehouse?

Конечная точка аналитики SQL позволяет запрашивать данные в Lakehouse с помощью языка T-SQL и протокола TDS.

  • Конечная точка аналитики SQL предоставляет разностные таблицы из Lakehouse в виде таблиц SQL, которые можно запрашивать с помощью T-SQL.
  • Каждая дельта-таблица из среды Lakehouse представлена в виде одной таблицы. Данные должны быть в разностном формате.
  • Каждый Lakehouse имеет одну конечную точку аналитики SQL, и каждая рабочая область может иметь более одного Lakehouse. Количество конечных точек аналитики SQL в рабочей области соответствует количеству элементов Lakehouse.

Вам не нужно создавать конечную точку аналитики SQL в Microsoft Fabric. Конечная точка аналитики SQL автоматически создается для каждой lakehouse, любой базы данных или зеркальной базы данных. Конечная точка SQL-аналитики предоставляет облегчённые возможности хранилища данных для своих родительских элементов, дополняя архитектуру lakehouse хранилища. Эта архитектура позволяет Spark или зеркалированию Fabric управлять данными в структуре папок в Lakehouse, которую может просматривать конечная точка SQL-аналитики.

Note

За кулисами конечная точка аналитики SQL использует тот же механизм, что и хранилище , чтобы обслуживать запросы SQL с высокой производительностью, низкой задержкой.

Автоматическое обнаружение метаданных

Простой процесс считывает журналы Delta из /Tables папки и гарантирует, что метаданные SQL для таблиц, таких как статистика, всегда актуальны. Не требуется никаких действий пользователя, а также не требуется импортировать, копировать данные или настраивать инфраструктуру. Дополнительные сведения см. в статье "Автоматически созданная схема" в конечной точке аналитики SQL.

Сценарии использования Lakehouse в хранилищах данных

В Fabric мы предлагаем один склад.

Lakehouse, с конечной точкой аналитики SQL, на базе хранилища, может упростить традиционное решение о выборе архитектурного подхода для пакетной обработки, потоковой или лямбда-архитектуры. Вместе с хранилищем, lakehouse открывает множество сценариев использования аддитивной аналитики. В этом разделе рассматривается, как использовать Lakehouse вместе со Складом для оптимальной стратегии аналитической работы.

Аналитика с помощью золотого слоя Fabric Lakehouse

Общеизвестная стратегия организации данных озера — это архитектура медальона. Эта стратегия упорядочивает файлы на необработанные (бронзовые), консолидированные (серебряные) и рафинированные (золотые) слои. Конечную точку SQL-аналитики можно использовать для анализа данных в золотом слое медальонной архитектуры, если файлы хранятся в формате Delta Lake, даже если они хранятся вне Microsoft Fabric OneLake.

Используйте ярлыки OneLake для обращения к папкам уровня Gold во внешних учетных записях хранилища Azure Data Lake, которыми управляют механизмы Synapse Spark или Azure Databricks.

Вы также можете добавлять хранилища данных как решения, ориентированные на предметную область или домен, для конкретных предметных областей, для которых могут требоваться индивидуальные аналитические возможности.

Если вы предпочитаете хранить свои данные в Fabric, они всегда открыты, и к ним можно получить доступ через API, формат Delta и, конечно, T-SQL.

Запрос в качестве службы по разностным таблицам из Lakehouse и других элементов из OneLake

Аналитики, специалисты по обработке и анализу данных и инженеры данных могут запрашивать данные в озере данных. В Fabric этот сквозной процесс полностью реализован по модели SaaS.

OneLake — это единое, единое, логическое озеро данных для всей организации. OneLake — OneDrive для данных. OneLake может содержать несколько рабочих областей, например, в соответствии с подразделениями организации. Каждый элемент в Fabric делает данные доступными через OneLake.

Данные в Microsoft Fabric Lakehouse физически хранятся в OneLake со следующей структурой папок:

  • Папка /Files содержит необработанные и неконсолидированные (бронзовые) файлы, которые инженеры данных должны обрабатывать перед анализом. Файлы могут находиться в различных форматах, таких как CSV, Parquet, различные типы изображений и многое другое.
  • Папка /Tables содержит уточненные и консолидированные (золотые) данные, готовые к бизнес-анализу. Консолидированные данные приведены в формате Delta Lake.

Конечная точка аналитики SQL может считывать данные в папке /tables в OneLake. Анализ осуществляется так же легко, как и выполнение запроса к конечной точке аналитики SQL в Lakehouse. Вместе с хранилищем вы также получаете запросы между базами данных и возможность легко переключаться с запросов только для чтения на создание дополнительной бизнес-логики на основе данных OneLake с Fabric Data Warehouse.

Инжиниринг данных с Spark и обслуживанием с помощью SQL

Предприятия, управляемые данными, должны синхронизировать бэкэндовые и аналитические системы с пользовательскими приложениями практически в реальном времени. Влияние транзакций должно точно отражаться в комплексных процессах, связанных приложениях и системах обработки транзакций в сети (OLTP).

В Fabric можно использовать потоковую передачу Spark или Инжиниринг данных для обработки данных. Для проверки качества данных и существующих процессов T-SQL можно использовать конечную точку аналитики SQL Lakehouse. Это можно сделать в архитектуре медальона или на нескольких уровнях вашего Lakehouse: бронза, серебро, золото, а также промежуточные, курированные и уточненные данные. Вы можете настроить папки и таблицы, созданные с помощью Spark, в соответствии с требованиями к проектированию данных и бизнес-требованиям. Когда будет готово, хранилище может использоваться для всех смежных приложений бизнес-аналитики и других сценариев использования аналитики без копирования данных, с использованием представлений или обработки данных с помощью CREATE TABLE AS SELECT (CTAS), хранимых процедур и других команд DML или DDL.

Интеграция с золотым уровнем вашего Open Lakehouse

Конечная точка аналитики SQL не ограничивается аналитикой данных только в Fabric Lakehouse. Используя конечную точку аналитики SQL, вы можете анализировать данные озера в любом озерном доме с помощью Synapse Spark, Azure Databricks или любого другого механизма проектирования данных, ориентированного на озеро. Данные можно хранить в Azure Data Lake Storage или Amazon S3.

Вы всегда можете получить доступ к этой тесной двунаправленной интеграции с Fabric Lakehouse через любой движок, используя открытые API, формат Delta и, конечно, T-SQL.

Виртуализация данных внешних озер данных с сочетаниями клавиш

Используйте OneLake shortcuts для создания ссылок на папки уровня gold во внешних учетных записях хранилища Azure Data Lake, которыми управляют механизмы Synapse Spark или Azure Databricks, а также на любую таблицу Delta, хранящуюся в Amazon S3.

Вы можете проанализировать любую папку, на которую ссылается ярлык из конечной точки аналитики SQL, и создать таблицу SQL для ссылочных данных. Используйте таблицу SQL, чтобы обеспечить доступ к данным во внешних озёрах данных под внешним управлением и выполнять их анализ.

Этот ярлык служит виртуальным хранилищем, которое можно использовать в хранилище для дополнительных последующих аналитических задач или напрямую выполнять к нему запросы.

Чтобы анализировать данные во внешних учетных записях хранилища озера данных, выполните следующие действия:

  1. Создайте ярлык, ссылающийся на папку в хранилище Azure Data Lake или учетной записи Amazon S3. После ввода сведений о подключении и учетных данных ярлык отображается в Lakehouse.
  2. Перейдите в конечную точку аналитики SQL в Lakehouse и найдите таблицу SQL с именем, соответствующим ярлыку. Эта таблица SQL ссылается на папку в ADLS или S3.
  3. Запросите таблицу SQL, которая ссылается на данные в ADLS или S3. Используйте таблицу, как и любую другую таблицу в конечной точке аналитики SQL. Вы можете присоединить таблицы, ссылающиеся на данные в разных учетных записях хранения.

Note

Если таблица SQL не сразу отображается в конечной точке аналитики SQL, подождите несколько минут. Таблица SQL, ссылающаяся на данные во внешней учетной записи хранения, создается с задержкой.

Анализируйте архивные или исторические данные в озере данных

Секционирование данных — это хорошо известный метод оптимизации доступа к данным в озерах данных. Храните секционированные наборы данных в иерархических структурах папок в формате/year=<year>/month=<month>/day=<day>, где yearmonthи day являются столбцами секционирования. Эта структура сохраняет логически разделенные исторические данные и позволяет вычислительным модулям читать данные по мере необходимости с помощью фильтрации, а не считывать весь каталог и все папки и файлы внутри.

Секционированные данные обеспечивают более быстрый доступ, если в запросах используется фильтрация по предикатам, сравнивающим столбцы секционирования со значением.

Конечная точка аналитики SQL может легко считывать этот тип данных без необходимости настройки. Например, можно использовать любое приложение для архивации данных в озеро данных, включая SQL Server 2022 или Управляемый экземпляр SQL Azure. После секционирования данных и их посадки в озеро для архивации с помощью внешних таблиц конечная точка аналитики SQL может считывать секционированные таблицы Delta Lake в виде таблиц SQL и позволить организации анализировать их. Этот подход снижает совокупную стоимость владения, уменьшает дублирование данных и открывает возможности для технологий больших данных, ИИ и других аналитических сценариев.

Вы также можете использовать запросы с путешествием во времени, чтобы быстро выполнять запросы к предыдущим версиям данных. Перемещение по времени — это низкая и эффективная возможность запрашивать прошлые состояния данных с помощью запросов T-SQL. Для конечной точки аналитики SQL Lakehouse время перемещения ограничено параметрами хранения вакуума. Для начала см. статью «Практическое руководство. Выполнение запроса с использованием перемещения во времени на уровне инструкции».

Виртуализация данных Fabric с сочетаниями клавиш

В системе Fabric пространства для работы позволяют сегментировать данные на основе сложных бизнес-, географических или нормативных требований.

Конечная точка анализа SQL позволяет не перемещать данные и по-прежнему анализировать их в хранилище данных или Lakehouse, даже в других рабочих областях Microsoft Fabric, используя простую виртуализацию. Каждый Microsoft Fabric Lakehouse хранит данные в OneLake.

Ярлыки позволяют ссылаться на папки в любом расположении OneLake.

Каждое хранилище Microsoft Fabric хранит данные таблицы в OneLake. Если таблица доступна только для добавления, данные таблицы предоставляются как данные Delta Lake в OneLake. Ярлыки позволяют ссылаться на папки в любом OneLake, где доступны таблицы хранилища.

Совместное использование и выполнение запросов между рабочими областями

Хотя рабочие области позволяют разделить данные на основе сложных бизнес-, географических или нормативных требований, иногда необходимо облегчить совместное использование данных через эти границы для конкретных аналитических нужд.

Конечная точка аналитики SQL Lakehouse позволяет легко обмениваться данными между отделами и пользователями, при этом пользователь может использовать свои собственные ресурсы и хранилище. Рабочие области упорядочивают отделы, бизнес-подразделения или аналитические домены. С помощью сочетаний клавиш пользователи могут находить данные любого Warehouse или Lakehouse. Пользователи могут мгновенно выполнять собственную настраиваемую аналитику из одних общих данных. Помимо поддержки внутреннего распределения затрат между подразделениями и распределения использования ресурсов, этот подход представляет собой версию данных без копирования.

Конечная точка аналитики SQL позволяет запрашивать любую таблицу и простой общий доступ. Вы можете добавлять элементы управления с помощью ролей рабочей области и ролей безопасности в соответствии с дополнительными бизнес-требованиями.

Чтобы включить аналитику данных между рабочими областями, выполните следующие действия.

  1. Создайте ярлык OneLake, ссылающийся на таблицу или папку в рабочей области, к которым можно получить доступ.
  2. Выберите Lakehouse или Warehouse, содержащий таблицу или папку Delta Lake, которую необходимо проанализировать. Когда вы выбираете таблицу или папку, в Lakehouse появляется ярлык.
  3. Перейдите в конечную точку аналитики SQL Lakehouse и найдите таблицу SQL, которая имеет имя, соответствующее ярлыку. Эта таблица SQL ссылается на папку в другой рабочей области.
  4. Запросите таблицу SQL, которая ссылается на данные в другой рабочей области. Таблицу можно использовать как любую другую таблицу в конечной точке аналитики SQL. Можно присоединить таблицы, которые ссылаются на данные в разных рабочих пространствах.

Дополнительные сведения о безопасности в конечной точке аналитики SQL см. в статье "Безопасность OneLake" для конечных точек аналитики SQL.

Note

Если таблица SQL не сразу отображается в конечной точке аналитики SQL, подождите несколько минут. Таблица SQL, которая ссылается на данные в другой рабочей области, создается с задержкой.

Анализ секционированных данных

Секционирование данных — это хорошо известный метод оптимизации доступа к данным в озерах данных. Секционированные наборы данных хранятся в иерархических структурах папок в формате/year=<year>/month=<month>/day=<day>, где yearmonthи day являются столбцами секционирования. Секционированные наборы данных обеспечивают быстрый доступ к данным, если запросы используют предикаты, которые фильтруют данные, сравнивая столбцы предиката со значением.

Конечная точка аналитики SQL может представлять секционированные наборы данных Delta Lake в виде таблиц SQL и позволяют анализировать их.

Дополнительные сведения и примеры запроса внешних данных см. в статье Запрос внешних файлов озера данных с использованием Fabric Data Warehouse или конечной точки SQL Analytics. Пример и вариант использования для запроса секционированных файлов parquet см. в разделе "Запрос секционированных данных".

Анализ данных в «Lakehouse», «Warehouse» или «Eventhouse»

Основные страницы Lakehouse и Warehouse включают конечную точку Eventhouse в составе меню "Анализ данных". Конечная точка Eventhouse обеспечивает возможность выполнения запросов, управляемых Eventhouse, напрямую поверх данных Lakehouse и Хранилища, без дублирования данных или ручной синхронизации.

Снимок экрана с раскрытой кнопкой

Если включить конечную точку Eventhouse, Eventhouse и KQL база данных автоматически создаются как дочерние элементы исходного Lakehouse или Warehouse, при этом синхронизация схем выполняется в фоновом режиме. Конечная точка всегда отражает текущую схему исходных данных, обеспечивая практически в реальном времени аналитический доступ.

Эта интеграция делает Eventhouse естественным расширением источника данных, а не отдельной системой, необходимой для настройки и управления. Для получения дополнительной информации о конечной точке Eventhouse смотрите раздел «Включение конечной точки Eventhouse» для lakehouse и warehouse.

Связанный контент

  • Last updated on