Интеграция OneLake для семантических моделей

С интеграцией Microsoft OneLake для семантических моделей данные, импортированные в таблицы моделей, могут также автоматически записываться в Delta tables в OneLake. Единый формат Delta — это унифицированный формат таблицы для всех вычислительных движков в Microsoft Fabric. Интеграция OneLake экспортирует данные со всеми ключевыми функциями производительности, чтобы обеспечить более простой доступ к данным с более высокой производительностью.

Учёные в области данных, аналитики баз данных, разработчики приложений, инженеры данных и другие потребители данных могут получить доступ к тем же данным, которые лежат в основе вашей бизнес-аналитики и финансовых отчетов в Power BI. T-SQL, Python, Scala, PySpark, Spark SQL, R и решения no-code/low-code могут использоваться для запроса данных из таблиц Delta.

Схема интеграции OneLake для семантических моделей

Прежде чем реализовать решение интеграции OneLake в организации, ознакомьтесь с рекомендациями и ограничениями далее в этой статье.

Предпосылки

Интеграция OneLake для семантических моделей поддерживается только на Power BI premium P и Microsoft Fabric SKU F. Он не поддерживается для Power BI Pro, Premium Per User или SKU A/EM Power BI Embedded.

Перед включением интеграции OneLake необходимо иметь одну или несколько емпортных семантических моделей в рабочей области на Power BI premium или Fabric емкости. Семантическая модель импорта — это тип модели данных, в которой данные полностью импортируются в хранилище Power BI в памяти, что позволяет быстро и эффективно выполнять запросы.

Permissions

Разрешения участника модели (чтение, запись, изучение) необходимы для доступа к содержимому папки модели и создания ярлыков, связываемых с папкой в обозревателе Lakehouse.

Для сценариев между клиентами, когда внешние пользователи получают доступ к экспортируемым таблицам Delta через общий доступ к данным OneLake, владелец данных должен предоставить разрешения на чтение OneLake внешнему удостоверению. Стандартные разрешения ролей рабочего пространства не распространяются за пределы арендатора.

Включение интеграции OneLake

В параметрах семантической модели разверните интеграцию OneLake, щелкните ползунок в "Вкл." и нажмите кнопку "Применить".

Включите интеграцию OneLake в параметрах модели.

Портал администрирования

Глобальные администраторы и администраторы клиентов могут управлять интеграцией OneLake с помощью следующего параметра на портале администрирования Power BI:

  • Пользователи могут создавать элементы Fabric — это включает в себя готовые к работе функции Fabric, включая интеграцию с OneLake. Этот параметр можно управлять как на уровне организации, так и на уровне емкости. Если этот параметр отключен, пользователи не могут включить интеграцию OneLake для своих семантических моделей, и любые семантические модели, настроенные в настоящее время для интеграции OneLake, перестают экспортировать таблицы импорта в OneLake. Интеграция OneLake включена по умолчанию для всей организации. На следующем рисунке показана включенная данная настройка:

    Снимок экрана настройки административного портала, позволяющий пользователям создавать элементы Fabric.

  • Семантические модели могут экспортировать данные в OneLake. Позволяет семантические модели , настроенные для интеграции OneLake, отправлять таблицы импорта в OneLake. Применяется ко всей организации. На следующем рисунке показана включенная данная настройка:

    Снимок экрана: параметр портала администрирования, позволяющий экспортировать семантические модели в onelake.

Обновить модель

Чтобы данные импорта модели записылись в таблицу Delta в OneLake, необходимо выполнить по крайней мере одно ручное или запланированное обновление для модели. Выполните обновление вручную или дождитесь запланированного обновления. Проверьте записи журнала на вкладке "Интеграция OneLake" в журнале обновления, чтобы проанализировать длительность экспорта.

Вкладка

Экспорт таблиц OneLake Delta

Delta-таблицы можно экспортировать различными способами. Если в семантической модели включен режим чтения и записи XMLA, можно экспортировать программным образом с помощью табличной объектной модели (TOM) и языка скриптов табличной модели (TMSL).

Например, можно использовать SQL Server Management Studio (SSMS) для выполнения следующей команды TMSL:

{  
 "export": {  
   "layout": "delta",
   "type": "full",  
   "objects": [  
     {  
       "database": "<database name>"  
     }  
   ]  
 }  
}

Изучение файлов экспорта

После экспорта можно использовать проводник OneLake, который интегрирует OneLake с Windows проводником, чтобы найти файлы экспорта таблиц Delta.

  1. В проводнике OneLake щелкните правой кнопкой мыши папку рабочей области и выберите "Синхронизация" из OneLake.

  2. Используйте Проводник Windows для поиска файлов данных. В папке рабочей области найдите вложенную папку с именем, которое соответствует вашей семантической модели и заканчивается на .SemanticModel. Папка семантической модели включает каждую таблицу в режиме импорта данных, размещенную во вложенной папке, содержащей parquet-файлы таблиц Delta и их журнал.

    Команда экспорта TMSL в SSMS.

Последующие рабочие нагрузки, такие как записные книжки Spark, конвейеры и другие lakehouses, могут подключать ссылки непосредственно к этим экспортированным таблицам Delta, что делает данные доступными для аналитики и инженерии без дополнительных копий.

Сочетания клавиш

Создав ярлыки для таблиц семантической модели Lakehouse, вы можете обеспечить быстрый и простой доступ к ним из других рабочих заданий в Fabric. Сочетания клавиш предоставляют динамический доступ к экспортируемым таблицам Delta без копирования данных. Вы можете создавать ярлыки, ссылающиеся на эти таблицы, из других рабочих областей или даже из других организаций, используя общий доступ к данным OneLake, что позволяет использовать экспортированные данные Power BI между рабочими областями и арендаторами.

  1. В обозревателе Lakehouse щелкните правой кнопкой мыши Таблицы и выберите Создать ярлык.

  2. В Новом ярлыке выберите Microsoft OneLake.

  3. В разделе "Выбор типа источника данных" выберите семантику модели, а затем выберите таблицы, которые нужно включить.

    Сочетания клавиш OneLake в обозревателе

Соображения и ограничения

  • Администраторы рабочей области, участники и сотрудники, а также пользователи, имеющие прямой доступ на запись в семантическую модель, получают разрешение на чтение папки с экспортированными артефактами в OneLake.

  • Если семантическая модель содержит роли RLS/OLS, то только пользователи с доступом на запись (администраторы или участники рабочей области) получают доступ на чтение к данным семантической модели в OneLake.

  • Если семантическая модель не имеет ролей RLS/OLS, пользователи с разрешением Read+Build также получают доступ к данным OneLake.

  • Типы данных для валют со значениями, превышающими 18 десятичных знаков, могут иметь некоторую потерю точности при экспорте в Delta-файлы.

  • Семантические модели в рабочих областях с поддержкой BYOK не поддерживаются.

  • Multi-Geo возможности пока не поддерживаются.

  • Меры, таблицы DirectQuery, гибридные таблицы, таблицы групп вычислений и таблицы агрегирования, управляемые системой нельзя экспортировать в таблицы формата Delta.

  • Старые версии разностных таблиц удаляются через три дня. Другие подсистемы выполнения, использующие старую, но теперь удаленную версию данных, должны перейти к доступной версии.

  • Экспортированные разностные таблицы обновляются при обновлении семантической модели (вручную или по расписанию). Между обновлениями таблица Delta отражает данные из последнего успешного обновления. Подчиненные рабочие нагрузки, которые используют экспортированные данные через ярлыки, должны учитывать эту частоту обновления.

Связанный контент

  • Last updated on