Подключение Power BI с семантической связью

Семантическая связь в Microsoft Fabric основана на Power BI. Семантическая связь обеспечивает подключение к семантическим моделям для пользователей экосистем Python pandas и Apache Spark.

Семантическая модель обычно представляет собой высокий стандарт данных, который является результатом вышестоящей обработки и уточнения данных. Бизнес-аналитики могут:

  • Кодирование знаний домена и бизнес-логики в меры Power BI.
  • Создание отчетов Power BI с помощью семантических моделей.
  • Используйте эти отчеты для решения бизнес-решений.

Когда дата-сайентисты, работающие с теми же семантическими моделями, пытаются дублировать бизнес-логику в различных средах кодирования или языках, это может привести к возникновению критических ошибок. Семантическая связь устраняет разрыв между семантическими моделями и Synapse Data Science в среде Microsoft Fabric, создавая условия для совместной работы бизнес-аналитиков и специалистов по обработке данных для бесшовного взаимодействия и уменьшения несоответствия данных.

Семантическая ссылка обеспечивает подключение к следующим возможностям:

  • Экосистема Python pandas с помощью библиотеки SemPy Python.
  • Семантические модели через собственный соединитель Spark, который поддерживает PySpark, Spark SQL, R и Scala.

Подключение к данным через библиотеку SemPy Python для пользователей pandas

Библиотека SemPy Python является частью функции семантической связи и обслуживает пользователей pandas. Функции SemPy включают получение данных из таблиц, вычисление мер и выполнение запросов и метаданных выражений анализа данных (DAX).

  • Для среды выполнения Fabric 1.2 (Spark 3.4) и более поздних версий семантическая ссылка доступна в среде выполнения по умолчанию и не требуется устанавливать ее.

  • Чтобы обновить последнюю версию семантической ссылки, выполните следующую команду:

    %pip install -U semantic-link

SemPy также расширяет DataFrame pandas с добавленными метаданными, распространяющимися из источника данных Power BI. Эти метаданные включают:

  • Power BI категории данных:
    • Географические: адрес, место, город
    • URL-адрес: веб-URL-адрес, URL-адрес изображения
    • Штрих-код
  • Связи между таблицами
  • Иерархии

Встроенный коннектор Spark обеспечивает пользователям Spark доступ к таблицам и метрикам Power BI. Соединитель не зависит от языка и поддерживает PySpark, Spark SQL, R и Scala.

Чтобы использовать собственный соединитель Spark, семантические модели представляются в пространствах имен Spark, а таблицы Power BI выводятся в виде таблиц Spark.

Следующая команда настраивает Spark для использования собственного соединителя Spark для Spark SQL Power BI:

spark.conf.set("spark.sql.catalog.pbi", "com.microsoft.azure.synapse.ml.powerbi.PowerBICatalog")

# Optionally, configure the workspace using its ID
# Resolve workspace name to ID using fabric.resolve_workspace_id("My workspace")
# Replace 00000000-0000-0000-0000-000000000000 with your own workspace ID
# spark.conf.set("spark.sql.catalog.pbi.workspace, "00000000-0000-0000-0000-000000000000")

Следующая команда содержит список всех таблиц в семантической Sales Datasetмодели:

%%sql
SHOW TABLES FROM pbi.`Sales Dataset`

Следующая команда отображает данные из Customer таблицы в семантической модели Sales Dataset:

%%sql
SELECT * FROM pbi.`Sales Dataset`.Customer

Меры Power BI доступны через виртуальную таблицу _Metrics, чтобы обеспечить соединение реляционного Spark SQL с многомерным Power BI. В следующем примере Total Revenue и Revenue Budget являются мерами, определенными в семантической модели Sales Dataset, а другие столбцы являются измерениями. Функции агрегирования, такие как AVG игнорируются для мер и присутствуют только для обеспечения согласованности с SQL.

Соединитель поддерживает передачу вычислений предикатов, таких как Customer[State] in ('CA', 'WA'), из выражений Spark в механизм Power BI, чтобы включить использование оптимизированного механизма Power BI.

SELECT
    `Customer[Country/Region]`,
    `Industry[Industry]`,
    AVG(`Total Revenue`),
    AVG(`Revenue Budget`)
FROM
    pbi.`Sales Dataset`.`_Metrics`
WHERE
    `Customer[State]` in ('CA', 'WA')
GROUP BY
    `Customer[Country/Region]`,
    `Industry[Industry]`

Расширение данных с помощью мер Power BI

Операция add_measure представляет собой мощную функцию семантической связи, которая позволяет расширять данные с помощью мер из семантических моделей. Эта операция доступна только в библиотеке SemPy Python и не поддерживается в собственном соединителе Spark. Для получения дополнительной информации о методе add_measure см. add_measure в документации класса FabricDataFrame.

Чтобы использовать библиотеку SemPy Python, установите ее в ядро записной книжки, выполнив следующий код в ячейке записной книжки:

# %pip and import only needs to be done once per notebook
%pip install semantic-link
from sempy.fabric import FabricDataFrame

В следующем примере кода предполагается, что у вас есть существующий FabricDataFrame с данными, которые необходимо расширить с помощью мер из семантической модели.

df = FabricDataFrame({
        "Sales Agent": ["Agent 1", "Agent 1", "Agent 2"],
        "Customer[Country/Region]": ["US", "GB", "US"],
        "Industry[Industry]": ["Services", "CPG", "Manufacturing"],
    }
)

joined_df = df.add_measure(["Total Revenue", "Total Budget"], dataset="Sales Dataset")

Метод add_measure выполняет следующие действия.

  1. Устраняет неоднозначности имен столбцов в FabricDataFrame для соответствия измерениям Power BI. Операция игнорирует имена столбцов, которые не могут быть разрешены в данной семантической модели. Дополнительные сведения см. в поддерживаемом синтаксисе DAX.
  2. Определяет group by столбцы, используя разрешенные имена столбцов.
  3. Вычисляет один или несколько показателей на уровне group by.
  4. Фильтрует результат по существующим строкам в FabricDataFrame.

Связанный контент

  • Last updated on