Что такое Power Query?

Power Query — это модуль преобразования данных и подсистемы подготовки данных. Power Query поставляется с графическим интерфейсом для получения данных из источников и редактора Power Query для применения преобразований. Так как подсистема доступна во многих продуктах и службах, место хранения данных зависит от того, где используется Power Query. С помощью Power Query можно выполнять извлечение, преобразование и загрузку данных (ETL).

Power Query ввод, преобразование и место назначения.

Схема с символьными источниками данных слева, проходящими через Power Query для преобразования в центре, а затем переход к четырем назначениям справа: Майкрософт Azure Data Lake Storage, Microsoft Dataverse, Microsoft Excel и Майкрософт Power BI.

Как Power Query помогает с получением данных

Бизнес-пользователи тратят до 80% времени на подготовку данных, что задерживает работу анализа и принятия решений. Некоторые проблемы способствуют этой ситуации, и Power Query помогает решить многие из них.

Существующий вызов Как Power Query помогает?
Поиск и подключение к данным слишком сложно Power Query позволяет подключаться к широкому спектру источников данных, включая данные всех размеров и фигур.
Возможности подключения к данным слишком фрагментированы Согласованность опыта и равенство возможностей запросов во всех источниках данных.
Данные часто необходимо изменить перед потреблением Высоко интерактивный и интуитивно понятный интерфейс для быстрого и итеративного создания запросов по любому источнику данных.
Любая формирование является одноразовой и не повторяемой При использовании Power Query для доступа к данным и преобразования вы определяете повторяемый процесс (запрос), который можно легко обновить в будущем, чтобы получить данные up-to-date.
В случае изменения процесса или запроса на учет базовых данных или изменений схемы можно использовать тот же интерактивный и интуитивно понятный интерфейс, который вы использовали при первоначальном определении запроса.
Объем (размеры данных), скорость (скорость изменения) и разнообразие (диапазон источников данных и фигур данных) Power Query предоставляет возможность работать с подмножеством всего набора данных для определения необходимых преобразований данных, что позволяет легко отфильтровать и преобразовать данные в управляемый размер.
Power Query запросы можно обновлять вручную или использовать возможности запланированного обновления в определенных продуктах (например, Power BI) или даже программно (с помощью объектной модели Excel).
Так как Power Query обеспечивает подключение к сотням источников данных и более 350 различных типов преобразований данных для каждого из этих источников, вы можете работать с данными из любого источника и в любой форме.

опыт работы с Power Query

Интерфейс пользователя Power Query предоставляется через пользовательский интерфейс редактора Power Query. Цель этого интерфейса заключается в том, чтобы помочь вам применить необходимые преобразования, просто взаимодействуя с понятным набором лент, меню, кнопок и других интерактивных компонентов.

Редактор Power Query — это основной процесс подготовки данных. В редакторе можно подключиться к широкому спектру источников данных и применить сотни различных преобразований данных, предварительно просматривая данные и выбирая преобразования из пользовательского интерфейса. Эти возможности преобразования данных являются общими для всех источников данных, независимо от ограничений базового источника данных.

При создании нового шага преобразования, взаимодействуя с компонентами интерфейса Power Query, Power Query автоматически создает код M, необходимый для преобразования, чтобы не нужно писать код.

В настоящее время доступны два интерфейса Power Query:

  • Power Query Online — используется в интеграциях, таких как потоки данных Power BI, потоки данных Microsoft Power Platform, потоки данных Фабрика данных Azure и многие другие, предоставляющие возможности через онлайн-страницу.
  • Power Query Desktop — используется в интеграциях, таких как Power Query для Excel и Power BI Desktop.

Заметка

Хотя существуют два варианта Power Query, они оба обеспечивают практически один и тот же пользовательский опыт в каждом сценарии.

Преобразования

Модуль преобразования в Power Query включает множество предварительно созданных функций преобразования, которые можно использовать с помощью графического интерфейса редактора Power Query. Эти преобразования могут быть такими же простыми, как удаление столбца или фильтрования строк или как обычное использование первой строки в качестве заголовка таблицы. Существуют также дополнительные параметры преобразования, такие как слияние, присоединение, группирование, разворот и разворачивание.

Все эти преобразования становятся возможными путем выбора параметра преобразования в меню, а затем применения параметров, необходимых для этого преобразования. На следующем рисунке показаны некоторые преобразования, доступные в редакторе Power Query.

Screenshot команд преобразования на вкладках

Дополнительные сведения: Quickstart: использование Power Query в Power BI

Потоки данных

Power Query можно использовать во многих продуктах, таких как Power BI и Excel. Однако использование Power Query в продукте ограничивает его использование только этим конкретным продуктом. Dataflows — это независимая от продукта версия службы Power Query, которая работает в облаке. С помощью потоков данных можно получать данные и преобразовывать данные таким же образом. Но вместо отправки выходных данных в Power BI или Excel можно хранить выходные данные в других вариантах хранения, таких как Dataverse или Azure Data Lake Storage. Таким образом, вы можете использовать выходные данные потоков данных в других продуктах и службах.

Дополнительные сведения: Что такое потоки данных?

язык формул Power Query M

В любом сценарии преобразования данных существуют некоторые преобразования, которые не могут быть выполнены наилучшим образом с помощью графического редактора. Для некоторых из этих преобразований могут потребоваться специальные конфигурации и параметры, которые графический интерфейс в настоящее время не поддерживает. Модуль Power Query использует язык сценариев за кулисами для всех преобразований Power Query: язык формулы Power Query M, также известный как M.

Язык M — это язык преобразования данных Power Query. Все, что происходит в запросе, в конечном счете записывается в M. Если вы хотите выполнить расширенные преобразования с помощью подсистемы Power Query, можно использовать расширенный редактор для доступа к скрипту запроса и его изменения по мере необходимости. Если вы обнаружите, что функции и преобразования пользовательского интерфейса не могут выполнять точные изменения, используйте расширенный редактор и язык M для точной настройки функций и преобразований.

let
    Source = Exchange.Contents("xyz@contoso.com"),
    Mail1 = Source{[Name="Mail"]}[Data],
    #"Expanded Sender" = Table.ExpandRecordColumn(Mail1, "Sender", {"Name"}, {"Name"}),
    #"Filtered Rows" = Table.SelectRows(#"Expanded Sender", each ([HasAttachments] = true)),
    #"Filtered Rows1" = Table.SelectRows(#"Filtered Rows", each ([Subject] = "sample files for email PQ test") and ([Folder Path] = "\Inbox\")),
    #"Removed Other Columns" = Table.SelectColumns(#"Filtered Rows1",{"Attachments"}),
    #"Expanded Attachments" = Table.ExpandTableColumn(#"Removed Other Columns", "Attachments", {"Name", "AttachmentContent"}, {"Name", "AttachmentContent"}),
    #"Filtered Hidden Files1" = Table.SelectRows(#"Expanded Attachments", each [Attributes]?[Hidden]? <> true),
    #"Invoke Custom Function1" = Table.AddColumn(#"Filtered Hidden Files1", "Transform File from Mail", each #"Transform File from Mail"([AttachmentContent])),
    #"Removed Other Columns1" = Table.SelectColumns(#"Invoke Custom Function1", {"Transform File from Mail"}),
    #"Expanded Table Column1" = Table.ExpandTableColumn(#"Removed Other Columns1", "Transform File from Mail", Table.ColumnNames(#"Transform File from Mail"(#"Sample File"))),
    #"Changed Type" = Table.TransformColumnTypes(#"Expanded Table Column1",{{"Column1", type text}, {"Column2", type text}, {"Column3", type text}, {"Column4", type text}, {"Column5", type text}, {"Column6", type text}, {"Column7", type text}, {"Column8", type text}, {"Column9", type text}, {"Column10", type text}})
in
    #"Changed Type"

Дополнительные сведения: язык формул M Power Query

Где можно использовать Power Query?

В следующей таблице перечислены Майкрософт продукты и службы, где можно найти Power Query.

Продукт Двигатель M 1 Power Query
Настольный компьютер 2
Power Query
Online 3
Потоки данных 4
Excel для Windows Да Да Нет Нет
Excel для Mac Да Да Нет Нет
Power BI Да Да Да Да
Power Apps Да Нет Да Да
Power Automate Да Нет Да Нет
Сервер отчетов Power BI Да Да Нет Нет
Фабрика данных Azure Да Нет Да Да
Фабрика данных в Microsoft Fabric Да Нет Да Да
SQL Server Integration Services Да Нет Нет Нет
SQL Server Analysis Services Да Да Нет Нет
Dynamics 365 Customer Insights Да Нет Да Да
1двигателя M Базовый модуль выполнения запросов, который выполняет запросы, выраженные на языке формул Power Query ("M").
2Power Query Desktop Опыт работы с Power Query в настольных приложениях.
3Power Query Online Опыт работы с Power Query в приложениях веб-браузера.
4потоков данных Power Query как услуга, которая выполняется в облаке и не зависит от продукта. Сохраненный результат можно использовать в других приложениях в качестве служб.