Поделиться через

Ускорение запросов для сочетаний клавиш OneLake — обзор

Сочетания клавиш OneLake — это ссылки из дома событий, указывающих на внутренние структуры или внешние источники. Этот тип ярлыка позже обращается к запросу в наборах запросов KQL с помощью external_table() функции. Запросы, выполняемые по сочетаниям клавиш OneLake, могут быть менее производительными, чем данные, которые используются непосредственно в хранилищах событий из-за различных факторов, таких как сетевые вызовы для получения данных из хранилища, отсутствие индексов и многое другое.

Ускорение запросов позволяет указывать политику поверх внешних разностных таблиц, определяющих количество дней для кэширования данных для высокопроизводительных запросов.

Ускорение запросов поддерживается в eventhouse по разностным таблицам из сочетаний клавиш OneLake, Azure Data Lake Store 1-го поколения, Amazon S3, Google Облачные службы, внешних таблиц хранилища BLOB-объектов Azure и всех назначений, поддерживаемых ярлыками OneLake.

Примечание.

  • Если у вас есть рекомендации по соответствию требованиям, требующие хранения данных в определенном регионе, убедитесь, что емкость Eventhouse находится в том же регионе, что и внешняя таблица или ярлыки данных.

  • Ускоренные внешние таблицы добавляются в хранилище COGS и в хранилище SSD в хранилище событий, аналогичные обычным таблицам в базе данных KQL. Вы можете управлять объемом данных для кэширования, определив горячее свойство в политике ускорения запросов. Действие индексирования и приема также способствует использованию вычислительных ресурсов.

Когда следует использовать ускорение запросов для сочетаний клавиш OneLake?

Ускорение запросов кэширует данные по мере того, как он приземляется в OneLake, обеспечивая производительность, сравнимую с приемом данных в Eventhouse. С помощью этой функции можно ускорить посадку данных в OneLake, включая существующие данные и любые новые обновления, и ожидать аналогичной производительности. Это устраняет необходимость управления конвейерами приема, поддерживать дублирующиеся копии данных, обеспечивая синхронизацию данных без дополнительных усилий.

Следующие сценарии идеально подходят для использования сочетаний клавиш OneLake для ускорения запросов:

  • Запрос данных в OneLake с высокой производительностью: если у вас есть существующие рабочие нагрузки, которые передают данные и управляют ими в хранилище (необязательно в другом облаке или регионе), и вы хотите запросить некоторые или все данные с высокой производительностью.
  • Объединяйте исторические данные с потоками в режиме реального времени. Если вы хотите легко объединить посадку данных в OneLake напрямую с потоками в режиме реального времени, поступающими в Eventhouse, без ущерба для скоростей запросов.
  • Используйте данные измерений, управляемые другими элементами: часто большое значение и данные небольшого тома размещаются на серверах SQL, Cosmos DB, Snowflake или других системах, которые могут быть зеркально отражены в OneLake. Сочетания клавиш OneLake позволяют легко использовать эти данные для соединений и обогащения в запросе Eventhouse. Поскольку данные измерения часто значительно меньше, чем данные о действиях, дополнительные затраты, связанные с этим использованием, как правило, минимальны.

Поведение ускоренных внешних разностных таблиц

Сочетания клавиш OneLake работают как внешние таблицы с теми же ограничениями и возможностями. В частности, такие функции, как материализованное представление и политики обновления, не поддерживаются.

Мониторинг поведения ускорения

Начальный процесс ускорения запросов зависит от размера внешней таблицы. Чтобы отслеживать ход выполнения и параметры ускоренной таблицы, используйте команду .show external table operations query_acceleration статистики в наборе запросов KQL.

Ограничения

  • Число столбцов во внешней таблице не может превышать 900.
  • Производительность запросов через ускоренные внешние разностные таблицы с более чем 2,5 миллионами файлов данных может быть неоптимальна.
  • Эта функция предполагает, что разностные таблицы со статическими расширенными функциями, например сопоставление столбцов не изменяется, секции не изменяются и т. д. Чтобы изменить расширенные функции, сначала отключите политику и после внесения изменений повторно включите политику.
  • Изменения схемы в разностной таблице также должны следовать с соответствующей .alter схемой внешней разностной таблицы, что может привести к ускорению, начиная с нуля, если произошло критическое изменение схемы.
  • Очистка на основе индекса не поддерживается для секций.
  • Файлы Parquet с сжатым размером более 6 ГБ не кэшируются.

Выставление счетов

Ускорение данных взимается в соответствии с счетчиком кэша OneLake Premium, как и в собственных таблицах Eventhouse. Вы можете управлять объемом данных, ускоряемым путем настройки количества дней для кэширования. Действие индексирования также может подсчитывать в сторону потребления cu. Дополнительные сведения см. в разделе выставления счетов за хранение.

Расходы, связанные с ускорением запросов, будут отображаться в приложении метрик Fabric в хранилище событий, где создается ярлык ускорения.

Связанный контент