Зеркальное отображение Snowflake в Microsoft Fabric

Mirroring в Fabric предоставляет простой способ избежать сложного процесса использования ETL (извлечение, преобразование, загрузка) и для интеграции существующих данных вашего хранилища Snowflake с остальными данными в Microsoft Fabric. Вы можете непрерывно реплицировать существующие данные Snowflake непосредственно в OneLake Fabric. В среде Fabric можно разблокировать мощные сценарии бизнес-аналитики, искусственного интеллекта, инженерии данных, науки о данных и обмена данными.

Руководство по настройке базы данных Snowflake для зеркального отображения в Fabric см. в разделе Tutorial: настройка зеркальных баз данных Microsoft Fabric из Snowflake.

Зачем использовать зеркальное отображение в Fabric?

При использовании зеркалирования в Fabric вам не нужно объединять различные службы от множества поставщиков. Вместо этого вы можете наслаждаться высоко интегрированным, комплексным и простым продуктом, который предназначен для упрощения потребностей аналитики, и построен для открытости и совместной работы между Корпорацией Майкрософт, Snowflake и 1000-ми технологическими решениями, которые могут читать формат таблицы Delta Lake с открытым исходным кодом.

Какие возможности аналитики встроены?

Зеркальные базы данных — это элемент в Fabric Data Warehousing, отличающийся от хранилища и конечной точки аналитики SQL.

Зеркальное отображение создает эти элементы в рабочей области Fabric:

• Элемент зеркальной базы данных. Это открывает возможности для таких сценариев, как инженерия данных, анализ данных и многое другое. Управление зеркальным отображением:
  • Копирование метаданных таблицы Айсберг в OneLake с помощью ярлыков к хранилищу, содержащему ваши таблицы Айсберг. OneLake автоматически преобразует эти таблицы Iceberg в форматированные таблицы Delta Lake для использования в рабочих нагрузках Fabric.
  • Репликация данных управляемых таблиц в OneLake и преобразование в формат Parquet, готовый для аналитических задач.
• Конечная точка аналитики SQL

Каждая зеркальная база данных имеет автоматически созданную конечную точку аналитики SQL , которая обеспечивает широкий аналитический интерфейс поверх разностных таблиц, созданных процессом зеркального отображения. У пользователей есть доступ к знакомым командам T-SQL, которые могут определять и запрашивать объекты данных, но не управлять данными из конечной точки аналитики SQL, так как это копия только для чтения. В конечной точке аналитики SQL можно выполнить следующие действия:

• Изучите таблицы, ссылающиеся на данные в таблицах Delta Lake из Snowflake.
• Не создавайте запросы и представления кода и визуально просматривайте данные без написания строки кода.
• Разрабатывать представления SQL, встроенные ТВФ (табличные функции) и хранимые процедуры для инкапсуляции вашей семантики и бизнес-логики в T-SQL.
• Управление разрешениями для объектов.
• Выполняйте запросы данных в других хранилищах и Lakehouse в том же рабочем пространстве.

Помимо редактора запросов SQL, Существует широкая экосистема инструментов, которая может запрашивать конечную точку аналитики SQL, включая SQL Server Management Studio (SSMS), расширение MSSQL для Visual Studio Code и даже GitHub Copilot.

Вопросы безопасности

Чтобы включить зеркальное отображение Fabric, вам потребуются разрешения пользователя для базы данных Snowflake, содержащей следующие разрешения:

• CREATE STREAM
• SELECT table
• SHOW tables
• DESCRIBE tables

Дополнительные сведения см. в документации по Snowflake о привилегиях управления доступом для потоковых таблиц и необходимых разрешениях для потоков.

Зеркальное отображение Snowflake за брандмауэром

Проверьте требования к сети для доступа к источнику данных Snowflake. Если источник данных Snowflake не является общедоступным и находится в частной сети, создайте шлюз данных виртуальной сети или установите локальный шлюз данных для зеркального отображения данных. Сеть Azure Virtual Network или сеть шлюзового устройства должны подключаться к экземпляру Snowflake через частную конечную точку или могут быть разрешены правилом брандмауэра. Сведения о начале работы см. в статье Tutorial: настройка зеркальных баз данных Microsoft Fabric из Snowflake.

Учет затрат для зеркальной Snowflake

Вычисления Fabric, используемые для репликации данных в Fabric OneLake, бесплатны. Стоимость хранилища при зеркалировании предоставляется бесплатно до определенного предела, зависящего от емкости. Дополнительные сведения см. в разделе стоимость зеркального отображения и Цены на Microsoft Fabric. Вычисления для запроса данных с помощью SQL, Power BI или Spark взимаются по стандартным тарифам.

Fabric не взимает оплату за входящий сетевой трафик в OneLake для функции зеркального отображения.

Существуют затраты на вычисления Snowflake и на облачные запросы, когда данные зеркалируются: вычисления виртуального хранилища и вычисления облачных служб.

• Плата за вычислительные ресурсы виртуального хранилища Snowflake:
  • Плата за вычислительные ресурсы взимается на стороне Snowflake, если имеются изменения в данных, которые считываются из Snowflake и, в свою очередь, реплицируются в Fabric.
  • Все запросы метаданных выполняются в фоновом режиме для проверки изменений данных, и плата за вычислительные ресурсы Snowflake не взимается; однако запросы, которые создают такие данные, как SELECT *, пробуждают хранилище Snowflake, и за вычисления взимается плата.
• Плата за вычислительные ресурсы служб Snowflake:
  • Несмотря на то, что не взимается плата за вычисления для таких задач, как разработка, запросы метаданных, управление доступом, отображение изменений данных и даже запросов DDL, существуют облачные затраты, связанные с этими запросами.
  • В зависимости от версии Snowflake, вам будут предъявляться счета за соответствующие кредиты за использование облачных сервисов.

На следующем снимке экрана вы увидите затраты на вычислительные ресурсы виртуального хранилища и облачные службы для связанной базы данных Snowflake, которая зеркально отображается в Fabric. В этом сценарии основная часть вычислительных затрат облачных служб (выделенные желтым) исходит из запросов на изменение данных, основанных на ранее упомянутых пунктах. Затраты на вычислительные ресурсы виртуального хранилища (на диаграмме выделены синим) обусловлены тем, что изменения данных считываются из Snowflake и зеркально отображаются в Fabric.

Дополнительные сведения о затратах на облачные запросы Snowflake см. в документации по Snowflake: общие сведения о затратах.

Следующий шаг

Связанный контент

• Как: Обеспечить безопасность данных в зеркальных базах данных Microsoft Fabric из Snowflake
• Мониторинг зеркальной репликации базы данных Fabric