Зеркальное отображение Azure Cosmos DB

Mirroring в Microsoft Fabric обеспечивает простую интеграцию существующих данных Azure Cosmos DB с остальными данными в Microsoft Fabric для гибридной транзакционно-аналитической обработки (HTAP) с полной изоляцией нагрузки между транзакционными и аналитическими системами. Данные Azure Cosmos DB постоянно реплицируются непосредственно в Fabric OneLake практически в режиме реального времени, без какого-либо влияния на производительность транзакционных рабочих нагрузок и без потребления единиц запросов (ЕЗ).

Данные в OneLake хранятся в разностном формате с открытым исходным кодом и автоматически предоставляются всем аналитическим модулям в Fabric.

Встроенные возможности Power BI можно использовать для доступа к данным в OneLake в режиме DirectLake. С помощью усовершенствований Copilot в Fabric вы можете использовать возможности создания искусственного интеллекта для получения ключевых аналитических сведений о бизнес-данных. Помимо Power BI можно использовать T-SQL для выполнения сложных агрегатных запросов или использования Spark для изучения данных. Вы можете легко получить доступ к данным в записных книжках и использовать обработку и анализ данных для создания моделей машинного обучения.

Зачем использовать зеркальное отображение в Fabric?

При использовании функции "Мирроринг" в Fabric вам не нужно объединять разные услуги от нескольких поставщиков. Вместо этого вы можете наслаждаться высоко интегрированным, комплексным и простым продуктом, который предназначен для упрощения потребностей аналитики и построен для открытости.

Если вы ищете отчеты или аналитику по операционным данным в Azure Cosmos DB, зеркальное отображение предоставляет:

• Нет необходимости в использовании ETL, экономичный почти в режиме реального времени доступ к данным Azure Cosmos DB без влияния на потребление единиц запроса.
• Простота переноса данных из различных источников в Fabric OneLake.
• Оптимизация таблицы Delta с v-порядком для молниеносного чтения
• Интеграция с Power BI одним кликом с Direct Lake и Copilot
• Многофункциональная бизнес-аналитика путем объединения данных между различными источниками
• Расширенная интеграция приложений для доступа к запросам и представлениям

Данные OneLake хранятся в формате Delta Lake с открытым исходным кодом, что позволяет использовать его с различными решениями в пределах корпорации Майкрософт и за ее пределами. Этот формат данных упрощает создание единого пространства данных для аналитических потребностей.

Какие возможности аналитики встроены?

Зеркальные базы данных — это элемент в хранилище данных Fabric, отличный от хранилища и конечной точки SQL аналитики.

Каждый зеркальный элемент Azure Cosmos DB создает объекты, с которыми можно взаимодействовать в рабочей области Fabric.

• Элемент зеркальной базы данных. Управление зеркалированием охватывает репликацию данных в OneLake и их преобразование в Parquet в формате, готовом для аналитики. Это открывает возможности для таких сценариев, как инженерия данных, анализ данных и многое другое.
• Конечная точка аналитики SQL, которая автоматически создается

Зеркальная база данных

Зеркальная база данных показывает состояние репликации и элементы управления для остановки или запуска репликации в Fabric OneLake. Вы также можете просмотреть исходную базу данных в режиме только для чтения с помощью обозревателя данных Azure Cosmos DB. Используя обозреватель данных, вы можете просматривать контейнеры в исходной базе данных Azure Cosmos DB и запрашивать их. Эти операции потребляют единицы запросов (RU) из вашей учетной записи Azure Cosmos DB. Любые изменения в исходной базе данных отражаются сразу же в представлении исходной базы данных Fabric. Запись в исходную базу данных не разрешена из Fabric, так как можно просматривать только данные.

Конечная точка аналитики SQL

Каждая зеркальная база данных имеет автоматически созданную конечную точку аналитики SQL, которая обеспечивает широкий аналитический интерфейс на основе таблиц Delta OneLake, созданных процессом зеркального отображения. У вас есть доступ к знакомым командам T-SQL, которые могут определять и запрашивать объекты данных, но не управлять данными из конечной точки аналитики SQL, так как это копия только для чтения.

В конечной точке аналитики SQL можно выполнить следующие действия:

• Изучите таблицы Delta Lake с помощью T-SQL. Каждая таблица сопоставляется с контейнером из базы данных Azure Cosmos DB.
• Создание запросов и представлений без кода и их визуальное изучение без написания строки кода.
• Выполнение операций присоединения и запроса данных в других зеркальных базах данных, хранилищах и лейкхаусах в той же рабочей области.
• Вы можете легко визуализировать и создавать отчеты бизнес-аналитики на основе sql-запросов или представлений.

Помимо редактора запросов SQL существует широкая экосистема инструментов. К этим средствам относятся расширение MSSQL для Visual Studio Code, SQL Server Management Studio (SSMS) и даже GitHub Copilot. Вы можете существенно усилить анализ и генерацию аналитических данных с помощью выбранного вами инструмента.

Семантическая модель

Семантическая модель Power BI в базе данных позволяет создавать, совместно использовать бизнес-метрики и повторно использовать их. Дополнительные сведения см. в разделе Создание семантической модели Power BI.

Как работает репликация практически в режиме реального времени?

При включении зеркалирования в базе данных Azure Cosmos DB операции вставки, обновления и удаления с данными обработки транзакций в режиме онлайн (OLTP) непрерывно реплицируются в Fabric OneLake для аналитического использования.

Функция непрерывного резервного копирования является обязательным условием для зеркального отображения. Вы можете включить 7-дневную или 30-дневную непрерывную резервную копию в учетной записи Azure Cosmos DB. Если вы включаете непрерывное резервное копирование специально для зеркального отображения, рекомендуется использовать 7-дневное непрерывное резервное копирование, так как это бесплатно.

Для репликации данных Azure Cosmos DB в Fabric OneLake может потребоваться несколько минут. В зависимости от начального моментального снимка данных или частоты обновлений или удалений репликация также может занять больше времени в некоторых случаях. Репликация не влияет на единицы запросов (ЕЗ), выделенные для транзакционных рабочих нагрузок.

Что ожидать от зеркального отображения

Перед зеркальным отображением следует рассмотреть несколько вопросов и поддерживаемых сценариев.

Рекомендации по настройке

Для зеркального отображения базы данных она уже должна быть подготовлена в Azure. Необходимо включить непрерывное резервное копирование на учетной записи в качестве предварительного условия.

• По отдельности можно зеркально отображать каждую базу данных. Вы можете выбрать базу данных для зеркального отображения.
• Вы можете зеркалировать одну и ту же базу данных несколько раз в одной рабочей области. Рекомендуется повторно использовать одну копию базы данных в озерах, хранилищах или других зеркальных базах данных. Вам не нужно настраивать несколько зеркал в одной базе данных.
• Вы также можете зеркально отображать одну и ту же базу данных в разных рабочих пространствах или клиентах Fabric.
• Вы можете выбрать контейнеры для зеркального отображения в базе данных.
• Изменения в Azure Cosmos DB контейнерах, таких как добавление новых контейнеров и удаление существующих, легко реплицируются в Fabric. Вы можете начать зеркальное отображение пустой базы данных без контейнеров, например, и зеркальное отображение легко выбирает контейнеры, добавленные в последующий момент времени.

Поддержка вложенных данных

Вложенные данные отображаются как строка JSON в таблицах конечных точек аналитики SQL. Вы можете использовать OPENJSON, CROSS APPLY и OUTER APPLY в запросах или представлениях T-SQL для выборочного расширения этих данных. Если вы используете Power Query, вы также можете применить функцию ToJson для расширения этих данных.

С помощью автоматического вывода схемы вложенные данные можно сложить OPENJSON без необходимости явно определить вложенную схему. Это особенно полезно для рабочих нагрузок с динамическими или непредсказуемыми вложенными схемами. Дополнительные сведения см. в том, как запрашивать вложенные данные.

Обработка изменений схемы

Зеркальное отображение автоматически реплицирует свойства в элементах Azure Cosmos DB, включая изменения схемы. Все новые свойства, обнаруженные в элементе, отображаются как новые столбцы и отсутствующие свойства, если таковые имеются, представлены как null в Fabric.

При переименовании свойства в элементе, таблицы Fabric сохраняют как старые, так и новые столбцы. Старый столбец будет отображать значение NULL, а новый будет отображать последнее значение для всех элементов, которые реплицируются после операции переименования.

Если изменить тип данных свойства в Azure Cosmos DB элементах, изменения поддерживаются для совместимых типов данных, которые можно преобразовать. Если типы данных несовместимы для преобразования в Delta, они представлены в виде значений NULL.

Таблицы конечных точек аналитики SQL преобразуют типы данных Delta в типы данных T-SQL.

Повторяющиеся имена столбцов

Azure Cosmos DB поддерживает имена столбцов без учета регистра на основе стандарта JSON. Зеркальное отображение поддерживает эти повторяющиеся имена столбцов путем добавления _n к имени столбца, где n - числовое значение.

Например, если элемент Azure Cosmos DB имеет addressName и AddressName в качестве уникальных свойств, таблицы Fabric имеют соответствующие столбцы addressName и AddressName_1. Дополнительные сведения см. в разделе об ограничениях репликации.

Поддержка рабочих нагрузок ИИ

Поддержка зеркального отображения в Azure Cosmos DB поддерживает учетные записи, использующие векторный поиск и индексирование, что позволяет рабочим нагрузкам ИИ и машинного обучения в полной мере воспользоваться мощной аналитикой Microsoft Fabric, продолжая использовать высокопроизводительные векторные возможности Azure Cosmos DB.

Дополнительные сведения см. в документации по векторному поиску и индексированию для Cosmos DB и Fabric Data Science и AI Experiences.

Безопасность

Вы можете подключиться к исходной учетной записи с помощью Microsoft Entra ID и управления доступом на основе ролей или ключей уровня учетной записи.

При использовании ключей и смене или повторном создании ключей необходимо обновить подключения, чтобы обеспечить работу репликации. Дополнительные сведения см. в разделе "Подключения". Ключи учетной записи не отображаются напрямую другим пользователям Fabric после настройки подключения. Вы можете ограничить доступ к подключениям, созданным в Fabric. Записи не разрешены для Azure Cosmos DB базы данных из обозревателя данных или конечной точки аналитики в зеркальной базе данных. Зеркальное отображение в настоящее время не поддерживает проверку подлинности с помощью ключей учетной записи только для чтения.

Для проверки подлинности Microsoft Entra ID требуются следующие разрешения RBAC: Microsoft.DocumentDB/databaseAccounts/readMetadata и Microsoft.DocumentDB/databaseAccounts/readAnalytics. Дополнительные сведения см. в документации по управлению доступом на основе ролей плоскости данных.

Функции защиты данных

Настройка детальной безопасности может быть проведена в зеркальной базе данных при использовании Microsoft Fabric. Дополнительные сведения см. в разделе granular permissions in Microsoft Fabric.

Фильтры столбцов и фильтры строк, основанные на предикате, можно обеспечить защитой в Microsoft Fabric в зависимости от ролей и пользователей.

• Безопасность на уровне строк в хранилище данных Fabric
• Безопасность на уровне столбцов в хранилище данных Fabric

Вы также можете маскировать конфиденциальные данные для пользователей, которые не являются администраторами, с помощью динамического маскирования данных.

• Динамическое маскирование данных в хранилище данных Fabric

Сетевая безопасность

Azure Cosmos DB учетные записи с виртуальными сетями или частными конечными точками поддерживаются зеркальным отображением Fabric с помощью функции обхода сетевого списка ACL. Это позволяет авторизованной рабочей области Fabric получать доступ к учетной записи Cosmos DB без необходимости шлюза данных, сохраняя улучшенную сетевую безопасность. Подробные инструкции по настройке см. в разделе Настройка частных сетей для зеркальных баз данных Microsoft Fabric из Azure Cosmos DB.

В настоящее время зеркальное отображение не поддерживает управляемые клиентом ключи (CMK) в OneLake.

Задержка аварийного восстановления и репликации

В Fabric можно развернуть содержимое в центрах обработки данных в регионах, отличных от домашнего региона клиента Fabric. Дополнительные сведения см. в многорегиональной поддержке.

Для учетной записи Azure Cosmos DB с основным регионом записи и несколькими регионами чтения зеркальное отображение выбирает регион Azure Cosmos DB чтения, ближайший к региону, в котором настроена емкость Fabric. Этот параметр помогает обеспечить репликацию с низкой задержкой для создания зеркальных резервных копий.

При переключении учетной записи Azure Cosmos DB в регион восстановления зеркальное отображение автоматически выбирает ближайший Azure Cosmos DB регион снова.

Данные Cosmos DB, реплицированные в OneLake, необходимо настроить для обработки сбоев на уровне региона. Дополнительные сведения см. в статье об аварийном восстановлении в OneLake.

Исследуйте свои данные с отражением

Вы можете напрямую просматривать и получать доступ к зеркальным данным в OneLake. Вы также можете легко получить доступ к зеркальным данным без дальнейшего перемещения данных.

Узнайте больше о том, как получить доступ к OneLake с помощью API или SDK ADLS Gen2, обозревателя файлов OneLake и обозревателя Azure Storage.

Вы можете подключиться к конечной точке аналитики SQL из таких средств, как SQL Server Management Studio (SSMS) или с помощью драйверов, таких как Microsoft Open Database Connectivity (ODBC) и Java Database Connectivity (JDBC). Дополнительные сведения см. в статье о подключении к конечной точке аналитики SQL.

Вы также можете получить доступ к зеркальным данным с такими службами, как:

• Azure службы, такие как Azure Databricks, Azure HDInsight или Azure Synapse Analytics
• Fabric Lakehouse с помощью сочетаний клавиш для проектирования данных и сценариев обработки и анализа данных
• Другие зеркальные базы данных или хранилища в рабочей области Fabric

Вы также можете создавать решения с использованием архитектуры медальона, очищать и преобразовывать данные, которые поступают в зеркальную базу данных как бронзовый слой. Дополнительные сведения см. в статье о поддержке архитектуры медальонов в Fabric.

Pricing

Вычисления Fabric, используемые для репликации данных Cosmos DB в Fabric OneLake, бесплатны. Хранилище в OneLake бесплатно в зависимости от объема хранения. Для получения дополнительной информации см. цены OneLake на зеркальное отображение. Использование вычислений для запроса данных через SQL, Power BI или Spark по-прежнему взимается на основе емкости Fabric.

Если вы используете обозреватель данных в зеркальном отображении Fabric, вы начисляете типичные затраты на основе использования единицы запросов (ЕЗ) для изучения контейнеров и запроса элементов в исходной базе данных Azure Cosmos DB. Функция непрерывного резервного копирования Azure Cosmos DB является обязательным условием для зеркального отображения: применяются стандартные тарифы на непрерывное резервное копирование. При непрерывном выставлении счетов за резервное копирование не взимается дополнительная плата. Дополнительные сведения см. в разделе Цены в Azure Cosmos DB.

Следующий шаг

Связанный контент

• Ограничения зеркальных баз данных Microsoft Fabric из Azure Cosmos DB
• FAQ: Microsoft Fabric зеркальные базы данных из Azure Cosmos DB