Переход со старых служб интеграции данных

Служба экспорта данных, создание собственной базы данных (BYOD) и экспорт в озеро данных — функции, представленные в приложениях Dynamics 365 для экспорта данных для сценариев аналитики и интеграции данных. Эти службы позволили ИТ-администраторам и специалистам экспортировать данные во внешние базы данных или озера данных и создавать конвейеры интеграции данных. Хотя мы улучшали эти службы на протяжении многих лет с помощью обновлений в рамках унификации Dynamics 365 с Power Platform, мы перепроектировали одни и те же возможности этих разрозненных служб в более простые и унифицированные возможности, встроенные в Power Apps (make.powerapps.com). При переходе на связь с Microsoft Fabric или обновлении до Azure Synapse Link эти службы с новой архитектурой дают возможность легко воспользоваться преимуществами инвестиций в ИИ и Copilot в Microsoft Dataverse и Fabric.

Если вы являетесь клиентом, использующим какую-либо из служб предыдущего поколения, в этой статье представлены рекомендации по переходу на новые возможности, использованию инноваций, а также сокращению комплексных расходов и усилий.

На основе предварительных опросов клиентов мы также составили общую оценку затрат и выгод, чтобы помочь вам в переходе. Здесь также представлены ссылки на дополнительную информацию и видеоролики, ссылки для участия в форумах и еженедельных тренингах для взаимодействия с командой разработчиков, специалистами Microsoft и другими пользователями. Мы стремимся улучшить эти службы при участии сообщества.

До перехода

Если вы являетесь клиентом, использующим устаревшие службы BYOD, службу экспорта данных или экспорт в озеро данных, у вас может быть архитектура интеграции данных, аналогичная показанной здесь. Выделенное поле указывает конвейеры данных, которые ваша организация могла бы создать для использования данных, экспортированных из Dynamics 365 и Dataverse. Вы можете использовать ряд инструментов Microsoft и других компаний для копирования и интеграции данных Dynamics с вашими собственными данными. Вы также можете преобразовывать и агрегировать данные путем копирования в несколько хранилищ, как показано в поле подготовки данных на диаграмме. Вы можете использовать Power BI или другой инструмент для визуализации данных и создания информативной аналитики. У вас могут быть созданы конвейеры для экспорта данных в локальную систему и другие облака.

После перехода

В Power Apps включены два шаблона интеграции данных:

• Azure Synapse Link обеспечивает непрерывный экспорт данных, аналогично BYOD, экспорту в озеро данных или службе экспорта данных. Эта опция включена для ИТ-администраторов и специалистов по интеграции данных.
• Функция "Связь с Fabric" обеспечивает интеграцию полностью управляемого программного обеспечения как услуги (SaaS) без копирования, извлечения, преобразования и загрузки (ETL).

Эти опции дополняют друг друга. Вот подробное сравнение служб интеграции данных.

Если вы являетесь клиентом приложений для управления финансами и операциями, который в настоящее время использует функции BYOD или экспорта в озеро данных, то, обновившись до Azure Synapse Link или Fabric Link, вы сможете воспользоваться преимуществами упрощенной архитектуры интеграции данных, что приведет к снижению эксплуатационных расходов:

• Легко настраивать и поддерживать с помощью Power Apps (make.powerapps.com). Встроенная интеграция с Azure Synapse и Fabric.
• Azure Synapse Link и Fabric Link являются полностью управляемыми службами. Каждая из них требует минимальных текущих затрат на управление.
• Новые службы предлагают те же формы данных, что и предыдущие службы. Существующие нижестоящие конвейеры интеграции могут оставаться без изменений.
• Минимальное влияние на рабочие нагрузки: вам не нужно управлять рабочими нагрузками и планировать экспорт данных.

Безопасные комплексные конвейеры интеграции данных:

• Благодаря ссылке Fabric ваши данные не выходят за пределы управления Dataverse, а авторизованные пользователи Fabric могут безопасно получить доступ к данным, которые находятся внутри Dataverse.
• Служба Azure Synapse Link позволяет ограничивать доступ к учетным записям хранения с помощью брандмауэров, а также позволяет Dataverse экспортировать данные с управляемыми удостоверениями для Azure — функцией безопасности, встроенной в Microsoft Entra.

Если вы являетесь клиентом Dynamics 365 Customer Engagement, использующим службу экспорта данных или классическую Azure Synapse Link с экспортом данных в формате CSV, вы можете воспользоваться преимуществами эффективной отчетности с использованием стандартного отраслевого формата данных Delta или Parquet:

• Встроенная опция преобразования Delta Lake или Parquet снижает необходимость создания собственных конвейеров для аналитики и оперативной отчетности.
• Формат Delta Lake или Parquet обеспечивает более быструю и оперативную обработку запросов и отчетов, а также масштабирование для больших наборов данных любого размера.
• Данные в озере сжимаются до 1/3–1/8 от исходного размера, в результате чего файлы становятся меньше, что сокращает запросы к данным и затраты на их перенос.

Какую опцию выбрать?

Если ваша организация уже использует Fabric или планирует перейти на это решение в ближайшие месяцы, мы рекомендуем использовать функцию ссылки на Fabric. Вы можете продолжать использовать службу Azure Synapse Link, если ваша непосредственная цель — обновление с текущих служб.

Упрощение с помощью связи с Fabric

Если вы уже потребляете данные, используя Power BI, используя хранилище данных или используя потоки данных и записные книжки для преобразования данных, ссылка на функцию Fabric обеспечивает немедленную выгоду. Вы можете упростить архитектуру интеграции данных, устранив необходимость иметь собственную учетную запись хранения или службы Synapse для данных Dataverse. Вместо того, чтобы платить за ресурсы Azure, такие как хранилище и вычислительные ресурсы, вы платите за увеличение хранилища Dataverse. Расходы на вычисления, такие как обновление данных почти в реальном времени и накладные расходы на управление, также учитываются в хранилище Dataverse. Использование связи с Fabric аналогично наличию реплики ваших данных, доступной почти в реальном времени и только для чтения, которая оптимизирована для получения аналитики.

Запросите эту реплику с помощью T-SQL, Apache Spark, Python, а также других рабочих нагрузок в Fabric. Вы также можете получить доступ к этим данным с помощью любого инструмента, который может использовать T-SQL или данные из Azure Data Lake Storage.

Как клиент Dynamics или Power Apps вы получаете квоту хранилища Dataverse на основе количества приобретенных вами лицензий. Функция связи с Fabric использует эту квоту базы данных. Вы можете приобрести дополнительную емкость хранилища, если объем данных превышает вашу квоту.

Вы можете продолжать использовать службы Azure, предоставляемые по модели "платформа как услуга" (PaaS), такие как Databricks и База данных SQL, в своей собственной подписке. Недавно анонсированные функции Fabric, такие как зеркалирование данных и ярлыки, могут помочь вам еще больше упростить интеграцию данных.

Здесь описаны примеры снижения затрат, достигаемого за счет простоты, обеспечиваемой функцией интеграции Fabric.

Обновление до Azure Synapse Link

Выполнив обновление до Azure Synapse Link и включив преобразование Delta или Parquet, вы можете устранить конвейеры подготовки данных Dataverse в своем решении. Служба Azure Synapse Link экспортирует те же формы данных в учетную запись хранения в более производительном формате Delta или Parquet. Вы можете продолжать использовать существующие инструменты и службы Azure, такие как хранилище и запросы Azure Synapse Analytics с минимальными нарушениями в вашей рабочей среде.

Понимание преимуществ и снижения затрат

Простота, достигаемая с помощью Fabric Link и Azure Synapse Link, позволяет снизить сквозные затраты. Рассмотрим следующие примеры, основанные на предварительном опыте клиентов.

Пример 1. Переход с BYOD или экспорта в озеро данных на связь с Fabric

Рассмотрим случай перехода на связь с Fabric с экспорта в озеро данных.

Как показано на приведенных в этой статье схемах "до" и "после", клиент прекратил использовать службу экспорта в озеро данных (1), а также промежуточные хранилища данных (2) за счет перехода на связь с Fabric. Для оперативной аналитики (4) клиент использовал данные в OneLake непосредственно в Power BI. Некоторая аналитика требует слияния, преобразования и агрегирования данных (3). Вместо использования разрозненных служб Azure клиент стандартизировал одни и те же инструменты, встроенные в Fabric.

Инновации в Dataverse и Fabric позволяют упростить и снизить затраты:

• Dataverse поставляется со встроенным хранилищем OneLake. Операционные данные из Dynamics 365 и Power Apps реплицируются во встроенное озерное хранилище почти в реальном времени (во избежание влияния на операционные рабочие нагрузки) и надежно связываются с Fabric с помощью ярлыков. Нет необходимости использовать хранилище Azure и защищать экспортируемые данные. Ваши данные не выходят за пределы управления Dataverse, и авторизованные пользователи Fabric могут работать с данными, используя все рабочие нагрузки Fabric.
• Экспорт в озеро данных и служба экспорта данных экспортируют данные в формате CSV. Файлы CSV не подходят для прямого потребления из-за низкой производительности запросов, а также периодически возникающих проблем при чтении и записи. Решение, предназначенное для использования перед переходом, использует фабрику данных Azure для периодического приема и преобразования необработанных данных в базе данных SQL Azure или хранилище данных Azure. Этот слой не требуется в решении, предназначенном для использования после перехода, так как встроенные данные OneLake в Dataverse хранятся в формате Delta или Parquet — том же открытом формате, который является нативным для Microsoft Fabric. Формат Delta или Parquet, а также оптимизация в Fabric устраняют необходимость поддерживать дополнительные хранилища данных для кэширования и повышения производительности запросов, одновременно устраняя конфликты при чтении/записи. Вы можете создавать отчеты Power BI с помощью Direct Lake на основе данных в OneLake без каких-либо дополнительных этапов обработки данных.
• Оперативную аналитику можно получить, используя данные, уже доступные в OneLake, но у вас могут быть дополнительные данные из других систем. Эти данные, возможно, потребуется объединить, изменить и агрегировать с данными Dataverse. Fabric предоставляет интегрированную среду, которая предоставляет лучшие в своем классе инструменты, такие как потоки данных, Фабрика данных Azure и Spark. Используйте эти инструменты вместо отдельно используемых инструментов для настройки и развертывания, когда вы применяете инструменты по своему выбору. Интегрированное выставление счетов, контроль версий и безопасность упрощают управление.
• Хотя вы можете продолжать использовать службу Power BI для целей отчетности, Fabric представляет отчеты в режиме Direct Lake, в которых используются индексы в памяти, встроенные в формат Delta или Parquet, тем самым устраняя необходимость использования отчетов режима импорта Power BI.

Эти инновации обеспечивают комплексную экономию средств в дополнение к преимуществам, обсуждавшимся ранее. В таблицах здесь представлены статьи затрат, а также сравнение решений «до» и «после». Вы можете использовать эту таблицу в качестве руководства для оценки ожидаемой экономии затрат.

Пример 2. Обновление до Azure Synapse Link

Обновление до Azure Synapse Link — это вариант, который стоит рассмотреть, если вы в настоящее время не используете Fabric, — или не планируете переход в ближайшие месяцы.

Как показано на приведенных здесь схемах "до" и "после", клиент прекратил использовать службу экспорта в озеро данных (1), а также промежуточные хранилища данных (2) за счет перехода на Azure Synapse Link. Хранилища данных, используемые для промежуточного хранения данных, например промежуточные базы данных SQL Azure, выводятся из эксплуатации, так как данные Dataverse сохраняются в формате Delta или Parquet — более производительном и сжатом формате данных. Нисходящие конвейеры, используемые для слияния, преобразования и агрегирования данных (3), а также инструменты представления (4), такие как Power BI, остаются без изменений.

Azure Synapse Link предоставляет простой путь обновления для клиентов, которые хотят расширить свои существующие инвестиции с минимальными изменениями. Как мы обсуждаем здесь, инновации в Dataverse обеспечивают простой переход от таких служб приложений для управления финансами и операциями, как Export to Data Lake и BYOD.

1. Azure Synapse Link позволяет легко настраивать хранилище Azure и службы Synapse в Power Apps (make.powerapps.com). Некоторые ограничения на экспорт в озеро данных сняты.

   1. Единый интерфейс позволяет выбирать данные из всех приложений Dynamics 365, включая приложения для управления финансами и операциями и приложения Customer Engagement. Вы можете использовать единую службу для экспорта данных из всех приложений Dynamics 365 и Power Apps.
   2. Ограничения, связанные с таблицами при выгрузке в озеро данных, устраняются. Можно выбрать до 1000 таблиц для каждого профиля Azure Synapse Link в рамках одной учетной записи хранения. Вы можете создать несколько профилей (конвейеров экспорта), каждый из которых может содержать до 1000 таблиц.
   3. Azure Synapse Link обеспечивает встроенную поддержку использования учетных записей хранения с ограничениями брандмауэра для экспорта данных.
   4. Нет необходимости настраивать ресурсы Azure. Azure Synapse Link подготавливает и настраивает ресурсы Azure от вашего имени.
   5. Azure Synapse Link экспортирует данные в том же формате, что и "Export to Data Lake" или BYOD, что позволяет сохранить существующие конвейеры.

2. Экспорт в хранилище данных и служба экспорта данных экспортируют данные в формате CSV. Файлы CSV не подходят для прямого потребления из-за низкой производительности запросов, а также периодически возникающих проблем при чтении и записи. Перед переходом используется Фабрика данных Azure для периодического приема и преобразования необработанных данных в базе данных SQL Azure или хранилище данных Azure. Этот уровень не требуется в случае после перехода, так как Azure Synapse Link экспортирует данные в формате Delta или Parquet, что устраняет необходимость в поддержании дополнительных хранилищ данных для кэширования и повышения производительности запросов, устраняя при этом конкуренцию чтения/записи.

3. Продолжайте использовать существующие конвейеры данных для объединения, изменения и агрегирования дополнительных данных из других систем.

4. Продолжайте использовать службу Power BI для отчетности. Fabric представляет отчеты в режиме Direct Lake, в которых используются индексы в памяти, встроенные в формат Delta или Parquet, тем самым устраняя необходимость использования отчетов режима импорта Power BI.

Эти инновации обеспечивают комплексную экономию средств в дополнение к преимуществам, обсуждавшимся ранее. В таблицах здесь представлены статьи затрат, а также сравнение решений «до» и «после». Вы можете использовать таблицу в качестве руководства для оценки ожидаемой экономии затрат.

Пример 3. Итерационная загрузка данных в хранилище данных

Если в настоящее время вы потребляете добавочные данные из функции экспорта в озеро данных для заполнения нисходящего конвейера данных, вы можете продолжать использовать тот же конвейер. Как показано здесь, служба Azure Synapse Link может экспортировать добавочные изменения данных в том же формате, что и канал изменений в службу экспорта в озеро данных.

Служба Azure Synapse Link обеспечивает несколько улучшений по сравнению с экспортом в озеро данных с точки зрения добавочных изменений данных:

• Первоначальная загрузка данных включена в папки изменений. Это позволяет одному и тому же конвейеру легко использовать как начальную загрузку, так и добавочные обновления.
• Данные изменений не удаляются при повторной инициализации таблицы.
• Система создает структуру папок и метаданные с отметкой времени, которые помогают вам считывать изменения в хронологическом порядке. Данные изменений, однажды записанные, никогда не обновляются. Этот подход лучше подходит для обработки изменений с помощью инструментов приема больших данных, таких как Фабрика данных Azure.
• Вы можете настроить частоту обновления каналов изменений в папках с помощью Azure Synapse Link (минимальная частота — каждые пять минут).

При переходе на Fabric или Azure Synapse Link изменение затрат минимально для добавочных изменений данных.

Понимание преимуществ — больше отчетов в режиме реального времени

Fabric не только упрощает архитектуру интеграции данных, но также снижает необходимость копирования или репликации данных. Базовый формат данных в Fabric — стандартный отраслевой формат Delta или Parquet — может напрямую использоваться Power BI, потоками данных, записными книжками и другими рабочими нагрузками, что устраняет необходимость в кэшировании и промежуточном хранении.

При обновлении до Azure Synapse Link и продолжении экспорта данных данные сохраняются в формате Delta или Parquet, что может сократить количество шагов в ваших собственных конвейерах данных для создания оперативной отчетности.

Учитывайте время, необходимое для обновления оперативного отчета, например, анализом запасов или финансовым анализом на конец месяца. Для этих отчетов может потребоваться агрегирование миллионов строк данных из нескольких таблиц в Dynamics 365 Finance. Используя службу «Экспорт в озеро данных», данные CSV экспортируются в течение 10 минут. Эти данные, возможно, потребуется импортировать в отчет Power BI, чтобы сократить время отклика. Обновление Power BI можно выполнять до 24 раз в день (каждые 30 минут). В зависимости от конструкции отчета полное обновление может занять несколько минут. Используя этот подход, пользователи могут увидеть данные в течение 60 минут после обновления. Эти временные рамки являются ориентировочными. Фактическое время синхронизации зависит от таких факторов, как размер начальной нагрузки данных, скорость обработки данных и объем изменений.

Оперативные отчеты, получающие данные с помощью связи с Fabric, могут использовать режим Direct Lake или режим DirectQuery в Fabric, что позволяет использовать индекс в памяти, встроенный в файлы Delta или Parquet. В этих режимах вам не нужно планировать обновление отчетов Power BI, поскольку в отчете всегда отображаются последние данные Dataverse, обновленные в Fabric.

Служба Fabric Link обновляет данные в Dataverse OneLake в течение часа с этого момента. Dataverse запускает задания обновления данных каждые 15 минут, и в зависимости от объема изменений данных вы можете увидеть обновленные файлы Parquet в течение 15–45 минут. Эти временные рамки являются ориентировочными. Фактическое время синхронизации зависит от нескольких факторов, включая начальный размер нагрузки данных, скорость обработки данных и объем изменений. В ситуациях с большими объемами транзакций, такими как процессы в приложениях dynamics 365 finance и operations, создающих миллионы записей за короткое время, или процессы, такие как функция главного планирования, включенная в dynamics 365 Supply Chain Management, которые удаляют и повторно создают большие объемы записей, Synapse Link должны синхронизировать все изменения, включая удаления. В этих сценариях с большим объемом доступность данных в указанных временных интервалах не может быть гарантирована.

Если вы используете инкрементные потоки данных из Dynamics 365 с помощью службы Export to Data Lake для сценариев интеграции данных в почти реальном времени (пример 3). Обновление до Azure Synapse Link позволяет запускать те же конвейеры данных.

Ограничения и изменения в поведении

Возможно, вы обнаружите несколько изменений в форматах таблиц, которые помогут избежать конфликтов. Дополнительная информация: Известные ограничения.

Также убедитесь, что у вас установлены последние обновления, которые устраняют некоторые известные проблемы. Чтобы узнать больше о стратегии развития продукта и быть на связи с командой разработчиков, присоединитесь к группе пользователей предварительной версии в Viva Engage.

Вопросы и ответы

Вопросы? Вы можете обратиться к документу с часто задаваемыми вопросами, опубликованному здесь. Вы также можете присоединиться к еженедельным рабочим часам, оставаться на связи с командой по продукту и форумом клиентов, присоединившись к группе Viva Engage.

См. также

Что такое Azure Synapse Link для Dataverse?

Свяжите свою среду Dataverse с Microsoft Fabric и получите доступ к глубокой аналитике