Комплексный сценарий фабрики данных: введение и архитектура

Это руководство поможет ускорить процесс оценки фабрики данных в Microsoft Fabric, предоставив пошаговое руководство по полному сценарию интеграции данных в течение одного часа. В конце этого руководства вы узнаете о ценности и ключевых возможностях Фабрики данных и узнаете, как выполнить общий комплексный сценарий интеграции данных.

Обзор: Почему Data Factory в Microsoft Fabric?

В этом разделе вы узнаете в общем о роли Fabric и о роли, которую играет Data Factory в ней.

Общие сведения о значении Microsoft Fabric

Microsoft Fabric предоставляет единый магазин для всех аналитических потребностей для каждого предприятия. Он охватывает полный спектр служб, включая перемещение данных, озеро данных, проектирование данных, интеграцию данных и обработку данных, аналитику в режиме реального времени и бизнес-аналитику. В Fabric нет необходимости объединять разные службы от нескольких поставщиков. Вместо этого пользователи получают комплексный, высоко интегрированный, единый и комплексный продукт, который легко понять, подключить, создать и работать.

Понимание ценности фабрики данных в Microsoft Fabric

Фабрика данных в Fabric объединяет простоту использования Power Query с масштабом и мощностью фабрики данных Azure. Он объединяет лучшие из обоих продуктов в единый интерфейс. Цель заключается в том, чтобы убедиться, что интеграция данных в Factory хорошо работает как для "гражданских" разработчиков данных, так и для профессиональных разработчиков данных. Он предоставляет низкокодовые возможности подготовки и преобразования данных с поддержкой ИИ, преобразование в масштабе петабайтов, сотни соединителей с гибридным и мультиоблачным подключением. Purview обеспечивает управление и функции на уровне предприятия, в том числе обязательства по данным и операциям, CI/CD, управление жизненным циклом приложений и мониторинг.

Общие сведения о трех ключевых функциях фабрики данных

• Прием данных: действие копирования в конвейерах позволяет перемещать данные в масштабах петабайтов из сотен источников данных в хранилище данных Data Lakehouse для дальнейшей обработки.
• Преобразование и подготовка данных: Поток данных 2-го поколения предоставляет удобный интерфейс для низкокодового преобразования ваших данных, используя более чем 300 преобразований данных, с возможностью загрузки преобразованных результатов в несколько мест назначения, таких как базы данных Azure SQL, хранилище данных Lakehouse и многое другое.
• Сквозная автоматизация потока интеграции: конвейеры обеспечивают оркестрацию действий, включающих действия копирования, потока данных и записной книжки, а также другие. Это позволяет управлять действиями в одном месте. Действия в конвейере можно объединить в цепочку для последовательной работы, или они могут работать независимо друг от друга.

В этом комплексном варианте использования интеграции данных вы узнаете:

• Загрузка данных с помощью помощника по копированию в потоке обработки данных
• Как преобразовать данные с помощью потока данных либо с интерфейсом без кода, либо путем написания собственного кода для обработки данных с помощью действия "Скрипт" или "Записная книжка"
• Как автоматизировать весь сквозной поток интеграции данных с помощью конвейера обработки данных с триггерами и действиями гибкого потока управления.

Архитектура

В течение следующих 50 минут вам нужно выполнить комплексный сценарий интеграции данных. Это включает прием необработанных данных из исходного хранилища в бронзовую таблицу Lakehouse, обработку всех данных, перемещение ее в таблицу Gold data Lakehouse, отправку сообщения электронной почты, чтобы уведомить вас после завершения всех заданий, и, наконец, настройка всего потока для выполнения на запланированной основе.

Сценарий делится на три модуля:

• модуль 1. Создание конвейера с Data Factory для загрузки необработанных данных из хранилища Blob в бронзовую таблицу в Data Lakehouse.
• Модуль 2: Преобразование данных с помощью dataflow в Data Factory для обработки необработанных данных из таблицы Bronze и перемещения их в таблицу Gold в Data Lakehouse.
• Модуль 3: Завершение вашего первого пути интеграции данных, чтобы отправить электронное письмо для уведомления вас после завершения всех заданий, и, наконец, настройте весь процесс для его запуска на регулярной основе.

Вы используете пример набора данных NYC-Taxi в качестве источника данных для учебного пособия. После завершения вы сможете получить представление о ежедневных скидках на тарифы на такси за определенный период времени с помощью фабрики данных в Microsoft Fabric.

Связанное содержимое

В этом кратком руководстве по первой интеграции данных с помощью Фабрики данных в Microsoft Fabric вы узнали:

Перейдите к следующему разделу, чтобы создать конвейер данных.