Обзор конвейера

Конвейеры в Фабрике данных Microsoft Fabric помогают организовать и автоматизировать рабочие процессы данных. Конвейеры — это логические группы действий, которые вместе отвечают за выполнение задачи. Например, трубопровод может содержать набор действий, которые загружают и очищают журнальные данные, а затем запускают поток обработки для их анализа.

Конвейер позволяет управлять действиями как набором вместо каждого из них по отдельности. Вы развертываете и планируете конвейер, а не действия отдельно.

Когда следует использовать конвейеры

Конвейеры решают распространенные проблемы с данными путем автоматизации повторяющихся задач и обеспечения согласованной обработки данных.

Предположим, что вы розничная компания, которая должна обрабатывать ежедневные данные о продажах из нескольких магазинов. Каждый день необходимо:

  1. Сбор данных из систем точки продажи, онлайн-заказов и баз данных инвентаризации
  2. Проверка и очистка данных для обеспечения точности
  3. Преобразование данных путем вычисления ежедневных итогов, применения бизнес-правил и обогащения сведений о клиентах
  4. Загрузка обработанных данных в хранилище данных для создания отчетов
  5. Уведомите группу бизнес-аналитики о готовности данных

Конвейер автоматизирует весь рабочий процесс. Он выполняется по расписанию, грамотно обрабатывает ошибки и обеспечивает прозрачность на каждом этапе. Вы получаете последовательную и своевременную обработку данных без ручного вмешательства.

Ключевые компоненты конвейера

Конвейеры состоят из нескольких ключевых компонентов, которые работают вместе для создания мощных рабочих процессов данных. Основные компоненты включают действия , которые выполняют работу и добавляют логику в конвейер, расписания или триггеры , которые определяют время выполнения конвейеров и параметры , которые делают конвейеры гибкими и повторно используемыми.

Мероприятия

Действия — это основные блоки вашего конвейера. Каждое действие выполняет определенную задачу и существует три основных типа действий:

Вы можете объединить действия для создания сложных рабочих процессов. После завершения одного действия оно может активировать следующее действие в зависимости от успешного выполнения, сбоя или завершения.

Полный список доступных действий и дополнительные сведения см. в обзоре действий.

Запуски трубопровода и планирование

Запуск конвейера происходит, когда конвейер выполняется. Во время выполнения все действия в конвейере обрабатываются и завершаются. Каждый запуск конвейера получает собственный уникальный идентификатор выполнения, который можно использовать для отслеживания и мониторинга.

Конвейер можно запустить тремя способами:

  • Запуск по запросу: выберите "Запустить " в редакторе конвейера, чтобы активировать немедленный запуск. Перед началом конвейера необходимо сохранить все изменения.

    Снимок экрана, показывающий, где выбрать команду

  • Запланированные запуски: настройка автоматических запусков на основе времени и частоты. При создании расписания необходимо указать даты начала и окончания, частоту и часовой пояс.

    Снимок экрана, на котором показано, где выбрать расписание на вкладке

  • Запуски на основе событий: используйте триггеры событий для запуска конвейера при возникновении определенных событий, таких как новые файлы, поступающие в озеро данных или изменения в базе данных.

    Снимок экрана, показывающий, на каком элементе выбрать триггер для добавления триггеров событийного выполнения на домашней вкладке.

Дополнительные сведения см. в разделе "Запуск", "Расписание" или "Запуск конвейера".

Параметры и переменные

Параметры делают конвейеры гибкими. При запуске конвейера можно передавать разные значения, позволяя одному конвейеру обрабатывать различные наборы данных или использовать разные конфигурации.

Переменные хранят временные значения во время выполнения конвейера. Их можно использовать для передачи данных между действиями или принятия решений на основе условий выполнения.

Дополнительные сведения см. в разделе "Использование параметров, выражений и функций в конвейерах".

Мониторинг конвейеров и управление ими

Платформа Fabric обеспечивает комплексный мониторинг ваших рабочих процессов.

  • Мониторинг в режиме реального времени: следите за ходом выполнения конвейера с визуальными индикаторами для состояния каждого действия.
  • Журнал выполнения: просмотрите прошлые выполнения, чтобы определить закономерности и устранить неполадки
  • Метрики производительности: анализ времени выполнения и использования ресурсов для оптимизации конвейеров
  • Аудиторский след: отслеживайте, кто и когда выполнял конвейеры, с подробными журналами времени начала, времени окончания, длительности активности, сообщений об ошибках и происхождения данных.

Дополнительные сведения см. в разделе "Мониторинг запусков конвейера".

Лучшие практики

При проектировании конвейеров рассмотрите следующие рекомендации:

  • Начать с простого: начните с базового перемещения данных и постепенно добавьте сложность
  • Используйте параметры: Сделайте ваши конвейеры повторно используемыми, параметризуя подключения и пути к файлам
  • Обработка ошибок: планирование сбоев с помощью логики повторных попыток и альтернативных путей обработки
  • Мониторинг производительности: регулярно просматривайте время выполнения и оптимизируйте медленные действия
  • Тщательное тестирование. Проверка конвейеров с примерами данных перед обработкой рабочих нагрузок

Дальнейшие шаги

  • Last updated on