Поделиться через


Что такое проектирование данных в Microsoft Fabric?

Проектирование данных в Microsoft Fabric позволяет пользователям разрабатывать, создавать и поддерживать инфраструктуру и системы, которые позволяют организациям собирать, хранить, обрабатывать и анализировать большие объемы данных.

Microsoft Fabric предоставляет различные возможности проектирования данных, чтобы обеспечить доступность данных, хорошо организованную и высококачественную. На домашней странице проектирования данных можно:

  • Создание данных и управление ими с помощью lakehouse

  • Проектирование конвейеров для копирования данных в lakehouse

  • Использование определений заданий Spark для отправки задания пакетной или потоковой передачи в кластер Spark

  • Использование записных книжек для записи кода для приема данных, подготовки и преобразования

    Снимок экрана: объекты Инжиниринг данных.

Гибридное решение "хранилище и озеро данных"

Lakehouse — это архитектуры данных, которые позволяют организациям хранить структурированные и неструктурированные данные в одном расположении, используя различные инструменты и платформы для обработки и анализа данных. Эти средства и платформы могут включать запросы и аналитику на основе SQL, а также машинное обучение и другие методы расширенной аналитики.

Определение задания Apache Spark

Определения заданий Spark представляют собой набор инструкций, определяющих выполнение задания в кластере Spark. Она содержит такие сведения, как источники входных и выходных данных, преобразования и параметры конфигурации для приложения Spark. Определение задания Spark позволяет отправлять пакетное или потоковое задание в кластер Spark, применять другую логику преобразования к данным, размещенным в lakehouse, вместе со многими другими вещами.

Записная книжка

Записные книжки — это интерактивная среда вычислений, которая позволяет пользователям создавать и совместно использовать документы, содержащие динамический код, уравнения, визуализации и текст повествования. Они позволяют пользователям писать и выполнять код на различных языках программирования, включая Python, R и Scala. Записные книжки можно использовать для приема данных, подготовки, анализа и других задач, связанных с данными.

Конвейер данных

Конвейеры данных — это ряд шагов, которые могут собирать, обрабатывать и преобразовывать данные из необработанной формы в формат, который можно использовать для анализа и принятия решений. Они являются критически важным компонентом проектирования данных, так как они предоставляют способ перемещения данных из источника в его назначение в надежный, масштабируемый и эффективный способ.

Вы можете использовать Инжиниринг данных в Microsoft Fabric бесплатно при регистрации пробной версии Fabric. Вы также можете приобрести емкость Microsoft Fabric или зарезервированную емкость Fabric.

Начало работы с Инжиниринг данных: