Руководство по настройке dbt для хранилища данных Fabric

Применимо к:✅ Хранилище данных в Microsoft Fabric

В этом руководстве описано, как настроить dbt и развернуть первый проект в хранилище Fabric.

Introduction

Платформа с открытым кодом dbt (средство сборки данных) упрощает преобразование данных и инженерию аналитики. Он фокусируется на преобразованиях на основе SQL в уровне аналитики, рассматривая SQL как код. dbt поддерживает управление версиями, модульизацию, тестирование и документацию.

Адаптер dbt для Microsoft Fabric можно использовать для создания проектов dbt, которые затем можно развернуть в хранилище данных Fabric.

Вы также можете изменить целевую платформу для проекта dbt, просто изменив адаптер, например; Проект, созданный для выделенного пула SQL Azure Synapse , можно обновить через несколько секунд до хранилища данных Fabric.

Предварительные требования для адаптера dbt для Microsoft Fabric

Следуйте этому списку, чтобы установить и настроить необходимые компоненты dbt:

1. Python версии 3.7 (или более поздней).

2. Драйвер Microsoft ODBC для SQL Server.

3. Последняя версия адаптера dbt-fabric из репозитория PyPI (индекс пакета Python) с помощью pip install dbt-fabric.

   pip install dbt-fabric
   

   Примечание

   Изменив pip install dbt-fabricpip install dbt-synapse и используя приведенные ниже инструкции, можно установить адаптер dbt для выделенного пула SQL Synapse.

4. Убедитесь, что dbt-fabric и его зависимости устанавливаются с помощью pip list команды:

   pip list
   

   Длинный список пакетов и текущих версий должен быть возвращен из этой команды.

5. Если у вас еще нет, создайте хранилище. Вы можете использовать пробную емкость для этого упражнения: зарегистрируйте бесплатную пробную версию Microsoft Fabric, создайте рабочую область и создайте хранилище.

Начало работы с адаптером dbt-fabric

В этом руководстве используется Visual Studio Code, но вы можете использовать предпочитаемое средство.

1. Клонируйте на ваш компьютер демонстрационный проект dbt jaffle_shop.

   • Вы можете клонировать репозиторий, используя встроенное средство управления версиями в Visual Studio Code.
   • Или, например, можно использовать git clone команду:

   git clone https://github.com/dbt-labs/jaffle-shop-classic.git
   

2. Откройте папку jaffle_shop проекта в Visual Studio Code.

   

3. Вы можете пропустить регистрацию, если вы уже создали хранилище.

4. Создайте файл profiles.yml . Добавьте следующую конфигурацию в profiles.yml. Этот файл настраивает подключение к хранилищу в Microsoft Fabric с помощью адаптера dbt-fabric.

   config:
     partial_parse: true
   jaffle_shop:
     target: fabric-dev
     outputs:    
       fabric-dev:
         authentication: CLI
         database: <put the database name here>
         driver: ODBC Driver 18 for SQL Server
         host: <enter your SQL analytics endpoint here>
         schema: dbo
         threads: 4
         type: fabric
   

   Примечание

   При желании измените type с fabric на synapse, чтобы переключить адаптер базы данных на Azure Synapse Analytics. Любую существующую платформу данных проекта dbt можно обновить, изменив адаптер базы данных. Для получения дополнительной информации см. список поддерживаемых dbt платформ данных.

5. Проведите аутентификацию в Azure через терминал Visual Studio Code.

   • Запустите az login в терминале Visual Studio Code, если вы используете проверку подлинности Azure CLI.
   • Для аутентификации учетной записи службы или другого идентификатора Microsoft Entra (ранее Azure Active Directory) в Microsoft Fabric обратитесь к настройке dbt (средство сборки данных) и конфигурации ресурсов dbt. Дополнительные сведения см. в статье "Проверка подлинности Microsoft Entra" в качестве альтернативы проверке подлинности SQL в Microsoft Fabric.

6. Теперь вы готовы проверить подключение. Чтобы проверить подключение к хранилищу, запустите dbt debug в терминале Visual Studio Code.

   dbt debug
   

   

   Все проверки пройдены, что означает, что вы можете подключить хранилище данных с помощью адаптера dbt-fabric из jaffle_shop проекта dbt.

7. Теперь пришло время проверить, работает ли адаптер. Сначала выполните dbt seed, чтобы вставить примеры данных в хранилище.

   

8. Запустите dbt run , чтобы запустить модели, определенные в демонстрационном проекте dbt.

   dbt run
   

   

9. Запустите dbt test, чтобы проверить данные с помощью некоторых тестов.

   dbt test
   

   

Теперь вы развернули проект dbt в хранилище данных Fabric.

Перемещение между различными складами

Это простое перемещение проекта dbt между различными хранилищами. Проект dbt в любом поддерживаемом хранилище можно быстро перенести с помощью этого трехэтапного процесса:

1. Установите новый адаптер. Дополнительные сведения и полные инструкции по установке см. в разделе "Адаптеры dbt".

2. Обновите свойство type в файле profiles.yml.

3. Создайте проект.

dbt в Фабрике данных Fabric

При интеграции с Apache Airflow, широко используемой системой управления рабочими процессами, dbt становится мощным средством для оркестрации преобразований данных. Возможности планирования и управления задачами Airflow позволяют командам данных автоматизировать запуски dbt. Он обеспечивает регулярное обновление данных и поддерживает согласованный поток высококачественных данных для анализа и отчетности. Этот объединенный подход, используя опыт преобразования dbt с управлением рабочими процессами Airflow, обеспечивает эффективные и надежные конвейеры, что в конечном итоге приводит к более быстрым и более аналитическим решениям, управляемым данными.

Apache Airflow — это платформа с открытым исходным кодом, используемая для программного создания, планирования и мониторинга сложных рабочих процессов данных. Он позволяет определить набор задач, которые называются операторами, которые можно объединить в ациклические графы (DAG) для представления конвейеров.

Для получения дополнительной информации о введении в эксплуатацию dbt совместно с вашим хранилищем, см. статью "Преобразование данных с использованием dbt и Data Factory в Microsoft Fabric".

Соображения

Важно учитывать при использовании адаптера dbt-fabric:

• Просмотрите текущие ограничения в хранилище данных Microsoft Fabric.

• Fabric поддерживает аутентификацию с помощью Microsoft Entra ID (ранее Azure Active Directory) для учетных записей пользователей, удостоверений пользователей и учетных записей служб. Рекомендуемый режим проверки подлинности для интерактивной работы с данными в хранилище — CLI (интерфейсы командной строки), а для автоматизации — использование служебных учетных записей.

• Просмотрите команды T-SQL (Transact-SQL), которые не поддерживаются в хранилище данных Fabric.

• Некоторые команды T-SQL поддерживаются адаптером dbt-fabric с помощью Create Table as Select (CTAS), DROP, и CREATE команд, таких как ALTER TABLE ADD/ALTER/DROP COLUMN, MERGE, TRUNCATE, sp_rename.

• Просмотрите неподдерживаемые типы данных , чтобы узнать о поддерживаемых и неподдерживаемых типах данных.

• Вы можете регистрить проблемы с адаптером dbt-fabric на сайте GitHub, перейдя на страницу "Проблемы" · microsoft/dbt-fabric · GitHub.

Следующий шаг

Связанный контент

• Что такое Fabric Data Warehouse?
• Руководство по созданию хранилища в Microsoft Fabric
• Руководство. Преобразование данных с помощью хранимой процедуры
• Контроль исходного кода с помощью Warehouse