Поделиться через

Варианты загрузки данных в Fabric Lakehouse

  • Статья

Интерфейс получения данных охватывает все пользовательские сценарии для переноса данных в lakehouse, например:

  • Подключение к существующему серверу SQL и копирование данных в таблицу Delta в "Lakehouse".
  • Отправка файлов с компьютера.
  • Копирование и объединение нескольких таблиц из других лэйкхаусов в новую таблицу Delta.
  • Подключение к источнику потоковой передачи для посадки данных в лейкхаусе.
  • Ссылка на данные без копирования из других внутренних озерных домов или внешних источников.

Различные способы загрузки данных в озерохранилище

В Microsoft Fabric существует несколько способов, как можно загрузить данные в «lakehouse».

  • Отправка файлов с локального компьютера
  • Запуск средства копирования в конвейерах
  • Настройка потока данных
  • Библиотеки Apache Spark в коде записной книжки
  • Потоковая передача событий в режиме реального времени с помощью Eventstream
  • Получение данных из Eventhouse

Отправка локального файла

Вы также можете передать данные, хранящиеся на локальном компьютере. Это можно сделать непосредственно в обозревателе Lakehouse.

Снимок экрана: диалоговое окно отправки файлов в обозревателе Lakehouse.

Копирование инструмента в пайплайнах

Средство копирования — это высоко масштабируемое решение по интеграции данных, которое позволяет подключаться к разным источникам данных и загружать данные в исходном формате или преобразовывать их в таблицу Delta. Инструмент копирования является частью процессов в конвейерах, которые можно изменять разными способами, например, планированием или запуском по событию. Дополнительные сведения см. в разделе "Копирование данных с помощью действия копирования".

Потоки данных

Для пользователей, знакомых с потоками данных Power BI, то же средство доступно для загрузки данных в lakehouse. Вы можете быстро получить доступ к нему из параметра "Получить данные" обозревателя Lakehouse и загрузить данные из более чем 200 соединителей. Для получения дополнительной информации см. Быстрое начало: Создание вашего первого потока данных для получения и преобразования данных.

Код ноутбука

Вы можете использовать доступные библиотеки Spark для подключения к источнику данных напрямую, загрузить данные в DataFrame, а затем сохранить их в озере данных. Этот метод является самым открытым способом загрузки данных в lakehouse, который пользовательский код полностью управляет.

Примечание.

Внешние таблицы Delta, созданные с помощью кода Spark, не будут отображаться в конечной точке аналитики SQL. Используйте сочетания клавиш в пространстве таблиц, чтобы внешние таблицы Delta отображались для конечной точки аналитики SQL. Сведения о создании ярлыка см. в статье Создание ярлыка для файлов или таблиц.

Потоковая передача событий в режиме реального времени с помощью Eventstream

С помощью Eventstream можно получать, обрабатывать и маршрутизировать большие объемы событий в режиме реального времени из различных источников.

Снимок экрана: получение данных в lakehouse из Eventstream.

Чтобы узнать, как добавить lakehouse в качестве места назначения для Eventstream, см. статью «Получение данных из Eventstream в lakehouse».

Для оптимальной производительности потоковой передачи можно передавать данные из Eventstream в Eventhouse, а затем обеспечить доступность OneLake.

Получение данных из Eventhouse

Если включить доступность OneLake для данных в Eventhouse, в OneLake создается разностная таблица. К этой таблице Delta можно получить доступ из lakehouse с помощью ярлыка. Дополнительные сведения см. в разделе "Сочетания клавиш OneLake". Дополнительные сведения см. в статье о доступности Eventhouse OneLake.

Рекомендации при выборе подхода к загрузке данных

Вариант использования Рекомендация
Отправка небольших файлов с локального компьютера Использование локальной отправки файлов
Небольшие данные или конкретный соединитель Использование потоков данных
Большой источник данных Использование средства копирования в конвейерах
Сложные преобразования данных Использование кода записной книжки
Потоковая передача данных Используйте Eventstream для потоковой передачи данных в Eventhouse; включите доступность OneLake и создайте ярлык из Lakehouse
Данные временных рядов Получение данных из Eventhouse

Связанный контент