Загрузка данных в таблицы Delta Lake

На портале Fabric можно использовать загрузку таблиц из домашней страницы Lakehouse для преобразования CSV-файлов или Parquet в таблицы Delta.

Примечание.

В текущем потоке загрузки таблиц нельзя определить настраиваемую схему столбцов (например, явные имена столбцов и типы данных) на домашней странице Lakehouse. Используйте записную книжку, если требуется явное управление схемой столбцов.

Что можно сделать на портале Fabric

На портале Fabric главная страница Lakehouse поддерживает следующие действия при использовании функции Загрузка в таблицы:

  • Начните с одного файла или папки.
  • Загрузите новую таблицу или существующую таблицу.
  • Загрузите данные CSV или Parquet и сохраните выходные данные в разностном формате с помощью оптимизации V-Order.

Поэтапное поведение полей (включая такие варианты как тип файла, добавление/перезапись, заголовок столбца и разделитель) см. в разделе "Поля по пути загрузки".

Снимок экрана: параметр загрузки в новую таблицу Delta

Поля по пути загрузки

При использовании Load to tables заголовок диалогового окна и поля изменяются в зависимости от вашего выбранного пути:

  • Источник: файл или папка.
  • Целевой объект: новая таблица или существующая таблица.
  • Формат: CSV или Parquet.

Заголовки диалогов следуют этим вариантам (например, загрузка файла в новую таблицу, загрузка папки в новую таблицу, загрузка файла в существующую таблицу или загрузка папки в существующую таблицу).

Поля по сценарию

Используйте следующую таблицу, чтобы быстро определить, какие поля отображаются для каждого сценария загрузки, какие значения следует предоставить и как работает проверка.

Поле Когда вы видите его Что нужно ввести или выбрать Проверка и поведение
Схема (раскрывающийся список) Новые таблицы и существующие пути к таблице Пространство имен схемы «Destination Lakehouse» Выберите пространство имен, в котором создается или обновляется таблица.
Новое имя таблицы Только новые пути к таблице Имя целевой таблицы Delta Используйте буквенно-цифровые символы и символы подчеркивания (_) только до 256 символов. Дефисы (-) и пробелы не допускаются.
Режим загрузки (добавление или перезапись) Только существующие пути к таблицам Как загрузить данные в выбранную существующую таблицу Нажмите кнопку "Добавить" , чтобы добавить строки или перезаписать для замены существующих данных.
Тип файла Только пути к папкам Формат загрузки папки (CSV или Parquet) Все файлы в одном действии загрузки папки должны соответствовать выбранному типу файла.
Заголовок столбца (флажок) Только пути CSV Следует ли использовать первую строку в качестве имен столбцов При проверке Структура использует значения первой строки в качестве имен столбцов. Если не установлен флажок (или заголовки не существуют), Структура назначает такие значения по умолчанию, как _c0, _c1_c2.
Разделитель (текстовое поле) Только пути CSV Значение разделителя CSV Не может быть пустым, не может быть длиннее 8 символов и не может содержать (, ), []{}'"или пробелы.
Имена столбцов (результирующие имена) Пути CSV после обработки заголовков Полученные имена столбцов из заголовков файла или значений по стандарту Имена могут содержать английские буквы (верхний или нижний регистр), символы подчеркивания (_) и символы UTF (например, китайский), до 128 символов. Недопустимые символы заменяются символами подчеркивания. Если допустимое имя не удается создать, загрузка завершается ошибкой.

После установки необходимых полей для пути выберите "Загрузить".