Получение данных из OneLake
Из этой статьи вы узнаете, как получить данные из OneLake в новую или существующую таблицу.
Необходимые компоненты
- Рабочая область с емкостью с поддержкой Microsoft Fabric
- Лейкхаус
- База данных KQL с разрешениями на редактирование
Копирование пути к файлу из Lakehouse
В переключателе интерфейса выберите Инжиниринг данных.
Выберите среду Lakehouse, содержащую источник данных, который вы хотите использовать.
Поместите курсор в нужный файл и выберите меню "Дополнительно", а затем выберите "Свойства".
Внимание
- Пути к папкам не поддерживаются.
- Подстановочные знаки (*) не поддерживаются.
В разделе URL-адрес выберите значок копирования в буфер обмена и сохраните его где-то, чтобы получить его на следующем шаге.
Вернитесь в рабочую область и выберите базу данных KQL.
Исходный код
На нижней ленте базы данных KQL выберите " Получить данные".
В окне "Получение данных" выбрана вкладка "Источник".
Выберите источник данных из доступного списка. В этом примере вы используете данные из OneLake.
Настройка
Выберите целевую таблицу. Если вы хотите принять данные в новую таблицу, нажмите кнопку +Создать таблицу и введите имя таблицы.
Примечание.
Имена таблиц могут содержать до 1024 символов, включая пробелы, буквенно-цифровые символы, дефисы и символы подчеркивания. Специальные символы не поддерживаются.
В файле OneLake вставьте путь к файлу Lakehouse, скопированный в путь к файлу копирования из Lakehouse.
Примечание.
Вы можете добавить до 10 элементов размером до 1 ГБ.
Выберите Далее.
Проверка
Откроется вкладка "Проверка " с предварительным просмотром данных.
Чтобы завершить процесс приема, нажмите кнопку Готово.
Необязательно.
- Выберите средство просмотра команд, чтобы просмотреть и скопировать автоматические команды, созданные из входных данных.
- Используйте раскрывающийся список файла определения схемы, чтобы изменить файл, из который выводится схема.
- Измените автоматически выведенный формат данных, выбрав нужный формат из раскрывающегося списка. Дополнительные сведения см. в разделе "Форматы данных", поддерживаемые аналитикой в режиме реального времени.
- Изменение столбцов.
- Изучите дополнительные параметры на основе типа данных.
Изменить столбцы
Примечание.
- Для табличных форматов (CSV, TSV, PSV) невозможно сопоставить столбец дважды. Чтобы сопоставить существующий столбец, сначала удалите новый столбец.
- Нельзя изменить тип существующего столбца. При попытке выполнить сопоставление для столбца, имеющего другой формат, могут отобразиться пустые столбцы.
Изменения, которые вы можете внести в таблицу, зависят от следующих параметров:
- Тип таблицы — новая или существующая.
- Тип сопоставления — новое или существующее.
| Тип таблицы | Тип сопоставления | Доступные корректировки |
|---|---|---|
| Новая таблица | Создать сопоставление | Переименование столбца, изменение типа данных, изменение источника данных, преобразование сопоставления, добавление столбца, удаление столбца |
| Существующая таблица | Создать сопоставление | Добавьте столбец (в котором можно изменить тип данных, переименовать и обновить) |
| Существующая таблица | Существующее сопоставление | ничего |
Преобразования сопоставлений
Некоторые сопоставления форматов данных (Parquet, JSON и Avro) поддерживают простые преобразования во время приема. Чтобы применить преобразования сопоставления, создайте или обновите столбец в окне "Изменение столбцов ".
Преобразования сопоставления можно выполнять в столбце строки типа или даты и времени с источником с типом данных int или long. Поддерживаются следующие преобразования сопоставлений:
- DateTimeFromUnixSeconds;
- DateTimeFromUnixMilliseconds;
- DateTimeFromUnixMicroseconds;
- DateTimeFromUnixNanoseconds.
Дополнительные параметры на основе типа данных
Табличные (CSV, TSV, PSV):
При приеме табличных форматов в существующей таблице можно выбрать> схему расширенного сохранения таблицы. Табличные данные не обязательно включают имена столбцов, которые используются для сопоставления исходных данных с существующими столбцами. При проверке этого параметра сопоставление выполняется по порядку, а схема таблицы остается той же. Если этот параметр снят, для входящих данных создаются новые столбцы независимо от структуры данных.
Чтобы использовать первую строку в качестве имен столбцов, выберите "Дополнительно>первая строка" — заголовок столбца.
JSON:
Чтобы определить деление данных JSON, выберите расширенные>вложенные уровни от 1 до 100.
Если выбрать строки JSON расширенного>пропускания с ошибками, данные будут приема в формате JSON. Если этот флажок не выбран, данные будут приема в формате multijson.
Итоги
В окне подготовки данных все три шага помечаются зелеными флажками при успешном завершении приема данных. Вы можете выбрать карточку для запроса, удалить данные приема или просмотреть панель мониторинга сводки приема.
