Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Вы можете добавить в средство визуальной подготовки данных в Lakeflow Designer любые данные, доступные с помощью Azure Databricks.
Все процессы приема данных в Designer начинаются с оператора Source. При открытии области конфигурации оператора Source у вас есть следующие параметры.
Обзор существующих таблиц
Нажмите кнопку "Обзор существующего ", чтобы открыть селектор ресурсов и просмотреть таблицы и тома в каталоге Unity. Используйте эту опцию, если данные уже находятся в Azure Databricks.
Вы также можете выбрать представление метрик каталога Unity в качестве источника. При выборе представления метрик выберите измерения и меры для включения, а конструктор создает агрегированный запрос.
Импортировать папку или том
Вместо отдельного файла оператор Source может нацелить весь том каталога Unity или путь к папке. Конструктор обнаруживает формат из файлов в папке и загружает их в одну таблицу:
- Для структурированных форматов файлов, таких как CSV, JSON, Excel и Parquet, конструктор считывает все файлы и объединяет их строки в одну таблицу.
- Для файлов документов, таких как PDF-файлы, конструктор считывает каждый файл в виде одной строки, поэтому вы получите одну строку для каждого файла.
Перетащите и отпустите локальный файл
Перетащите CSV-файл или Excel с локального компьютера непосредственно на холст. Конструктор отправляет файл в том в каталоге Unity и автоматически создает оператор Source.
Note
Для перетаскивания файлов Excel требуется включить поддержку формата файлов Excel. См. статью "Чтение и потоковая передача Excel файлов".
Создание таблицы из файла
Выберите Создать таблицу из файла в области конфигурации источника, чтобы загрузить локальный CSV-файл или файл Excel и создать из него таблицу каталога Unity. Используйте этот параметр, если требуется, чтобы данные сохранялись в виде управляемой таблицы, а не хранятся в томе. Кроме того, для больших объемов данных это обеспечивает лучшую производительность. Загруженные файлы подлежат ограничению размера тома каталога Unity. См . статью "Работа с файлами в томах каталога Unity".
Импорт из Google Drive
Чтобы импортировать файл из Google Drive, выполните приведенные действия.
- В области конфигурации источника выберите "Импорт" из Google Drive.
- Выберите подключение каталога Unity с доступом к Google Drive.
- Укажите URL-адрес файла.
Для этого требуется подключение каталога Unity, настроенное для доступа к Google Drive. Сведения о настройке подключений см. в разделе "Прием файлов из Google Drive ".
Импорт с SharePoint
Импорт файла из SharePoint:
- В области конфигурации источника выберите Import из SharePoint.
- Выберите подключение каталога Unity, которое имеет доступ к сайту SharePoint.
- Укажите прямую ссылку на файл.
Предупреждение
Чтобы получить правильный URL-адрес, щелкните правой кнопкой мыши файл в SharePoint, выберите Preview и скопируйте URL-адрес из адресной строки браузера. Не используйте ссылку для общего доступа.
Для этого требуется подключение Unity Catalog, настроенное для доступа к SharePoint. Сведения о настройке подключений см. в статье Ingest files from SharePoint.
Использование Lakeflow Connect для дополнительных источников
Если источник данных недоступен непосредственно в конструкторе, установите флажок Lakeflow Connect для управляемого соединителя. Lakeflow Connect поддерживает прием данных из приложений SaaS (Salesforce, Workday, HubSpot и других), баз данных, облачного хранилища и потоковых источников. После приема данных с помощью Lakeflow Connect в таблицу каталога Unity его можно использовать в качестве источника в конструкторе.