Встроенные операторы в конструкторе Lakeflow

Конструктор Lakeflow включает встроенные операторы для общих задач подготовки и преобразования данных. Откройте меню оператора в боковой области слева, чтобы просмотреть операторы по категориям или использовать поиск оператора... в верхней части области. Поиск операторов предлагает операторы на основе вашего намерения. Например, ввод average by month возвращает оператор Агрегата . Чтобы настроить оператор после добавления на холст, дважды щелкните его или наведите указатель мыши на него и щелкните (Изменить оператор), чтобы открыть панель конфигурации.

Каждый оператор отображает созданное ИИ описание того, что он делает. Описание также выступает в качестве редактора для оператора: изменение описания перенастройки оператора для сопоставления описания.

Сведения о создании собственных пользовательских операторов см. в разделе "Определяемые пользователем операторы" в конструкторе Lakeflow.

Источник и выходные данные

Source

Импортирует данные в конструктор из таблицы каталога Unity или другого поддерживаемого источника. Чтобы выбрать источник, найдите таблицу или файл по имени или перейдите по каталогу и схеме. Вы также можете создать новую таблицу на этой панели.

После выбора таблицы на панели отображается имя таблицы, владелец и время последнего обновления. Щелкните "Выбрать новый источник данных", чтобы изменить источник. Изменение источника недействительно кэш выходных данных для всех подчиненных операторов.

Вы также можете использовать представление метрик каталога Unity в качестве источника. При выборе представления метрик выберите измерения и меры для включения, а конструктор создает агрегированный запрос.

Полный спектр параметров приема данных, включая назначение всего тома каталога Unity или папки, см. в конструкторе Lakeflow для приема данных.

Ввод данных

Создает таблицу, введя значения в редактор стилей электронной таблицы. Используйте этот оператор для добавления небольших объемов ссылочных данных, таких как значения подстановки или тестовые данные, без создания отдельной исходной таблицы.

Выходные данные

Экспортирует данные из конструктора. Оператор output может записывать результаты в таблицу каталога Unity, публиковать их в материализованном представлении или записывать их в файл в том каталога Unity. Выберите место назначения с типом вывода.

Для выходных данных таблицы или файла выберите способ выполнения каждой операции записи в место назначения с помощью режима записи:

Нажмите кнопку "Выполнить" , чтобы запустить предварительную подготовку визуальных данных и записать результаты. Для выходных данных таблицы, если таблица не существует, оператор создает его. Запланированные запуски записи в место назначения используют тот же режим записи.

Функция ИИ

Выполняет встроенную операцию искусственного интеллекта для данных. В области конфигурации откройте функцию и выберите одну из функций в следующей таблице. Каждая функция предоставляет параметры в области входных данных (например, столбцы, запросы, метки или языки) и выходные данные.

Для подробностей каждой функции см. раздел «Преобразование неструктурированных данных с использованием функций ИИ».

Transformations

Следующие операторы выполняют преобразования данных.

Aggregate

Суммирует строки путем группировки данных и вычислений статистических значений.

Объединить

Объединяет данные из нескольких таблиц с сопоставлением схем в один выход.

Unique

Удаляет дублирующиеся строки из входных данных. По умолчанию оператор дедуплирует по всем столбцам. Вместо этого можно выбрать подмножество столбцов в качестве ключа и упорядочить строки, чтобы определить, какой дубликат сохраняется.

Фильтр

Разбивает строки на основе того, соответствуют ли они одному или нескольким условиям с помощью графического построителя условий.

Оператор фильтра имеет два выходных данных, чтобы можно было ветвить данные в зависимости от того, соответствуют ли они условиям:

Join

Связывает две таблицы с ключом путем объединения двух входных наборов данных на основе совпадающих значений столбцов.

По умолчанию оператор join имеет три выходных данных, чтобы вы могли ветвить рабочий процесс на основе результатов соединения:

При выборе определенного типа соединения (полный, внутренний, левый или правый) оператор создает один присоединенный результат вместо трех разбиений выходных данных.

Ограничение

Ограничивает количество строк путем передачи только до максимального числа указанных строк.

Pivot

Изменяет табличные данные в двух направлениях. Используйте вкладки в верхней части области конфигурации, чтобы выбрать режим.

Строки → столбцы (сводная таблица)

Преобразует отдельные значения в одном столбце в новые заголовки столбцов, заполненные агрегированными значениями из другого столбца.

Столбцы → строки (unpivot)

Сворачивать один или несколько столбцов в строки.

Включение столбцов

В любом режиме выберите столбцы, которые остаются в выходных данных вместе со сводными или не сводными значениями, и удалите столбцы перед преобразованием. Конструктор выводит фиксированные (группирование) столбцы из столбцов, которые не назначаются ролям сводной таблицы, значения или отмены сводных значений.

Sort

Упорядочивает строки для одного или нескольких столбцов.

SQL

Записывает пользовательский код SQL для любого преобразования, не охватываемого другими операторами.

Поле	Description
Редактор SQL	Введите инструкцию SQL SELECT . Чтобы ссылаться на выходные данные оператора ввода, используйте это имя оператора в качестве имени таблицы в запросе. Рассмотрим пример. SELECT COUNT(*) FROM aggregate_2 WHERE 1 = 1 Нажмите Нажмите кнопку, чтобы открыть полную область кода SQL и узнать, как ваша инструкция вписывается в полный рабочий процесс.
Parameters	Чтобы ссылаться на параметр подготовки визуальных данных, используйте синтаксис маркера именованных параметров, например :environment. Конструктор показывает пример над редактором при открытии оператора для редактирования. См. параметры.

Выбрать

Выбирает, переименовывает и переупорядочения столбцов из входных данных.

Prepare

Очищает и наследует столбцы путем цепочки одного или нескольких действий по входным данным. Нажмите кнопку +Добавить действие и выберите действие. Добавьте столько действий, сколько вам нужно. Они применяются в порядке.

Чтобы удалить действие, наведите указатель мыши на строку и щелкните .

Настраиваемые столбцы

Действие формулы открывает редактор выражений, где можно создать новый столбец или перезаписать существующий столбец с помощью естественного языка или кода SQL. Редактор имеет два поля ввода и двунаправленный:

• Описание. Введите описание естественного языка о том, что нужно сделать в столбце. Конструктор использует Genie для создания соответствующего выражения кода ниже.
• Выражение. Если вы предпочитаете напрямую писать или редактировать код, нажмите кнопку "Изменить выражение". Изменение выражения автоматически создает описание естественного языка.

В редакторе выражений откройте @ меню с входными столбцами оператора и встроенными SQL-функциями. Введите после @ для фильтрации списка, затем выберите запись для её вставки: колонка вставляет своё имя, а функция вставляет свой вызов с курсором, помещённым в скобки. То же @ меню доступно в редакторах выражений других операторов, например, в пользовательских условиях фильтра и присоединения.

Python

Выполняет пользовательские Python (PySpark) для входных данных.

Минимальный шаблон — использовать первые входные данные при наличии или пустой кадр данных в противном случае:

# inputs["data"] is a list of input DataFrames

result = inputs["data"][0] if inputs["data"] else spark.createDataFrame([], "col: string")

Оттуда можно выполнить цепочку операций DataFrame (например, select, filterwithColumnили присоединений) result до окончания назначения или заменить result новым кадром данных, построенным изinputs["data"].

Во время предварительного просмотра выходные данные оператора поступают в панель вывода по мере их производства, включая всё, что вы рендерите display() , и текст, который вы печатаете, чтобы вы могли увидеть результаты до завершения запуска.

Режим предварительного просмотра Python

При создании визуальной подготовки данных Designer постоянно просматривает результаты каждого оператора на выборке ваших данных. Эти превью запускают ваш код на Python так же, как и полный запуск. Это проблема, когда код вызывает побочные эффекты, такие как вызов внешнего API, отправка уведомлений или запись в систему вне Unity Catalog. Обычно не хочется, чтобы эти побочные эффекты проявлялись на каждом превью.

Чтобы ваш код мог отличить эти вещи, прочитайте config["is_preview"], для вас набор булевого дизайнера:

• True Во время предварительного просмотра, чтобы можно было пропустить побочные эффекты.
• False во время полного забега, например, при нажатии Run или во время запланированного забега.

Например, защитить побочные эффекты так, чтобы они действовали только вне превью:

result = inputs["data"][0] if inputs["data"] else spark.createDataFrame([], "col: string")

# Side effects run only on a full run or scheduled job, not during previews.
if not config["is_preview"]:
    write_results_to_external_system(result)

Организации

Note

Добавляет заметку на холсте, чтобы можно было задокументируйте сам рабочий процесс: его назначение, предположения, предостережения или контекст передачи для всех, кто открывает визуальную подготовку данных позже.

Group

Визуальные операторы группировать на холсте, не изменяя способ их обработки, что полезно при росте размера визуальной подготовки данных или отражения логических этапов.

Visualization

Создает визуализацию из входных данных и отрисовывает ее непосредственно на холсте. Подключите оператор визуализации к любому оператору, который создает табличные данные для диаграммы результатов, не выходя из конструктора.

Чтобы настроить визуализацию, откройте оператор и выберите тип визуализации , а затем сопоставите столбцы с диаграммой.

Дополнительные ресурсы

• Создание предварительной подготовки визуальных данных в конструкторе Lakeflow
• Прием данных в конструктор Lakeflow