Функции

Область применения: Databricks Runtime

В Spark SQL есть два типа функций, которые помогают удовлетворить широкий спектр потребностей: встроенные функции и определяемые пользователем функции.

Дополнительные сведения о разрешении функций и вызове функций см. в статье "Вызов функции".

Встроенные функции

В этой статье представлены сведения о применении и описания категорий часто используемых встроенных функций для агрегирования, массивов и сопоставлений, дат и меток времени, а также данных JSON.

• Встроенные функции

Определяемые пользователем функции SQL и Python

Определяемые пользователем функции SQL и Python — это функции, которые можно определить самостоятельно, которые могут возвращать скалярные значения или результирующие наборы.

Дополнительные сведения см. в CREATE FUNCTION (SQL, Python).

Внешние определяемые пользователем функции

Определяемые пользователем функции позволяют определять собственные функции, если встроенные функции системы недостаточно для выполнения требуемой задачи. Чтобы использовать определяемые пользователем функции (UDF), сначала задайте функцию, затем зарегистрируйте ее в Spark и, наконец, вызовите ее. Пользовательская функция (UDF) может работать с одной строкой или несколькими строками одновременно. Spark SQL также поддерживает интеграцию существующих реализаций UDF Hive, определяемых пользователем агрегатных функций (UDAF) и определяемых пользователем функций таблиц (UDTF).

• Определяемые пользователем агрегатные функции (UDAFs)
• Интеграция с определяемыми пользователем функциями (UDF), агрегатными функциями (UDAF) и табличными функциями (UDTF) в Hive
• Внешние определяемые пользователем скалярные функции (UDF)