Databricks Runtime 11.0 (EoS)

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 11.0 на платформе Apache Spark 3.3.0. Databricks выпустила эту версию в июне 2022 года.

Новые функции и внесенные улучшения

• Новая версия Apache Spark
• Записные книжки Python теперь используют ядро IPython
• Поддержка ipywidgets
• Соединитель Synapse теперь записывает данные Parquet в неустаревшем режиме
• Схема HTTPS теперь принудительно применяется, когда клиент ABFS использует маркер SAS
• SQL: DESC теперь является псевдонимом для DESCRIBE
• SQL: новая функция current_version выводит сведения о версии
• При попытке удалить отсутствующие ограничения на уровне таблицы Delta теперь возникает ошибка
• SQL: новое предложение EXCEPT в выражении SELECT исключает столбцы из выборки
• Поддержка удаления столбцов в таблицах Delta (общедоступная предварительная версия)
• Улучшения COPY INTO
• CONVERT TO DELTA теперь поддерживается в средах с поддержкой каталога Unity (общедоступная предварительная версия)

Новая версия Apache Spark

Databricks Runtime 11.0 и Databricks Runtime 11.0 Photon включают Apache Spark 3.3.0. Более подробную информацию см. в разделе Apache Spark.

Записные книжки Python теперь используют ядро IPython

В Databricks Runtime версии 11.0 и выше записные книжки Python используют ядро IPython для выполнения кода Python. См. статью Ядро IPython.

Поддержка ipywidgets

С помощью ipywidgets вы теперь можете сделать записные книжки Databricks Python интерактивными. См. статью ipywidgets.

Соединитель Synapse теперь записывает данные Parquet в неустаревшем режиме

Теперь соединитель Synapse записывает данные Parquet в неустаревшем режиме. Он сохраняет формат метки времени INT96 при использовании команд PolyBase и COPY для рабочих нагрузок пакетной и потоковой передачи.

Схема HTTPS теперь принудительно применяется, когда клиент ABFS использует маркер SAS

Теперь когда клиент Azure Blob File System (ABFS) использует маркер подписанного URL-адреса (SAS), принудительно применяется схема HTTPS.

SQL: DESC теперь является псевдонимом для DESCRIBE

Теперь DESC можно использовать в качестве псевдонима для DESCRIBE при описании внешних расположений или учетных данных хранилища. Например:

-- Describe an external location.
DESC EXTERNAL LOCATION location_name;

-- Describe a storage credential.
DESC STORAGE CREDENTIAL credential_name;

SQL: новая функция current_version выводит сведения о версии

Новая функция current_version выводит текущую версию Databricks Runtime и Databricks SQL (если они доступны), а также другие связанные сведения о версиях. Используйте эту новую функцию для запроса информации о версии. См. current_version функцию.

При попытке удалить отсутствующие ограничения на уровне таблицы Delta теперь возникает ошибка

Если вы попытаетесь удалить ограничение на уровне таблицы Delta по имени, но такое ограничение не существует, появится ошибка. Чтобы вернуть предыдущее поведение, которое не приводило к появлению ошибки при отсутствии ограничения, теперь необходимо использовать инструкцию IF EXISTS. См. ALTER TABLE.

SQL: новое предложение EXCEPT в выражении SELECT исключает столбцы из выборки

Инструкции SELECT теперь поддерживают предложение EXCEPT для исключения столбцов из выборки. Например, SELECT * EXCEPT (x) FROM table возвращает все столбцы из table, кроме x. Также разрешены вложенные столбцы. Например, SELECT * EXCEPT (x.a) FROM table возвращает все tableстолбцы, но не указывает поле a из структуры x.

Поддержка удаления столбцов в таблицах Delta (общедоступная предварительная версия)

Можно использовать ALTER TABLE <table-name> DROP COLUMN [IF EXISTS] <column-name> или ALTER TABLE <table-name> DROP COLUMNS [IF EXISTS] (<column-name>, *) для удаления столбцов или списка столбцов, соответственно, из таблицы Delta в качестве операции, применимой только к метаданным. По сути, столбцы будут "обратимо удалены", так как они по-прежнему находятся в базовых файлах Parquet, но больше не доступны таблице Delta.

С помощью REORG TABLE <table-name> APPLY (PURGE) можно активировать перезапись файлов, содержащих любые обратимо удаленные данные, например удаленные столбцы.

С помощью VACUUM можно удалить удаленные файлы из физического хранилища, включая старые файлы, которые содержат удаленные столбцы и были перезаписаны REORG TABLE.

Улучшения COPY INTO

Теперь можно создать пустые таблицы-заполнители Delta, чтобы в дальнейшем вывести схему при выполнении команды COPY INTO.

CREATE TABLE IF NOT EXISTS my_table
[COMMENT <table-description>]
[TBLPROPERTIES (<table-properties>)];

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true');

Предыдущая инструкция SQL является идемпотентной, и выполнить ее для приема данных в таблицу Delta можно только один раз.

Если принимаемые данные не удается прочитать в связи с повреждением, эти поврежденные файлы можно пропустить, задав для ignoreCorruptFiles значение true в FORMAT_OPTIONS:

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('ignoreCorruptFiles' = 'true')

Команда COPY INTO возвращает количество файлов, пропущенных из-за повреждения в столбце num_skipped_corrupt_files. Эта метрика также отображается в столбце operationMetrics под заголовком numSkippedCorruptFiles после запуска DESCRIBE HISTORY в таблице Delta.

COPY INTO не отслеживает поврежденные файлы, поэтому, если повреждение исправлено, их можно перезагрузить в последующем запуске. Чтобы посмотреть, какие файлы повреждены, выполните команду COPY INTO в режиме VALIDATE.

CONVERT TO DELTA теперь поддерживается в средах с поддержкой каталога Unity (общедоступная предварительная версия)

В средах с поддержкой каталога Unity инструкция CONVERT TO DELTA теперь позволяет:

• Преобразовать файлы Parquet во внешних расположениях в Delta Lake.
• Преобразовать внешние таблицы Parquet в таблицы Delta.

Изменения в работе

• SQL: функции lpad и rpad теперь поддерживают последовательности байтов
• Для строкового формата в format_string и printf больше не допускается %0$
• Значения NULL в CSV-файлах теперь по умолчанию записываются как пустые строки без кавычек
• Свойство external таблицы теперь является зарезервированным
• Библиотека Log4j обновлена с версии Log4j 1 до Log4j 2
• Библиотеки, установленные из Maven, теперь разрешаются в плоскости вычислений по умолчанию.

SQL: функции lpad и rpad теперь поддерживают последовательности байтов

Функции lpad и rpad были обновлены для добавления поддержки последовательностей байтов в дополнение к последовательности строк.

Для строкового формата в format_string и printf больше не допускается %0$

При указании формата %0$ в функциях format_string и printf теперь по умолчанию возникает ошибка. Это изменение предназначено для сохранения ожидаемого поведения в предыдущих версиях Databricks Runtime и распространенных сторонних базах данных. Если вы используете индекс аргумента для указания позиции аргумента в списке аргументов, первый аргумент всегда должен ссылаться на %1$.

Значения NULL в CSV-файлах теперь по умолчанию записываются как пустые строки без кавычек

Ранее значения NULL в CSV-файлах записывались как пустые строки в кавычках. В этом выпуске значения NULL в CSV-файлах теперь по умолчанию записываются как пустые строки без кавычек. Чтобы вернуться к предыдущему поведению, задайте параметру nullValue значение "" для операций записи.

Свойство external таблицы теперь является зарезервированным

Теперь свойство external по умолчанию является зарезервированным свойством таблицы. При использовании свойства external с предложениями CREATE TABLE ... TBLPROPERTIES и ALTER TABLE ... SET TBLPROPERTIES теперь возникают исключения.

Библиотека Log4j обновлена с версии Log4j 1 до Log4j 2

Библиотека Log4j 1 была обновлена до версии Log4j 2. Устаревшие зависимости Log4j 1 удаляются.

Если вы используете зависимости от классов Log4j 1, которые ранее были включены в Databricks Runtime, учтите, что эти классы больше не существуют. Вам нужно обновить зависимости до версии Log4j 2.

Если у вас есть пользовательские подключаемые модули или файлы конфигурации, которые зависят от Log4j 2, возможно, они не будут работать с версией Log4j 2 в этом выпуске. Чтобы получить помощь, обратитесь к группе учетных записей Azure Databricks.

Библиотеки, установленные из Maven, теперь разрешаются в плоскости вычислений по умолчанию.

Библиотеки Maven теперь разрешаются в плоскости вычислений по умолчанию при установке библиотек в кластере. Кластер должен иметь доступ к Maven Central. Кроме того, можно вернуться к предыдущему поведению, задав свойство конфигурации Spark:

spark.databricks.libraries.enableMavenResolution false

Исправления ошибок

• Двоичная совместимость для LeafNode, UnaryNode и BinaryNode между Apache Spark и Databricks Runtime исправлена, а классы теперь совместимы с Apache Spark 3.3.0 и более поздних версий. Если при использовании пакета стороннего разработчика с Databricks Runtime возникает следующее или аналогичное сообщение, перестройте пакет с помощью Apache Spark 3.3.0 или более поздней версии: Found interface org.apache.spark.sql.catalyst.plans.logical.UnaryNode, but class was expected.

Обновления библиотек

• Обновленные библиотеки Python:
  • platformdirs, с версии 2.5.1 до 2.5.2;
  • protobuf, с версии 3.20.0 до 3.20.1.
• Обновленные библиотеки R:
  • blob, с версии 1.2.2 до 1.2.3;
  • broom, с версии 0.7.12 до 0.8.0;
  • caret, с версии 6.0-91 до 6.0-92;
  • cli, с версии 3.2.0 до 3.3.0;
  • dplyr, с версии 1.0.8 до 1.0.9;
  • future, с версии 1.24.0 до 1.25.0;
  • future.apply, с версии 1.8.1 до 1.9.0;
  • gert, с версии 1.5.0 до 1.6.0;
  • ggplot2, с версии 3.3.5 до 3.3.6;
  • glmnet, с версии 4.1-3 до 4.1-4;
  • haven, с версии 2.4.3 до 2.5.0;
  • httr, с 1.4.2 до 1.4.3;
  • knitr, с версии 1.38 до 1.39;
  • magrittr, с версии 2.0.2 до 2.0.3;
  • parallelly, с версии 1.30.0 до 1.31.1;
  • ps, с версии 1.6.0 до 1.7.0;
  • RColorBrewer, с версии 1.1-2 до 1.1-3;
  • RcppEigen, с версии 0.3.3.9.1 до 0.3.3.9.2;
  • readxl, с версии 1.3.1 до 1.4.0;
  • rmarkdown, с версии 2.13 до 2.14;
  • rprojroot, с версии 2.0.2 до 2.0.3;
  • RSQLite, с версии 2.2.11 до 2.2.13;
  • scales, с версии 1.1.1 до 1.2.0;
  • testthat, с версии 3.1.2 до 3.1.4;
  • tibble, с версии 3.1.6 до 3.1.7;
  • tinytex, с версии 0.37 до 0.38;
  • tzdb, с версии 0.2.0 до 0.3.0;
  • uuid, с версии 1.0-4 до 1.1-0;
  • vctrs, с версии 0.3.8 до 0.4.1;
• Обновленные библиотеки Java:
  • com.fasterxml.jackson.core.jackson-annotations, с версии 2.13.0 до 2.13.3;
  • com.fasterxml.jackson.core.jackson-core, с версии 2.13.0 до 2.13.3;
  • com.fasterxml.jackson.core.jackson-databind, с версии 2.13.0 до 2.13.3;
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor, с версии 2.13.0 до 2.13.3;
  • com.fasterxml.jackson.datatype.jackson-datatype-joda, с версии 2.13.0 до 2.13.3;
  • com.fasterxml.jackson.module.jackson-module-paranamer, с версии 2.13.0 до 2.13.3;
  • com.fasterxml.jackson.module.jackson-module-scala_2.12, с версии 2.13.0 до 2.13.3;
  • com.google.crypto.tink.tink, с версии 1.6.0 до 1.6.1;
  • com.ning.compress-lzf, с версии 1.0.3 до 1.1;
  • dev.ludovic.netlib.arpack, с версии 2.2.0 до 2.2.1;
  • dev.ludovic.netlib.blas, с версии 2.2.0 до 2.2.1;
  • dev.ludovic.netlib.lapack, с версии 2.2.0 до 2.2.1;
  • io.netty.netty-all, с версии 4.1.73.Final до 4.1.74.Final;
  • io.netty.netty-buffer, с версии 4.1.73.Final до 4.1.74.Final;
  • io.netty.netty-codec, с версии 4.1.73.Final до 4.1.74.Final;
  • io.netty.netty-common, с версии 4.1.73.Final до 4.1.74.Final;
  • io.netty.netty-handler, с версии 4.1.73.Final до 4.1.74.Final;
  • io.netty.netty-resolver, с версии 4.1.73.Final до 4.1.74.Final;
  • io.netty.netty-tcnative-classes, с версии 2.0.46.Final до 2.0.48.Final;
  • io.netty.netty-transport, с версии 4.1.73.Final до 4.1.74.Final;
  • io.netty.netty-transport-classes-epoll, с версии 4.1.73.Final до 4.1.74.Final;
  • io.netty.netty-transport-classes-kqueue, с версии 4.1.73.Final до 4.1.74.Final;
  • io.netty.netty-transport-native-epoll-linux-aarch_64, с версии 4.1.73.Final до 4.1.74.Final;
  • io.netty.netty-transport-native-epoll-linux-x86_64, с версии 4.1.73.Final до 4.1.74.Final;
  • io.netty.netty-transport-native-kqueue-osx-aarch_64, с версии 4.1.73.Final до 4.1.74.Final;
  • io.netty.netty-transport-native-kqueue-osx-x86_64, с версии 4.1.73.Final до 4.1.74.Final;
  • io.netty.netty-transport-native-unix-common, с версии 4.1.73.Final до 4.1.74.Final;
  • joda-time.joda-time, с версии 2.10.12 до 2.10.13;
  • org.apache.commons.commons-math3, с версии 3.4.1 до 3.6.1;
  • org.apache.httpcomponents.httpcore, с версии 4.4.12 до 4.4.14;
  • org.apache.orc.orc-core, с версии 1.7.3 до 1.7.4;
  • org.apache.orc.orc-mapreduce, с версии 1.7.3 до 1.7.4;
  • org.apache.orc.orc-shims, с версии 1.7.3 до 1.7.4;
  • org.eclipse.jetty.jetty-client, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
  • org.eclipse.jetty.jetty-continuation, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
  • org.eclipse.jetty.jetty-http, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
  • org.eclipse.jetty.jetty-io, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
  • org.eclipse.jetty.jetty-jndi, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
  • org.eclipse.jetty.jetty-plus, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
  • org.eclipse.jetty.jetty-proxy, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
  • org.eclipse.jetty.jetty-security, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
  • org.eclipse.jetty.jetty-server, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
  • org.eclipse.jetty.jetty-servlet, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
  • org.eclipse.jetty.jetty-servlets, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
  • org.eclipse.jetty.jetty-util, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
  • org.eclipse.jetty.jetty-util-ajax, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
  • org.eclipse.jetty.jetty-webapp, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
  • org.eclipse.jetty.jetty-xml, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
  • org.eclipse.jetty.websocket.websocket-api, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
  • org.eclipse.jetty.websocket.websocket-client, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
  • org.eclipse.jetty.websocket.websocket-common, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
  • org.eclipse.jetty.websocket.websocket-server, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
  • org.eclipse.jetty.websocket.websocket-servlet, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
  • org.mariadb.jdbc.mariadb-java-client, с версии 2.2.5 до 2.7.4;
  • org.postgresql.postgresql, с версии 42.2.19 до 42.3.3;
  • org.roaringbitmap.RoaringBitmap, с версии 0.9.23 до 0.9.25;
  • org.roaringbitmap.shims, с версии 0.9.23 до 0.9.25;
  • org.rocksdb.rocksdbjni, с версии 6.20.3 до 6.24.2;
  • org.slf4j.jcl-over-slf4j, с версии 1.7.32 до 1.7.36;
  • org.slf4j.jul-to-slf4j, с версии 1.7.32 до 1.7.36;
  • org.slf4j.slf4j-api, с версии 1.7.30 до 1.7.36;

Apache Spark

Databricks Runtime 11.0 включает Apache Spark 3.3.0.

В этом разделе рассматриваются следующие вопросы.

• Spark SQL и Core
• Структурированная потоковая передача
• PySpark
• MLlib
• SparkR
• Пользовательский интерфейс
• Сборка

Spark SQL и Core

Режим ANSI

• Новые правила синтаксиса явного приведения в режиме ANSI (SPARK-33354)
• Elt() теперь возвращает значение NULL, если индекс имеет значение NULL в режиме ANSI (SPARK-38304)
• Дополнительный возврат результата NULL, если элемент не существует в массиве или сопоставлении (SPARK-37750)
• Разрешено приведение между числовым типом и типом метки времени (SPARK-37714)
• Отключение зарезервированных ключевых слов ANSI по умолчанию (SPARK-37724)
• Использование правил назначения хранилища для разрешения вызова функции (SPARK-37438)
• Добавление конфигурации, которая разрешает приведение между значениями даты и времени и числовыми значениями (SPARK-37179)
• Добавление конфигурации, с помощью которой можно при необходимости принудительно применить зарезервированные ключевые слова ANSI (SPARK-37133)
• Запрет двоичных операций между интервалом и строковым литералом (SPARK-36508)

Усовершенствования функций

• Поддержка типов ANSI SQL INTERVAL (SPARK-27790)
• Улучшения сообщений об ошибках (SPARK-38781)
• Поддержка скрытых метаданных файлов для Spark SQL (SPARK-37273)
• Поддержка необработанного строкового литерала (SPARK-36371)
• Вспомогательный класс для пакетной обработки с помощью Dataset.observe() (SPARK-34806)
• Поддержка указания начального номера секции для повторной балансировки (SPARK-38410)
• Добавлена поддержка каскадного режима для API dropNamespace (SPARK-37929)
• Разрешение назначения хранилища и неявного приведения типов даты и времени (SPARK-37707)
• Collect, first и last должны быть детерминированными агрегатными функциями (SPARK-32940)
• Добавление ExpressionBuilder для функций со сложными перегрузками (SPARK-37164)
• Добавление поддержки массивов в объединение по имени (SPARK-36546)
• Добавление df.withMetadata: синтаксическое сокращение для обновления метаданных кадра данных (SPARK-36642)
• Поддержка необработанного строкового литерала (SPARK-36371)
• Использование CAST для синтаксического анализа дат и меток времени с шаблоном по умолчанию (SPARK-36418)
• Поддержка класса значений во вложенной схеме для набора данных (SPARK-20384)
• Добавление поддержки синтаксиса AS OF (SPARK-37219)
• Добавьте REPEATABLE в TABLESAMPLE, чтобы указать начальное значение (SPARK-37165)
• Добавление синтаксиса ANSI set catalog xxx для изменения текущего каталога (SPARK-36841)
• Поддержка ILIKE (ALL | ANY | SOME) — LIKE без учета регистра (SPARK-36674, SPARK-36736, SPARK-36778)
• Поддержка отображения статистики времени выполнения на этапе запроса в форматированном режиме объяснения (SPARK-38322)
• Добавление метрик размера сброса для соединения слиянием сортированных списков (SPARK-37726)
• Обновление синтаксиса SQL SHOW FUNCTIONS (SPARK-37777)
• Поддержка синтаксиса команды DROP COLUMN [IF EXISTS] (SPARK-38939)
• Новые встроенные функции и их расширения (SPARK-38783)
  • Дата и время
    • Добавление функции TIMESTAMPADD() (SPARK-38195)
    • Добавление функции TIMESTAMPDIFF() (SPARK-38284)
    • Добавление псевдонима DATEDIFF() для TIMESTAMPDIFF() (SPARK-38389)
    • Добавление псевдонима DATEADD() для TIMESTAMPADD() (SPARK-38332)
    • Добавление функции convert\_timezone() (SPARK-37552, SPARK-37568)
    • Предоставление выражения make_date в functions.scala (SPARK-36554)
  • Функции AES (SPARK-12567)
    • Добавление встроенных функций aes_encrypt и aes_decrypt (SPARK-12567)
    • Поддержка режима GCM в aes\_encrypt()/aes\_decrypt() (SPARK-37591)
    • Установка GCM в качестве режима по умолчанию в aes\_encrypt()/aes\_decrypt() (SPARK-37666)
    • Добавление аргументов mode и padding в aes\_encrypt()/aes\_decrypt() (SPARK-37586)
  • Функция агрегирования ANSI (SPARK-37671)
    • Поддержка агрегатной функции ANSI: regr_count (SPARK-37613)
    • Поддержка агрегатной функции ANSI: regr_avgx и regr_avgy (SPARK-37614)
    • Поддержка функции агрегирования ANSI: percentile_cont (SPARK-37676, SPARK-38219)
    • Поддержка функции агрегирования ANSI: percentile_disc (SPARK-37691)
    • Поддержка агрегатной функции ANSI: regr_count (SPARK-37613)
    • Поддержка агрегатной функции ANSI: array_agg (SPARK-27974)
    • Поддержка агрегатной функции ANSI: regr_r2 (SPARK-37641)
    • Новая функция SQL: try_avg (SPARK-38589)
  • Коллекции
    • Добавление функции SQL ARRAY_SIZE (SPARK-38345)
    • Новая функция SQL: map_contains_key (SPARK-37584)
    • Новая функция SQL: try_element_at (SPARK-37533)
    • Новая функция SQL: try_sum (SPARK-38548)
  • Формат
    • Добавлена новая функция SQL to_binary (SPARK-37507, SPARK-38796)
    • Новая функция SQL: try_to_binary (SPARK-38590, SPARK-38796)
    • Функции форматирования типов данных: to\_number (SPARK-28137)
  • Строка/Двоичный
    • Добавление строковой функции CONTAINS() (SPARK-37508)
    • Добавление строковых функций startswith() и endswith() (SPARK-37520)
    • Добавление функций lpad и rpad для двоичных строк (SPARK-37047)
    • Поддержка функции split_part (SPARK-38063)
  • Добавление параметра масштабирования в функции floor и ceil (SPARK-37475)
  • Новые функции SQL: try_subtract и try_multiply (SPARK-38164)
  • Реализация агрегатной функции histogram_numeric, которая поддерживает частичное агрегирование (SPARK-16280)
  • Добавление max_by/min_by в sql.functions (SPARK-36963)
  • Добавление новых встроенных функций SQL: SEC и CSC (SPARK-36683)
  • array_intersect обрабатывает повторяющиеся Double.NaN и Float.NaN (SPARK-36754)
  • Добавление cot в качестве функций Scala и Python (SPARK-36660)

Улучшения в плане производительности

• Создание кода всего этапа
  • Добавление генератора кода для сортировки агрегатов без группирования ключей (SPARK-37564)
  • Добавление генератора кода для полного внешнего соединения слиянием сортированных списков (SPARK-35352)
  • Добавление генератора кода для полного внешнего хэш-соединения с перемешиванием (SPARK-32567)
  • Добавление генератора кода для соединения слиянием сортированных списков (SPARK-37316)
• Отправка (фильтры)
  • Pushdown фильтров использованием RebalancePartitions (SPARK-37828)
  • Pushdown логического фильтра столбцов (SPARK-36644)
  • Установка равного 1 предела pushdown для правой части левого полу- или антисоедиенния, если условие объединения пустое (SPARK-37917)
  • Преобразование более стандартных агрегатных функции для pushdown (SPARK-37527)
  • Поддержка распространения пустых связей с помощью агрегата или объединения (SPARK-35442)
  • Фильтрация среды выполнения на уровне строк (SPARK-32268)
  • Поддержка левого полусоединения в фильтрах среды выполнения уровня строк (SPARK-38565)
  • Поддержка проталкивания предикатов и урезания столбцов для обезличенных CTE (SPARK-37670)
• Векторизации
  • Реализация ConstantColumnVector и повышение производительности скрытых метаданных файлов (SPARK-37896)
  • Включение векторизованного чтения для VectorizedPlainValuesReader.readBooleans (SPARK-35867)
• Объединение и удаление и замена узлов
  • Совмещение объединений, если между ними есть проект (SPARK-37915)
  • Объединение двух приведений в одно, если для них повышающее приведение безопасно (SPARK-37922)
  • Удалите сортировку, если она является дочерним элементом для RepartitionByExpression (SPARK-36703)
  • Удаление внешнего соединения только при наличии DISTINCT на стороне потоковой передачи с использованием псевдонима (SPARK-37292)
  • Замена хэш-кода агрегатной функцией сортировки, если дочерний элемент уже отсортирован (SPARK-37455)
  • Сворачивать проекты только в случае, если мы не дублируем дорогостоящие выражения (SPARK-36718)
  • Удаление лишних псевдонимов после RewritePredicateSubquery (SPARK-36280)
  • Объединение некоррелируемых скалярных вложенных запросов (SPARK-34079)
• Разбиение
  • Динамическое удаление секций не добавляется, если существует статическое удаление (SPARK-38148)
  • Улучшено RebalancePartitions в правилах оптимизатора (SPARK-37904)
  • Добавление небольшого коэффициента секции для повторной балансировки секций (SPARK-37357)
• Join
  • Настройка логики понижения уровня широковещательного хэш-соединения в DynamicJoinSelection (SPARK-37753)
  • Игнорирование дублирующихся ключей соединения при построении отношения для перемешиваемого хэш-соединения SEMI или ANTI (SPARK-36794)
  • Поддержка оптимизации асимметричного соединения, даже если вводится дополнительное перемешивание (SPARK-33832)
• AQE
  • Добавлена поддержка устранения ограничений в оптимизаторе AQE (SPARK-36424)
  • Оптимизирован план в одну запись в обычном оптимизаторе и оптимизаторе AQE (SPARK-38162)
• Aggregate.groupOnly поддерживает свертываемые выражения (SPARK-38489)
• ByteArrayMethods arrayEqual должен быстро пропустить проверку согласованности с несогласованной платформой (SPARK-37796)
• В правило CTESubstitution добавлена возможность удалить шаблон дерева (SPARK-37379)
• Добавлены дополнительные упрощения оператора Not (SPARK-36665)
• Добавлена поддержка BooleanType в UnwrapCastInBinaryComparison (SPARK-36607)
• Объединение удаляет все выражения после первого выражения, недопускающего значения NULL (SPARK-36359)
• Добавление посетителя для логического плана для распространения различных атрибутов (SPARK-36194)

Улучшения встроенных соединителей

• Общее
  • Гибкая сериализация даты и времени из источника данных (SPARK-38437)
  • Расположение таблицы воспринимается как абсолютное, если первым символом в пути, указанном при создании или изменении таблицы, является косая черта (SPARK-38236)
  • Удаление начальных нулей из пустой статической секции числового типа (SPARK-35561)
  • Поддержка ignoreCorruptFiles и ignoreMissingFiles в параметрах источника данных (SPARK-38767)
  • Добавлена команда SHOW CATALOGS (SPARK-35973)
• Паркет
  • Включение сопоставления имен столбцов схемы по идентификаторам полей (SPARK-38094)
  • Удаление имени проверочного поля при чтении или записи данных в Parquet (SPARK-27442)
  • Поддержка использования кодировки RLE для логических значений векторизованного чтения в Parquet DataPage версии 2 (SPARK-37864)
  • Поддержка кодировки страниц данных Parquet версии 2 (DELTA_BINARY_PACKED) для векторизованного пути (SPARK-36879)
  • Перемещение меток времени в часовом поясе сеанса, сохраненных в метаданных Parquet или Avro (SPARK-37705)
  • Pushdown группы по столбцу секции для агрегата (SPARK-36646)
  • Pushdown агрегата (Min, Max или Count) для Parquet (SPARK-36645)
  • Parquet: включение сопоставления имен столбцов схемы по идентификаторам полей (SPARK-38094)
  • Уменьшение размера страницы по умолчанию с помощью LONG_ARRAY_OFFSET, если используются G1GC и ON_HEAP (SPARK-37593)
  • Реализация векторизованных кодировок DELTA_BYTE_ARRAY и DELTA_LENGTH_BYTE_ARRAY для поддержки Parquet версии 2 (SPARK-37974)
  • Поддержка сложных типов для векторного средства чтения Parquet (SPARK-34863)
• ОРК
  • Удалено имя проверочного поля при чтении или записи существующих данных в ORC (SPARK-37965)
  • Pushdown агрегата для ORC (SPARK-34960)
  • Поддержка чтения и записи интервалов ANSI в источниках данных ORC (SPARK-36931)
  • Поддержка имен столбцов, состоящих только из чисел, в источниках данных ORC (SPARK-36663)
• JSON — .
  • Соблюдается allowNonNumericNumbers при обработке не числа в кавычках и бесконечных значений в модуле чтения JSON (SPARK-38060)
  • По умолчанию используется CAST для даты и времени в CSV и JSON (SPARK-36536)
  • Выравнивание сообщения об ошибке для неподдерживаемых типов ключей в MapType в средстве чтения JSON (SPARK-35320)
• CSV-файл
  • Исправление столбца в CSV-файле, связанного с поврежденной записью (SPARK-38534)
  • По умолчанию должны сохраняться значения NULL вместо пустых строк, заключенных в кавычки (SPARK-37575)
• JDBC
  • Добавлен оператор IMMEDIATE в реализацию усечения диалекта DB2 (SPARK-30062)
• Улей
  • Поддержка записи таблицы с сегментами Hive (форматы файлов Hive с хэшем Hive) (SPARK-32712)
  • Фильтрация секций Hive на стороне клиента с помощью выражений (SPARK-35437)
  • Поддержка очистки динамических разделов для HiveTableScanExec (SPARK-36876)
  • InsertIntoHiveDir должен использовать источник данных, если его можно преобразовать (SPARK-38215)
  • Поддержка записи таблицы с контейнерами Hive (формат Parquet / ORC с хэшем Hive) (SPARK-32709)

Прекращение использования узла

• FallbackStorage не должен пытаться разрешить произвольное имя узла remote (SPARK-38062)
• ExecutorMonitor.onExecutorRemoved должен обрабатывать ExecutorDecommission как завершенный (SPARK-38023)

Другие важные изменения

• Добавление блокировки мелких фрагментов данных в BlockInfoManager (SPARK-37356)
• Поддержка сопоставления типов ресурсов GPU и FPGA Spark с пользовательским типом ресурсов YARN (SPARK-37208)
• Сообщение точного размера перемешанного блока в случае неравномерных данных в нем (SPARK-36967)
• Поддержка ведения журнала Netty на уровне сети (SPARK-36719)

Структурированная потоковая передача

Основные возможности

• Представлен Trigger.AvailableNow для выполнения потоковых запросов, таких как Trigger.Once, в нескольких пакетах (SPARK-36533)

Другие важные изменения

• Использование StatefulOpClusteredDistribution для операторов с отслеживанием состояния с учетом обратной совместимости (SPARK-38204)
• Исправлено время ожидания flatMapGroupsWithState в пакете с данными для ключа (SPARK-38320)
• Исправлена проблема корректности при внешнем соединении "поток — поток" с поставщиком хранилища состояний RocksDB (SPARK-38684)
• Поддержка Trigger.AvailableNow для источника данных Kafka (SPARK-36649)
• Оптимизация пути записи в поставщике хранилища состояний RocksDB (SPARK-37224)
• Добавление нового источника данных для обеспечения постоянного набора строк в каждом микропакете (SPARK-37062)
• Использование HashClusteredDistribution для операторов с отслеживанием состояния с учетом обратной совместимости (SPARK-38204)

PySpark

API Pandas в Spark

Основные улучшения

• Оптимизация индекса распределенной последовательности по умолчанию (SPARK-36559, SPARK-36338)
  • Поддержка указания имени и типа индекса в API Pandas в Spark (SPARK-36709)
  • Отображение типа индекса по умолчанию в планах SQL для API Pandas в Spark (SPARK-38654)

Основные возможности

• Реализация собственной для Spark SQL функции ps.merge_asof (SPARK-36813)
• Поддержка TimedeltaIndex в API Pandas в Spark (SPARK-37525)
• Поддерживать timedelta в Python (SPARK-37275, SPARK-37510)
• Реализация функций в CategoricalAccessor и CategoricalIndex (SPARK-36185)
• Использует стандартное средство форматирования строк Python для API SQL в API pandas в Spark (SPARK-37436)
• Поддержка базовых операций timedelta Series и Index (SPARK-37510)
• Поддержка ps.MultiIndex.dtypes (SPARK-36930)
• Реализация Index.map (SPARK-36469)
• Реализация Series.xor и Series.rxor (SPARK-36653)
• Реализация унарного оператора invert целочисленных ps.Series и ps.Index (SPARK-36003)
• Реализация DataFrame.cov (SPARK-36396)
• Поддержка строкового типа и типа меток времени для (Series|DataFrame).describe() (SPARK-37657)
• Поддержка лямбда-параметра column для DataFrame.rename(SPARK-38763)

Другие важные изменения

Критические изменения

• Удалены упоминания о поддержке Python 3.6 в docs и python/docs (SPARK-36977)
• Удаление именованного кортежа элементов путем замены встроенного pickle на облачный (SPARK-32079)
• Повышена минимальная версия Pandas до версии 1.0.5 (SPARK-37465)
• Основные улучшения
  • Предоставление профилировщика для определяемых пользователем функций Python и Pandas (SPARK-37443)
  • Использует стандартное средство форматирования строк Python для API SQL в PySpark (SPARK-37516)
  • Предоставление класса ошибок и состояний в исключениях PySpark (SPARK-36953)
  • Попытка записи данных faulthanlder при сбое рабочей роли Python (SPARK-36062)

Основные возможности

• Реализация DataFrame.mapInArrow в Python (SPARK-37228)
• Использует стандартное средство форматирования строк Python для API SQL в PySpark (SPARK-37516)
• Добавление API PySpark df.withMetadata (SPARK-36642)
• Поддержка функции timedelta Python (SPARK-37275)
• Предоставление tableExists в pyspark.sql.catalog (SPARK-36176)
• Предоставление databaseExists в pyspark.sql.catalog (SPARK-36207)
• Предоставление functionExists в pyspark.sql.catalog (SPARK-36258)
• Добавление Dataframe.observation в PySpark (SPARK-36263)
• Добавление API max_by/min_by в PySpark (SPARK-36972)
• Поддержка определения вложенного словаря в виде структуры при создании DataFrame (SPARK-35929)
• Добавление интерфейсов API bit/octet_length в Scala, Python и R (SPARK-36751)
• Поддержка API ILIKE в Python (SPARK-36882)
• Добавлен метод isEmpty в API DataFrame для Python (SPARK-37207)
• Поддержка добавления нескольких столбцов (SPARK-35173)
• Добавление SparkContext.addArchive в PySpark (SPARK-38278)
• Добавлена возможность сделать представления типов SQL вычисляемыми (SPARK-18621)
• Встроены подсказки для типов fpm.py в python/pyspark/mllib (SPARK-37396)
• Реализация параметра dropna для SeriesGroupBy.value_counts (SPARK-38837)

MLlib

Основные возможности

• Добавлен параметр distanceMeasure в trainKMeansModel (SPARK-37118)
• Предоставление LogisticRegression.setInitialModel, таких как KMeans и другие (SPARK-36481)
• Поддержка в CrossValidatorModel получения стандартного отклонения метрик для каждого paramMap (SPARK-36425)

Основные улучшения

• Оптимизация некоторых объектов treeAggregates в MLlib путем задержки выделения (SPARK-35848)
• Перезаписан _shared_params_code_gen.py, чтобы встроить подсказки для типов для ml/param/shared.py (SPARK-37419)

Другие важные изменения

• Обновление до breeze 1.2 (SPARK-35310)

SparkR

• Перенос документов SparkR в pkgdown (SPARK-37474)
• Предоставление выражения make_date в R (SPARK-37108)
• Добавление API max_by/min_by в SparkR (SPARK-36976)
• Поддержка API ILIKE в R (SPARK-36899)
• Добавление sec и csc в качестве функций R (SPARK-36824)
• Добавление интерфейсов API bit/octet_length в Scala, Python и R (SPARK-36751)
• Добавление cot в качестве функции R (SPARK-36688)

Пользовательский интерфейс

• Сводка метрик упреждающего выполнения задач на уровне этапа (SPARK-36038)
• Объединенная метрика Shuffle Read Block Time (Время блокировки при чтении в случайном порядке) заменена метрикой Shuffle Read Fetch Wait Time (Время ожидания при чтении в случайном порядке) в StagePage (SPARK-37469)
• Добавление измененных конфигураций для выполнения SQL в пользовательском интерфейсе (SPARK-34735)
• Распознавание модулем ThriftServer выражения spark.sql.redaction.string.regex (SPARK-36400)
• Подключение и запуск обработчика после запуска приложения в пользовательском интерфейсе (SPARK-36237)
• Добавление времени выполнения коммита в узел графа вкладки SQL (SPARK-34399)
• Поддержка серверной части RocksDB на сервере журнала Spark (SPARK-37680)
• Отображение параметров API Pandas в Spark в пользовательском интерфейсе (SPARK-38656)
• Переименование "SQL" на "SQL/ DataFrame" на странице пользовательского интерфейса SQL (SPARK-38657)

Сборка

• Переход с версии log4j 1 на log4j 2 (SPARK-37814)
• Обновление log4j2 до версии 2.17.2 (SPARK-38544)
• Обновление до Py4J 0.10.9.5 (SPARK-38563)
• Обновление ORC до версии 1.7.4 (SPARK-38866)
• Обновление таблиц данных до версии 1.10.25 (SPARK-38924)

Обновления в рамках обслуживания

См. Databricks Runtime 11.0.

Системная среда

• Операционная система: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14.
• Python: 3.9.5
• R: 4.1.3.
• Delta Lake: 1.2.1

Установленные библиотеки Python

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft CRAN от 06.05.2022.

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)