Databricks Runtime 15.4 LTS

В следующих заметках о выпуске представлена информация о Databricks Runtime 15.4 LTS, работающем на Apache Spark 3.5.0.

Databricks выпустила эту версию в августе 2024 года.

Изменение поведения

• VARIANT Использование в качестве входного или выходного типа с UDF, UDAF или UDTF Python создает исключение.
• Изменить режим привязки схемы по умолчанию для представлений
• Запретить использование недокументированного ! синтаксиса вне NOT логических выражений
• Запретить недокументированный синтаксис определения столбцов в представлениях
• Согласованная обработка ошибок для декодирования Base64 в Spark и Photon
• Добавление ограничения CHECK на недопустимый столбец теперь возвращает класс ошибки UNRESOLVED_COLUMN.WITH_SUGGESTION.
• pyodbc обновляется с версии 4.0.38 до 4.0.39

Использование VARIANT в качестве входного или выходного типа с UDF, UDAF или UDTF на Python вызывает исключение.

[Критические изменения] В Databricks Runtime 15.3 и выше вызов любой определяемой пользователем функции на Python (UDF), агрегатной функции, определяемой пользователем (UDAF), или функции таблицы, определяемой пользователем (UDTF), которая использует тип VARIANT в качестве аргумента или возвращаемого значения, приводит к исключению. Это изменение делается для предотвращения проблем, которые могут возникнуть из-за недопустимого значения, возвращаемого одним из этих функций. Дополнительные сведения о типе VARIANT см. в статье об использовании VARIANTs для хранения полуструктурированных данных.

Изменение режима привязки схемы по умолчанию для представлений

Теперь представления адаптируются к изменениям схемы в базовом запросе с помощью компенсации схемы и стандартных правил приведения типов. Это изменение по сравнению с предыдущим значением по умолчанию для режима BINDING, который вызывал ошибки, когда безопасное приведение типов не удавалось выполнить при обращении к виду.

См. функцией приведения CREATE VIEW и .

Запретить использование недокументированного синтаксиса ! вместо NOT за пределами логических выражений

В этом выпуске использование ! как синонима для NOT вне контекста логических выражений больше не разрешается. Например, инструкции, такие как следующие: CREATE ... IF ! EXISTS, НЕ NULL, свойство столбца или поля ! NULL, ! IN и НЕ МЕЖДУ, необходимо заменить следующим образом: CREATE ... IF NOT EXISTS, IS NOT NULL, свойство столбца или поля NOT NULL, NOT IN и NOT BETWEEN.

Это изменение гарантирует согласованность, соответствует стандарту SQL и делает SQL более переносимым.

На логический префиксный оператор! (например, !is_mgr или !(true AND false)) это изменение не влияет.

Запретить неописанный синтаксис определения столбцов в представлениях.

Databricks поддерживает CREATE VIEW с именованными столбцами и комментариями к столбцам. Ранее была разрешена спецификация типов столбцов, ограничений NOT NULL или DEFAULT. В этом выпуске этот синтаксис больше не используется.

Это изменение обеспечивает согласованность, соответствует стандарту SQL и поддерживает будущие улучшения.

Согласованная обработка ошибок для декодирования Base64 в Spark и Photon

В этом выпуске изменено, как Photon обрабатывает ошибки декодирования Base64, чтобы соответствовать обработке этих ошибок в Spark. Перед этими изменениями путь генерации кода Photon и Spark иногда не срабатывал в части вызова исключений синтаксического анализа, в то время как интерпретируемое выполнение Spark корректно вызывало IllegalArgumentException или ConversionInvalidInputError. Это обновление гарантирует, что Photon постоянно создает те же исключения, что и Spark во время декодирования Base64, обеспечивая более прогнозируемую и надежную обработку ошибок.

Добавление ограничения CHECK для недопустимого столбца теперь возвращает класс ошибки UNRESOLVED_COLUMN.WITH_SUGGESTION

Чтобы предоставить более полезные сообщения об ошибках, в Databricks Runtime версии 15.3 и выше инструкция ALTER TABLE ADD CONSTRAINT, содержащая ограничение CHECK, которое ссылается на недопустимое имя столбца, возвращает ошибку класса UNRESOLVED_COLUMN.WITH_SUGGESTION. Ранее был возвращён INTERNAL_ERROR.

pyodbc обновляется с 4.0.38 до 4.0.39

Пакет pyodbc обновляется с версии 4.0.38 до версии 4.0.39. Это изменение необходимо, так как ошибка была обнаружена в версии 4.0.38 и была удалена из PyPI.

Новые функции и внесенные улучшения

• Функции проверки UTF-8
• API типизированных наборов данных с пользовательскими функциями Scala
• Включить UniForm Iceberg с помощью ALTER TABLE
• функция try_url_decode
• При желании позволяет оптимизатору полагаться на необеспеченные ограничения внешнего ключа.
• Параллельное выполнение заданий для выборочной перезаписи
• Улучшена производительность канала обмена данными с селективными перезаписями
• Улучшена задержка запросов для COPY INTO команды
• Поддержка удаления функции таблицы ограничений проверки
• Выделенные вычисления (ранее однопользовательские вычисления) поддерживают точное управление доступом, материализованные представления и таблицы потоковой передачи (общедоступная предварительная версия)
• Расширенная поддержка библиотек Java и Scala
• Расширенная поддержка операций с набором данных Scala
• Scala доступна для общего доступа на стандартных вычислительных ресурсах Unity Catalog
• доступ к внешним облачным службам, управляемым каталогом Unity, с помощью учетных данных службы (общедоступная предварительная версия)

Функции проверки UTF-8

В этом выпуске представлены следующие функции для проверки строк UTF-8:

• is_valid_utf8 проверяет, является ли строка допустимой строкой UTF-8.
• make_valid_utf8 преобразует потенциально недопустимую строку UTF-8 в допустимую строку UTF-8 с помощью символов подстановки
• validate_utf8 вызывает ошибку, если входные данные не являются допустимой строкой UTF-8.
• try_validate_utf8 возвращает NULL, если входные данные не являются допустимой строкой UTF-8.

API типизированного набора данных с использованием пользовательских Scala-функций

Этот выпуск включает добавленную поддержку API типизированных наборов данных с функциями, определяемыми пользователем на Scala (за исключением агрегатных функций, определяемых пользователем) для вычислительных ресурсов с поддержкой Unity Catalog в стандартном режиме доступа (ранее назывался режимом общего доступа). См. API типизированного набора данных.

Включение UniForm Iceberg с помощью ALTER TABLE

Теперь вы можете включить UniForm Iceberg в существующих таблицах без перезаписи файлов данных. См. раздел Enable Iceberg reads на существующей таблице.

функция try_url_decode

В этом выпуске представлена функция try_url_decode , которая декодирует строку, закодированную URL-адресом. Если строка не имеет правильного формата, функция возвращается NULL вместо того, чтобы вызывать ошибку.

При необходимости позволяет оптимизатору опираться на непринудительные ограничения внешнего ключа.

Чтобы повысить производительность запросов, теперь можно указать ключевое слово RELY для ограничений FOREIGN KEY при CREATE или ALTER в таблице.

Параллельное задание выполняется для выборочных перезаписей

Выборочные перезаписи с replaceWhere теперь выполняют задания по удалению данных и вставке новых данных параллельно, повышая производительность запросов и эффективность использования кластера.

Улучшена производительность потока данных изменений при селективных перезаписях

Выборочные перезаписи, используя replaceWhere, в таблицах с каналом данных изменений уже не создают отдельные файлы данных изменений для вставленных данных. Эти операции используют скрытый столбец _change_type, присутствующий в базовых файлах данных Parquet, для фиксации изменений без усиления записи.

Улучшена задержка запросов для COPY INTO команды

Этот выпуск включает изменение, которое улучшает задержку запроса для COPY INTO команды. Это улучшение реализуется путем асинхронной загрузки состояния в хранилище состояния RocksDB. При этом изменении вы увидите улучшение времени начала запросов с большими состояниями, например запросы с большим количеством уже полученных файлов.

Поддержка удаления функции таблицы ограничений проверки

Теперь можно удалить функцию таблицы checkConstraints из таблицы Delta с помощью ALTER TABLE table_name DROP FEATURE checkConstraints. См. Отключить ограничения проверки.

Выделенные вычислительные ресурсы (ранее однопользовательские вычисления) поддерживают точное управление доступом, материализованные представления и таблицы потоковой передачи (общедоступная предварительная версия)

Если рабочая область включена для бессерверных вычислений, Databricks Runtime 15.4 LTS добавляет поддержку точного контроля доступа на выделенных вычислительных ресурсах. Когда запрос обращается к любому из следующих объектов, выделенный вычислительный ресурс в Databricks Runtime 15.4 LTS передает запрос бессерверным вычислительным ресурсам для выполнения фильтрации данных:

• Представления, определенные над таблицами, для которых у пользователя отсутствуют привилегии SELECT.
• Динамические представления.
• Таблицы с примененными фильтрами строк или масками столбцов.
• Материализованные представления и потоковые таблицы.

Эти запросы не поддерживаются для выделенных вычислений, работающих под управлением Databricks Runtime 15.3 и ниже.

Дополнительные сведения см. в разделе Точное управление доступом для выделенных вычислений (ранее однопользовательских вычислений).

Расширенная поддержка библиотек Java и Scala

Начиная с Databricks Runtime 15.4 LTS, все библиотеки Java и Scala, упакованные с Databricks Runtime, доступны во всех режимах доступа к вычислительным ресурсам при использовании каталога Unity. Чтобы узнать больше о поддержке языков для компьютеров с поддержкой каталога Unity, см. раздел ограничения режима доступа для каталога Unity.

Расширенная поддержка операций с набором данных Scala

В этом выпуске вычислительные ресурсы с поддержкой каталога Unity, использующие стандартный режим доступа, поддерживают следующие операции Scala Dataset: map, mapPartitions, foreachPartition, flatMap, reduce и filter.

Scala доступен в стадии общей доступности на стандартных вычислительных мощностях каталога Unity.

В этом выпуске Scala доступна в вычислительных средах со стандартным режимом доступа и поддержкой каталога Unity, включая поддержку скалярных пользовательских функций (ПП). Структурированная потоковая обработка, пользовательские функции Hive (UDFs) и агрегатные функции, определяемые пользователем Hive, не поддерживаются. Полный список ограничений см. в разделе Ограничения режима доступа к вычислительным ресурсам длякаталога Unity.

Управляемый каталогом Unity доступ к внешним облачным службам с помощью учетных данных службы (общедоступная предварительная версия)

Учетные данные службы обеспечивают простую и безопасную проверку подлинности с помощью служб облачного клиента с помощью управляемых удостоверений Azure (MI) и каталога Unity. См. Управление доступом к внешним облачным службам с помощью учетных данных службы.

Исправления ошибок

Обновления библиотек

• Обновленные библиотеки Python:
  • azure-core от 1.30.1 до 1.30.2
  • google-auth от 2.29.0 до 2.31.0
  • google-cloud-storage с 2.16.0 до 2.17.0
  • google-resumable-media с 2.7.0 до 2.7.1
  • googleapis-common-protos с 1.63.0 до 1.63.2
  • mlflow-skinny от 2.11.3 до 2.11.4
  • proto-plus от 1.23.0 до 1.24.0
  • s3transfer от 0.10.1 до 0.10.2
• Обновленные библиотеки R:
• Обновленные библиотеки Java:
  • com.databricks.databricks-sdk-java от 0.17.1 до 0.27.0
  • com.ibm.icu.icu4j от 72.1 до 75.1
  • software.amazon.cryptools.AmazonCorrettoCryptoProvider от 1.6.1-linux-x86_64 до 1.6.2-linux-x86_64

Apache Spark

Databricks Runtime 15.4 LTS включает Apache Spark 3.5.0. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 15.3 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

• [SPARK-48503] [DBRRM-1150][SC-172196][SQL] Разрешить группирование выражений в скалярных вложенных запросах, если они привязаны к внешним строкам
• [SPARK-48834] [ПОВЕДЕНИЕ-79][SC-170972][SQL] Отключение переменных входных и выходных данных для скалярных UDF, UDTF, UDAF на Python во время компиляции запросов
• [SPARK-48441] [SC-170980][SQL][WARMFIX] Исправление поведения StringTrim для сравнений, отличных от UTF8_BINARY
• [SPARK-48440] [SC-170895][SQL][WARMFIX] Исправление поведения StringTranslate для сравнений, отличных от UTF8_BINARY
• [SPARK-48872] [SC-170866][PYTHON] Уменьшение накладных расходов на _capture_call_site
• [SPARK-48862] [SC-170845][PYTHON][CONNECT] Избегайте вызова _proto_to_string , если уровень INFO не включен
• [SPARK-48852] [SC-170837][CONNECT] Исправлена функция обрезки строки в модуле CONNECT
• [SPARK-48791] [SC-170658][CORE] Исправление падения производительности из-за накладных расходов на регистрацию аккумуляторов с помощью CopyOnWriteArrayList
• [SPARK-48118] [SQL] Поддержка SPARK_SQL_LEGACY_CREATE_HIVE_TABLE переменной env
• [SPARK-48241] [SC-165811][SQL] Ошибка синтаксического анализа со столбцами типа char/varchar
• [SPARK-48168] [SC-166900][SQL] Добавление поддержки операторов перемещений по битовой стрелке
• [SPARK-48148] [SC-165630][CORE] Объекты JSON не должны изменяться при чтении как STRING
• [SPARK-46625] [SC-170561] Общее табличное выражение (CTE) с предложением идентификатора в качестве ссылки
• [SPARK-48771] [SC-170546][SQL] LogicalPlanIntegrity.validateExprIdUniqueness Ускорение для больших планов запросов
• [SPARK-48831] [BEHAVE-76][SC-170554][CONNECT] Сделайте имя столбца по умолчанию cast совместимым с Spark Classic
• [SPARK-48623] [SC-170544][CORE] Структурированные миграции журналов [часть 2]
• [SPARK-48296] [SC-166138][SQL] Поддержка Codegen для to_xml
• [SPARK-48027] [SC-165154][SQL] InjectRuntimeFilter для многоуровневого соединения должен проверять тип дочернего соединения
• [SPARK-48686] [SC-170365][SQL] Повышение производительности ParserUtils.unescapeSQLString
• [SPARK-48798] [SC-170588][PYTHON] Введение spark.profile.render в профилирование на основе SparkSession
• [SPARK-48048] [SC-169099] Возврат "[SC-164846][CONNECT][SS] Добавлена поддержка прослушивателя на стороне клиента для Scala"
• [SPARK-47910] [SC-168929][CORE] закройте поток при вызове closeResources у DiskBlockObjectWriter, чтобы избежать утечки памяти
• [SPARK-48816] [SC-170547][SQL] Сокращенное обозначение для преобразователей интервалов в UnivocityParser
• [SPARK-48589] [SC-170132][SQL][SS] Добавление параметра snapshotStartBatchId и snapshotPartitionId в источник данных состояния
• [SPARK-48280] [SC-170293][SQL] Расширение области тестирования сортировки с помощью обхода выражений
• [SPARK-48837] [SC-170540][ML] В CountVectorizer считывает только двоичный параметр один раз на преобразование, а не один раз на строку
• [SPARK-48803] [SC-170541][SQL] Вызов внутренней ошибки в сериализаторе Orc(De)для выравнивания с ParquetWriteSupport
• [SPARK-48764] [SC-170129][PYTHON] Фильтрация кадров, связанных с IPython, из пользовательского стека
• [SPARK-48818] [SC-170414][PYTHON] Упрощение percentile функций
• [SPARK-48479] [SC-169079][SQL] Поддержка создания пользовательских скалярных и табличных SQL-функций в синтаксическом анализаторе
• [SPARK-48697] [SC-170122][LC-4703][SQL] Добавление фильтров строк с поддержкой сортировки
• [SPARK-48800] [SC-170409][CONNECT][SS] Deflake ClientStreamingQuerySuite
• [SPARK-48738] [SC-169814][SQL] Исправлена версия для встроенной функции alias random, position, mod, cardinality, current_schema, user, session_user, char_length, character_length.
• [SPARK-48638] [SC-169575][CONNECT] Добавление поддержки ExecutionInfo для DataFrame
• [SPARK-48064] [SC-164697][SQL] Обновление сообщений об ошибках для стандартных классов ошибок
• [SPARK-48810] [CONNECT] API остановки сеанса stop() должен быть идемпотентным и не приводить к ошибке, если сеанс уже закрыт сервером
• [SPARK-48650] [15.x][PYTHON] Показать правильную точку вызова в IPython Notebook
• [SPARK-48271] [SC-166076][SQL] Преобразование ошибки сопоставления в RowEncoder в UNSUPPORTED_DATA_TYPE_FOR_ENCODER
• [SPARK-48709] [SC-169603][SQL] Исправление несоответствия разрешения типов varchar для CTAS DataSourceV2
• [SPARK-48792] [SC-170335][SQL] Исправление регрессии для INSERT с частичным списком столбцов в таблицу с помощью char/varchar
• [SPARK-48767] [SC-170330][SQL] Исправление некоторых сообщений об ошибках variant при недопустимых данных типа
• [SPARK-48719] [SC-170339][SQL] Исправлена ошибка RegrSlope вычисления и RegrIntercept когда первый параметр имеет значение NULL
• [SPARK-48815] [SC-170334][CONNECT] Обновление среды при остановке сеанса подключения
• [SPARK-48646] [SC-169020][PYTHON] Совершенствование документации API источника данных Python и подсказок типов
• [SPARK-48806] [SC-170310][SQL] Передать настоящее исключение при сбое url_decode
• [SPARK-47777] [SC-168818] исправлен тест подключения потокового источника данных для Python
• [SPARK-48732] [SC-169793][SQL] Очистка нерекомендуемого использования API, связанного с JdbcDialect.compileAggregate
• [SPARK-48675] [SC-169538][SQL] Исправление таблицы кэша с сортировкой столбца
• [SPARK-48623] [SC-169034][CORE] Структурированные миграции журналов
• [SPARK-48655] [SC-169542][SQL] SPJ: добавление тестов для пропуска перетасовки в агрегированных запросах
• [SPARK-48586] [SC-169808][SS] Удалить получение блокировки в doMaintenance() посредством создания глубокой копии сопоставлений файлов в RocksDBFileManager в load()
• [SPARK-48799] [Backport][15.x][SC-170283][SS] Рефакторинг управления версиями для чтения/записи метаданных оператора и вызывающих функций
• [SPARK-48808] [SC-170309][SQL] Исправление NPE при подключении thriftserver через Hive 1.2.1 и схема результата пуста
• [SPARK-48715] [SC-170291][SQL] Интеграция проверки UTF8String в реализации строковых функций с поддержкой сортировки
• [SPARK-48747] [SC-170120][SQL] Добавление итератора точек кода в UTF8String
• [SPARK-48748] [SC-170115][SQL] Кэширование numChars в UTF8String
• [SPARK-48744] [SC-169817][Ядро] Запись журнала должна быть создана только один раз
• [SPARK-46122] [SC-164313][SQL] Задайте для spark.sql.legacy.createHiveTableByDefault значение false по умолчанию
• [SPARK-48765] [SC-170119][РАЗВЕРТЫВАНИЕ] Улучшение оценки параметров по умолчанию для SPARK_IDENT_STRING
• [SPARK-48759] [SC-170128][SQL] Добавить документацию по миграции для изменения поведения CREATE TABLE AS SELECT с версии Spark 3.4
• [SPARK-48598] [SC-169484][PYTHON][CONNECT] Распространение кэшированной схемы в операциях с кадрами данных
• [SPARK-48766] [SC-170126][PYTHON] Документируйте разницу extraction в поведении между element_at и try_element_at
• [SPARK-48768] [SC-170124][PYTHON][CONNECT] Не следует кэшировать explain
• [SPARK-48770] [Backport][15.x][SC-170133][SS] Изменение процесса чтения метаданных оператора один раз на драйвере, чтобы проверить, можно ли найти информацию для "numColsPrefixKey", используемую в запросах агрегации окон сеанса.
• [SPARK-48656] [SC-169529][CORE] Выполните проверку длины и вызовите ошибку COLLECTION_SIZE_LIMIT_EXCEEDED CartesianRDD.getPartitions
• [SPARK-48597] [SC-168817][SQL] Введение маркера для свойства IsStreaming в текстовом представлении логического плана
• [SPARK-48472] [SC-169044][SQL] Включение выражений отражения со строками сортировки
• [SPARK-48699] [SC-169597][SQL] Уточнение API сортировки
• [SPARK-48682] [SC-169812][SQL][ПОВЕДЕНИЕ-58] Использование ICU в выражении InitCap для строк UTF8_BINARY
• [SPARK-48282] [SC-169813][SQL] Изменение логики поиска строк для сортировки UTF8_BINARY_LCASE (StringReplace, FindInSet)
• [SPARK-47353] [SC-169599][SQL] Включить поддержку сортировки для выражения Mode
• [SPARK-48320] [SPARK-48490] Синхронизируйте последние признаки ведения журнала и тестовые случаи из OSS Spark
• [SPARK-48629] [SC-169479] Перенос остаточного кода в структурированную платформу ведения журнала
• [SPARK-48681] [SC-169469][SQL][ПОВЕДЕНИЕ-58] Использование ICU в выражениях нижнего или верхнего уровня для строк UTF8_BINARY
• [SPARK-48573] [15.x][SC-169582][SQL] Обновление версии ICU
• [SPARK-48687] [Backport][15.x][SS] Добавьте изменение для выполнения проверки схемы состояния и обновления драйвера для запросов с отслеживанием состояния
• [SPARK-47579] [15.x][SC-167310][CORE][ЧАСТЬ4] Перенос logInfo с переменными в структурированную платформу ведения журнала
• [SPARK-48008] [SC-167363][1/2] Поддержка UDAFs в Spark Connect
• [SPARK-48578] [SC-169505][SQL] добавление связанных функций проверки строк UTF8
• [SPARK-48670] [SC-169598][SQL] Предоставление предложения в рамках сообщения об ошибке при указании недопустимого имени сортировки
• [SPARK-48059] [SPARK-48145][SPARK-48134][SPARK-48182][SPARK-48209][SPA... … RK-48291] Структурированное логирование на стороне Java
• [SPARK-47599] [15.x][SC-1660000][MLLIB] MLLib: перенос logWarn с переменными в структурированную платформу ведения журнала
• [SPARK-48706] [SC-169589][PYTHON] UDF Python в функциях более высокого порядка не должен вызывать внутреннюю ошибку
• [SPARK-48498] [ПОВЕДЕНИЕ-38][SC-168060][SQL] Всегда выполнять дополнение символов в предикатах
• [SPARK-48662] [SC-169533][SQL] Исправление выражения StructsToXml с помощью параметров сортировки
• [SPARK-48482] [SC-167702][PYTHON][15.x] dropDuplicates и dropDuplicatesWithinWatermark должны принимать аргументы переменной длины
• [SPARK-48678] [SC-169463][CORE] Оптимизация производительности для SparkConf.get(ConfigEntry)
• [SPARK-48576] [SQL] Переименование UTF8_BINARY_LCASE в UTF8_LCASE
• [SPARK-47927] [SC-164123][SQL]: исправление атрибута nullability в декоде UDF
• [SPARK-47579] [SC-165297][CORE][ЧАСТЬ1] Перенос logInfo с переменными в структурированную платформу ведения журнала (новая)
• [SPARK-48695] [SC-169473][PYTHON] TimestampNTZType.fromInternal не используйте устаревшие методы
• [SPARK-48431] [SC-167290][LC-4066][SQL] Не пересылайте предикаты для столбцов с сортировкой в средства чтения файлов
• [SPARK-47579] Отмена изменений “[SC-165297][CORE][PART1] Миграция logInfo с переменными на структурированную систему ведения журнала”
• [SPARK-47585] [SC-164306][SQL] SQL Core: перенос logInfo с переменными в структурированную платформу ведения журнала
• [SPARK-48466] [SC-169042][SQL] Создание выделенного узла для EmptyRelation в AQE
• [SPARK-47579] [SC-165297][CORE][ЧАСТЬ1] Перенос logInfo с переменными в структурированную платформу ведения журнала
• [SPARK-48410] [SC-168320][SQL] Исправлено выражение InitCap для параметров сортировки UTF8_BINARY_LCASE и ICU
• [SPARK-48318] [SC-167709][SQL] Включите поддержку хэш-соединения для всех параметров сопоставления (сложные типы)
• [SPARK-48435] [SC-168128][SQL] Параметры сортировки ЮНИКОД не должны поддерживать двоичное равенство
• [SPARK-48555] [SC-169041][SQL][PYTHON][CONNECT] Поддержка использования столбцов в качестве параметров для нескольких функций в pyspark/scala
• [SPARK-48591] [SC-169081][PYTHON] Добавление вспомогательной функции для упрощения Column.py
• [SPARK-48574] [SC-169043][SQL] Исправлена поддержка StructTypes с колляциями
• [SPARK-48305] [SC-166390][SQL] Добавление поддержки сортировки для выражений CurrentLike
• [SPARK-48342] [SC-168941][SQL] Общие сведения о синтаксическом анализе сценариев SQL
• [SPARK-48649] [SC-169024][SQL] Добавление конфигураций "ignoreInvalidPartitionPaths" и "spark.sql.files.ignoreInvalidPartitionPaths" для пропуска недопустимых путей секций.
• [SPARK-48000] [SC-167194][SQL] Включение поддержки хэш-соединения для всех вариантов сопоставлений (StringType)
• [SPARK-48459] [SC-168947][CONNECT][PYTHON] Реализация DataFrameQueryContext в Spark Connect
• [SPARK-48602] [SC-168692][SQL] Генератор CSV теперь поддерживает различные стили вывода с помощью параметра spark.sql.binaryOutputStyle
• [SPARK-48283] [SC-168129][SQL] Изменение сравнения строк для UTF8_BINARY_LCASE
• [SPARK-48610] [SC-168830] [SQL] Рефакторинг: использование вспомогательного idMap вместо OP_ID_TAG
• [SPARK-48634] [SC-169021][PYTHON][CONNECT] Избегайте статической инициализации threadpool в ExecutePlanResponseReattachableIterator
• [SPARK-47911] [SC-164658][SQL] Представляет универсальный BinaryFormatter для обеспечения единообразия двоичных выходных данных
• [SPARK-48642] [SC-168889][CORE] Ложная ошибка SparkOutOfMemoryError, вызванная завершением задачи при переполнении памяти
• [SPARK-48572] [SC-168844][SQL] Исправление выражений DateSub, DateAdd, WindowTime, TimeWindow и SessionWindow
• [SPARK-48600] [SC-168841][SQL] Исправить неявное приведение выражений FrameLessOffsetWindowFunction
• [SPARK-48644] [SC-168933][SQL] Выполните проверку длины и вызовите ошибку COLLECTION_SIZE_LIMIT_EXCEEDED в Hex.hex
• [SPARK-48587] [SC-168824][VARIANT] Следует избегать увеличения объема хранилища при доступе к подварианту
• [SPARK-48647] [SC-168936][PYTHON][CONNECT] Уточнение сообщения об ошибке для YearMonthIntervalType in df.collect
• [SPARK-48307] [SC-167802][SQL] InlineCTE должен хранить нелинейные отношения в исходном узле WithCTE
• [SPARK-48596] [SC-168581][SQL] Улучшение perf для вычисления шестнадцатеричной строки в течение длительного времени
• [SPARK-48621] [SC-168726][SQL] Исправление упрощения оператора Like в оптимизаторе для сопоставляемых строк
• [SPARK-47148] [SC-164179][SQL] Избежать материализации AQE ExchangeQueryStageExec в случае отмены
• [SPARK-48584] [SC-168579][SQL] Улучшение Perf для unescapePathName
• [SPARK-48281] [SC-167260][SQL] Изменение логики поиска строк для сортировки UTF8_BINARY_LCASE (StringInStr, SubstringIndex)
• [SPARK-48577] [SC-168826][SQL] Недопустимая замена последовательности байтов UTF-8
• [SPARK-48595] [SC-168580][CORE] Очистка нерекомендуемого использования API, связанного с commons-compress
• [SPARK-48030] [SC-164303][SQL] SPJ: кэширование rowOrdering и structType для InternalRowComparableWrapper'а
• [SPARK-48004] [SC-164005][SQL] Добавление признака WriteFilesExecBase для записи версии 1
• [SPARK-48551] [SC-168438][SQL] Улучшение perf для escapePathName
• [SPARK-48565] [SC-168437][пользовательский интерфейс] Исправление отображения дампа потоков в пользовательском интерфейсе
• [SPARK-48364] [SC-166782][SQL] Реализация приведения типов AbstractMapType и исправление маппинга параметров RaiseError для работы с отсортированными строками
• [SPARK-48421] [SC-168689][SQL] SPJ: добавление документации
• [SPARK-48604] [SC-168698][SQL] Заменить устаревший new ArrowType.Decimal(precision, scale) вызов метода
• [SPARK-46947] [SC-157561][CORE] Задержка инициализации диспетчера памяти до загрузки подключаемого модуля Driver
• [SPARK-48411] [SC-168576][SS][PYTHON] Добавление теста E2E для DropDuplicateWithinWatermark
• [SPARK-48543] [SC-168697][SS] Отслеживание сбоев проверки строк состояния с помощью явного класса ошибок
• [SPARK-48221] [SC-167143][SQL] Изменение логики поиска строк для сортировки UTF8_BINARY_LCASE (Содержит, StartsWith, EndsWith, StringLocate)
• [SPARK-47415] [SC-168441][SQL] Добавление поддержки сортировки для выражения Levenshtein
• [SPARK-48593] [SC-168719][PYTHON][CONNECT] Исправление строкового представления лямбда-функции
• [SPARK-48622] [SC-168710][SQL] получить SQLConf единожды при разрешении имен столбцов
• [SPARK-48594] [SC-168685][PYTHON][CONNECT] Переименование parent поля child в ColumnAlias
• [SPARK-48403] [SC-168319][SQL] Исправление нижних и верхних выражений для параметров сортировки UTF8_BINARY_LCASE и ICU
• [SPARK-48162] [SC-166062][SQL] Добавление поддержки сортировки для выражений MISC
• [SPARK-48518] [SC-167718][CORE] Сделать так, чтобы сжатие LZF выполнялось параллельно
• [SPARK-48474] [SC-167447][CORE] Исправление имени класса в журнале SparkSubmitArguments и SparkSubmit.
• [SPARK-48012] [SC-168267][SQL] SPJ: поддержка трансфромных выражений для одностороннего перетасовки
• [SPARK-48552] [SC-168212][SQL] инференция схемы CSV с разноуровневыми строками также должна вызывать FAILED_READ_FILE
• [SPARK-48560] [SC-168268][SS][PYTHON] Сделать StreamingQueryListener.spark настраиваемым
• [SPARK-48569] [SC-168321][SS][CONNECT] Обработка пограничных вариантов в query.name
• [SPARK-47260] [SC-167323][SQL] Назначение имени классу ошибок _LEGACY_ERROR_TEMP_3250
• [SPARK-48564] [SC-168327][PYTHON][CONNECT] Распространение кэшированной схемы в операциях над множествами
• [SPARK-48155] [SC-165910][SQL] AQEPropagateEmptyRelation для соединения должен проверить, является ли оставшийся дочерним элементом только BroadcastQueryStageExec
• [SPARK-48506] [SC-167720][CORE] Короткие имена кодеков сжатия не чувствительны к регистру, за исключением ведения журнала событий
• [SPARK-48447] [SC-167607][SS] Проверьте класс поставщика хранилища состояний перед вызовом конструктора
• [SPARK-47977] [SC-167650] DateTimeUtils.timestampDiff и DateTimeUtils.timestampAdd не должны вызывать исключение INTERNAL_ERROR
• [SPARK-48513] [Backport][15.x][SC-168085][SS] Добавление класса для ошибок для совместимости схемы состояния и небольшого рефакторинга
• [SPARK-48413] [SC-167669][SQL] ALTER COLUMN с колляцией
• [SPARK-48561] [SC-168250][PS][CONNECT] Исключение PandasNotImplementedError для неподдерживаемых функций построения
• [SPARK-48465] [SC-167531][SQL] Избегать распространения пустых отношений, не выполняющих операций
• [SPARK-48553] [SC-168166][PYTHON][CONNECT] Кэширование дополнительных свойств
• [SPARK-48540] [SC-168069][CORE] Не допускайте вывода настроек ivy в stdout
• [SPARK-48535] [SC-168057][SS] Обновление документации по конфигурации, чтобы указать возможность потери или повреждения данных, если включена настройка пропуска значения NULL для объединения поток-поток.
• [SPARK-48536] [SC-168059][PYTHON][CONNECT] Кэшировать указанную пользователем схему в applyInPandas и applyInArrow
• [SPARK-47873] [SC-163473][SQL] Запись параметров сортировки в хранилище метаданных Hive с помощью обычного типа строки
• [SPARK-48461] [SC-167442][SQL] Замените NullPointerExceptions классом ошибок в выражении AssertNotNull
• [SPARK-47833] [SC-163191][SQL][CORE] Предоставление стека вызовов для checkAndGlobPathIfNecessary AnalysisException.
• [SPARK-47898] [SC-163146][SQL] Порт HIVE-12270: добавление поддержки DBTokenStore в токен делегирования HS2
• [SPARK-47578] [SC-167497][R] Миграция RPackageUtils с переменными в структурированную платформу ведения журнала
• [SPARK-47875] [SC-162935][CORE] Удалить spark.deploy.recoverySerializer
• [SPARK-47552] [SC-160880][CORE] Установите для spark.hadoop.fs.s3a.connection.establish.timeout значение по умолчанию 30 секунд, если отсутствует
• [SPARK-47972] [SC-167692][SQL] Ограничить выражение CAST для упорядочиваний
• [SPARK-48430] [SC-167489][SQL] Исправление извлечения значений отображения, содержащего отсортированные строки
• [SPARK-47318] [SC-162712][CORE][3.5] Добавляет раунд HKDF в процесс вывода ключей AuthEngine для соблюдения стандартных процедур обмена ключами (KEX)
• [SPARK-48503] [BEHAVE-29][ES-1135236][SQL] Исправлены недопустимые скалярные вложенные запросы с группировкой по неэквивалентным столбцам, которые были неправильно разрешены.
• [SPARK-48508] [SC-167695][CONNECT][PYTHON] Кэшировать указанную пользователем схему в DataFrame.{to, mapInPandas, mapInArrow}
• [SPARK-23015] [SC-167188][WINDOWS] Исправлена ошибка в Windows, при которой запуск нескольких экземпляров Spark в одной секунде приводит к сбою
• [SPARK-45891] [SC-167608]Вернитесь на "Описание схемы измельчения для Variant"
• [SPARK-48391] [SC-167554][CORE]Использование addAll вместо добавления функции из методаAccumulatorInfos класса TaskMetrics
• [SPARK-48496] [SC-167600][CORE] Использование статических экземпляров шаблонов regex в JavaUtils.timeStringAs и JavaUtils.byteStringAs
• [SPARK-48476] [SC-167488][SQL] исправлено сообщение об ошибке NPE для CSV-файла null delmiter
• [SPARK-48489] [SC-167598][SQL] Выдать лучшее, ориентированное на пользователя сообщение об ошибке при чтении незаконной схемы из текстового источника данных
• [SPARK-48471] [SC-167324][CORE] Улучшение документации и руководства по использованию сервера журнала
• [SPARK-45891] [SC-167597] Описание схемы измельчения для Variant
• [SPARK-47333] [SC-159043][SQL] Проверка типов параметров функции с помощью checkInputDataTypes to_xml
• [SPARK-47387] [SC-159310][SQL] Удалите некоторые неиспользуемые классы ошибок
• [SPARK-48265] [ES-1131440][SQL] Пакет ограничения группы окон должен выполнять константное свертывание
• [SPARK-47716] [SC-167444][SQL] Избегайте конфликта имен представления в тестовом случае семантической сортировки SQLQueryTestSuite
• [SPARK-48159] [SC-167141][SQL] Расширение поддержки сортировки строк в выражениях datetime
• [SPARK-48462] [SC-167271][SQL][Тесты] Используйте withSQLConf в тестах: Рефакторинг HiveQuerySuite и HiveTableScanSuite
• [SPARK-48392] [SC-167195][CORE] Также загружается spark-defaults.conf при указании --properties-file
• [SPARK-48468] [SC-167417] Добавление интерфейса LogicalQueryStage в катализатор
• [SPARK-47578] [SC-164988][CORE] Ручной обратный порт для Spark PR #46309: перенос logWarning с переменными в структурированную систему ведения журнала
• [SPARK-48415] [SC-167321]Вернуть "[PYTHON] Refactor TypeName для поддержки параметризованных типов данных"
• [SPARK-46544] [SC-151361][SQL] Поддержка версии 2 DESCRIBE TABLE EXTENDED со статистикой таблиц
• [SPARK-48325] [SC-166963][CORE] Всегда указывайте сообщения в ExecutorRunner.killProcess
• [SPARK-46841] [SC-167139][SQL] Добавление поддержки сортировки для локалей ICU и указателей сортировки
• [SPARK-47221] [SC-157870][SQL] Использует подписи из CsvParser в AbstractParser
• [SPARK-47246] [SC-158138][SQL] Замените InternalRow.fromSeq на new GenericInternalRow, чтобы сохранить преобразование коллекции.
• [SPARK-47597] [SC-163932][ПОТОКОВАЯ ПЕРЕДАЧА] Ручной серверный порт для Spark PR #46192: потоковая передача: миграция logInfo с переменными в структурированную платформу ведения журнала
• [SPARK-48415] [SC-167130][PYTHON] Рефакторинг TypeName для поддержки параметризованных типов данных
• [SPARK-48434] [SC-167132][PYTHON][CONNECT] Сделайте printSchema использовать кэшированную схему
• [SPARK-48432] [ES-1097114][SQL] Избегайте распаковки целых чисел в UnivocityParser
• [SPARK-47463] [SC-162840][SQL] С использованием V2Predicate для упаковки выражения с типом возвращаемого значения boolean
• [SPARK-47781] [SC-162293][SQL] Обработка отрицательных десятичных разрядов для источников данных JDBC
• [SPARK-48394] [SC-166966][CORE] Очистка mapIdToMapIndex при разрегистрации mapoutput
• [SPARK-47072] [SC-156933][SQL] Исправление поддерживаемых форматов интервалов в сообщениях об ошибках
• [SPARK-47001] [SC-162487][SQL] Проверка pushdown в оптимизаторе
• [SPARK-48335] [SC-166387][PYTHON][CONNECT] Совместимость _parse_datatype_string с Spark Connect
• [SPARK-48329] [SC-166518][SQL] Включить spark.sql.sources.v2.bucketing.pushPartValues.enabled по умолчанию
• [SPARK-48412] [SC-166898][PYTHON] Рефакторинг разбора json для типа данных
• [SPARK-48215] [SC-166781][SQL] Расширение поддержки сортировки строк в выражении date_format
• [SPARK-45009] [SC-166873][SQL][FOLLOW UP] Добавить класс ошибки и тесты для декорреляции подзапросов предикатов в условии соединения, которые ссылаются на оба дочерних элемента соединения.
• [SPARK-47960] [SC-165295][SS][15.x] Разрешить последовательное подключение других операторов с отслеживанием состояния после оператора transformWithState.
• [SPARK-48340] [SC-166468][PYTHON] Поддержка определения схемы для TimestampNTZ отсутствует prefer_timestamp_ntz
• [SPARK-48157] [SC-165902][SQL] Добавление поддержки сортировки для выражений CSV
• [SPARK-48158] [SC-165652][SQL] Добавление поддержки сортировки для XML-выражений
• [SPARK-48160] [SC-166064][SQL] Добавление поддержки сортировки для выражений XPATH
• [SPARK-48229] [SC-165901][SQL] Добавление поддержки сортировки для выражений inputFile
• [SPARK-48367] [SC-166487][CONNECT] Исправление lint-scala для scalafmt, чтобы определить правильное форматирование файлов
• [SPARK-47858] [SC-163095][SPARK-47852][PYTHON][SQL] Рефакторинг структуры для контекста ошибки DataFrame
• [SPARK-48370] [SC-166787][CONNECT] Контрольная точка и localCheckpoint в клиенте Scala Spark Connect
• [SPARK-48247] [SC-166028][PYTHON] Используйте все значения в дикте при выводе схемы MapType
• [SPARK-48395] [SC-166794][PYTHON] Исправление StructType.treeString для параметризованных типов
• [SPARK-48393] [SC-166784][PYTHON] Перемещение группы констант в pyspark.util
• [SPARK-48372] [SC-166776][SPARK-45716][PYTHON] Реализация StructType.treeString
• [SPARK-48258] [SC-166467][PYTHON][CONNECT] Контрольная точка и локальная контрольная точка в Spark Connect

Ознакомьтесь с обновлениями обслуживания Databricks Runtime 15.4 LTS.

Системная среда

• Операционная система: Ubuntu 22.04.4 LTS
• Java: Zulu 8.78.0.19-CA-linux64
• Scala: 2.12.18
• Python: 3.11.0
• R: 4.3.2
• Delta Lake: 3.2.0

Установленные библиотеки Python

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка CRAN диспетчера пакетов Posit 2024-02-05: https://packagemanager.posit.co/cran/2024-02-05/.

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)