Databricks Runtime 15.1 (EoS)

Замечание

Поддержка этой версии databricks Runtime закончилась. Для получения информации о дате окончания поддержки см. историю окончания поддержки и окончания срока службы. Для всех поддерживаемых версий Databricks Runtime см. заметки о версиях выпуска и совместимости Databricks Runtime.

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 15.1, на базе Apache Spark 3.5.0.

Databricks выпустила эту версию в апреле 2024 года.

Критические изменения

Поддержка Databricks Runtime 15.0 и Databricks Runtime 15.0 для Машинное обучение заканчивается 31 мая 2024 года, так как обновление библиотеки Pandas с версии 1.5.3 до 2.0.3 в 15.0 привело к критическому изменению нескольких API Apache Spark. Подробные сведения о критических изменениях см. в разделе Библиотека pandas Python понижена до 1.5.3. Чтобы устранить эту несовместимость, Databricks выпустила Databricks Runtime 15.1 и Databricks Runtime 15.1 для Машинное обучение. Функциональность, поддерживаемая этими выпусками, аналогична выпускам 15.0, но версия pandas понижена до 1.5.3.

Все существующие кластеры или задания, использующие выпуски Databricks Runtime 15.0, будут работать, но не будут получать обновления продукта или системы безопасности. Вы больше не можете настроить новые вычислительные ресурсы, использующие Databricks Runtime 15.0 или Databricks Runtime 15.0 ML в пользовательском интерфейсе Databricks. Если вы не используете функции или API, требующие pandas 2.0+, Databricks рекомендует переключить эти рабочие нагрузки в Databricks Runtime 15.1.

Если вы используете функции или API, доступные только в pandas 2.0+ и не используете какие-либо функции, на которые влияет эта версия, Databricks рекомендует переключиться на Databricks Runtime 15.1 и обновить пакет pandas по умолчанию с помощью кластерных или библиотек, связанных с записными книжками. Например, чтобы обновить библиотеку pandas в записной книжке Databricks, используйте следующую команду:

%pip install pandas==2.0.3

Библиотека pandas Python понижена до 1.5.3

В этом выпуске библиотека pandas понижена с версии 2.0.3 до 1.5.3. Это снижение было необходимо, так как несовместимость в версии 2.0.3 pandas вызвала ошибки в некоторых API pandas в функциях Spark. Ниже перечислены функции, затронутые версией pandas версии 2.0.3:

  • pyspark.date_range: параметр closed отсутствует, что приводит к ошибкам при вызове этой функции существующим кодом.
  • Функциональность GroupBy, связанная с MultiIndex столбцами, изменена, что приводит к неожиданному поведению.
  • Некоторые datetime атрибуты DatetimeIndex (напримерday, и monthyearт. д.) возвращают int32 типы данных вместо int64 типов данных.

Функция PySpark spark.sql() теперь завершается ошибкой для недопустимых типов аргументов

В Databricks Runtime 15.1 и более поздних версиях параметр args для именованных или позиционных параметров, передаваемых функции spark.sql(), должен быть словарем или списком. Если передается любой другой тип объекта, возникает следующая ошибка: PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>

Хранение библиотек в корневом каталоге DBFS не рекомендуется и отключено по умолчанию

Чтобы повысить безопасность библиотек в рабочей области Azure Databricks, хранение файлов библиотек в корневом каталоге DBFS устарело и отключено по умолчанию, начиная с Databricks Runtime 15.1. Databricks рекомендует отправлять все библиотеки, в том числе библиотеки Python, JAR-файлы и соединители Spark, в файлы рабочей области, тома каталога Unity или с помощью репозитория пакетов. См. рекомендации по загрузке библиотек.

Чтобы повторно включить хранение библиотек в корневом каталоге DBFS, задайте следующий параметр конфигурации Spark: spark.databricks.driver.dbfsLibraryInstallationAllowed true

Версия Python по умолчанию обновляется с версии 3.10 до 3.11

В Databricks Runtime 15.1 версия Python по умолчанию — 3.11.0. Список обновленных библиотек Python см. в разделе Library upgrades.

JDK 11 удален

Как было объявлено ранее, JDK 11 удаляется из Databricks Runtime 15.1 и более поздних версий. Databricks рекомендует обновление до JDK 17 при переходе на Databricks Runtime 15.1 и выше. См. пакет SDK Databricks для Java.

Теперь Python REPL завершается корректно

При использовании Databricks Runtime 15.1 процесс Python REPL блокнота теперь плавно завершается при выходе. Это приводит к тому, что любые atexit хуки будут соблюдаться. Например, в рабочем процессе с несколькими задачами ноутбука Python хуки atexit, зарегистрированные в первой задаче ноутбука Python, выполняются до выполнения второй задачи ноутбука Python.

Новые функции и внесенные улучшения

Теперь * (звездная) клаузула поддерживается в клаузуле WHERE.

Теперь вы можете использовать условие * со звездочкой в WHERE, чтобы ссылаться на все столбцы из списка SELECT. Например, SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

Конфигурация spark.sql.json.enablePartialResults теперь включена по умолчанию

Конфигурация spark.sql.json.enablePartialResults Spark теперь включена по умолчанию, позволяя средство синтаксического анализа JSON правильно обрабатывать ошибки синтаксического анализа для сложных типов, таких как структура, карта и массив, без удаления оставшихся полей. Это изменение устраняет проблему согласованности для источников данных JSON с обрезкой столбцов.

Теперь библиотеки кластеров поддерживают файлы requirements.txt

Теперь можно установить библиотеки кластеров с помощью requirements.txt файла, хранящегося в файле рабочей области или томе каталога Unity. В кластерах выделенного и requirements.txt режима доступа файл может ссылаться на другие файлы. В кластерах режима общего доступа без изоляции поддерживаются только пакеты PyPI. См. библиотеки для вычислительных процессов.

Интерфейс командной строки Databricks теперь доступен в веб-терминале

Теперь вы можете использовать интерфейс командной строки Databricks из веб-терминала в записной книжке. Записная книжка должна быть подключена к кластеру в режиме выделенного или без изоляции общего доступа. Дополнительные сведения см. в разделе "Использование веб-терминала" и интерфейса командной строки Databricks.

Добавление репозиториев Python по умолчанию в конфигурации кластера

В Databricks Runtime 15.1 и более поздних версиях можно настроить глобальные pip index-url и extra-index-url параметры для установки библиотеки для кластера и блокнота при конфигурации кластера или задании политики кластера. Для этого задайте переменные DATABRICKS_PIP_INDEX_URL среды и DATABRICKS_PIP_EXTRA_INDEX_URL.

Веб-терминал доступен в стандартных кластерах

В Databricks Runtime 15.1 и более поздних версиях можно использовать веб-терминал в кластерах с стандартным режимом доступа.

Контроль передачи учетных данных и управление доступом к таблицам метастора Hive устарели

Сквозная передача учетных данных и контроль доступа к таблицам в метахранилище Hive являются устаревшими моделями управления данными. Обновите каталог Unity, чтобы упростить безопасность и управление данными, предоставив централизованное место для администрирования и аудита доступа к данным в нескольких рабочих областях в вашей учетной записи. См. статью Что такое Unity Catalog?

Поддержка прозрачной передачи учетных данных и управления доступом к таблицам Hive будет удалена в одной из предстоящих версий Databricks Runtime.

Обновления библиотек

  • Обновленные библиотеки Python:
    • черный от 22.6.0 до 23.3.0
    • boto3 от 1.24.28 до 1.34.39
    • botocore от 1.27.96 до 1.34.39
    • certifi с 07.12.2022 по 22.07.2023
    • криптография от 39.0.1 до 41.0.3
    • databricks-sdk от 0.1.6 до 0.20.0
    • distlib от 0.3.7 до 0.3.8
    • googleapis-common-protos с 1.62.0 до 1.63.0
    • grpcio от 1.48.2 до 1.60.0
    • grpcio-status от 1.48.1 до 1.60.0
    • importlib-metadata от 4.6.4 до 6.0.0
    • ipykernel от 6.25.0 до 6.25.1
    • ipython от 8.14.0 до 8.15.0
    • ipywidgets от 7.7.2 до 8.0.4
    • jupyter_core от 5.2.0 до 5.3.0
    • jupyterlab-виджеты с 1.0.0 до 3.0.5
    • matplotlib от 3.7.0 до 3.7.2
    • pip от 22.3.1 до 23.2.1
    • platformdirs от 2.5.2 до 3.10.0
    • protobuf от 4.24.0 до 4.24.1
    • pyarrow от 8.0.0 до 14.0.1
    • Pygments от 2.11.2 до 2.15.1
    • pyodbc от 4.0.32 до 4.0.38
    • запросы от 2.28.1 до 2.31.0
    • s3transfer от 0.6.2 до 0.10.0
    • scikit-learn от 1.1.1 до 1.3.0
    • scipy от 1.10.0 до 1.11.1
    • setuptools от 65.6.3 до 68.0.0
    • statsmodels от 0.13.5 до 0.14.0
    • настойчивость от 8.1.0 до 8.2.2
    • торнадо от 6.1 до 6.3.2
    • typing_extensions от 4.4.0 до 4.7.1
    • urllib3 от 1.26.14 до 1.26.16
    • virtualenv от 20.16.7 до 20.24.2
    • widgetsnbextension от 3.6.1 до 4.0.5
    • zipp от 1.0.0 до 3.11.0
  • Обновленные библиотеки R:
    • стрелка от 12.0.1 до 14.0.0.2
    • askpass от 1.1 до 1.2.0
    • база от 4.3.1 до 4.3.2
    • пиво от 1.0-8 до 1.0-10
    • brio от 1.1.3 до 1.1.4
    • bslib от 0.5.0 до 0.6.1
    • cli от 3.6.1 до 3.6.2
    • commonmark от 1.9.0 до 1.9.1
    • компилятор от 4.3.1 до 4.3.2
    • Обновление конфигурации с 0.3.1 на 0.3.2
    • cpp11 от 0.4.4 до 0.4.7
    • учетные данные от 1.3.2 до 2.0.1
    • curl от 5.0.1 до 5.2.0
    • data.table от 1.14.8 до 1.15.0
    • наборы данных от 4.3.1 до 4.3.2
    • DBI от 1.1.3 до 1.2.1
    • dbplyr от 2.3.3 до 2.4.0
    • desc от 1.4.2 до 1.4.3
    • дайджест от 0.6.33 до 0.6.34
    • dplyr от 1.1.2 до 1.1.4
    • e1071 от 1.7-13 до 1.7-14
    • оценка от 0,21 до 0,23
    • fansi от 1.0.4 до 1.0.6
    • fontawesome от 0.5.1 до 0.5.2
    • fs от 1.6.2 до 1.6.3
    • будущее от 1.33.0 до 1.33.1
    • future.apply от 1.11.0 до 1.11.1
    • gargle с версии 1.5.1 до 1.5.2
    • gert от 1.9.2 до 2.0.1
    • ggplot2 от 3.4.2 до 3.4.4
    • glmnet от 4.1-7 до 4.1-8
    • клей от 1.6.2 до 1.7.0
    • графика от 4.3.1 до 4.3.2
    • grDevices от 4.3.1 до 4.3.2
    • сетка от 4.3.1 до 4.3.2
    • gtable от 0.3.3 до 0.3.4
    • hardhat от 1.3.0 до 1.3.1
    • haven от 2.5.3 до 2.5.4
    • htmltools от 0.5.5 до 0.5.7
    • htmlwidgets с версии 1.6.2 до версии 1.6.4
    • httpuv от 1.6.11 до 1.6.14
    • httr от 1.4.6 до 1.4.7
    • httr2 от 0.2.3 до 1.0.0
    • jsonlite от 1.8.7 до 1.8.8
    • трикотаж от 1,43 до 1,45
    • метка от 0.4.2 до 0.4.3
    • позже от 1.3.1 до 1.3.2
    • лава от 1.7.2.1 до 1.7.3
    • жизненный цикл от 1.0.3 до 1.0.4
    • listenv от 0.9.0 до 0.9.1
    • lubridate от 1.9.2 до 1.9.3
    • markdown от 1.7 до 1.12
    • Методы от 4.3.1 до 4.3.2
    • opensl от 2.0.6 до 2.1.1
    • параллельная от 4.3.1 до 4.3.2
    • pkgbuild от 1.4.2 до 1.4.3
    • pkgload от 1.3.2.1 до 1.3.4
    • plyr от 1.8.8 до 1.8.9
    • prettyunits от 1.1.1 до 1.2.0
    • pROC от 1.18.4 до 1.18.5
    • processx от 3.8.2 до 3.8.3
    • prodlim от 2023.03.31 до 2023.08.28
    • обновление версии с 1.2.2 до 1.2.3
    • progressr от 0.13.0 до 0.14.0
    • обещания от 1.2.0.1 до 1.2.1
    • ps от 1.7.5 до 1.7.6
    • purrr от 1.0.1 до 1.0.2
    • ragg от 1.2.5 до 1.2.7
    • Rcpp от 1.0.11 до 1.0.12
    • RcppEigen от 0.3.3.9.3 до 0.3.3.9.4
    • readr от 2.1.4 до 2.1.5
    • рецепты от 1.0.6 до 1.0.9
    • обновление с версии 1.0.1 до 2.0.0
    • удаленные от 2.4.2 до 2.4.2.1
    • reprex от 2.0.2 до 2.1.0
    • rlang от 1.1.1 до 1.1.3
    • rmarkdown от 2.23 до 2.25
    • RODBC от 1.3-20 до 1.3-23
    • roxygen2 от 7.2.3 до 7.3.1
    • rprojroot от 2.0.3 до 2.0.4
    • Rserve от 1.8-11 до 1.8-13
    • RSQLite от 2.3.1 до 2.3.5
    • sass от 0.4.6 до 0.4.8
    • Диапазон версий от 1.2.1 до 1.3.0
    • блестящий от 1.7.4.1 до 1.8.0
    • sparklyr от 1.8.1 до 1.8.4
    • сплайны от 4.3.1 до 4.3.2
    • статистика от 4.3.1 до 4.3.2
    • stats4 от 4.3.1 до 4.3.2
    • stringi от 1.7.12 до 1.8.3
    • stringr от 1.5.0 до 1.5.1
    • systemfonts от 1.0.4 до 1.0.5
    • tcltk от 4.3.1 до 4.3.2
    • testthat от 3.1.10 до 3.2.1
    • тексты с 0.3.6 до 0.3.7
    • tidyr от 1.3.0 до 1.3.1
    • изменение времени с 0.2.0 до 0.3.0
    • TimeDate от 4022.108 до 4032.109
    • tinytex от 0,45 до 0,49
    • инструменты версии 4.3.1 до версии 4.3.2
    • utf8 от 1.2.3 до 1.2.4
    • utils от 4.3.1 до 4.3.2
    • uuid от 1.1-0 до 1.2-0
    • vctrs от 0.6.3 до 0.6.5
    • vroom от 1.6.3 до 1.6.5
    • waldo от 0.5.1 до 0.5.2
    • withr от 2.5.0 до 3.0.0
    • xfun от 0,39 до 0,41
    • xml2 от 1.3.5 до 1.3.6
    • yaml от 2.3.7 до 2.3.8
    • zip от 2.3.0 до 2.3.1
  • Обновленные библиотеки Java:
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 с 2.15.1 до 2.16.0
    • com.google.flatbuffers.flatbuffers-java с 1.12.0 до 23.5.26
    • com.typesafe.config от 1.2.1 до 1.4.3
    • org.apache.ant.ant от 1.9.16 до 1.10.11
    • org.apache.ant.ant-jsch с 1.9.16 по 1.10.11
    • org.apache.ant.ant-launcher от 1.9.16 до 1.10.11
    • org.apache.arrow.arrow-format от 12.0.1 до 15.0.0
    • org.apache.arrow.arrow-memory-core от 12.0.1 до 15.0.0
    • org.apache.arrow.arrow-memory-netty от 12.0.1 до 15.0.0
    • org.apache.arrow.arrow-vector от 12.0.1 до 15.0.0
    • org.apache.avro.avro с 1.11.2 до 1.11.3
    • org.apache.avro.avro-ipc с 1.11.2 до 1.11.3
    • org.apache.avro.avro-mapred с 1.11.2 до 1.11.3
    • org.apache.logging.log4j.log4j-1.2-api от 2.20.0 до 2.22.1
    • org.apache.logging.log4j.log4j-api с 2.20.0 до 2.22.1
    • org.apache.logging.log4j.log4j-core с 2.20.0 до 2.22.1
    • org.apache.logging.log4j.log4j-slf4j2-impl от 2.20.0 до 2.22.1
    • org.postgresql.postgresql с 42.6.0 до 42.6.1

Apache Spark

Databricks Runtime 15.1 включает Apache Spark 3.5.0. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 14.3 LTS, а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

  • [SPARK-45527] [ DBRRM-805][es-1073714] Отменить изменения "[SC-151626][core] Использовать дробь для вычисления ресурсов"
  • [SPARK-47102] [DBRRM-803][sc-158253][SQL] Добавьте флаг конфигурации COLLATION_ENABLED
  • [SPARK-46973] [ SC-158140][dbrrm-777][SQL] Пропустить поиск таблицы версии 2, если таблица находится в кэше таблиц версии 1
  • [SPARK-46808] [SC-154113][python] Уточнение классов ошибок в Python с помощью функции автоматической сортировки
  • [SPARK-47251] [SC-158291][python] Блокировать недопустимые типы из аргумента args команды sql
  • [SPARK-47251] [SC-158121][python] Блокировать недопустимые типы из аргумента args команды sql
  • [SPARK-47108][SC-157204][core] Задать derby.connection.requireAuthentication как false явно в CLI
  • [SPARK-45599] [SC-157537 ][core] Использование равенства объектов в OpenHashSet
  • [SPARK-47099] [SC-157352][sql] Использовать ordinalNumber для равномерной установки значения paramIndex для класса ошибок UNEXPECTED_INPUT_TYPE
  • [SPARK-46558] [SC-151363][connect] Извлечь вспомогательную функцию для устранения повторяющегося кода, который извлекает MessageParameters из ErrorParams в GrpcExceptionConverter
  • [SPARK-43117] [ SC-156177][connect] Добавьте поддержку ProtoUtils.abbreviate для повторяющихся полей
  • [SPARK-46342] [SC-150283][sql] Заменить IllegalStateException на SparkException.internalError в sql
  • [SPARK-47123] [ SC-157412][core] JDBCRDD неправильно обрабатывает ошибки в getQueryOutputSchema
  • [SPARK-47189] [SC-157667][sql] Подправить названия ошибок и текст столбцов
  • [SPARK-45789] [ SC-157101][sql] Поддержка DESCRIBE TABLE кластеризации столбцов
  • [SPARK-43256] [SC-157699][sql] Удалить класс ошибок _LEGACY_ERROR_TEMP_2021
  • [SPARK-47201] [ SC-157782][python][CONNECT] sameSemantics проверяет типы входных данных
  • [SPARK-47183] [ SC-157660][python] Исправлен класс ошибок для sameSemantics
  • [SPARK-47179] [ SC-157663][sql] Улучшение сообщения об ошибке из SparkThrowableSuite для улучшения отладки
  • [SPARK-46965] [ SC-155791][core] Check logType in Utils.getLog
  • [SPARK-46832] [SC-156774][sql] Введение выражений сопоставления и сортировки
  • [SPARK-46946] [ SC-155721][sql] Поддержка трансляции нескольких ключей фильтрации в DynamicPruning
  • [SPARK-47079] [ VARIANT-22][sc-157598][PYTHON][sql][CONNECT] Добавление сведений о типе варианта в PySpark
  • [SPARK-47101] [SC-157360][sql] Разрешить использовать запятую в именах столбцов верхнего уровня и удалить проверку определения вложенных типов в HiveExternalCatalog.verifyDataSchema
  • [SPARK-47173] [SC-157571 ][ss][UI] Исправление опечатки в объяснении пользовательского интерфейса потоковой передачи
  • [SPARK-47113] [SC-157348][core] Отмена исправления логики конечной точки S3A в SPARK-35878
  • [SPARK-47130] [ SC-157462][core] Использование listStatus для обхода сведений о расположении блока при очистке журналов драйверов
  • [SPARK-43259] [ SC-157368][sql] Назначьте имя классу ошибок _LEGACY_ERROR_TEMP_2024
  • [SPARK-47104] [ SC-157355][sql] TakeOrderedAndProjectExec должен инициализировать незащищенную проекцию
  • [SPARK-47137] [SC-157463 ][python][CONNECT] Добавление getAll в spark.conf для паритета компонентов с Scala
  • [SPARK-46924] [SC-154905][core] Исправить Load New кнопку в Master/HistoryServer пользовательском интерфейсе журнала
  • [SPARK-47069] [SC-157370][python][CONNECT] Введение spark.profile.show/dump для профилирования на основе SparkSession
  • [SPARK-46812] [SC-157075][sql][PYTHON] Обеспечить поддержку ResourceProfile в mapInPandas / mapInArrow
  • [SPARK-46833] [SC-155866][sql] Колляции — введение в CollationFactory, который предоставляет правила сравнения и хэширования для поддерживаемых колляций.
  • [SPARK-47057] [SC-157036][python] Включить тест данных MyPy
  • [SPARK-46934] [SC-157084][sql] Чтение и запись в циклическом процессе для типа структуры со специальными символами и HMS
  • [SPARK-46727] [SC-153472][sql] Портирование classifyException() в диалектах JDBC с учетом классов ошибок
  • [SPARK-46964] [ SC-155740][sql] Измените сигнатуру ошибки выполнения запроса hllInvalidLgK, чтобы принимать целое число в качестве 4-го аргумента
  • [SPARK-46949] [SC-155719][sql] Поддержка CHAR/VARCHAR в ResolveDefaultColumns
  • [SPARK-46972] [SC-155888][sql] Исправление асимметричного замещения для char/varchar в V2SessionCatalog.createTable
  • [SPARK-47014] [ SC-156778][python][CONNECT] Реализуйте методы dumpPerfProfiles и dumpMemoryProfiles SparkSession
  • [SPARK-46689] [SC-156221][spark-46690][PYTHON][connect] Поддержка профилирования версии 2 в функциях applyInPandas/applyInArrow для группы/cogroup
  • [SPARK-47040] [SC-156773][connect] Разрешить скрипту сервера Spark Connect ожидать
  • [SPARK-46688] [SC-156113][spark-46691][PYTHON][connect] Поддержка профилирования версии 2 в агрегированных Pandas UDFs
  • [SPARK-47004] [ SC-156499][connect] Добавлены дополнительные тесты в ClientStreamingQuerySuite для увеличения охвата клиентских тестов Scala
  • [SPARK-46994] [SC-156169][python] Рефакторинг PythonWrite для подготовки к поддержке потоковой записи источника данных Python
  • [SPARK-46979] [ SC-156587][ss] Добавьте поддержку указания кодировщика ключей и значений отдельно, а также для каждого семейства col в поставщике хранилища состояний RocksDB
  • [SPARK-46960] [ SC-155940][ss] Тестирование нескольких входных потоков с помощью оператора TransformWithState
  • [SPARK-46966] [ SC-156112][python] Добавьте API UDTF для метода анализа, чтобы указать подмножество входных столбцов таблицы для выбора
  • [SPARK-46895] [SC-155950][core] Заменить таймер на однопоточный планировщик задач
  • [SPARK-46967] [SC-155815][core][UI] Скрыть Thread Dump и Heap Histogram исполнителей в Dead пользовательском Executors интерфейсе
  • [SPARK-46512] [SC-155826][core] Оптимизировать считывание shuffle при использовании сортировки и объединения.
  • [SPARK-46958] [ SC-155942][sql] Добавьте отсутствующий часовой пояс для принудительного выполнения значений по умолчанию
  • [SPARK-46754] [ SC-153830][sql][AVRO] Исправление разрешения кода сжатия в определении таблицы avro и параметрах записи
  • [SPARK-46728] [ SC-154207][python] Проверка правильной установки Pandas
  • [SPARK-43403] [ SC-154216][ui] Убедитесь, что старый SparkUI в HistoryServer был отключен перед загрузкой нового
  • [SPARK-39910] [ SC-156203][sql] Делегирование квалификации пути к файловой системе во время глоббинга пути к файлу DataSource
  • [SPARK-47000] [SC-156123] Вернуть "[SC-156123][core] Использовать getTotalMemorySize...
  • [SPARK-46819] [ SC-154560][core] Перемещение категорий ошибок и состояний в JSON
  • [SPARK-46997] [ SC-156175][core] Включить spark.worker.cleanup.enabled по умолчанию
  • [SPARK-46865] [ SC-156168][ss] Добавление пакетной поддержки для оператора TransformWithState
  • [SPARK-46987] [SC-156040][connect] ProtoUtils.abbreviate избегайте ненужных операций setField
  • [SPARK-46970] [SC-155816][core] Перезапись OpenHashSet#hasher с помощью pattern matching
  • [SPARK-46984] [ SC-156024][python] Удалить pyspark.copy_func
  • [SPARK-47000] [SC-156123][core] Использовать getTotalMemorySize в WorkerArguments
  • [SPARK-46980] [ SC-155914][sql][MINOR] Избегайте использования внутренних API в сквозных тестах дейтафрейма.
  • [SPARK-46931] Отменить "[SC-155661][ps] Реализация {Frame, Series}.to_hdf"
  • [SPARK-46618] [ SC-153828][sql] Улучшение сообщений об ошибках для ошибки DATA_SOURCE_NOT_FOUND
  • [SPARK-46849] [SC-154586][sql] Запустить оптимизатор для стандартных значений столбцов CREATE TABLE
  • [SPARK-46911] [ SC-155724][ss] Добавление оператора deleteIfExists в StatefulProcessorHandleImpl
  • [SPARK-43273] [SQL] Поддержка lz4raw кодека сжатия для Parquet
  • [SPARK-47002] [ SC-156223][python] Вернёт более информативное сообщение об ошибке, если метод 'analyze' UDTF в поле 'orderBy' случайно возвращает список строк.
  • [SPARK-46890] [SC-155802][sql] Исправлена ошибка синтаксического анализа CSV с наличием значений по умолчанию и обрезкой столбцов
  • [SPARK-46977] [ SC-155892][core] Ошибка при запросе получения токена из одного NameNode не должна приводить к пропуску последующих запросов токенов
  • [SPARK-46608] [SC-151806][sql] Восстановление обратной совместимости JdbcDialect.classifyException
  • [SPARK-46908] [ SC-155702][sql] Предложение "Звезда" в WHERE предложении
  • [SPARK-46908] [ SC-155702][sql] Предложение "Звезда" в WHERE предложении
  • [SPARK-46852] [SC-155665][ss] Удалите использование явного кодировщика ключей и передайте его неявно оператору transformWithState.
  • [SPARK-46864] [ SC-155669][ss] Интеграция произвольного состояния V2 в новую структуру классов ошибок
  • [SPARK-45807] [SC-155706] [sql] Возвратить представление после вызова replaceView(.).
  • [SPARK-46899] [SC-154651][core] Удалить POST API из MasterWebUI когда spark.ui.killEnabled является false
  • [SPARK-46868] [SC-154539][core] Поддержка пользовательского интерфейса журнала рабочего узла Spark
  • [SPARK-46931] [ SC-155661][ps] Реализовать {Frame, Series}.to_hdf
  • [SPARK-46940] [ SC-155667][core] Удалить неиспользуемые updateSparkConfigFromProperties и isAbsoluteURI в o.a.s.u.Utils
  • [SPARK-46929] [SC-155659][core][CONNECT][ss] Используйте ThreadUtils.shutdown для закрытия пулов потоков
  • [SPARK-46400] [ SC-155658][core][SQL] Когда в локальном репозитории maven повреждены файлы, пропустите этот кэш и повторите попытку.
  • [SPARK-46932] [SC-155655] Очистка импорта в pyspark.pandas.test_*
  • [SPARK-46683] [SC-154120] Написать генератор подзапросов, создающий пермутации подзапросов для увеличения охвата тестирования
  • [SPARK-46914] [SC-154776][ui] Сокращение имени приложения в сводной таблице на странице истории
  • [SPARK-46831] [SC-154699][sql] Колляции — расширение StringType и PhysicalStringType с полем collationId
  • [SPARK-46816] [ SC-154415][ss] Добавьте базовую поддержку нового произвольного оператора управления состоянием, типа single valueState, нескольких переменных состояния и основной поддержки семейств столбцов для RocksDBStateStoreProvider с/без контрольных точек журнала изменений.
  • [SPARK-46925] [ SC-154890][python][CONNECT] Добавьте предупреждение, которое указывает установить memory_profiler для профилирования памяти
  • [SPARK-46927] [ SC-154904][python] Обеспечить корректную работу assertDataFrameEqual без PyArrow
  • [SPARK-46021] [ SC-148987][core] Поддержка отмены будущих заданий, принадлежащих группе заданий
  • [SPARK-46747] [ SC-154789][sql] Избегайте сканирования в getTableExistsQuery для диалектов JDBC
  • [SPARK-46904] [ SC-154704][ui] Исправлена проблема с отображением сводки интерфейса истории
  • [SPARK-46870] [ SC-154541][core] Поддержка пользовательского интерфейса главного журнала Spark
  • [SPARK-46893] [ SC-154780][ui] Удаление встроенных скриптов из описаний пользовательского интерфейса
  • [SPARK-46910] [ SC-154760][python] Устранение требований JDK в установке PySpark
  • [SPARK-46907] [ SC-154736][core] Отображение расположения журнала драйверов в сервере истории Spark
  • [SPARK-46902] [ SC-154661][ui] Исправлен пользовательский интерфейс сервера журнала Spark для использования неэкспортированного setAppLimit
  • [SPARK-46687] [ SC-154725][python][CONNECT] Базовая поддержка профилировщика памяти на основе SparkSession
  • [SPARK-46623] [ SC-153831][core][MLLIB][sql] Замените SimpleDateFormat на DateTimeFormatter
  • [SPARK-46875] [ SC-154627][sql] Когда mode равно null, должно NullPointException выбрасываться not исключение.
  • [SPARK-46872] [ SC-154543][core] Восстановление log-view.js в статусе вне модуля
  • [SPARK-46883] [SC-154629][core] API поддержки /json/clusterutilization
  • [SPARK-46886] [ SC-154630][core] Включить spark.ui.prometheus.enabled по умолчанию
  • [SPARK-46873] [ SC-154638][ss] Не создавайте новый StreamingQueryManager для той же сессии Spark
  • [SPARK-46829] [ SC-154419][core] Удалить createExecutorEnv из SparkEnv
  • [SPARK-46827] [ SC-154280][core] Сделайте RocksDBPersistenceEngine для поддержки символьной ссылки
  • [SPARK-46903] [SC-154662][core] Поддержка интерфейса журнала сервера истории Spark
  • [SPARK-46874] [ SC-154646][python] Удаление pyspark.pandas зависимостей из assertDataFrameEqual
  • [SPARK-46889] [ SC-154639][core] Проверка spark.master.ui.decommission.allow.mode параметра
  • [SPARK-46850] [ SC-154443][sql] Преобразование _LEGACY_ERROR_TEMP_2102 в UNSUPPORTED_DATATYPE
  • [SPARK-46704] [SC-153323][core][UI] Исправление MasterPage для правильной сортировки Running Drivers таблицы по столбцам Duration
  • [SPARK-46796] [ SC-154279][ss] Убедитесь, что для загрузки версии RocksDB используются правильные удаленные файлы (упомянутые в metadata.zip)
  • [SPARK-46888] [SC-154636][core] Исправлено Master так, чтобы отклонять /workers/kill/ запросы, если вывод из эксплуатации отключен.
  • [SPARK-46818] [ SC-154422][sql] Улучшение сообщений об ошибках для диапазона с не свертываемыми входными данными
  • [SPARK-46898] [SC-154649][connect] Упростить преобразование функции protobuf в планировщике
  • [SPARK-46828] [ SC-154413][sql] Удалить недопустимое утверждение режима удаленной работы для оболочки sql Spark
  • [SPARK-46733] [SC-154274][core] Упрощение BlockManager заключается в том, что операция завершения зависит исключительно от прерывающего потока.
  • [SPARK-46777] [ SC-154016][ss] Рефакторинг структуры катализатора StreamingDataSourceV2Relation, чтобы соответствовать пакетной версии
  • [SPARK-46515] [SC-151716] Добавление функции MONTHNAME
  • [SPARK-46823] [ SC-154276][connect][PYTHON] LocalDataToArrowConversion должен проверять наличие значения NULL
  • [SPARK-46787] [ SC-154404][connect] bloomFilter функция должна выбрасывать AnalysisException для недопустимых входных данных.
  • [SPARK-46779] [ SC-154045][sql] InMemoryRelation экземпляры одного кэшированного плана должны быть семантически эквивалентны
  • [SPARK-45827] [SC-153973] Запрет секционирования в столбце Variant
  • [SPARK-46797] [ SC-154085][core] Переименование spark.deploy.spreadOut в spark.deploy.spreadOutApps
  • [SPARK-46094] [SC-153421] Поддержка профилирования JVM исполнителя
  • [SPARK-46746] [SC-153557][sql][AVRO] Присоединение расширения кодека к файлам источника данных Avro
  • [SPARK-46698] [ SC-153288][core] Замените таймер однопоточным планировщиком заданий для ConsoleProgressBar.
  • [SPARK-46629] [SC-153835] Исправление для DDL типа STRUCT, не учитывающее nullability и комментарий.
  • [SPARK-46750] [ SC-153772][connect][PYTHON] Очистка кода API DataFrame
  • [SPARK-46769] [SC-153979][sql] Уточнение вывода схемы, связанного с меткой времени
  • [SPARK-46765] [ SC-153904][python][CONNECT] Укажите shuffle тип данных seed
  • [SPARK-46579] [ SC-151481][sql] Удалите URL-адрес JDBC из ошибок и логов
  • [SPARK-46686] [SC-153875][python][CONNECT] Базовая поддержка профилировщика UDF на Python основе SparkSession
  • [SPARK-46748] Отмена “[SC-153800][core] Удалить *slav**.sh scri…
  • [SPARK-46707] [ SC-153833][sql] Добавлено вызываемое поле для выражений для улучшения pushdown предиката
  • [SPARK-46519] [ SC-151278][sql] Очистить неиспользуемые классы ошибок из error-classes.json файла
  • [SPARK-46677] [SC-153426][sql][CONNECT] Исправление разрешения dataframe["*"]
  • [SPARK-46317] [SC-150184][python][CONNECT] Приведение в соответствие небольшого функциональности в SparkSession с полным покрытием тестами
  • [SPARK-46748] [ SC-153800][core] Удалить *slav**.sh скрипты
  • [SPARK-46663] [ SC-153490][python] Отключите профилировщик памяти для UDF pandas с итераторами
  • [SPARK-46410] [SC-150776][sql] Назначить классы/подклассы ошибок JdbcUtils.classifyException
  • [SPARK-46277] [ SC-150126][python] Проверьте URL-адреса запуска с помощью настроенной конфигурации
  • [SPARK-46612] [ SC-153536][sql] Не преобразуйте строку типа массива, полученную из драйвера jdbc
  • [SPARK-46254] [SC-149788][python] Удаление проверки версий для устаревших Python 3.8/3.7
  • [SPARK-46490] [SC-151335][sql] Обязательное использование классов ошибок в SparkThrowable подклассах
  • [SPARK-46383] [ SC-153274][sc-147443][WARMFIX] Сокращение использования кучи драйвера путем уменьшения срока жизни TaskInfo.accumulables()
  • [SPARK-46541] [SC-153109][sql][CONNECT] Устранение неоднозначной ссылки на столбец в самостоятельном соединении
  • [SPARK-46381] [ SC-150495][sql] Перенос подклассов AnalysisException в классы ошибок
  • [SPARK-46351] [SC-150335][sql] Требуется класс ошибок в AnalysisException
  • [SPARK-46220] [ SC-149689][sql] Ограничить наборы знаков в decode()
  • [SPARK-46369] [ SC-150340][core] Удалить kill ссылку из RELAUNCHING драйверов в MasterPage
  • [SPARK-46052] [ SC-153284][core] Удалить функцию TaskScheduler.killAllTaskAttempts
  • [SPARK-46536] [ SC-153164][sql] Поддержка типа календарного интервала GROUP BY
  • [SPARK-46675] [ SC-153209][sql] Удалить неиспользуемый inferTimestampNTZ в ParquetReadSupport
  • [SPARK-46717] [SC-153423][core] Упростить ReloadingX509TrustManager за счёт того, что операция выхода зависит только от прерывания потока.
  • [SPARK-46722] [ SC-153438][connect] Добавьте тест относительно обратной проверки совместимости для StreamingQueryListener в Spark Connect (Scala/PySpark)
  • [SPARK-46187] [ SC-149580][sql] Выравнивание кодгена и реализации некодегена StringDecode
  • [SPARK-46258] [ SC-149799][core] Add RocksDBPersistenceEngine
  • [SPARK-46216] [ SC-149676][core] Улучшение FileSystemPersistenceEngine для поддержки сжатия
  • [SPARK-46189] [ SC-149567][ps][SQL] Выполните сравнения и арифметику между теми же типами в различных агрегатных функциях Pandas, чтобы избежать ошибок в режиме интерпретации
  • [SPARK-46184] [ SC-149563][core][SQL][connect][MLLIB] Уменьшить глубину стека, заменив Option.isDefined на Option.isEmpty
  • [SPARK-46700] [ SC-153329][core] Подсчет последнего разлива для метрики разлива диска с перемещением байтов
  • [SPARK-45642] [ SC-150286][core][SQL] Исправление FileSystem.isFile & FileSystem.isDirectory is deprecated
  • [SPARK-46640] [ SC-153272][sql] Исправление RemoveRedundantAlias путем исключения атрибутов вложенных запросов
  • [SPARK-46681] [ SC-153287][core] Рефакторинг ExecutorFailureTracker#maxNumExecutorFailures , чтобы избежать вычисления defaultMaxNumExecutorFailures при MAX_EXECUTOR_FAILURES настройке
  • [SPARK-46695] [ SC-153289][sql][HIVE] Always setting hive.execution.engine to mr
  • [SPARK-46325] [ SC-150228][connect] Удалите ненужные функции переопределения при создании WrappedCloseableIterator в ResponseValidator#wrapIterator
  • [SPARK-46232] [SC-149699][python] Миграция всех оставшихся ValueError в платформу ошибок PySpark.
  • [SPARK-46547] [ SC-153174][ss] Проглотить несерьезное исключение в задаче обслуживания, чтобы избежать взаимоблокировки между потоком выполнения обслуживания и оператором потоковой агрегации
  • [SPARK-46169] [ SC-149373][ps] Назначьте соответствующие номера JIRA для отсутствующих параметров из DataFrame API.
  • [SPARK-45857] [SC-148096][sql] Обеспечить применение классов ошибок в подклассах AnalysisException

Поддержка драйвера ODBC/JDBC Databricks

Databricks поддерживает драйверы ODBC/JDBC, выпущенные за последние 2 года. Скачайте недавно выпущенные драйверы и обновление (скачайте ODBC, скачайте JDBC).

Технические обновления

Ознакомьтесь с обновлениями обслуживания Databricks Runtime 15.1.

Системная среда

  • Операционная система: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.1.0

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 обратный вызов 0.2.0
чёрный 23.3.0 поворотник 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 сертификат 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
щелчок 8.0.4 cloudpickle 2.2.1 связь 0.1.2
контурная диаграмма 1.0.5 криптография 41.0.3 циклер 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 декоратор 5.1.1 distlib 0.3.8
точки входа 0,4 выполнение 0.8.3 обзор аспектов 1.1.1
блокировка файла 3.13.1 шрифтовые инструменты 4.25.0 gitdb 4.0.11
GitPython 3.1.42 google-api-core 2.17.1 google-auth 2.28.2
google-cloud-core 2.4.1 Google Cloud Storage (Google Облачное Хранилище) 2.15.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3,4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipywidgets 8.0.4 isodate 0.6.1
джедай 0.18.1 jeepney 0.7.1 jmespath 0.10.0
joblib 1.2.0 jupyter_client 7.4.9 jupyter_core 5.3.0
jupyterlab-widgets 3.0.5 нажатие клавиш 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.1
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 упаковка 23,2
pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
простофиля 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 23.2.1 platformdirs 3.10.0
график 5.9.0 prompt-toolkit 3.0.36 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 14.0.1 pyasn1 0.4.8
pyasn1-modules 0.2.8 pyccolo 0.0.52 pycparser 2.21
pydantic 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.38 pyparsing 3.0.9
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 pytz 2022.7
PyYAML 6,0 pyzmq 23.2.0 запросы 2.31.0
rsa 4,9 s3transfer 0.10.0 scikit-learn 1.3.0
scipy 1.11.1 мореборн 0.12.2 SecretStorage 3.3.1
setuptools 68.0.0 шесть 1.16.0 smmap 5.0.1
sqlparse 0.4.4 ssh-import-id (команда для импортирования SSH идентификаторов) 5,11 стек данных 0.2.0
statsmodels 0.14.0 настойчивость 8.2.2 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tornado 6.3.2 traitlets 5.7.1
typing_extensions 4.7.1 tzdata 2022.1 ujson 5.4.0
unattended-upgrades 0,1 urllib3 1.26.16 virtualenv 20.24.2
wadllib 1.3.6 wcwidth 0.2.5 колесо 0.38.4
widgetsnbextension 4.0.5 zipp 3.11.0

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка CRAN Posit диспетчер пакетов CRAN 2023-02-10.

Библиотека Версия Библиотека Версия Библиотека Версия
Стрелка 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
обратные порты 1.4.1 база 4.3.2 base64enc 0.1-3
bigD 0.2.0 бит 4.0.5 bit64 4.0.5
bitops 1.0-7 BLOB 1.2.4 запуск 1.3-28
заваривать 1.0-10 брио 1.1.4 метла 1.0.5
bslib 0.6.1 cachem 1.0.8 вызывающий объект 3.7.3
курсор 6.0-94 cellranger 1.1.0 chron 2.3-61
класс 7.3-22 cli 3.6.2 clipr 0.8.0
часы 0.7.0 кластер 2.1.4 codetools 0.2-19
цветовое пространство 2.1-0 commonmark 1.9.1 компилятор 4.3.2
конфигурация 0.3.2 Противоречие 1.2.0 cpp11 0.4.7
карандаш 1.5.2 учетные данные 2.0.1 curl 5.2.0
data.table 1.15.0 наборы данных 4.3.2 DBI 1.2.1
dbplyr 2.4.0 описание 1.4.3 средства разработки 2.4.5
Схема 1.6.5 diffobj 0.3.5 дайджест 0.6.34
освещение вниз 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 многоточие 0.3.2 оценивать 0,23
вентиляторы 1.0.6 Farver 2.1.1 быстрая карта 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
иностранный 0.8-85 создавать 0.2.0 fs 1.6.3
будущее 1.33.1 future.apply 1.11.1 полоскание 1.5.2
Обобщенные типы 0.1.3 gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 глобальные переменные 0.16.2 клей 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Говер 1.0.1
графика 4.3.2 grDevices 4.3.2 сетка 4.3.2
gridExtra 2.3 gsubfn 0,7 gt 0.10.1
gтаблица 0.3.4 каска 1.3.1 пристанище 2.5.4
выше 0.10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 Итераторы 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1,45 маркирование 0.4.3
позже 1.3.2 решётка 0.21-8 лава 1.7.3
жизненный цикл 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 Markdown 1.12 МАССАЧУСЕТС 7.3-60
«Матрица» 1.5-4.1 memoise 2.0.1 методы 4.3.2
mgcv 1.8-42 мим 0,12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 параллельный 4.3.2
параллельно 1.36.0 столб 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 хвалить 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 Ход выполнения 1.2.3
progressr 0.14.0 обещания 1.2.1 прототип 1.0.0
прокси 0.4-27 П.С. 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 реактивный стол 0.4.4
ReactR 0.5.0 readr 2.1.5 readxl 1.4.3
Рецепты 1.0.9 реванш 2.0.0 rematch2 2.1.2
пульты дистанционного управления 2.4.2.1 воспроизводимый пример (reprex) 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2,25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
весы 1.3.0 селектор 0.4-2 информация о сессии 1.2.2
форма 1.4.6 блестящий 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 пространственный 7.3-15 Сплайны 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 статистика 4.3.2
статистика4 4.3.2 stringi 1.8.3 stringr 1.5.1
выживание 3.5-5 swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
формирование текста 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 timechange 0.3.0
TimeDate 4032.109 tinytex 0,49 инструменты 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 служебные программы 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
врум 1.6.5 waldo 0.5.2 нить 0.4.1
withr 3.0.0 xfun 0,41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip-архив 2.3.1

Установленные Java и библиотеки Scala (версия кластера Scala 2.12)

Идентификатор группы Идентификатор артефакта Версия
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics поток 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware крио-шэйдед 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml одноклассник 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone аннотации, склонные к ошибкам 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.helger профилировщик 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe конфигурация 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib BLAS (Базовые подпрограммы линейной алгебры) 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift воздушный компрессор 0.25
io.delta delta-sharing-client_2.12 1.0.4
io.dropwizard.metrics метрики-аннотации 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics метрики и проверки состояния 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver (резолвер для Netty) 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx коллектор 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation активация 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1,3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr StringTemplate 3.2.1
org.apache.ant муравей 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow формат со стрелкой 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow стрелка-вектор 15.0.0
org.apache.avro авро 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator куратор-клиент 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator рецепты куратора 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby дерби 10.14.2.0
org.apache.hadoop времени выполнения клиента Hadoop 3.3.6
org.apache.hive hive-beeline (инструмент командной строки для Apache Hive) 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy Ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-шейд-protobuf
org.apache.orc orc-mapreduce 1.9.2-шейд-protobuf
org.apache.orc орк-шимы 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4,23
org.apache.yetus аннотации для аудитории 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections Eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty джетти-продолжение 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty джетти-сервер 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-API (вебсокетный API) 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket вебсокет-сервер 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains аннотации 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap прокладки 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt тестовая интерфейс 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest Scalatest-совместимый 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
  • Last updated on