Databricks Runtime 15.4 LTS для Machine Learning

Databricks Runtime 15.4 LTS для машинного обучения предоставляет готовую среду для машинного обучения и научной работы с данными на основе Databricks Runtime 15.4 LTS. Databricks Runtime ML содержит множество популярных библиотек машинного обучения, включая TensorFlow, PyTorch и XGBoost. Databricks Runtime ML включает AutoML – средство для автоматического обучения конвейеров машинного обучения. Databricks Runtime ML также поддерживает распределенное глубокое обучение с помощью TorchDistributor.

Примечание.

LTS означает, что эта версия находится в долгосрочной поддержке. См. жизненный цикл версии LTS среды выполнения Databricks.

Совет

Чтобы просмотреть примечания к выпускам версий Databricks Runtime, которые достигли окончания поддержки (EoS), смотрите примечания к выпускам Databricks Runtime. Версии среды выполнения EoS Databricks устарели и могут не обновляться.

Новые функции и внесенные улучшения

Databricks Runtime 15.4 LTS ML построен на основе Databricks Runtime 15.4 LTS. Сведения о новых возможностях Databricks Runtime 15.4 LTS, включая Apache Spark MLlib и SparkR, см. в заметках о выпуске Databricks Runtime 15.4 LTS .

Веса выборок в AutoML для классификации

AutoML теперь поддерживает примеры весов для классификации, позволяя настраивать важность каждого класса во время обучения модели классификации. Дополнительные сведения см. в параметрах классификации для AutoML Python API.

Изменения клиента Databricks Feature Engineering

Версия databricks-feature-engineering, которая поставлялась с Databricks Runtime 15.4 LTS ML, — 0.6.0.

  • Для вычислений, созданных 31 марта 2025 г. или позже, которые не активированы для Photon, установлена версия databricks-feature-engineering 0.8.0.
  • Для вычислений, которые были созданы 21 июля 2025 г. или позже и для которых включен Photon или используются ЦП на основе Arm64, установленная версия databricks-feature-engineering — 0.8.0.

Дополнительные сведения о новых возможностях api Python Python Databricks см. в заметках о выпуске клиента .

Другие изменения

Petastorm теперь не рекомендуется

Пакет Petastorm теперь устарел. Выпуски после 15.4 LTS ML не будут иметь этот пакет предустановленным. Mosaic Streaming рекомендуется в качестве замены для загрузки больших наборов данных из облачного хранилища.

Распространитель Spark TensorFlow больше не поддерживается.

Пакет spark-tensorflow-distributor теперь устарел. Выпуски после 15.4 LTS ML не будут иметь этот пакет предустановленным. Ray on Databricks является рекомендуемой заменой для распределенного обучения модели Tensorflow или Keras.

Системная среда

Системная среда в Databricks Runtime 15.4 LTS ML отличается от Databricks Runtime 15.4 LTS следующим образом:

  • Для кластеров GPU Databricks Runtime ML включает следующие библиотеки NVIDIA GPU:
    • CUDA 12.1
    • cusolver 11.4.5.107-1
    • cupti 12.1
    • cuDNN 8.9.0.131-1
    • NCCL 2.17.1
    • TensorRT 8.6.1.6-1

Библиотеки

В следующих разделах перечислены библиотеки, включенные в Databricks Runtime 15.4 LTS ML, которые отличаются от библиотек, включенных в Databricks Runtime 15.4 LTS.

В этом разделе рассматриваются следующие вопросы.

Библиотеки верхнего уровня

Databricks Runtime 15.4 LTS ML включает следующие библиотеки верхнего уровня:

библиотеки Python

Databricks Runtime 15.4 LTS ML использует virtualenv для управления пакетами Python и включает множество популярных пакетов машинного обучения.

Помимо пакетов, указанных в следующих разделах, Databricks Runtime 15.4 LTS ML также включает следующие пакеты:

  • Hyperopt 0.2.7+db3
  • sparkdl 3.0.0_db1
  • automl 1.28.0

Чтобы воспроизвести среду Databricks Runtime машинного обучения Python в локальной виртуальной среде Python:

  1. Скачайте соответствующий requirements.txt файл. Ознакомьтесь requirements.txt с версиями файлов для Databricks Runtime 15.4 LTS ML.

  2. В системах Ubuntu выполните команду sudo apt-get install libpq-dev libcairo2-dev libdbus-1-dev libgirepository1.0-dev libsnappy-dev, чтобы установить системные библиотеки.

  3. Запустите pip install -r requirements-<version>.txt> --extra-index-url https://download.pytorch.org/whl/cpu. Например: pip install -r requirements-15.4-v3.txt --extra-index-url https://download.pytorch.org/whl/cpu.

    Эта команда устанавливает все библиотеки с открытым исходным кодом, которые использует Databricks Runtime ML, но не устанавливает библиотеки, разработанные Databricks, такие как databricks-automl, или форк Databricks hyperopt или horovod.

requirements.txt версии файлов для Databricks Runtime 15.4 LTS ML

Некоторые пакеты были обновлены после первоначального выпуска Databricks Runtime 15.4 LTS ML. Используйте следующую таблицу, чтобы определить и скачать правильный requirements.txt файл.

Создано вычисление даты Состояние фотона Пакеты обновляются после первоначального выпуска Databricks Runtime 15.4 LTS ML Файл requirements.txt
До 11 февраля 2025 г. Любое None requirements-15.4.txt
Между 12 февраля 2025 г. и 30 марта 2025 г. Не включена для Photon mlflow-skinny 2.19.0 requirements-15.4-v2.txt
Между 31 марта 2025 г. и 20 июля 2025 г. Не включена для Photon mlflow-skinny 2.19.0
databricks-feature-engineering 0.8.0		 requirements-15.4-v3.txt
21 июля 2025 г. или после Включена для Photon или используется ЦП на архитектуре Arm64 mlflow-skinny 2.19.0
databricks-feature-engineering 0.8.0
ray 2.37.0		 requirements-15.4-v4.txt

библиотеки Python в кластерах ЦП

Библиотека Версия Библиотека Версия Библиотека Версия
absl-py 1.0.0 ускорить 0.31.0 aiohttp 3.8.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 anyio 3.5.0
argon2-cffi 21.3.0 argon2-cffi-связки 21.2.0 Астор 0.8.1
асттокенс 2.0.5 астунпарс 1.6.3 асинхронный таймаут 4.0.2
атрибуты 22.1.0 аудиочтение 3.0.1 azure-core 1.30.2
azure-cosmos 4.3.1 azure-identity 1.17.1 azure-storage-blob (облако сохранения Azure) 12.19.1
хранилище файлов данных Azure Data Lake 12.14.0 обратный вызов 0.2.0 bcrypt (алгоритм хеширования паролей) 3.2.0
beautifulsoup4 4.12.2 черный 23.3.0 отбеливатель 4.1.0
поворотник 1.4 блаженство 0.7.11 boto3 1.34.39
botocore 1.34.39 Бротли 1.0.9 инструменты для кэша 5.4.0
каталог 2.0.10 кодировщики категорий 2.6.3 сертификат 2023.7.22
cffi 1.15.1 chardet 4.0.0 нормализатор кодировки 2.0.4
автоматический выключатель 1.4.0 щелчок 8.0.4 cloudpathlib 0.16.0
Клаудпикл 2.2.1 cmdstanpy 1.2.2 цветастые 0.5.6
коммуникация 0.1.2 сласти 0.1.4 конфигпарсер 5.2.0
контурная диаграмма 1.0.5 криптография 41.0.3 велосипедист 0.11.0
цимем 2.0.8 Cython 0.29.32 дацит 1.8.1
Databricks-AutoML-Runtime 0.2.21 databricks-фичер инженерии (databricks-feature-engineering) 0.6.0 databricks-sdk 0.20.0
dataclasses-json 0.6.7 наборы данных 2.19.1 dbl-tempo 0.1.26
dbus-python 1.2.18 debugpy 1.6.7 декоратор 5.1.1
DeepSpeed 0.14.4 defusedxml 0.7.1 Устарело 1.2.14
укроп 0.3.6 кэш диска 5.6.3 Дистлиб 0.3.8
dm-tree 0.1.8 точки входа 0,4 оценивать 0.4.2
исполнение 0.8.3 Обзор аспектов 1.1.1 Farama-Уведомления 0.0.4
fastjsonschema 2.20.0 FastText 0.9.2 блокировка файлов 3.13.4
Фляжка 2.2.5 FlatBuffers 24.3.25 шрифтовые инструменты 4.25.0
замороженный список 1.3.3 fsspec 2023.5.0 будущее 0.18.3
гаст 0.4.0 gitdb 4.0.11 GitPython 3.1.27
google-api-core 2.18.0 google-auth (аутентификация от Google) 2.21.0 google-auth-oauthlib 1.0.0
google-cloud-core (основной модуль Google Cloud) 2.4.1 облачное хранилище Google 2.10.0 google-crc32c 1.5.0
гугл-паста 0.2.0 гугл-возобновляемые-медиа 2.7.1 googleapis-common-protos (общие протоколы googleapis) 1.63.0
гринлет 2.0.1 grpcio 1.60.0 grpcio-status 1.60.0
гуникорн 20.1.0 интерфейс программирования приложений gviz 1.10.0 спортзал 0.28.1
h11 0.14.0 h5py 3.10.0 hjson 3.1.0
каникулы 0,45 % Horovod 0.28.1+db1 htmlmin 0.1.12
httpcore 1.0.5 httplib2 0.20.2 httpx 0.27.0
платформа huggingface-hub 0.23.4 IDNA 3,4 ImageHash (Хэш изображений) 4.3.1
imageio 2.31.1 imbalanced-learn (библиотека Python для работы с несбалансированными данными) 0.11.0 importlib-metadata 6.0.0
importlib_resources 6.4.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils (утилиты для iPython) 0.2.0 ipywidgets (виджеты для IPython) 7.7.2
isodate (стандартная дата ISO) 0.6.1 это опасно 2.0.1 Джакс-Джампи 1.0.0
джедай 0.18.1 джипни 0.7.1 Джинджа2 3.1.2
jmespath 0.10.0 joblib 1.2.0 joblibspark 0.5.1
jsonpatch 1,33 Джсонпоинтер (jsonpointer) 3.0.0 jsonschema (JSON-схема) 4.17.3
jupyter-сервер 1.23.4 клиент Jupyter 7.4.9 jupyter_core (ядро Jupyter) 5.3.0
jupyterlab-pygments 0.1.2 Керас 3.2.1 нажатие клавиш 23.5.0
Кивисолвер 1.4.4 Лангчейн 0.1.20 langchain-community 0.0.38
langchain-core 0.1.52 Делители текста langchain 0.0.2 языковые коды 3.4.0
langsmith 0.1.63 языковые_данные 1.2.0 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 ленивый загрузчик 0,2
libclang 15.0.6.1 librosa 0.10.1 LightGBM (фреймворк для машинного обучения) 4.3.0
linkify-it-py 2.0.0 llvmlite 0.40.0 lxml 4.9.2
lz4 4.3.2 Мако 1.2.0 мариса-три 1.1.1
Markdown (язык разметки) 3.4.1 markdown-it-py 2.2.0 MarkupSafe 2.1.1
зефир 3.21.2 matplotlib 3.7.2 матплотлиб-инлайн 0.1.6
mdit-py-plugins 0.3.0 mdurl 0.1.0 Мемрей 1.13.3
Мистун 0.8.4 ml-dtypes 0.3.2 mlflow-skinny* 2.13.1
more-itertools 8.10.0 mosaicml-streaming 0.7.4 mpmath 1.3.0
msal 1.29.0 msal-extensions 1.2.0 msgpack 1.0.8
мультидикт 6.0.2 мультиметод 1.12 многопроцессная обработка 0.70.14
murmurhash (алгоритм хеширования MurmurHash) 1.0.10 mypy-extensions (расширения для mypy) 0.4.3 namex 0.0.8
nbclassic 0.5.5 nbclient 0.5.13 Перекодировщик nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 networkx 3.1
ниндзя 1.11.1.1 nltk (Natural Language Toolkit) 3.8.1 записная книжка 6.5.4
ноутбук_шим 0.2.2 намба 0.57.1 numpy (библиотека для работы с массивами и матрицами в Python) 1.23.5
nvidia-ml-py 12.555.43 OAuthlib 3.2.0 oci 2.126.4
openai 1.35.3 opencensus 0.11.4 opencensus-context 0.1.3
opentelemetry-api 1.25.0 opentelemetry-sdk 1.25.0 соглашения opentelemetry-semantic-conventions 0.46b0
opt-einsum 3.3.0 optree 0.12.1 orjson 3.10.6
упаковка 23,2 Панды 1.5.3 пандокфильтры 1.5.0
paramiko 3.4.0 парсо 0.8.3 спецификация пути 0.10.3
жертва обмана 0.5.3 petastorm 0.12.1 pexpect (библиотека Python для автоматизации взаимодействия с приложениями) 4.8.0
фик 0.12.4 Пиклшэр 0.7.5 Подушка 9.4.0
пит 23.2.1 Platformdirs 3.10.0 график 5.9.0
pmdarima 2.0.4 пёсик 1.8.1 portalocker 2.10.1
под давлением 3.0.9 prometheus-client 0.14.1 prompt-toolkit (инструментарий подсказок) 3.0.36
пророк 1.1.5 proto-plus 1.24.0 protobuf (протобуф) 4.24.1
psutil (пакет Python для работы с процессами и системами) 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
пьюр-эвэл 0.2.2 py-cpuinfo 8.0.0 py-spy 0.3.14
pyarrow 14.0.1 пьэрроу-хотфикс 0,6 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.13.1 Пикколо 0.0.52
pycparser 2.21 pydantic (библиотека Python для валидации данных) 1.10.6 Пигменты 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 PyNaCl 1.5.0
pyodbc — библиотека Python для работы с базами данных через ODBC 4.0.38 pyOpenSSL 23.2.0 pyparsing (библиотека для синтаксического анализа в Python) 3.0.9
пирсистент 0.18.0 pytesseract 0.3.10 python-dateutil (библиотека для работы с датами и временем в Python) 2.8.2
редактор Python 1.0.4 python-lsp-jsonrpc 1.1.1 Python-Snappy 0.6.1
pytz (библиотека Python для работы с часовыми поясами) июль 2022 года PyWavelets 1.4.1 PyYAML 6,0
pyzmq 23.2.0 луч* 2.20.0 regex 2022.7.9
запросы 2.31.0 requests-oauthlib 1.3.1 богатый 13.7.1
rsa 4,9 s3transfer 0.10.2 файлы safetensors 0.4.2
scikit-image 0.20.0 scikit-learn (библиотека машинного обучения) 1.3.0 scipy (библиотека Python) 1.11.1
мореборн 0.12.2 SecretStorage 3.3.1 Send2Trash 1.8.0
преобразователи предложений 2.7.0 предложение 0.1.99 setuptools (пакет для установки и управления Python-пакетами) 68.0.0
форма 0.44.0 simplejson 3.17.6 шесть 1.16.0
Ломтерезка 0.0.7 смарт-оупен 5.2.1 сммап 5.0.0
сниффио 1.2.0 звуковой файл 0.12.1 ситечко для супа 2.4
soxr 0.3.7 мечтательный 3.7.2 spacy-legacy 3.0.12
спейси-логгеры 1.0.5 spark-tensorflow-distributor (дистрибьютор для TensorFlow на Spark) 1.0.0 SQLAlchemy 1.4.39
sqlparse 0.4.2 серьёзно 2.4.8 ssh-import-id (импортировать идентификатор SSH) 5,11
стековые данные 0.2.0 стэнио 0.5.1 statsmodels (библиотека Python для статистического моделирования) 0.14.0
SymPy 1.11.1 Запутавшийся в юникоде 0.2.0 упорство 8.2.2
ТензорБорд 2.16.2 tensorboard-data-server (сервер данных TensorBoard) 0.7.2 плагин_профиль_tensorboard 2.15.1
tensorboardX 2.6.2.2 Tensorflow 2.16.1 TensorFlow Estimator 2.15.0
tensorflow-io-gcs-filesystem (файловая система GCS для Tensorflow IO) 0.37.1 термколор 2.4.0 завершено 0.17.1
текстовый 0.63.3 tf_keras 2.16.0 тонкий 8.2.3
Threadpoolctl 2.2.0 tifffile (файл формата TIFF) 2021.7.2 тиктокен 0.5.2
tinycss2 1.2.1 токенизация-рт 4.2.1 токенизаторы 0.19.0
фонарик 2.3.1+ЦП факел 0.0.7 torchvision (библиотека PyTorch для компьютерного зрения) 0.18.1+ЦП
торнадо 6.3.2 tqdm 4.65.0 Трейтлеты 5.7.1
Трансформаторы 4.41.2 защита типа 2.13.3 машинистка / печатник / типировщик 0.9.4
ввод и проверка 0.9.0 typing_extensions (расширения для ввода текста) 4.10.0 tzdata 2022.1
uc-micro-py 1.0.1 ujson 5.4.0 автоматические обновления 0,1
urllib3 1.26.16 virtualenv 20.24.2 видения 0.7.5
wadllib 1.3.6 васаби 1.1.2 wcwidth (ширина символа в Unicode) 0.2.5
ласка 0.3.4 веб-энкодинги 0.5.1 клиент WebSocket 0.58.0
Инструмент 2.2.3 колесо 0.38.4 облако слов 1.9.3
обернутый 1.14.1 XGBoost 2.0.3 xxhash 3.4.1
ярл 1.8.1 ydata-profiling 4.5.1 ZIPP 3.11.0
zstd 1.5.5.1

* Для вычислений, созданных 12 февраля 2025 г. и не включенных для Photon, mlflow-skinny обновляется до версии 2.19.0. Для вычислений, созданных 21 июля 2025 года или позже, которые поддерживают Photon или используют ЦП на основе Arm64, обновляется до версии 2.19.0, mlflow-skinny обновляется до версии 2.37.0, и ray обновляется до версии 0.8.0.

библиотеки Python в кластерах GPU

Библиотека Версия Библиотека Версия Библиотека Версия
absl-py 1.0.0 ускорить 0.31.0 aiohttp 3.8.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 anyio 3.5.0
argon2-cffi 21.3.0 argon2-cffi-связки 21.2.0 Астор 0.8.1
асттокенс 2.0.5 астунпарс 1.6.3 асинхронный таймаут 4.0.2
атрибуты 22.1.0 аудиочтение 3.0.1 azure-core 1.30.2
azure-cosmos 4.3.1 azure-identity 1.17.1 azure-storage-blob (облако сохранения Azure) 12.19.1
хранилище файлов данных Azure Data Lake 12.14.0 обратный вызов 0.2.0 bcrypt (алгоритм хеширования паролей) 3.2.0
beautifulsoup4 4.12.2 черный 23.3.0 отбеливатель 4.1.0
поворотник 1.4 блаженство 0.7.11 boto3 1.34.39
botocore 1.34.39 Бротли 1.0.9 инструменты для кэша 5.4.0
каталог 2.0.10 кодировщики категорий 2.6.3 сертификат 2023.7.22
cffi 1.15.1 chardet 4.0.0 нормализатор кодировки 2.0.4
автоматический выключатель 1.4.0 щелчок 8.0.4 cloudpathlib 0.16.0
Клаудпикл 2.2.1 cmdstanpy 1.2.2 цветастые 0.5.6
коммуникация 0.1.2 сласти 0.1.4 конфигпарсер 5.2.0
контурная диаграмма 1.0.5 криптография 41.0.3 велосипедист 0.11.0
цимем 2.0.8 Cython 0.29.32 дацит 1.8.1
Databricks-AutoML-Runtime 0.2.21 databricks-фичер инженерии (databricks-feature-engineering) 0.6.0 databricks-sdk 0.20.0
dataclasses-json 0.6.7 наборы данных 2.19.1 dbl-tempo 0.1.26
dbus-python 1.2.18 debugpy 1.6.7 декоратор 5.1.1
DeepSpeed 0.14.4 defusedxml 0.7.1 Устарело 1.2.14
укроп 0.3.6 кэш диска 5.6.3 Дистлиб 0.3.8
dm-tree 0.1.8 einops 0.8.0 точки входа 0,4
оценивать 0.4.2 исполнение 0.8.3 Обзор аспектов 1.1.1
Farama-Уведомления 0.0.4 fastjsonschema 2.20.0 FastText 0.9.2
блокировка файлов 3.13.4 flash-attn 2.5.9.post1 Фляжка 2.2.5
FlatBuffers 24.3.25 шрифтовые инструменты 4.25.0 замороженный список 1.3.3
fsspec 2023.5.0 будущее 0.18.3 гаст 0.4.0
gitdb 4.0.11 GitPython 3.1.27 google-api-core 2.18.0
google-auth (аутентификация от Google) 2.21.0 google-auth-oauthlib 1.0.0 google-cloud-core (основной модуль Google Cloud) 2.4.1
облачное хранилище Google 2.10.0 google-crc32c 1.5.0 гугл-паста 0.2.0
гугл-возобновляемые-медиа 2.7.1 googleapis-common-protos (общие протоколы googleapis) 1.63.0 гринлет 2.0.1
grpcio 1.60.0 grpcio-status 1.60.0 гуникорн 20.1.0
интерфейс программирования приложений gviz 1.10.0 спортзал 0.28.1 h11 0.14.0
h5py 3.10.0 hjson 3.1.0 каникулы 0,45 %
Horovod 0.28.1+db1 htmlmin 0.1.12 httpcore 1.0.5
httplib2 0.20.2 httpx 0.27.0 платформа huggingface-hub 0.23.4
IDNA 3,4 ImageHash (Хэш изображений) 4.3.1 imageio 2.31.1
imbalanced-learn (библиотека Python для работы с несбалансированными данными) 0.11.0 importlib-metadata 6.0.0 importlib_resources 6.4.0
ipyflow-core 0.0.198 ipykernel 6.25.1 ipython 8.15.0
ipython-genutils (утилиты для iPython) 0.2.0 ipywidgets (виджеты для IPython) 7.7.2 isodate (стандартная дата ISO) 0.6.1
это опасно 2.0.1 Джакс-Джампи 1.0.0 джедай 0.18.1
джипни 0.7.1 Джинджа2 3.1.2 jmespath 0.10.0
joblib 1.2.0 joblibspark 0.5.1 jsonpatch 1,33
Джсонпоинтер (jsonpointer) 3.0.0 jsonschema (JSON-схема) 4.17.3 jupyter-сервер 1.23.4
клиент Jupyter 7.4.9 jupyter_core (ядро Jupyter) 5.3.0 jupyterlab-pygments 0.1.2
Керас 3.2.1 нажатие клавиш 23.5.0 Кивисолвер 1.4.4
Лангчейн 0.1.20 langchain-community 0.0.38 langchain-core 0.1.52
Делители текста langchain 0.0.2 языковые коды 3.4.0 langsmith 0.1.63
языковые_данные 1.2.0 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 ленивый загрузчик 0,2 libclang 15.0.6.1
librosa 0.10.1 LightGBM (фреймворк для машинного обучения) 4.3.0 linkify-it-py 2.0.0
llvmlite 0.40.0 lxml 4.9.2 lz4 4.3.2
Мако 1.2.0 мариса-три 1.1.1 Markdown (язык разметки) 3.4.1
markdown-it-py 2.2.0 MarkupSafe 2.1.1 зефир 3.21.2
matplotlib 3.7.2 матплотлиб-инлайн 0.1.6 mdit-py-plugins 0.3.0
mdurl 0.1.0 Мемрей 1.13.4 Мистун 0.8.4
ml-dtypes 0.3.2 mlflow-skinny* 2.13.1 more-itertools 8.10.0
mosaicml-streaming 0.7.4 mpmath 1.3.0 msal 1.30.0
msal-extensions 1.2.0 msgpack 1.0.8 мультидикт 6.0.2
мультиметод 1.12 многопроцессная обработка 0.70.14 murmurhash (алгоритм хеширования MurmurHash) 1.0.10
mypy-extensions (расширения для mypy) 0.4.3 namex 0.0.8 nbclassic 0.5.5
nbclient 0.5.13 Перекодировщик nbconvert 6.5.4 nbformat 5.7.0
nest-asyncio 1.5.6 networkx 3.1 ниндзя 1.11.1.1
nltk (Natural Language Toolkit) 3.8.1 записная книжка 6.5.4 ноутбук_шим 0.2.2
намба 0.57.1 numpy (библиотека для работы с массивами и матрицами в Python) 1.23.5 nvidia-cublas-cu12 12.1.3.1
nvidia-cuda-cupti-cu12 12.1.105 nvidia-cuda-nvrtc-cu12 12.1.105 nvidia-cuda-runtime-cu12 12.1.105
nvidia-cudnn-cu12 8.9.2.26 nvidia-cufft-cu12 11.0.2.54 nvidia-curand-cu12 10.3.2.106
nvidia-cusolver-cu12 11.4.5.107 nvidia-cusparse-cu12 12.1.0.106 nvidia-ml-py 12.555.43
nvidia-nccl-cu12 2.20.5 nvidia-nvjitlink-cu12 12.5.82 nvidia-nvtx-cu12 12.1.105
OAuthlib 3.2.0 oci 2.126.4 openai 1.35.3
opencensus 0.11.4 opencensus-context 0.1.3 opentelemetry-api 1.25.0
opentelemetry-sdk 1.25.0 соглашения opentelemetry-semantic-conventions 0.46b0 opt-einsum 3.3.0
optree 0.12.1 orjson 3.10.6 упаковка 23,2
Панды 1.5.3 пандокфильтры 1.5.0 paramiko 3.4.0
парсо 0.8.3 спецификация пути 0.10.3 жертва обмана 0.5.3
petastorm 0.12.1 pexpect (библиотека Python для автоматизации взаимодействия с приложениями) 4.8.0 фик 0.12.4
Пиклшэр 0.7.5 Подушка 9.4.0 пит 23.2.1
Platformdirs 3.10.0 график 5.9.0 pmdarima 2.0.4
пёсик 1.8.1 portalocker 2.10.1 под давлением 3.0.9
prometheus-client 0.14.1 prompt-toolkit (инструментарий подсказок) 3.0.36 пророк 1.1.5
proto-plus 1.24.0 protobuf (протобуф) 4.24.1 psutil (пакет Python для работы с процессами и системами) 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 пьюр-эвэл 0.2.2
py-cpuinfo 8.0.0 py-spy 0.3.14 pyarrow 14.0.1
пьэрроу-хотфикс 0,6 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.13.1 Пикколо 0.0.52 pycparser 2.21
pydantic (библиотека Python для валидации данных) 1.10.6 Пигменты 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 PyNaCl 1.5.0 pyodbc — библиотека Python для работы с базами данных через ODBC 4.0.38
pyOpenSSL 23.2.0 pyparsing (библиотека для синтаксического анализа в Python) 3.0.9 пирсистент 0.18.0
pytesseract 0.3.10 python-dateutil (библиотека для работы с датами и временем в Python) 2.8.2 редактор Python 1.0.4
python-lsp-jsonrpc 1.1.1 Python-Snappy 0.6.1 pytz (библиотека Python для работы с часовыми поясами) июль 2022 года
PyWavelets 1.4.1 PyYAML 6,0 pyzmq 23.2.0
луч* 2.20.0 regex 2022.7.9 запросы 2.31.0
requests-oauthlib 1.3.1 богатый 13.7.1 rsa 4,9
s3transfer 0.10.2 файлы safetensors 0.4.2 scikit-image 0.20.0
scikit-learn (библиотека машинного обучения) 1.3.0 scipy (библиотека Python) 1.11.1 мореборн 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 преобразователи предложений 2.7.0
предложение 0.1.99 setuptools (пакет для установки и управления Python-пакетами) 68.0.0 форма 0.44.0
simplejson 3.17.6 шесть 1.16.0 Ломтерезка 0.0.7
смарт-оупен 5.2.1 сммап 5.0.0 сниффио 1.2.0
звуковой файл 0.12.1 ситечко для супа 2.4 soxr 0.3.7
мечтательный 3.7.2 spacy-legacy 3.0.12 спейси-логгеры 1.0.5
spark-tensorflow-distributor (дистрибьютор для TensorFlow на Spark) 1.0.0 SQLAlchemy 1.4.39 sqlparse 0.4.2
серьёзно 2.4.8 ssh-import-id (импортировать идентификатор SSH) 5,11 стековые данные 0.2.0
стэнио 0.5.1 statsmodels (библиотека Python для статистического моделирования) 0.14.0 SymPy 1.11.1
Запутавшийся в юникоде 0.2.0 упорство 8.2.2 ТензорБорд 2.16.2
tensorboard-data-server (сервер данных TensorBoard) 0.7.2 плагин_профиль_tensorboard 2.15.1 tensorboardX 2.6.2.2
Tensorflow 2.16.1 TensorFlow Estimator 2.15.0 tensorflow-io-gcs-filesystem (файловая система GCS для Tensorflow IO) 0.37.1
термколор 2.4.0 завершено 0.17.1 текстовый 0.63.3
tf_keras 2.16.0 тонкий 8.2.3 Threadpoolctl 2.2.0
tifffile (файл формата TIFF) 2021.7.2 тиктокен 0.5.2 tinycss2 1.2.1
токенизация-рт 4.2.1 токенизаторы 0.19.0 фонарик 2.3.1+cu121
факел 0.0.7 torchvision (библиотека PyTorch для компьютерного зрения) 0.18.1+cu121 торнадо 6.3.2
tqdm 4.65.0 Трейтлеты 5.7.1 Трансформаторы 4.41.2
тритон 2.3.1 защита типа 2.13.3 машинистка / печатник / типировщик 0.9.4
ввод и проверка 0.9.0 typing_extensions (расширения для ввода текста) 4.10.0 tzdata 2022.1
uc-micro-py 1.0.1 ujson 5.4.0 автоматические обновления 0,1
urllib3 1.26.16 virtualenv 20.24.2 видения 0.7.5
wadllib 1.3.6 васаби 1.1.2 wcwidth (ширина символа в Unicode) 0.2.5
ласка 0.3.4 веб-энкодинги 0.5.1 клиент WebSocket 0.58.0
Инструмент 2.2.3 колесо 0.38.4 облако слов 1.9.3
обернутый 1.14.1 XGBoost 2.0.3 xxhash 3.4.1
ярл 1.8.1 ydata-profiling 4.5.1 ZIPP 3.11.0
zstd 1.5.5.1

* Для вычислений, созданных 12 февраля 2025 г. и не включенных для Photon, mlflow-skinny обновляется до версии 2.19.0. Для вычислений, созданных 21 июля 2025 года или позже, которые поддерживают Photon или используют ЦП на основе Arm64, обновляется до версии 2.19.0, mlflow-skinny обновляется до версии 2.37.0, и ray обновляется до версии 0.8.0.

Библиотеки R

Библиотеки R идентичны библиотекам R в Databricks Runtime 15.4 LTS.

Java и библиотеки Scala (кластер Scala 2.12)

Помимо библиотек Java и Scala в Databricks Runtime 15.4 LTS, Databricks Runtime 15.4 LTS ML содержит следующие JAR:

Кластеры ЦП

ИД группы Идентификатор артефакта Версия
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.11.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Кластеры GPU

ИД группы Идентификатор артефакта Версия
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.11.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on