Databricks Runtime 16.4 LTS для Machine Learning

Databricks Runtime 16.4 LTS для машинного обучения предоставляет готовую среду для машинного обучения и науки о данных на основе Databricks Runtime 16.4 LTS. Databricks Runtime ML содержит множество популярных библиотек машинного обучения, включая TensorFlow, PyTorch и XGBoost. Databricks Runtime ML включает AutoML, средство для автоматического обучения конвейеров машинного обучения. Databricks Runtime ML также поддерживает распределенное обучение глубокого обучения с помощью TorchDistributor, DeepSpeed и Ray.

Подсказка

Чтобы посмотреть заметки о выпусках версий Databricks Runtime, которые достигли окончания поддержки (EoS), см. Заметки о выпусках Databricks Runtime с окончанием поддержки. Версии среды выполнения EoS Databricks устарели и могут не обновляться.

Новые функции и улучшения

Databricks Runtime 16.4 LTS ML построен на основе Databricks Runtime 16.4 LTS. Сведения о новых возможностях Databricks Runtime 16.4 LTS, включая Apache Spark MLlib и SparkR, см. в заметках о выпуске Databricks Runtime 16.4 LTS .

Другие изменения

XGBoost4J-Spark теперь не рекомендуется

XGBoost4J-Spark теперь устарел и не будет предварительно установлен в следующей основной версии Databricks Runtime ML. Databricks рекомендует использовать API Python для xgboost.spark. См. распределенное обучение моделей XGBoost с помощью xgboost.spark.

TensorFlow 2.17.x не может загрузить библиотеку cuDNN

Известная проблема в Databricks Runtime 16.4 LTS ML, что TensorFlow 2.17.x (версия по умолчанию) не может получить доступ к устройствам GPU из-за ошибки загрузки библиотеки cuDNN. Чтобы устранить эту проблему, обновите TensorFlow до версии 2.18.x или более поздней.

Системная среда

Системная среда в Databricks Runtime 16.4 LTS ML отличается от Databricks Runtime 16.4 LTS следующим образом.

  • Для кластеров GPU в Databricks Runtime ML входят следующие библиотеки GPU NVIDIA:
    • CUDA 12.6
    • cublas 12.6.0.22-1
    • cusolver 11.6.4.38-1
    • cupti 12.6.37-1
    • cusparse 12.5.2.23-1
    • cuDNN 9.3.0.75-1
    • NCCL 2.22.3
    • TensorRT 10.2.0.19-1

Библиотеки

В следующих разделах перечислены библиотеки, включенные в Databricks Runtime 16.4 LTS ML, которые отличаются от библиотек, включенных в Databricks Runtime 16.4 LTS.

В этом разделе:

Библиотеки верхнего уровня

Databricks Runtime 16.4 LTS ML включает следующие библиотеки верхнего уровня:

библиотеки Python

Databricks Runtime 16.4 LTS ML использует virtualenv для управления пакетами Python и включает множество популярных пакетов машинного обучения.

Помимо пакетов, указанных в следующих разделах, Databricks Runtime 16.4 LTS ML также включает следующие пакеты:

  • Hyperopt 0.2.8+db1
  • automl 1.30.0

Чтобы воспроизвести среду Python Databricks Runtime в локальной виртуальной среде Python, скачайте файл requirements-16.4.txt и запустите pip install -r requirements-16.4.txt. Эта команда устанавливает все библиотеки с открытым исходным кодом, которые использует Databricks Runtime ML, но не устанавливает библиотеки, разработанные Databricks, например databricks-automl или ветку Databricks hyperopt.

библиотеки Python в кластерах ЦП

Библиотека Версия Библиотека Версия Библиотека Версия
absl-py 1.0.0 ускорить 1.5.2 aiohttp 3.9.5
aiohttp-cors 0.8.1 aiosignal 1.2.0 алембик 1.14.1
аннотированные типы 0.7.0 anyio 4.2.0 argcomplete 3.6.2
argon2-cffi 21.3.0 argon2-cffi-связки 21.2.0 стрела 1.2.3
Астор 0.8.1 асттокенс 2.0.5 астунпарс 1.6.3
async-lru 2.0.4 атрибуты 23.1.0 аудиочтение 3.0.1
автоматическая команда 2.2.2 azure-core 1.33.0 azure-cosmos 4.3.1
azure-identity 1.21.0 azure-storage-blob (облако сохранения Azure) 12.23.0 хранилище файлов данных Azure Data Lake 12.17.0
Вавилон 2.11.0 отступление 2.2.1 backports.tarfile 1.2.0
bcrypt (алгоритм хеширования паролей) 3.2.0 beautifulsoup4 4.12.3 черный 24.4.2
отбеливатель 4.1.0 указатель поворота 1.7.0 блаженство 0.7.11
boto3 1.34.69 botocore 1.34.69 Бротли 1.0.9
инструменты для кэша 5.3.3 каталог 2.0.10 кодировщики категорий 2.6.3
сертификат 2024.6.2 cffi 1.16.0 chardet 4.0.0
нормализатор кодировки 2.0.4 автоматический выключатель 2.1.3 щелчок 8.1.7
cloudpathlib 0.21.0 Клаудпикл 2.2.1 cmdstanpy 1.2.5
колоритный 0.5.6 colorlog 6.9.0 коммуникация 0.2.1
композитор 0.29.0 конфеты 0.1.5 конфигпарсер 5.2.0
Contourpy 1.2.0 крутое имя 2.2.0 криптография 42.0.5
велосипедист 0.11.0 цимем 2.0.11 Cython 3.0.11
дацит 1.9.2 Databricks-AutoML-Runtime 0.2.21 фичерная инженерия Databricks 0.10.2
databricks-sdk 0.30.0 Наборы данных 3.5.0 dbl-tempo 0.1.26
dbus-python 1.3.2 debugpy 1.6.7 декоратор 5.1.1
DeepSpeed 0.16.5 defusedxml 0.7.1 Устарело 1.2.18
укроп 0.3.8 Дистлиб 0.3.8 dm-tree 0.1.9
Конвертация docstring в markdown 0.11 einops 0.8.1 точки входа 0,4
оценивать 0.4.3 исполнение 0.8.3 Обзор аспектов 1.1.1
Farama-Уведомления 0.0.4 fastapi 0.115.12 fastjsonschema 2.21.1
fasttext-wheel 0.9.2 файловая блокировка 3.13.1 Фляжка 2.2.5
FlatBuffers 25.2.10 шрифтовые инструменты 4.51.0 Полное доменное имя (FQDN) 1.5.1
замороженный список 1.4.0 fsspec 2023.5.0 будущее 0.18.3
гаст 0.4.0 gitdb 4.0.11 GitPython 3.1.37
google-api-core 2.20.0 google-auth (аутентификация от Google) 2.21.0 google-auth-oauthlib 1.2.1
google-cloud-core (основной модуль Google Cloud) 2.4.3 облачное хранилище Google 2.10.0 google-crc32c 1.7.1
гугл-паста 0.2.0 гугл-возобновляемые-медиа 2.7.2 googleapis-common-protos (общие протоколы googleapis) 1.70.0
gql 3.5.2 graphql-core 3.2.4 гринлет 3.0.1
grpcio 1.60.0 grpcio-status 1.60.0 гуникорн 20.1.0
интерфейс программирования приложений gviz 1.10.0 спортзал 0.28.1 h11 0.14.0
h5py 3.11.0 hjson 3.1.0 каникулы 0.54
htmlmin 0.1.12 httpcore 1.0.8 httplib2 0.20.4
httpx 0.28.1 платформа huggingface-hub 0.29.3 IDNA 3.7
ImageHash (Хэш изображений) 4.3.1 imageio 2.33.1 imbalanced-learn (библиотека Python для работы с несбалансированными данными) 0.12.3
importlib-metadata 6.0.0 importlib_resources 6.5.2 склонять 7.3.1
ipyflow-core 0.0.201 ipykernel 6.28.0 ipython 8.25.0
ipython-genutils (утилиты для iPython) 0.2.0 ipywidgets (виджеты для IPython) 7.7.2 isodate (стандартная дата ISO) 0.6.1
изодурация 20.11.0 это опасно 2.2.0 jaraco.context 5.3.0
jaraco.functools 4.0.1 jaraco.text 3.12.1 Джакс-Джампи 1.0.0
джедаи 0.19.1 Джинджа2 3.1.4 джиттер 0.9.0
jmespath 1.0.1 joblib 1.4.2 joblibspark 0.5.3
json5 0.9.6 jsonpatch 1,33 Джсонпоинтер (jsonpointer) 3.0.0
jsonschema (JSON-схема) 4.19.2 jsonschema-спецификации 2023.7.1 Jupyter-события 0.10.0
jupyter-lsp 2.2.0 клиент Jupyter 8.6.0 jupyter_core (ядро Jupyter) 5.7.2
Джупитер_сервер 2.14.1 терминалы_сервера_jupyter 0.4.4 jupyterlab 4.0.11
jupyterlab-pygments 0.1.2 jupyterlab_server (сервер для JupyterLab) 2.25.1 Керас 3.9.0
Кивисолвер 1.4.4 Лангчейн 0.3.21 langchain-core 0.3.51
Делители текста langchain 0.3.8 языковые коды 3.5.0 langsmith 0.1.133
языковые данные 1.3.0 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 ленивый загрузчик 0,4 libclang 15.0.6.1
librosa 0.10.2 LightGBM (фреймворк для машинного обучения) 4.5.0 Lightning-утилиты 0.14.3
linkify-it-py 2.0.0 llvmlite 0.42.0 lz4 4.3.2
Мако 1.2.0 мариса-три 1.2.0 Markdown (язык разметки) 3.4.1
markdown-it-py 2.2.0 MarkupSafe 2.1.3 matplotlib 3.8.4
матплотлиб-инлайн 0.1.6 МакКейб 0.7.0 mdit-py-plugins 0.3.0
mdurl 0.1.0 Мемрей 1.17.1 Мистун 2.0.4
ml-dtypes 0.4.1 mlflow-skinny (упрощённая версия пакета mlflow) 2.21.3 more-itertools 10.3.0
mosaicml-cli 0.6.41 mosaicml-streaming 0.11.0 mpmath 1.3.0
msal 1.32.0 msal-extensions 1.3.1 msgpack 1.1.0
мультидикт 6.0.4 мультиметод 1.12 многопроцессорный 0.70.16
murmurhash (алгоритм хеширования MurmurHash) 1.0.12 MYPY 1.10.0 mypy-extensions (расширения для mypy) 1.0.0
namex 0.0.8 nbclient 0.8.0 Перекодировщик nbconvert 7.10.0
nbformat 5.9.2 nest-asyncio 1.6.0 networkx 3.2.1
ниндзя 1.11.1.1 nltk (Natural Language Toolkit) 3.8.1 nodeenv 1.9.1
записная книжка 7.0.8 ноутбук_шим 0.2.3 намба 0.59.1
numpy (библиотека для работы с массивами и матрицами в Python) 1.26.4 OAuthlib 3.2.0 oci 2.150.0
openai 1.69.0 opencensus 0.11.4 opencensus-context 0.1.3
opentelemetry-api 1.32.0 opentelemetry-sdk 1.32.0 cемантические соглашения opentelemetry 0.53b0
opt_einsum 3.4.0 optree 0.15.0 optuna 3.6.1
интеграция optuna 3.6.0 orjson 3.10.16 Переопределения 7.4.0
упаковка 24,1 Панды 1.5.3 пандокфильтры 1.5.0
paramiko 3.4.0 Парсо 0.8.3 спецификация пути 0.10.3
простак 0.5.6 pexpect (библиотека Python для автоматизации взаимодействия с приложениями) 4.8.0 фик 0.12.4
подушка 10.3.0 пит 24,2 Platformdirs 3.10.0
библиотека Plotly для визуализации данных 5.22.0 менеджер плагинов Pluggy 1.0.0 pmdarima 2.0.4
пёс 1.8.2 придавленный 3.0.9 prometheus-client 0.14.1
prompt-toolkit (инструментарий подсказок) 3.0.43 пророк 1.1.6 proto-plus 1.26.1
protobuf (протобуф) 4.24.1 psutil (пакет Python для работы с процессами и системами) 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 пьюр-эвэл 0.2.2 py-cpuinfo 9.0.0
py-spy 0.4.0 pyarrow 15.0.2 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.13.6 Пикколо 0.0.65
pycparser 2.21 pydantic (библиотека Python для валидации данных) 2.8.2 pydantic_core 2.20.1
pyflakes (аналитический инструмент для Python) 3.2.0 Пигменты 2.15.1 PyGObject 3.48.2
PyJWT 2.7.0 PyNaCl 1.5.0 pyodbc — библиотека Python для работы с базами данных через ODBC 5.0.1
pyOpenSSL 24.0.0 pyparsing (библиотека для синтаксического анализа в Python) 3.0.9 pyright 1.1.294
pytesseract 0.3.10 python-dateutil (библиотека для работы с датами и временем в Python) Версия 2.9.0.post0 редактор Python 1.0.4
python-json-logger (пакет для логирования JSON в Python) 2.0.7 python-lsp-jsonrpc 1.1.2 python-lsp-server (сервер Python LSP) 1.10.0
Python-Snappy 0.6.1 Pytoolconfig 1.2.6 pytorch-ranger 0.1.1
pytz (библиотека Python для работы с часовыми поясами) 2024.1 PyWavelets 1.5.0 PyYAML 6.0.1
pyzmq 25.1.2 опросник 2.1.0 луч 2.37.0
Ссылки 0.30.2 regex 2023.10.3 Запросы 2.32.2
requests-oauthlib 1.3.1 requests-toolbelt 1.0.0 rfc3339-валидатор 0.1.4
rfc3986-validator 0.1.1 богатый 13.3.5 верёвка 1.12.0
rpds-py 0.10.6 rsa 4,9 ruamel.yaml 0.18.10
ruamel.yaml.clib 0.2.12 s3transfer 0.10.2 файлы safetensors 0.4.4
scikit-image 0.23.2 scikit-learn (библиотека машинного обучения) 1.4.2 scipy (библиотека Python) 1.13.1
мореборн 0.13.2 Send2Trash 1.8.2 преобразователи предложений (sentence-transformers) 3.4.1
предложение 0.2.0 setuptools (пакет для установки и управления Python-пакетами) 74.0.0 шап 0.46.0
шеллингем 1.5.4 simplejson 3.17.6 шесть 1.16.0
Нарезчик 0.0.8 смарт-оупен 5.2.1 сммап 5.0.0
сниффио 1.3.0 аудиофайл 0.12.1 ситечко для супа 2,5
soxr 0.5.0.post1 просторный 3.7.5 spacy-legacy 3.0.12
спейси-логгеры 1.0.5 SQLAlchemy 2.0.30 sqlparse 0.4.2
серьёзно? 2.5.1 ssh-import-id (импортировать идентификатор SSH) 5.11 стековые данные 0.2.0
стэнио 0.5.1 старлетка 0.46.2 statsmodels (библиотека Python для статистического моделирования) 0.14.2
SymPy 1.13.1 составлять таблицу 0.9.0 Запутавшийся в юникоде 0.2.0
упорство 8.2.2 ТензорБорд 2.17.0 tensorboard-data-server (сервер данных TensorBoard) 0.7.2
плагин профилирования для TensorBoard 2.17.0 tensorboardX 2.6.2.2 Tensorflow 2.17.0
TensorFlow Estimator 2.15.0 термколор 3.0.1 закончено 0.17.1
текстуальный 3.1.0 tf_keras 2.17.0 тонкий 8.2.5
Threadpoolctl 2.2.0 tifffile (файл формата TIFF) 2023.4.12 тиктокен 0.7.0
tinycss2 1.2.1 токенизация-рт 4.2.1 токенизаторы 0.21.0
томли 2.0.1 факел 2.6.0+CPU факел-оптимизатор 0.3.0
факел 0.0.7 TorchMetrics 1.6.0 torchvision (библиотека PyTorch для компьютерного зрения) 0.21.0+ЦП
торнадо 6.4.1 tqdm 4.66.4 Трейтлеты 5.14.3
Трансформаторы 4.50.2 типгард 4.4.2 машинистка / печатник / типировщик 0.15.2
types-protobuf 3.20.3 types-psutil 5.9.0 types-pytz 2023.3.1.1
types-PyYAML 6.0.0 типы-запросы 2.31.0.0 типы setuptools 68.0.0.0
шесть типов 1.16.0 types-urllib3 1.26.25.14 typing_extensions (расширения для ввода текста) 4.11.0
uc-micro-py 1.0.1 ujson 5.10.0 автоматические обновления без участия пользователя 0,1
URI-шаблон 1.3.0 urllib3 1.26.16 uvicorn 0.34.1
валидаторы 0.34.0 virtualenv 20.26.2 Видения 0.7.5
wadllib 1.3.6 васаби 1.1.3 wcwidth (ширина символа в Unicode) 0.2.5
ласка 0.4.1 webcolors 24.11.1 веб-энкодинги 0.5.1
websocket-клиент 1.8.0 websockets 11.0.3 Инструмент 3.0.3
чтоэто за патч 1.0.2 колесо 0.43.0 облако слов 1.9.4
завёрнут 1.14.1 xgboost 2.0.3 xgboost-ray 0.1.19
xxhash 3.4.1 yapf (форматировщик Python кода) 0.33.0 ярл 1.9.3
ydata-profiling 4.9.0 ZIPP 3.17.0 zstd 1.5.5.1

библиотеки Python в кластерах GPU

Замечание

PyTorch использует зависимости PyPI CUDA для предоставления поддержки CUDA вместо версий библиотеки CUDA, встроенных в Databricks Runtime 16.4 LTS ML.

Библиотека Версия Библиотека Версия Библиотека Версия
absl-py 1.0.0 ускорить 1.5.2 aiohttp 3.9.5
aiohttp-cors 0.8.1 aiosignal 1.2.0 аннотированные типы 0.7.0
anyio 4.2.0 argcomplete 3.6.2 argon2-cffi 21.3.0
argon2-cffi-связки 21.2.0 стрела 1.2.3 Астор 0.8.1
асттокенс 2.0.5 астунпарс 1.6.3 async-lru 2.0.4
атрибуты 23.1.0 аудиочтение 3.0.1 автоматическая команда 2.2.2
azure-core 1.33.0 azure-cosmos 4.3.1 azure-identity 1.21.0
azure-storage-blob (облако сохранения Azure) 12.23.0 хранилище файлов данных Azure Data Lake 12.17.0 Вавилон 2.11.0
отступление 2.2.1 backports.tarfile 1.2.0 bcrypt (алгоритм хеширования паролей) 3.2.0
beautifulsoup4 4.12.3 черный 24.4.2 отбеливатель 4.1.0
указатель поворота 1.7.0 блаженство 0.7.11 boto3 1.34.69
botocore 1.34.69 Бротли 1.0.9 инструменты для кэша 5.3.3
каталог 2.0.10 кодировщики категорий 2.6.3 сертификат 2024.6.2
cffi 1.16.0 chardet 4.0.0 нормализатор кодировки 2.0.4
автоматический выключатель 2.1.3 щелчок 8.1.7 cloudpathlib 0.21.0
Клаудпикл 2.2.1 cmdstanpy 1.2.5 колоритный 0.5.6
colorlog 6.9.0 коммуникация 0.2.1 композитор 0.29.0
конфеты 0.1.5 конфигпарсер 5.2.0 Contourpy 1.2.0
крутое имя 2.2.0 криптография 42.0.5 велосипедист 0.11.0
цимем 2.0.11 Cython 3.0.11 дацит 1.9.2
Databricks-AutoML-Runtime 0.2.21 фичерная инженерия Databricks 0.10.2 databricks-sdk 0.30.0
Наборы данных 3.5.0 dbl-tempo 0.1.26 dbus-python 1.3.2
debugpy 1.6.7 декоратор 5.1.1 DeepSpeed 0.16.5
defusedxml 0.7.1 Устарело 1.2.18 укроп 0.3.8
Дистлиб 0.3.8 dm-tree 0.1.9 Конвертация docstring в markdown 0.11
einops 0.8.1 точки входа 0,4 оценивать 0.4.3
исполнение 0.8.3 Обзор аспектов 1.1.1 Farama-Уведомления 0.0.4
fastapi 0.115.12 fastjsonschema 2.21.1 fasttext-wheel 0.9.2
файловая блокировка 3.13.1 flash_attn 2.7.4.post1 Фляжка 2.2.5
FlatBuffers 25.2.10 шрифтовые инструменты 4.51.0 Полное доменное имя (FQDN) 1.5.1
замороженный список 1.4.0 fsspec 2023.5.0 будущее 0.18.3
гаст 0.4.0 gitdb 4.0.11 GitPython 3.1.37
google-api-core 2.20.0 google-auth (аутентификация от Google) 2.21.0 google-auth-oauthlib 1.2.1
google-cloud-core (основной модуль Google Cloud) 2.4.3 облачное хранилище Google 2.10.0 google-crc32c 1.7.1
гугл-паста 0.2.0 гугл-возобновляемые-медиа 2.7.2 googleapis-common-protos (общие протоколы googleapis) 1.70.0
gql 3.5.2 graphql-core 3.2.4 гринлет 3.0.1
grpcio 1.60.0 grpcio-status 1.60.0 гуникорн 20.1.0
интерфейс программирования приложений gviz 1.10.0 спортзал 0.28.1 h11 0.14.0
h5py 3.11.0 hjson 3.1.0 каникулы 0.54
htmlmin 0.1.12 httpcore 1.0.8 httplib2 0.20.4
httpx 0.28.1 платформа huggingface-hub 0.29.3 IDNA 3.7
ImageHash (Хэш изображений) 4.3.1 imageio 2.33.1 imbalanced-learn (библиотека Python для работы с несбалансированными данными) 0.12.3
importlib-metadata 6.0.0 importlib_resources 6.5.2 склонять 7.3.1
ipyflow-core 0.0.201 ipykernel 6.28.0 ipython 8.25.0
ipython-genutils (утилиты для iPython) 0.2.0 ipywidgets (виджеты для IPython) 7.7.2 isodate (стандартная дата ISO) 0.6.1
изодурация 20.11.0 это опасно 2.2.0 jaraco.context 5.3.0
jaraco.functools 4.0.1 jaraco.text 3.12.1 Джакс-Джампи 1.0.0
джедаи 0.19.1 Джинджа2 3.1.4 джиттер 0.9.0
jmespath 1.0.1 joblib 1.4.2 joblibspark 0.5.3
json5 0.9.6 jsonpatch 1,33 Джсонпоинтер (jsonpointer) 3.0.0
jsonschema (JSON-схема) 4.19.2 jsonschema-спецификации 2023.7.1 Jupyter-события 0.10.0
jupyter-lsp 2.2.0 клиент Jupyter 8.6.0 jupyter_core (ядро Jupyter) 5.7.2
Джупитер_сервер 2.14.1 терминалы_сервера_jupyter 0.4.4 jupyterlab 4.0.11
jupyterlab-pygments 0.1.2 jupyterlab_server (сервер для JupyterLab) 2.25.1 Керас 3.9.0
Кивисолвер 1.4.4 Лангчейн 0.3.21 langchain-core 0.3.51
Делители текста langchain 0.3.8 языковые коды 3.5.0 langsmith 0.1.133
языковые данные 1.3.0 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 ленивый загрузчик 0,4 libclang 15.0.6.1
librosa 0.10.2 LightGBM (фреймворк для машинного обучения) 4.5.0 Lightning-утилиты 0.14.3
linkify-it-py 2.0.0 llvmlite 0.42.0 lz4 4.3.2
Мако 1.2.0 мариса-три 1.2.0 Markdown (язык разметки) 3.4.1
markdown-it-py 2.2.0 MarkupSafe 2.1.3 matplotlib 3.8.4
матплотлиб-инлайн 0.1.6 МакКейб 0.7.0 mdit-py-plugins 0.3.0
mdurl 0.1.0 Мемрей 1.17.1 Мистун 2.0.4
ml-dtypes 0.4.1 mlflow-skinny (упрощённая версия пакета mlflow) 2.21.3 more-itertools 10.3.0
mosaicml-cli 0.6.41 mosaicml-streaming 0.11.0 mpmath 1.3.0
msal 1.32.0 msal-extensions 1.3.1 msgpack 1.1.0
мультидикт 6.0.4 мультиметод 1.12 многопроцессорный 0.70.16
murmurhash (алгоритм хеширования MurmurHash) 1.0.12 MYPY 1.10.0 mypy-extensions (расширения для mypy) 1.0.0
namex 0.0.8 nbclient 0.8.0 Перекодировщик nbconvert 7.10.0
nbformat 5.9.2 nest-asyncio 1.6.0 networkx 3.2.1
ниндзя 1.11.1.1 nltk (Natural Language Toolkit) 3.8.1 nodeenv 1.9.1
записная книжка 7.0.8 ноутбук_шим 0.2.3 намба 0.59.1
numpy (библиотека для работы с массивами и матрицами в Python) 1.26.4 nvidia-cublas-cu12 12.4.5.8 nvidia-cuda-cupti-cu12 12.4.127
nvidia-cuda-nvrtc-cu12 12.4.127 nvidia-cuda-runtime-cu12 12.4.127 nvidia-cudnn-cu12 9.1.0.70
nvidia-cufft-cu12 11.2.1.3 nvidia-curand-cu12 10.3.5.147 nvidia-cusolver-cu12 11.6.1.9
nvidia-cusparse-cu12 12.3.1.170 nvidia-cusparselt-cu12 0.6.2 nvidia-nccl-cu12 2.21.5
nvidia-nvjitlink-cu12 12.4.127 nvidia-nvtx-cu12 12.4.127 OAuthlib 3.2.0
oci 2.150.0 openai 1.69.0 opencensus 0.11.4
opencensus-context 0.1.3 opentelemetry-api 1.32.0 opentelemetry-sdk 1.32.0
cемантические соглашения opentelemetry 0.53b0 opt_einsum 3.4.0 optree 0.15.0
optuna 3.6.1 интеграция optuna 3.6.0 orjson 3.10.16
Переопределения 7.4.0 упаковка 24,1 Панды 1.5.3
пандокфильтры 1.5.0 paramiko 3.4.0 Парсо 0.8.3
спецификация пути 0.10.3 простак 0.5.6 pexpect (библиотека Python для автоматизации взаимодействия с приложениями) 4.8.0
фик 0.12.4 подушка 10.3.0 пит 24,2
Platformdirs 3.10.0 библиотека Plotly для визуализации данных 5.22.0 менеджер плагинов Pluggy 1.0.0
pmdarima 2.0.4 пёс 1.8.2 придавленный 3.0.9
prometheus-client 0.14.1 prompt-toolkit (инструментарий подсказок) 3.0.43 пророк 1.1.6
proto-plus 1.26.1 protobuf (протобуф) 4.24.1 psutil (пакет Python для работы с процессами и системами) 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 пьюр-эвэл 0.2.2
py-cpuinfo 9.0.0 py-spy 0.4.0 pyarrow 15.0.2
pyasn1 0.4.8 pyasn1-modules 0.2.8 pybind11 2.13.6
Пикколо 0.0.65 pycparser 2.21 pydantic (библиотека Python для валидации данных) 2.8.2
pydantic_core 2.20.1 pyflakes (аналитический инструмент для Python) 3.2.0 Пигменты 2.15.1
PyGObject 3.48.2 PyJWT 2.7.0 PyNaCl 1.5.0
pyodbc — библиотека Python для работы с базами данных через ODBC 5.0.1 pyOpenSSL 24.0.0 pyparsing (библиотека для синтаксического анализа в Python) 3.0.9
pyright 1.1.294 pytesseract 0.3.10 python-dateutil (библиотека для работы с датами и временем в Python) Версия 2.9.0.post0
редактор Python 1.0.4 python-json-logger (пакет для логирования JSON в Python) 2.0.7 python-lsp-jsonrpc 1.1.2
python-lsp-server (сервер Python LSP) 1.10.0 Python-Snappy 0.6.1 Pytoolconfig 1.2.6
pytorch-ranger 0.1.1 pytz (библиотека Python для работы с часовыми поясами) 2024.1 PyWavelets 1.5.0
PyYAML 6.0.1 pyzmq 25.1.2 опросник 2.1.0
луч 2.37.0 Ссылки 0.30.2 regex 2023.10.3
Запросы 2.32.2 requests-oauthlib 1.3.1 requests-toolbelt 1.0.0
rfc3339-валидатор 0.1.4 rfc3986-validator 0.1.1 богатый 13.3.5
верёвка 1.12.0 rpds-py 0.10.6 rsa 4,9
ruamel.yaml 0.18.10 ruamel.yaml.clib 0.2.12 s3transfer 0.10.2
файлы safetensors 0.4.4 scikit-image 0.23.2 scikit-learn (библиотека машинного обучения) 1.4.2
scipy (библиотека Python) 1.13.1 мореборн 0.13.2 Send2Trash 1.8.2
преобразователи предложений (sentence-transformers) 3.4.1 предложение 0.2.0 setuptools (пакет для установки и управления Python-пакетами) 74.0.0
шап 0.46.0 шеллингем 1.5.4 simplejson 3.17.6
шесть 1.16.0 Нарезчик 0.0.8 смарт-оупен 5.2.1
сммап 5.0.0 сниффио 1.3.0 аудиофайл 0.12.1
ситечко для супа 2,5 soxr 0.5.0.post1 просторный 3.7.5
spacy-legacy 3.0.12 спейси-логгеры 1.0.5 SQLAlchemy 2.0.30
sqlparse 0.4.2 серьёзно? 2.5.1 ssh-import-id (импортировать идентификатор SSH) 5.11
стековые данные 0.2.0 стэнио 0.5.1 старлетка 0.46.2
statsmodels (библиотека Python для статистического моделирования) 0.14.2 SymPy 1.13.1 составлять таблицу 0.9.0
Запутавшийся в юникоде 0.2.0 упорство 8.2.2 ТензорБорд 2.17.0
tensorboard-data-server (сервер данных TensorBoard) 0.7.2 плагин профилирования для TensorBoard 2.17.0 tensorboardX 2.6.2.2
Tensorflow 2.17.0 TensorFlow Estimator 2.15.0 термколор 3.0.1
закончено 0.17.1 текстуальный 3.1.0 tf_keras 2.17.0
тонкий 8.2.5 Threadpoolctl 2.2.0 tifffile (файл формата TIFF) 2023.4.12
тиктокен 0.7.0 tinycss2 1.2.1 токенизация-рт 4.2.1
токенизаторы 0.21.0 томли 2.0.1 факел 2.6.0+cu124
факел-оптимизатор 0.3.0 факел 0.0.7 TorchMetrics 1.6.0
torchvision (библиотека PyTorch для компьютерного зрения) 0.21.0+cu124 торнадо 6.4.1 tqdm 4.66.4
Трейтлеты 5.14.3 Трансформаторы 4.50.2 тритон 3.2.0
типгард 4.4.2 машинистка / печатник / типировщик 0.15.2 types-protobuf 3.20.3
types-psutil 5.9.0 types-pytz 2023.3.1.1 types-PyYAML 6.0.0
типы-запросы 2.31.0.0 типы setuptools 68.0.0.0 шесть типов 1.16.0
types-urllib3 1.26.25.14 typing_extensions (расширения для ввода текста) 4.11.0 uc-micro-py 1.0.1
ujson 5.10.0 автоматические обновления без участия пользователя 0,1 URI-шаблон 1.3.0
urllib3 1.26.16 uvicorn 0.34.1 валидаторы 0.34.0
virtualenv 20.26.2 Видения 0.7.5 wadllib 1.3.6
васаби 1.1.3 wcwidth (ширина символа в Unicode) 0.2.5 ласка 0.4.1
webcolors 24.11.1 веб-энкодинги 0.5.1 websocket-клиент 1.8.0
websockets 11.0.3 Инструмент 3.0.3 чтоэто за патч 1.0.2
колесо 0.43.0 облако слов 1.9.4 завёрнут 1.14.1
xgboost 2.0.3 xgboost-ray 0.1.19 xxhash 3.4.1
yapf (форматировщик Python кода) 0.33.0 ярл 1.9.3 ydata-profiling 4.9.0
ZIPP 3.17.0 zstd 1.5.5.1

Библиотеки R

Библиотеки R идентичны библиотекам R в Databricks Runtime 16.4 LTS.

Java и библиотеки Scala (кластер Scala 2.12)

Помимо библиотек Java и Scala в Databricks Runtime 16.4 LTS, Databricks Runtime 16.4 LTS ML содержит следующие JAR:

Кластеры ЦП

Идентификатор группы Идентификатор артефакта Версия
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.15.1
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Кластеры GPU

Идентификатор группы Идентификатор артефакта Версия
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.15.1
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on