Databricks Runtime 14.3 LTS для Machine Learning

Databricks Runtime 14.3 LTS для машинного обучения предоставляет готовую к использованию среду для машинного обучения и обработки данных на основе Databricks Runtime 14.3 LTS. Databricks Runtime ML содержит множество популярных библиотек машинного обучения, включая TensorFlow, PyTorch и XGBoost. Databricks Runtime ML включает AutoML – средство для автоматического обучения конвейеров машинного обучения. Databricks Runtime ML также поддерживает распределенное углубленное обучение с использованием Horovod.

Примечание.

LTS означает, что эта версия находится в долгосрочной поддержке. См. жизненный цикл версии LTS среды выполнения Databricks.

Совет

Чтобы ознакомиться с заметками о версиях Databricks Runtime, которые достигли окончания поддержки (EoS), см. Заметки о выпуске Databricks Runtime, вышедших из поддержки. Версии среды выполнения EoS Databricks устарели и могут не обновляться.

Новые функции и внесенные улучшения

Databricks Runtime 14.3 LTS ML построен на основе Databricks Runtime 14.3 LTS. Сведения о новых возможностях Databricks Runtime 14.3 LTS, включая Apache Spark MLlib и SparkR, см. в заметках о выпуске Databricks Runtime 14.3 LTS .

Системная среда

Системная среда в Databricks Runtime 14.3 LTS ML отличается от Databricks Runtime 14.3 LTS следующим образом:

  • Для кластеров GPU Databricks Runtime ML включает следующие библиотеки GPU NVIDIA:
    • CUDA 11.8
    • cuDNN 8.9.0.131-1
    • NCCL 2.15.5
    • TensorRT 8.5.3-1

Databricks Runtime 14.3 LTS ML включает XGBoost 1.7.6, который не поддерживает кластеры GPU с возможностями вычислений 5.2 и ниже.

Библиотеки

В следующих разделах перечислены библиотеки, включенные в Databricks Runtime 14.3 LTS ML, которые отличаются от библиотек, включенных в Databricks Runtime 14.3 LTS.

В этом разделе рассматриваются следующие вопросы.

Библиотеки верхнего уровня

Databricks Runtime 14.3 LTS ML включает следующие библиотеки верхнего уровня:

библиотеки Python

Databricks Runtime 14.3 LTS ML использует virtualenv для управления пакетами Python и включает множество популярных пакетов машинного обучения.

Помимо пакетов, указанных в следующих разделах, Databricks Runtime 14.3 LTS ML также включает следующие пакеты:

  • Hyperopt 0.2.7+db4
  • sparkdl 3.0.0_db1
  • automl 1.24.0

Чтобы воспроизвести среду Python Databricks Runtime в локальной виртуальной среде Python, скачайте файл requirements-14.3.txt и выполните команду pip install -r requirements-14.3.txt. Эта команда устанавливает все библиотеки с открытым исходным кодом, которые использует Databricks Runtime ML, но не устанавливает библиотеки, разработанные Databricks, такие как databricks-automl, databricks-feature-store, или форк от Databricks hyperopt.

библиотеки Python в кластерах ЦП

Библиотека Версия Библиотека Версия Библиотека Версия
absl-py 1.0.0 ускорять 0.25.0 aiohttp 3.9.1
aiosignal 1.3.1 anyio 3.5.0 директории приложений 1.4.4
argon2-cffi 21.3.0 argon2-cffi-связки 21.2.0 Астор 0.8.1
асттокенс 2.0.5 астунпарс 1.6.3 асинхронный таймаут 4.0.3
атрибуты 22.1.0 чтение аудио 3.0.1 azure-core 1.29.1
azure-cosmos 4.3.1 azure-storage-blob (облако сохранения Azure) 12.19.0 хранилище файлов данных Azure Data Lake 12.14.0
обратный вызов 0.2.0 bcrypt (алгоритм хеширования паролей) 3.2.0 beautifulsoup4 4.11.1
чёрный 22.6.0 отбеливатель 4.1.0 поворотник 1.4
блаженство 0.7.11 boto3 1.24.28 botocore 1.27.96
инструменты для кэша 5.3.2 каталог 2.0.10 кодировщики категорий 2.6.3
сертификат 2022.12.7 cffi 1.15.1 chardet 4.0.0
нормализатор кодировки 2.0.4 щелчок 8.0.4 cloudpathlib 0.16.0
Клаудпикл 2.0.0 cmdstanpy 1.2.0 коммуникация 0.1.2
кондитерские изделия 0.1.4 конфигпарсер 5.2.0 контурная диаграмма 1.0.5
криптография 39.0.1 циклер 0.11.0 цимем 2.0.8
Cython 0.29.32 дацит 1.8.1 Databricks-AutoML-Runtime 0.2.20
Databricks-cli (интерфейс командной строки для работы с Databricks) 0.18.0 databricks-инженерия признаков 0.2.0 databricks-sdk 0.1.6
dataclasses-json 0.6.3 наборы данных 2.15.0 dbl-tempo 0.1.26
dbus-python 1.2.18 debugpy 1.6.7 декоратор 5.1.1
депспид 0.12.4 defusedxml 0.7.1 укроп 0.3.6
дисковый кэш 5.6.3 Дистлиб 0.3.7 Конвертация docstring в markdown 0,11
точки входа 0,4 оценить 0.4.1 выполнение 0.8.3
обзор аспектов 1.1.1 fastjsonschema 2.19.1 FastText 0.9.2
блокировка файла 3.9.0 Фляжка 2.2.5 FlatBuffers 26.05.23
шрифтовые инструменты 4.25.0 замороженный список 1.4.1 fsspec 2023.6.0
будущее 0.18.3 гаст 0.4.0 gitdb 4.0.11
GitPython 3.1.27 google-api-core 2.15.0 Google-аутентификация 2.21.0
google-auth-oauthlib 1.0.0 google-cloud-core (основной модуль Google Cloud) 2.4.1 хранилище Google Cloud 2.11.0
google-crc32c 1.5.0 гугл-паста 0.2.0 гугл-возобновляемые-медиа 2.7.0
googleapis-common-protos (общие протоколы googleapis) 1.62.0 гринлет 2.0.1 grpcio 1.48.2
grpcio-status 1.48.1 гуникорн 20.1.0 интерфейс программирования приложений gviz 1.10.0
h5py 3.7.0 hjson 3.1.0 праздники 0,38
хоровод 0.28.1 htmlmin 0.1.12 httplib2 0.20.2
платформа huggingface-hub 0.19.4 IDNA 3,4 ImageHash (Хэш изображений) 4.3.1
imbalanced-learn (библиотека Python для работы с несбалансированными данными) 0.11.0 importlib-metadata 4.11.3 importlib-resources 6.1.1
ipykernel 6.25.0 ipython 8.14.0 ipython-genutils (утилиты для iPython) 0.2.0
ipywidgets (виджеты для IPython) 7.7.2 Дата в формате ISO 0.6.1 это опасно 2.0.1
джедай 0.18.1 джипни 0.7.1 Джинджа2 3.1.2
jmespath 0.10.0 joblib 1.2.0 joblibspark 0.5.1
jsonpatch 1,33 Джсонпоинтер (jsonpointer) 2.4 jsonschema (JSON-схема) 4.17.3
Джупитер-клиент 7.3.4 jupyter-сервер 1.23.4 jupyter_core (ядро Jupyter) 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-мини-приложения 1.0.0 Керас 2.14.0
нажатие клавиш 23.5.0 Кивисолвер 1.4.4 Лангчейн 0.0.348
langchain-core 0.0.13 коды языков 3.3.0 langsmith 0.0.79
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
ленивый_загрузчик 0,3 libclang 15.0.6.1 librosa 0.10.1
LightGBM (фреймворк для машинного обучения) 4.1.0 llvmlite 0.39.1 lxml 4.9.1
Мако 1.2.0 Язык разметки Markdown 3.4.1 MarkupSafe 2.1.1
зефир 3.20.2 matplotlib 3.7.0 матплотлиб-инлайн 0.1.6
Маккейб 0.7.0 Мистун 0.8.4 ml-dtypes 0.2.0
mlflow-skinny (упрощённая версия пакета mlflow) 2.9.2 more-itertools 8.10.0 mpmath 1.2.1
msgpack 1.0.7 мультидикт 6.0.4 многометодный 1,10
многопроцессная обработка 0.70.14 murmurhash (алгоритм хеширования MurmurHash) 1.0.10 mypy-extensions (расширения для mypy) 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 Перекодировщик nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 networkx 2.8.4
ниндзя 1.11.1.1 nltk (Natural Language Toolkit) 3,7 nodeenv 1.8.0
записная книжка 6.5.2 ноутбук_шим 0.2.2 намба 0.56.4
numpy (библиотека для работы с массивами и матрицами в Python) 1.23.5 OAuthlib 3.2.0 openai 0.28.1
opt-einsum 3.3.0 упаковка 23,2 Панды 1.5.3
пандокфильтры 1.5.0 paramiko 2.9.2 парсо 0.8.3
спецификация пути 0.10.3 козёл отпущения 0.5.3 petastorm 0.12.1
pexpect (библиотека Python для автоматизации взаимодействия с приложениями) 4.8.0 фик 0.12.4 Пиклшэр 0.7.5
Подушка 9.4.0 пит 22.3.1 Platformdirs 2.5.2
график 5.9.0 менеджер плагинов Pluggy 1.0.0 pmdarima 2.0.4
собачка 1.4.0 оказал давление 3.0.9 prometheus-client 0.14.1
prompt-toolkit (инструментарий подсказок) 3.0.36 пророк 1.1.5 protobuf (протобуф) 4.24.0
psutil (пакет Python для работы с процессами и системами) 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
пьюр-эвэл 0.2.2 py-cpuinfo 9.0.0 pyarrow 8.0.0
пьэрроу-хотфикс 0,5 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.11.1 pycparser 2.21 pydantic (библиотека Python для валидации данных) 1.10.6
pyflakes (аналитический инструмент для Python) 3.1.0 Пигменты 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 PyNaCl 1.5.0 pynvml 11.5.0
pyodbc — библиотека Python для работы с базами данных через ODBC 4.0.32 pyparsing (библиотека для синтаксического анализа в Python) 3.0.9 pyright 1.1.294
пирсистент 0.18.0 pytesseract 0.3.10 Python-dateutil (библиотека для работы с датами и временем в языке Python) 2.8.2
редактор Python 1.0.4 python-lsp-jsonrpc 1.1.1 python-lsp-server (сервер Python LSP) 1.8.0
Pytoolconfig 1.2.5 pytz (библиотека Python для работы с часовыми поясами) июль 2022 года PyWavelets 1.4.1
PyYAML 6,0 pyzmq 23.2.0 regex 2022.7.9
запросы 2.28.1 requests-oauthlib 1.3.1 Ответы 0.18.0
верёвка 1.7.0 rsa 4,9 s3transfer 0.6.2
сейфтензоры 0.4.1 scikit-learn (библиотека машинного обучения) 1.1.1 scipy (библиотека Python) 1.10.0
мореборн 0.12.2 SecretStorage 3.3.1 Send2Trash 1.8.0
преобразователи предложений 2.2.2 предложение 0.1.99 setuptools (пакет для установки и управления Python-пакетами) 65.6.3
шап 0.44.0 simplejson 3.17.6 шесть 1.16.0
Слайсер 0.0.7 смарт-оупен 5.2.1 сммап 5.0.0
сниффио 1.2.0 аудиофайл 0.12.1 сито для супа 2.3.2.post1
soxr 0.3.7 рассеянный 3.7.2 spacy-legacy 3.0.12
спейси-логгеры 1.0.5 spark-tensorflow-distributor (дистрибьютор для TensorFlow на Spark) 1.0.0 SQLAlchemy 1.4.39
sqlparse 0.4.2 серьёзно? 2.4.8 ssh-import-id (импортировать идентификатор SSH) 5,11
стековые данные 0.2.0 стэнио 0.3.0 statsmodels (библиотека Python для статистического моделирования) 0.13.5
SymPy 1.11.1 табулировать 0.8.10 запутанные-в-unicode 0.2.0
настойчивость 8.1.0 TensorBoard 2.14.1 tensorboard-data-server (сервер данных TensorBoard) 0.7.2
плагин профилирования для TensorBoard 2.14.0 Тензорфлоу-ЦП 2.14.1 TensorFlow Estimator 2.14.0
tensorflow-io-gcs-filesystem (файловая система GCS для Tensorflow IO) 0.35.0 термколор 2.4.0 завершён 0.17.1
тонкий 8.2.2 Threadpoolctl 2.2.0 тиктокен 0.5.2
tinycss2 1.2.1 токенизация-рт 4.2.1 токенизаторы 0.15.0
томли 2.0.1 фонарик 2.0.1+цп torchvision (библиотека PyTorch для компьютерного зрения) 0.15.2+CPU
торнадо 6.1 tqdm 4.64.1 Трейтлеты 5.7.1
Трансформаторы 4.36.1 типгард 2.13.3 машинистка / печатник / типировщик 0.9.0
проверка ввода текста 0.9.0 typing_extensions (расширения для ввода текста) 4.4.0 ujson 5.4.0
автоматическое обновление 0,1 urllib3 1.26.14 virtualenv 20.16.7
видения 0.7.5 wadllib 1.3.6 васаби 1.1.2
wcwidth (ширина символа в Unicode) 0.2.5 ласка 0.3.4 Веб-кодировки 0.5.1
websocket-клиент 0.58.0 Инструмент 2.2.2 чтоэто за патч 1.0.2
колесо 0.38.4 widgetsnbextension 3.6.1 облако слов 1.9.3
окутанный 1.14.1 XGBoost 1.7.6 xxhash 3.4.1
yapf (форматировщик Python кода) 0.33.0 ярл 1.9.4 ydata-profiling 4.2.0
молния 3.11.0

библиотеки Python в кластерах GPU

Библиотека Версия Библиотека Версия Библиотека Версия
absl-py 1.0.0 ускорять 0.25.0 aiohttp 3.9.1
aiosignal 1.3.1 anyio 3.5.0 директории приложений 1.4.4
argon2-cffi 21.3.0 argon2-cffi-связки 21.2.0 Астор 0.8.1
асттокенс 2.0.5 астунпарс 1.6.3 асинхронный таймаут 4.0.3
атрибуты 22.1.0 чтение аудио 3.0.1 azure-core 1.29.1
azure-cosmos 4.3.1 azure-storage-blob (облако сохранения Azure) 12.19.0 хранилище файлов данных Azure Data Lake 12.14.0
обратный вызов 0.2.0 bcrypt (алгоритм хеширования паролей) 3.2.0 beautifulsoup4 4.11.1
чёрный 22.6.0 отбеливатель 4.1.0 поворотник 1.4
блаженство 0.7.11 boto3 1.24.28 botocore 1.27.96
инструменты для кэша 5.3.2 каталог 2.0.10 кодировщики категорий 2.6.3
сертификат 2022.12.7 cffi 1.15.1 chardet 4.0.0
нормализатор кодировки 2.0.4 щелчок 8.0.4 cloudpathlib 0.16.0
Клаудпикл 2.0.0 cmake 3.28.1 cmdstanpy 1.2.0
коммуникация 0.1.2 кондитерские изделия 0.1.4 конфигпарсер 5.2.0
контурная диаграмма 1.0.5 криптография 39.0.1 циклер 0.11.0
цимем 2.0.8 Cython 0.29.32 дацит 1.8.1
Databricks-AutoML-Runtime 0.2.20 Databricks-cli (интерфейс командной строки для работы с Databricks) 0.18.0 databricks-инженерия признаков 0.2.0
databricks-sdk 0.1.6 dataclasses-json 0.6.3 наборы данных 2.15.0
dbl-tempo 0.1.26 dbus-python 1.2.18 debugpy 1.6.7
декоратор 5.1.1 депспид 0.12.4 defusedxml 0.7.1
укроп 0.3.6 дисковый кэш 5.6.3 Дистлиб 0.3.7
Конвертация docstring в markdown 0,11 einops 0.7.0 точки входа 0,4
оценить 0.4.1 выполнение 0.8.3 обзор аспектов 1.1.1
fastjsonschema 2.19.1 FastText 0.9.2 блокировка файла 3.9.0
flash-attn 2.3.6 Фляжка 2.2.5 FlatBuffers 26.05.23
шрифтовые инструменты 4.25.0 замороженный список 1.4.1 fsspec 2023.6.0
будущее 0.18.3 гаст 0.4.0 gitdb 4.0.11
GitPython 3.1.27 google-api-core 2.15.0 Google-аутентификация 2.21.0
google-auth-oauthlib 1.0.0 google-cloud-core (основной модуль Google Cloud) 2.4.1 хранилище Google Cloud 2.11.0
google-crc32c 1.5.0 гугл-паста 0.2.0 гугл-возобновляемые-медиа 2.7.0
googleapis-common-protos (общие протоколы googleapis) 1.62.0 гринлет 2.0.1 grpcio 1.48.2
grpcio-status 1.48.1 гуникорн 20.1.0 интерфейс программирования приложений gviz 1.10.0
h5py 3.7.0 hjson 3.1.0 праздники 0,38
хоровод 0.28.1 htmlmin 0.1.12 httplib2 0.20.2
платформа huggingface-hub 0.19.4 IDNA 3,4 ImageHash (Хэш изображений) 4.3.1
imbalanced-learn (библиотека Python для работы с несбалансированными данными) 0.11.0 importlib-metadata 4.11.3 importlib-resources 6.1.1
ipykernel 6.25.0 ipython 8.14.0 ipython-genutils (утилиты для iPython) 0.2.0
ipywidgets (виджеты для IPython) 7.7.2 Дата в формате ISO 0.6.1 это опасно 2.0.1
джедай 0.18.1 джипни 0.7.1 Джинджа2 3.1.2
jmespath 0.10.0 joblib 1.2.0 joblibspark 0.5.1
jsonpatch 1,33 Джсонпоинтер (jsonpointer) 2.4 jsonschema (JSON-схема) 4.17.3
Джупитер-клиент 7.3.4 jupyter-сервер 1.23.4 jupyter_core (ядро Jupyter) 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-мини-приложения 1.0.0 Керас 2.14.0
нажатие клавиш 23.5.0 Кивисолвер 1.4.4 Лангчейн 0.0.348
langchain-core 0.0.13 коды языков 3.3.0 langsmith 0.0.79
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
ленивый_загрузчик 0,3 libclang 15.0.6.1 librosa 0.10.1
LightGBM (фреймворк для машинного обучения) 4.1.0 литерал 17.0.6 llvmlite 0.39.1
lxml 4.9.1 Мако 1.2.0 Язык разметки Markdown 3.4.1
MarkupSafe 2.1.1 зефир 3.20.2 matplotlib 3.7.0
матплотлиб-инлайн 0.1.6 Маккейб 0.7.0 Мистун 0.8.4
ml-dtypes 0.2.0 mlflow-skinny (упрощённая версия пакета mlflow) 2.9.2 more-itertools 8.10.0
mpmath 1.2.1 msgpack 1.0.7 мультидикт 6.0.4
многометодный 1,10 многопроцессная обработка 0.70.14 murmurhash (алгоритм хеширования MurmurHash) 1.0.10
mypy-extensions (расширения для mypy) 0.4.3 nbclassic 0.5.2 nbclient 0.5.13
Перекодировщик nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
networkx 2.8.4 ниндзя 1.11.1.1 nltk (Natural Language Toolkit) 3,7
nodeenv 1.8.0 записная книжка 6.5.2 ноутбук_шим 0.2.2
намба 0.56.4 numpy (библиотека для работы с массивами и матрицами в Python) 1.23.5 OAuthlib 3.2.0
openai 0.28.1 opt-einsum 3.3.0 упаковка 23,2
Панды 1.5.3 пандокфильтры 1.5.0 paramiko 2.9.2
парсо 0.8.3 спецификация пути 0.10.3 козёл отпущения 0.5.3
petastorm 0.12.1 pexpect (библиотека Python для автоматизации взаимодействия с приложениями) 4.8.0 фик 0.12.4
Пиклшэр 0.7.5 Подушка 9.4.0 пит 22.3.1
Platformdirs 2.5.2 график 5.9.0 менеджер плагинов Pluggy 1.0.0
pmdarima 2.0.4 собачка 1.4.0 оказал давление 3.0.9
prompt-toolkit (инструментарий подсказок) 3.0.36 пророк 1.1.5 protobuf (протобуф) 4.24.0
psutil (пакет Python для работы с процессами и системами) 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
пьюр-эвэл 0.2.2 py-cpuinfo 9.0.0 pyarrow 8.0.0
пьэрроу-хотфикс 0,5 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.11.1 pycparser 2.21 pydantic (библиотека Python для валидации данных) 1.10.6
pyflakes (аналитический инструмент для Python) 3.1.0 Пигменты 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 PyNaCl 1.5.0 pynvml 11.5.0
pyodbc — библиотека Python для работы с базами данных через ODBC 4.0.32 pyparsing (библиотека для синтаксического анализа в Python) 3.0.9 pyright 1.1.294
пирсистент 0.18.0 pytesseract 0.3.10 Python-dateutil (библиотека для работы с датами и временем в языке Python) 2.8.2
редактор Python 1.0.4 python-lsp-jsonrpc 1.1.1 python-lsp-server (сервер Python LSP) 1.8.0
Pytoolconfig 1.2.5 pytz (библиотека Python для работы с часовыми поясами) июль 2022 года PyWavelets 1.4.1
PyYAML 6,0 pyzmq 23.2.0 regex 2022.7.9
запросы 2.28.1 requests-oauthlib 1.3.1 Ответы 0.18.0
верёвка 1.7.0 rsa 4,9 s3transfer 0.6.2
сейфтензоры 0.4.1 scikit-learn (библиотека машинного обучения) 1.1.1 scipy (библиотека Python) 1.10.0
мореборн 0.12.2 SecretStorage 3.3.1 Send2Trash 1.8.0
преобразователи предложений 2.2.2 предложение 0.1.99 setuptools (пакет для установки и управления Python-пакетами) 65.6.3
шап 0.44.0 simplejson 3.17.6 шесть 1.16.0
Слайсер 0.0.7 смарт-оупен 5.2.1 сммап 5.0.0
сниффио 1.2.0 аудиофайл 0.12.1 сито для супа 2.3.2.post1
soxr 0.3.7 рассеянный 3.7.2 spacy-legacy 3.0.12
спейси-логгеры 1.0.5 spark-tensorflow-distributor (дистрибьютор для TensorFlow на Spark) 1.0.0 SQLAlchemy 1.4.39
sqlparse 0.4.2 серьёзно? 2.4.8 ssh-import-id (импортировать идентификатор SSH) 5,11
стековые данные 0.2.0 стэнио 0.3.0 statsmodels (библиотека Python для статистического моделирования) 0.13.5
SymPy 1.11.1 табулировать 0.8.10 запутанные-в-unicode 0.2.0
настойчивость 8.1.0 TensorBoard 2.14.1 tensorboard-data-server (сервер данных TensorBoard) 0.7.2
плагин профилирования для TensorBoard 2.14.0 Tensorflow 2.14.1 TensorFlow Estimator 2.14.0
tensorflow-io-gcs-filesystem (файловая система GCS для Tensorflow IO) 0.35.0 термколор 2.4.0 завершён 0.17.1
тонкий 8.2.2 Threadpoolctl 2.2.0 тиктокен 0.5.2
tinycss2 1.2.1 токенизация-рт 4.2.1 токенизаторы 0.15.0
томли 2.0.1 фонарик 2.0.1+cu118 torchvision (библиотека PyTorch для компьютерного зрения) 0.15.2+cu118
торнадо 6.1 tqdm 4.64.1 Трейтлеты 5.7.1
Трансформаторы 4.36.1 тритон 2.0.0 типгард 2.13.3
машинистка / печатник / типировщик 0.9.0 проверка ввода текста 0.9.0 typing_extensions (расширения для ввода текста) 4.4.0
ujson 5.4.0 автоматическое обновление 0,1 urllib3 1.26.14
virtualenv 20.16.7 видения 0.7.5 wadllib 1.3.6
васаби 1.1.2 wcwidth (ширина символа в Unicode) 0.2.5 ласка 0.3.4
Веб-кодировки 0.5.1 websocket-клиент 0.58.0 Инструмент 2.2.2
чтоэто за патч 1.0.2 колесо 0.38.4 widgetsnbextension 3.6.1
облако слов 1.9.3 окутанный 1.14.1 XGBoost 1.7.6
xxhash 3.4.1 yapf (форматировщик Python кода) 0.33.0 ярл 1.9.4
ydata-profiling 4.2.0 молния 3.11.0

Библиотеки R

Библиотеки R идентичны библиотекам R в Databricks Runtime 14.3 LTS.

Java и библиотеки Scala (кластер Scala 2.12)

Помимо библиотек Java и Scala в Databricks Runtime 14.3 LTS, Databricks Runtime 14.3 LTS ML содержит следующие JAR:

Кластеры ЦП

Идентификатор группы Идентификатор артефакта Версия
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.9.2
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Кластеры GPU

Идентификатор группы Идентификатор артефакта Версия
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.9.2
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on