Июнь 2020 г.

Эти функции и доработки платформы Azure Databricks были выпущены в июне 2020 г.

Databricks Connect теперь поддерживает Databricks Runtime 6.6

26 июня 2020 г.

Databricks Connect теперь поддерживает Databricks Runtime 6.6.

Полная общедоступная версия Databricks Runtime 7.0 для машинного обучения

22 июня 2020 г.

Компонент Databricks Runtime 7.0 ML создан на основе Databricks Runtime 7.0 и включает следующие новые функции:

• Библиотеки Python, специфичные для записных книжек, и пользовательские среды, управляемые командами conda и pip.
• Обновления для основных пакетов Python, включая tensorflow, tensorboard, pytorch, xgboost, sparkdl и hyperopt.
• Недавно добавленные пакеты Python lightgbm, nltk, petastorm и plotly.
• RStudio Server 1.2 (выпуск с открытым кодом).

Databricks Runtime 7.0 (общедоступная версия) на базе Apache Spark 3.0

18 июня 2020 г.

Databricks Runtime 7.0 работает на базе Apache Spark 3.0 и теперь поддерживает Scala 2.12.

В Spark 3.0 реализовано множество дополнительных функций и усовершенствований. Вот некоторые из них:

• Адаптивное выполнение запросов, гибкая платформа для адаптивного выполнения в Spark SQL и поддержка изменения числа редукторов во время выполнения.
• Переработанные пользовательские функции pandas с указаниями типов.
• Веб-интерфейс структурированного стриминга.
• Улучшенная совместимость со стандартами SQL ANSI.
• Подсказки присоединения.

В Databricks Runtime 7.0 добавлены перечисленные ниже возможности.

• Улучшен Автозагрузчик для добавочной обработки новых файлов данных по мере их поступления в облачное хранилище во время процессов ETL.
• Улучшенная команда COPY INTO для загрузки данных в Delta Lake с идемпотентными повторными попытками.
• Множество улучшений, дополнений и обновлений библиотек, а также исправлений ошибок.

Общедоступная версия Databricks Runtime 7.0 для Genomics

18 июня 2020 г.

Компонент Databricks Runtime 7.0 для Genomics создан на основе Databricks Runtime 7.0 и включает следующие изменения библиотеки:

• Библиотека ADAM обновлена с версии 0.30.0 до 0.32.0.
• Библиотека Hail не включена в состав Databricks Runtime 7.0 for Genomics, так как отсутствует выпуск на основе Apache Spark 3.0.

Зависящие от этапа элементы управления доступом для моделей MLflow

16–23 июня 2020 г.: версия 3.22

Теперь можно назначить элементы управления доступом, зависящие от этапа, пользователям или группам, позволяя им управлять моделями MLflow, зарегистрированными в реестре моделей MLflow на этапе промежуточной или рабочей среды. Мы представили два новых уровня разрешений: МОЖЕТ УПРАВЛЯТЬ ВЕРСИЯМИ НА СТАДИИ ПРОВЕРКИ и МОЖЕТ УПРАВЛЯТЬ ПРОИЗВОДСТВЕННЫМИ ВЕРСИЯМИ. Пользователи с этими разрешениями могут выполнять переходы между этапами, разрешенными для данного уровня.

Дополнительные сведения см. в разделе ACL модели MLflow.

В ноутбуках теперь поддерживается возможность отключения автоматической прокрутки

16–23 июня 2020 г.: версия 3.22

При запуске ячейки записной книжки с помощью сочетания клавиш SHIFT+ВВОД по умолчанию выполняется автоматическая прокрутка к следующей ячейке записной книжки, если ячейка не видна. Теперь можно отключить автоматическую прокрутку в >настройках пользователя> настроек редактора. Если отключить автоматическую прокрутку, при нажатии клавиш SHIFT+ВВОД фокус перемещается к следующей ячейке, но записная книжка к ней не прокручивается.

Изменение IP-адресов хранилища метаданных 30 июня 2020 г.

11 июня 2020 г.

Хранилище метаданных по умолчанию для Azure Databricks использует базу данных Azure для MySQL. Все IP-адреса Базы данных Azure для MySQL для хранилищ метаданных Azure Databricks изменяются 30 июня 2020 г. Если у вас есть рабочая область Azure Databricks, развернутая в собственной виртуальной сети, таблица маршрутов для этого развертывания может включать IP-адрес хранилища метаданных Azure Databricks или маршрут к брандмауэру или прокси-устройству со списком доступа, который включает этот адрес. В этом случае необходимо обновить таблицы маршрутов Azure Databricks или брандмауэры с новыми IP-адресами MySQL до 30 июня 2020 г., чтобы избежать сбоев.

Прекращение поддержки Internet Explorer 11 с 15 августа

9 июня 2020 г.

В соответствии с отраслевыми тенденциями, а также для обеспечения стабильной и единообразной работы системы для наших пользователей поддержка Internet Explorer 11 в Azure Databricks будет прекращена 15 августа 2020 г.

Поддержка серии Databricks Runtime 6.2 прекращается

3 июня 2020 г.

Поддержка Databricks Runtime 6.2, Databricks Runtime 6.2 для Машинного обучения и Databricks Runtime 6.2 for Genomics закончилась 3 июня. См. Жизненные циклы поддержки Databricks.

Упрощение и контроль процесса создания кластера с помощью политик кластера (общедоступная предварительная версия)

2–9 июня 2020 г.: версия 3.21

Политики кластера представляют собой настраиваемые администратором шаблоны кластера для многократного использования, которые применяют к атрибутам кластера определенные правила и гарантируют, что создаваемые пользователями кластеры им отвечают. Администратор Azure Databricks теперь может создавать политики кластера и предоставлять пользователям соответствующие разрешения. Благодаря этому улучшается контроль над создаваемыми ресурсами, пользователи получают гибкость, необходимую им для выполнения своей работы, и значительно упрощается процесс создания кластера.

Дополнительные сведения см. в статье "Создание политик вычислений и управление ими".

Конечная точка SCIM Me теперь возвращает ответ, соответствующий SCIM

2–9 июня 2020 г.: версия 3.21

Конечная точка SCIM Me теперь возвращает те же сведения, что и конечная точка /users/{id}, включая такую информацию, как группы и права.

См. API CurrentUser.

Ограничение доступа к Azure Databricks с помощью списков IP-адресов (общедоступная предварительная версия)

1 июня 2020 г.

Рабочие области Azure Databricks теперь можно настроить таким образом, чтобы пользователи подключались к службе только через существующие корпоративные сети с безопасным периметром. Администраторы Azure Databricks могут использовать API списка IP-адресов для определения набора утвержденных IP-адресов, включая списки разрешений и блокировок. Для доступа к веб-приложению и REST API требуется, чтобы пользователь подключался с разрешенного IP-адреса, что гарантирует, что рабочие области не могут быть доступны из общедоступных сетей, таких как кафе или аэропорт, если только пользователи не используют VPN.

Для этой функции требуется план "Премиум".

Дополнительные сведения см. в разделе "Настройка списков ip-доступа для рабочих областей".