Февраль 2020 г.

Эти функции и улучшения платформы Azure Databricks были выпущены в феврале 2020 г.

Общедоступная версия Databricks Runtime 6.4 for Genomics (GA — общая доступность)

Февраль 26, 2020 г.

Databricks Runtime 6.4 для Genomics основывается на Databricks Runtime 6.4. Здесь реализовано множество улучшений и обновлений из Databricks Runtime 6.3 для Genomics.

Основные функции:

• Теперь пользователи могут настроить конвейер DNASeq: они могут выборочно отключить любое допустимое сочетание стадий выравнивания прочтений, вызова вариантов и аннотирования вариантов. Пользователи также могут выполнять считывание с одного конца.
• В версии Glow из Databricks Runtime 6.4 для Genomics доступны API для Python и Scala, позволяющие работать с функциями, которые ранее могли выполняться только с помощью выражений SQL. Эти функции доступны для операций с DataFrame, обеспечивая дополнительную безопасность на этапе компиляции.

Databricks Runtime 6.4 ML GA версия

Февраль 26, 2020 г.

Общедоступная версия Databricks Runtime 6.4 ML реализует следующие обновления библиотеки, в том числе:

• PyTorch: 1.3.1 до 1.4.0
• Horovod: от 0.18.2 до 1.19.0

Общедоступная версия Databricks Runtime 6.4

Февраль 26, 2020 г.

В общедоступной версии Databricks Runtime 6.4 реализованы новые функции, усовершенствования и исправления ошибок.

• Добавочная обработка новых файлов данных с помощью автозагрузчика (общедоступная предварительная версия). Автозагрузчик предоставляет более эффективный способ инкрементной обработки новых файлов данных по мере их поступления в BLOB-хранилище во время процесса ETL. Эта технология эффективнее структурированной потоковой передачи на основе файлов, при которой система обнаруживает новые файлы, периодически проверяя содержимое облачного каталога и отслеживая те файлы, которые уже регистрировались (такой подход может стать очень неэффективным по мере роста каталога).
• Загрузка данных в Delta Lake с повторными идемпотентными попытками (публичная версия для предварительного просмотра). Команда COPY INTO SQL позволяет загружать данные в Delta Lake с помощью идемпотентных попыток (общедоступная предварительная версия). Для загрузки данных в Delta Lake сегодня необходимо использовать API-интерфейсы DataFrame Apache Spark. Если во время загрузки возникают сбои, их необходимо эффективно обрабатывать.
• Метрики операций для всех операций записи, обновления и удаления в таблице Delta теперь отображаются в журнале таблиц.
• Встроенные рисунки Matplotlib теперь по умолчанию включены в записных книжках Azure Databricks (общедоступная предварительная версия).

Новые интерактивные диаграммы предоставляют широкие возможности взаимодействия на стороне клиента.

25 февраля — 3 марта 2019 г.: версия 3.14

В этом выпуске представлены два новых типа интерактивных диаграмм, которые заменяют реализации столбчатой и линейной диаграммы. В дополнение к имеющимся функциональным возможностям диаграмм, в линейном графике доступны следующие новые параметры настройки: настройка диапазона оси Y, показ или скрытие маркеров, а также применение логарифмического масштаба к оси Y. Обе диаграммы имеют встроенную панель инструментов, которая поддерживает широкий набор взаимодействий на стороне клиента.

Если вы хотите использовать существующие реализации диаграмм, их можно выбрать из раскрывающегося меню классических диаграмм. Существующие диаграммы по-прежнему будут использовать ранее доступные реализации.

Новая сеть приема данных обеспечивает интеграцию решений партнеров с Delta Lake (общедоступная предварительная версия)

Февраль 24, 2020 г.

Теперь вы можете легко наполнить свой «lakehouse» — ваше озеро данных, усиленное такими структурами данных и функциями управления, которые обычно присущи хранилищу данных — из сотен источников данных в Delta Lake. В основе этой сети лежит новая галерея «Партнерские интеграции», доступная в рабочей области и обеспечивающая доступ к огромной сети источников данных через наших партнеров: Fivetran, Qlik, Infoworks, StreamSets и Syncsort.

Общие сведения см. в нашем блоге. Дополнительные сведения см. в разделе "Партнеры по технологиям".

Создатель рабочей области автоматически добавляется как администратор Azure Databricks.

Февраль 24, 2020 г.

До 24 февраля 2020 г. пользователь, создавший рабочую область Azure Databricks, был бы добавлен в рабочую область только как пользователь с правами администратора, если бы он нажал на кнопку Запуск рабочей области на портале Azure или был добавлен как администратор пользователем, который уже является администратором в рабочей области (любой участник Azure в подписке, который нажал на кнопку Запуск рабочей области, был бы создан как пользователь с правами администратора в рабочей области). Теперь пользователь, создающий рабочую область, будет автоматически добавлен как администратор рабочей области.

Дополнительные сведения о создании и запуске рабочих областей см. в статье Управление подпиской

Стали доступны флаги для управления безопасностью рабочей области и управления доступом к функциям записных книжек

4-11 февраля 2020 г.: версия 3.12

В этом выпуске появились новые флаги для управления заголовками безопасности, которые отправляются для предотвращения атак на рабочую область, а также для доступа к загрузке результатов записной книжки и управлению версиями Git. Все эти административные параметры по умолчанию включены.