Август 2023 г.

Эти функции и улучшения платформы Azure Databricks были выпущены в августе 2023 года.

Теперь таблицы отображаются в навигационном поиске

31 августа 2023 г.

Таблицы, зарегистрированные в каталоге Unity, теперь отображаются в навигационном поиске на верхней панели. См. статью "Поиск объектов рабочей области".

Интерфейс командной строки Databricks обновлен до версии 0.203.3 (общедоступная предварительная версия)

30 августа 2023 г.

Интерфейс командной строки Databricks (Databricks CLI) обновлен до версии 0.203.3. Дополнительные сведения см. в журнале изменений версии 0.203.3.

Драйвер JDBC Databricks 2.6.34

30 августа 2023 г.

Мы выпустили версию 2.6.34 драйвера JDBC Databricks (скачать). В этом выпуске рассматривается ряд проблем с уязвимостью путем обновления сторонних библиотек. Кроме того, этот выпуск устраняет следующие проблемы:

• Утечка потока при сбое подключения запроса к серверу.
• Отсутствуют комментарии в столбце REMARKS метаданных таблицы.
• Когда операция закрытия набора результатов возвращает ошибку, соединитель не очищает записи дескрипторов операций из потока управления состоянием.

Выпуск также улучшает обработку сообщений об ошибках, учитывая SQLState и соблюдая коды ошибок с сервера, и правильно проверяет версию протокола сервера.

Пакет SDK Databricks для Go обновлен до версии 0.18.0 (бета-версия)

29 августа 2023 г.

Пакет SDK Databricks для Go версии 0.18.0 содержит 17 критических изменений API, добавляет 30 API и добавляет около десятка полей. Дополнительные сведения см. в журнале изменений для версии 0.18.0.

Пакет SDK Databricks для Python обновлен до версии 0.7.0 (бета-версия)

29 августа 2023 г.

пакет SDK Databricks для Python версии 0.7.0 содержит изменения, нарушающие совместимость, для файлового API, а также 17 дополнительных изменений, нарушающих совместимость. Этот выпуск также добавляет 14 полей и добавляет 27 классов данных. Дополнительные сведения см. в журнале изменений для версии 0.7.0.

Поставщик Databricks Terraform обновлен до версии 1.24.1

29 августа 2023 г.

Поставщик Databricks Terraform версии 1.24.1 включает исправление для проверки доступности рабочих пространств. Дополнительные сведения см. в журнале изменений версии 1.24.1.

Скрипты инициализации на DBFS будут прекращены 1 декабря 2023 г.

29 августа 2023 г.

Databricks ранее объявил, что скрипты инициализации в DBFS достигли конца жизни 1 сентября 2023 года. Дата окончания жизни была продлена до 1 декабря 2023 года.

Databricks Runtime 14.0 (бета-версия)

29 августа 2023 г.

Databricks Runtime 14.0 и Databricks Runtime 14.0 ML теперь доступны в качестве бета-выпусков.

См. Databricks Runtime 14.0 (EoS) и Databricks Runtime 14.0 для Машинное обучение (EoS).

Единый опыт навигации доступен в режиме общего доступа

28 августа 2023 г.

Теперь общедоступен единый интерфейс навигации Azure Databricks. Пользователи больше не могут вернуться к классическому интерфейсу навигации. Дополнительные сведения см. в разделе "Пользовательский интерфейс рабочей области".

Поставщик Databricks Terraform обновлен до версии 1.24.0

25 августа 2023 г.

Поставщик Databricks Terraform версии 1.24.0 добавляет поддержку API на уровне учетной записи для объектов каталога Unity, добавляет acl_principal_id в несколько источников данных и многое другое. Дополнительные сведения см. в журнале изменений версии 1.24.0.

Параметр Databricks Runtime для Genomics удален из страницы параметров администратора рабочей области

25 августа 2023 г.

Администраторы рабочей области больше не могут включать или отключать Databricks Runtime for Genomics на странице настроек администратора рабочей области или через API конфигурации рабочей области. Среда выполнения Databricks Genomics устарела и поддержка Databricks Runtime для Genomics была удалена 24 сентября 2022 г.

Среда выполнения Databricks Genomics более не поддерживается. Сведения о эквивалентах открытый код см. в репозиториях genomics-pipelines и Glow.

Дополнительные сведения о политике и графике прекращения поддержки Databricks Runtime см. в статье Поддерживаемые версии Databricks Runtime.

Параметры служб контейнеров были удалены со страницы настроек администратора рабочей области

25 августа 2023 г.

Администраторы рабочей области больше не могут включать или отключать службы контейнеров на странице параметров администратора рабочей области. Службы контейнеров позволяют использовать контейнеры клиентов в кластерах. Она включена по умолчанию во всех новых рабочих областях. Службы контейнеров по-прежнему могут быть включены или отключены с помощью API конфигурации рабочей области. Дополнительные сведения см. в разделе "Включение служб контейнеров".

Интерфейс командной строки Databricks обновлен до версии 0.203.2 (общедоступная предварительная версия)

24 августа 2023 г.

Интерфейс командной строки Databricks (Databricks CLI) обновлен до версии 0.203.2. Дополнительные сведения см. в журнале изменений для версии 0.203.2.

Перейдите к определению функций и переменных в записных книжках Python

24 августа 2023 г.

В Databricks Runtime 12.2 LTS и более поздних версиях, когда записная книжка Python подключена к кластеру, вы можете автоматически перейти к определению переменной или функции, определенной в этой записной книжке. Дополнительные сведения см. в разделе "Перейти к определению ".

Databricks Runtime 13.3 LTS — это общедоступная версия

22 августа 2023 г.

Databricks Runtime 13.3 LTS и Databricks Runtime 13.3 LTS ML теперь общедоступны.

См. раздел Databricks Runtime 13.3 LTS и Databricks Runtime 13.3 LTS для Машинное обучение.

Знакомство с тегами в Unity Catalog

22 августа 2023 г.

Теперь вы можете применить теги к защищаемым объектам в каталоге Unity. Теги помогают упорядочить защищаемые объекты и упростить поиск и обнаружение ресурсов данных. См. раздел "Применение тегов к защищаемым объектам каталога Unity".

Список разрешений для сценариев инициализации, JAR и Maven координат в общих кластерах каталога Unity находится в общедоступной предварительной версии

23 августа 2023 г.

Теперь вы можете использовать Unity Catalog allowlist для управления установкой скриптов инициализации, JAR-файлов и координат Maven на вычислительных ресурсах, работающих в режиме общего доступа под управлением Databricks Runtime версии 13.3 и выше. См. статью "Библиотеки allowlist" и скрипты инициализации для вычислений с стандартным режимом доступа (прежнее название — режим общего доступа).

Поддержка томов для сценариев init и JAR доступна в общедоступной предварительной версии

23 августа 2023 г.

Теперь вы можете использовать тома каталога Unity для хранения инициализационных скриптов и JAR-файлов на вычислительных ресурсах с назначенными или общими режимами доступа, работающих на Databricks Runtime версии 13.3 и выше. См. "Библиотеки, относящиеся к вычислениям" и "Установка библиотек с тома".

Упрощенные коммиты результатов из файлов Databricks Repos .ipynb

21 августа 2023 г.

Databricks Repos добавил функции, чтобы сделать фиксации выходных данных файла .ipynb легче управлять и просматривать.

• Репозитории могут создать для вас конфигурационный файл commit_output.
• Уведомления в пользовательском интерфейсе позволяют узнать состояние фиксаций выходных данных.
• В меню "Файл" можно управлять фиксацией выходных данных noteook.

См. Контроль фиксаций вывода блокнота .ipynb.

Поддержка записной книжки IPYNB в Databricks Repos теперь общедоступна.

21 августа 2023 г.

Поддержка файла записной книжки IPYNB в Databricks Repos является общедоступной. Дополнительные сведения о Repos см. в следующем разделе:

• Поддержка записных книжек IPYNB
• Azure Databricks Git-папки

Пакет SDK Databricks для Go обновлен до версии 0.17.0 (бета-версия)

18 августа 2023 г.

Пакет SDK Databricks для Go версии 0.17.0 добавляет более 30 API и переименовывает около 10 API. Дополнительные сведения см. в журнале изменений для версии 0.17.0.

Пакет SDK Databricks для Python обновлен до версии 0.6.0 (бета-версия)

18 августа 2023 г.

пакет SDK Databricks для Python версии 0.6.0 добавляет около 20 классов данных, добавляет около 10 API и включает около 20 переименований. Дополнительные сведения см. в журнале изменений версии 0.6.0.

Интерфейс командной строки Databricks обновлен до версии 0.203.1 (общедоступная предварительная версия)

16 августа 2023 г.

Интерфейс командной строки Databricks (Databricks CLI) обновлен до версии 0.203.1. Дополнительные сведения см. в журнале изменений версии 0.203.1.

Теперь браузер унифицированных схем общедоступен

16 августа 2023 г.

Единый способ навигации по данным теперь доступен для записных книжек, редактора SQL и обозревателя каталогов, включая следующие новые возможности:

• Сокращенная версия дерева.
• Отображение количества объектов каталога Unity на уровне схемы при фильтрации.
• Щелкните правой кнопкой мыши меню для просмотра действий.

Изменения в бессерверной подсети могут вас затронуть, если вы закодировали идентификаторы в скрипте или шаблоне.

15 августа 2023 г.

Если вы используете брандмауэр служба хранилища Azure до конца августа, некоторые идентификаторы подсети меняются. Это не влияет на большинство клиентов, так как Azure автоматически мигрирует идентификаторы подсетей в существующие правила брандмауэра хранилища. Эта миграция не влияет на существующие рабочие нагрузки.

Если вы кодируете список бессерверных подсетей в шаблоне или скрипте, который обновляет правила брандмауэра хранилища Azure, перед попыткой обновить правила необходимо получить последний список идентификаторов подсети. Последние идентификаторы для каждого региона см. в разделе регионы Azure Databricks.

Пакет SDK Databricks для Go обновлен до версии 0.16.0 (бета-версия)

14 августа 2023 г.

Пакет SDK Databricks для Go версии 0.16.0 добавляет около десятка полей, удаляет около полу десятков полей и изменяет подписи около полудюжины API. Дополнительные сведения см. в журнале изменений для версии 0.16.0.

Partner Connect поддерживает перепись

14 августа 2023 г.

Теперь вы можете использовать Partner Connect для подключения рабочей области Azure Databricks к переписи. Дополнительные сведения см. в разделе "Подключение к переписи".

Azure Key Vault Managed HSM теперь поддерживает использование ключей, управляемых клиентами.

14 августа 2023 г.

Некоторые Azure Databricks службы и данные поддерживают добавление управляемого клиентом ключа для защиты и управления доступом к зашифрованным данным. Azure Databricks имеет три ключевые функции, управляемые клиентом, которые включают различные типы данных и расположений. Все три функции теперь поддерживают управляемые клиентом ключи из Azure Key Vault управляемых модулей HSM (аппаратные модули безопасности) помимо хранилищ Azure Key Vault. См. ключи, управляемые клиентом, для шифрования.

Пакет SDK Databricks для Python обновлен до версии 0.5.0 (бета-версия)

11 августа 2023 г.

пакет SDK Databricks для Python версии 0.5.0 изменяет подписи полудюжины API, добавляет десятки полей, удаляет пол-десятка полей и добавляет несколько классов данных. Дополнительные сведения см. в журнале изменений для версии 0.5.0.

Поддержка программируемой записи файлов рабочей области

11 августа 2023 г.

Кластеры, использующие Databricks Runtime 11.2 и более поздние версии, поддерживают запись в файлы рабочей области. Вы можете программно создавать, обновлять и удалять файлы и каталоги в рабочей области.

Интерфейс командной строки Databricks обновлен до версии 0.203.0 (общедоступная предварительная версия)

10 августа 2023 г.

Интерфейс командной строки Databricks (CLI Databricks) версии 0.203.0 улучшает команду auth login и многие другие функции. Дополнительные сведения см. в журнале изменений версии 0.203.0.

Поставщик Databricks Terraform обновлен до версии 1.23.0

9 августа 2023 г.

Поставщик Databricks Terraform версии 1.23.0 расширяет возможности, добавляя дополнительные поддерживаемые поля в RunJobTask, добавляет поддержку экспортера для databricks_job, и многое другое. Дополнительные сведения см. в журнале изменений версии 1.23.0.

Теперь группы можно переименовать

8 августа 2023 г.

Теперь можно переименовать существующие группы учетных записей и локальные группы рабочей области. См. раздел "Изменение имени группы".

Пакет SDK Databricks для Go обновлен до версии 0.15.0 (бета-версия)

7 августа 2023 г.

SDK Databricks для Go версии 0.15.0 перерабатывает API, связанные с разрешениями, чтобы сделать их более понятными и простыми в использовании. Дополнительные сведения см. в журнале изменений для версии 0.15.0.

Пакет SDK Databricks для Python обновлен до версии 0.4.0 (бета-версия)

7 августа 2023 г.

SDK Databricks для Python версии 0.4.0 переработал API, связанные с разрешениями, чтобы сделать их более понятными и простыми в использовании. Дополнительные сведения см. в журнале изменений версии 0.4.0.

Был удален сторонний параметр конфигурации защиты iFraming

7 августа 2023 г.

Azure Databricks снижает риск использования iFraming сторонними доменами для Azure Databricks путем добавления соответствующих заголовков HTTP. Защита от iFraming сторонних производителей по-прежнему включена по умолчанию, но Azure Databricks удалила возможность администратора рабочей области отключения этой защиты. Если вы ранее отключили iFraming сторонних сайтов для рабочей области, эта функция остается отключенной для этой рабочей области. Чтобы повторно включить сторонний iFraming, обратитесь к команде по работе с клиентами вашей учетной записи Azure Databricks.

Расширение Databricks для Visual Studio Code обновлено до версии 1.1.1

4 августа 2023 г.

Расширение Databricks для Visual Studio Code версии 1.1.1 предоставляет несколько дополнительных исправлений, например правильную обработку переменной среды HOME на Windows и многое другое. Дополнительные сведения см. в журнале изменений версии 1.1.1.

LangChain доступен в версии 13.1 и выше

4 августа 2023 г.

LangChain доступен как экспериментальный вариант MLflow, который позволяет клиентам LangChain использовать надёжные инструменты и возможности для отслеживания экспериментов MLflow непосредственно в среде Azure Databricks.

LangChain — это платформа программного обеспечения, предназначенная для создания приложений, использующих большие языковые модели (LLM) и сочетающих их с внешними данными, чтобы повысить контекст обучения для LLM.

Databricks Runtime для Машинное обучение включает langchain в Databricks Runtime 13.1 ML и более поздних версий.

Проектирование компонентов в каталоге Unity — общедоступная предварительная версия

3 августа 2023 г.

Благодаря проектированию компонентов в каталоге Unity каталог Unity становится хранилищем компонентов. Вы можете использовать любую таблицу Delta с первичным ключом в качестве таблицы функций для обучения модели или вывода. Каталог Unity предоставляет обнаружение и управление функциями.

Улучшена обработка ошибок для повторяющихся сбоев в непрерывных задачах

3 августа 2023 г.

Непрерывные задания, превышающие пороговое значение для последовательных сбоев, теперь используют экспоненциальную схему отката, чтобы эффективно повторно запускать задания и позволять им восстанавливаться после временных проблем. Ранее долговременные задачи, превышавшие порог сбоя, приостанавливались и не выполнялись повторно.

Бессерверные хранилища SQL теперь доступны в дополнительных регионах

3 августа 2023 г.

Бессерверные склады SQL доступны в дополнительных регионах: Восточная Австралия, Центральная Канада, Западная часть США 2, южная часть США и Юго-Восточная Азия. См. регионы Azure Databricks.

Если вы планируете использовать брандмауэр служба хранилища Azure, настройте брандмауэр, чтобы разрешить доступ из бессерверных подсетей хранилища SQL. См. регионы Azure Databricks.

Общий доступ к схемам с использованием Delta Sharing (общественный предварительный просмотр)

2 августа 2023 г.

Теперь вы можете использовать Delta Sharing для передачи целой схемы, предоставляя получателю доступ ко всем таблицам и представлениям, которые находятся в схеме на момент предоставления, а также ко всем таблицам и представлениям, которые будут добавлены в схему в будущем. Для добавления схем в общую папку с помощью команд SQL требуется хранилище SQL или кластер под управлением Databricks Runtime 13.2 или более поздней версии. Выполнение этого же действия с помощью обозревателя каталогов не имеет требований к вычислениям. См. раздел "Добавление схем в общую папку".

Условное выполнение задач в заданиях Azure Databricks

2 августа 2023 г.

Новое условие Run if можно использовать для выполнения задания на основе состояния зависимостей задачи, что обеспечивает большую гибкость при реализации рабочего процесса в Azure Databricks. Например, можно использовать Run if условие для выполнения задачи, когда некоторые или все зависимости задачи завершились сбоем. См. статью "Настройка зависимостей задач".

Поставщик Databricks Terraform обновлен до версии 1.22.0

1 августа 2023 г.

Поставщик Databricks Terraform версии 1.22.0 добавляет ресурс databricks_access_control_rule_set, источники данных databricks_metastore и databricks_metastore, и многое другое. Дополнительные сведения см. в журнале изменений версии 1.22.0.

Расширенные функции безопасности и соответствия требованиям

1 августа 2023 г.

Вы можете включить профиль безопасности соответствия, который обеспечивает дополнительный мониторинг, защищенный вычислительный образ и другие функции в рабочих областях. Профиль безопасности соответствия требованиям необходим, чтобы использовать Azure Databricks для обработки данных, регулируемых PCI-DSS, но можно включить профиль, если вы не обрабатываете такие данные. Вы несете ответственность за обеспечение собственного соответствия всем применимым законам и нормативным актам.

Кроме того, можно отдельно включить расширенный мониторинг безопасности, который обеспечивает дополнительный мониторинг и защищенный вычислительный образ.

Обе функции доступны в составе новой надстройки Enhanced Security and Compliance. Если включить любую из этих функций в рабочей области, с вас будет взиматься плата за новое дополнение, как описано на странице цен. Для обоих функций требуется ценовая категория "Премиум".

Мониторинг "Lakehouse" — общедоступная предварительная версия

1 августа 2023 г.

Databricks Lakehouse Monitoring интегрирует мониторинг качества данных и моделей на платформу Databricks. Он предоставляет встроенные метрики качества, такие как сводная статистика, изменения распределения во времени, а также производительность модели, включая справедливость и предвзятость. Мониторинг Lakehouse автоматически создает сводную панель мониторинга для визуализации качества данных с течением времени. Вы также можете настроить оповещения на основе данных.

Databricks Runtime 13.3 LTS (бета-версия)

1 августа 2023 г.

Databricks Runtime 13.3 LTS и Databricks Runtime 13.3 LTS ML теперь доступны в качестве бета-версий.

См. раздел Databricks Runtime 13.3 LTS и Databricks Runtime 13.3 LTS для Машинное обучение.

Новые операции Git теперь доступны: слияние ветвей, ребазирование и извлечение с разрешением конфликтов

1 августа 2023 г.

Следующие операции Git теперь общедоступны в Databricks Repos:

• Слияние и перебазирование. Теперь можно Git merge или rebase две ветви непосредственно в Azure Databricks. Это упрощает процесс объединения ветвей и предоставляет возможность разрешать конфликты, возникающие во время операции.
• Pull с разрешением конфликтов: Теперь вы можете использовать Databricks Repos для управления и разрешения конфликтов, которые возникают при pull из удаленного репозитория Git с помощью Azure Databricks.

Благодаря этим мощным новым средствам разрешения конфликтов совместная работа с кодом с помощью Databricks Repos становится еще более упрощенной и эффективной.