Май 2024 г.

Эти функции и улучшения платформы Azure Databricks были выпущены в мае 2024 года.

Конфигурация бессерверного брандмауэра теперь поддерживает дополнительные типы вычислений

31 мая 2024 г.

Azure Databricks теперь поддерживает настройку брандмауэров для бессерверных заданий, записных книжек, конвейеров DLT и управления доступом конечных точек ЦП с помощью конфигураций подключения к сети (NCCs). Администраторы учетных записей могут создавать сетевые адаптеры и присоединять их к рабочим областям, чтобы обеспечить безопасный и контролируемый доступ через стабильные подсети.

См. раздел "Настройка брандмауэра для бессерверного доступа к вычислительным ресурсам".

Поддержка серии Databricks Runtime 15.0 заканчивается

31 мая 2024 г.

Поддержка Databricks Runtime 15.0 и Databricks Runtime 15.0 для Машинное обучение закончилась 31 мая. См. Документацию о жизненных циклах поддержки Databricks.

Databricks Runtime 15.3 (бета-версия)

30 мая 2024 г.

Databricks Runtime 15.3 и Databricks Runtime 15.3 ML теперь доступны в качестве бета-выпусков.

См. Databricks Runtime 15.3 (EoS) и Databricks Runtime 15.2 для Машинное обучение (EoS).

Пользовательский интерфейс метрики вычислений теперь доступен во всех версиях среды выполнения Databricks

30 мая 2024 г.

Пользовательский интерфейс вычислительных метрик был развернут для всех версий среды выполнения Databricks. Ранее эти метрики были доступны только в вычислительных ресурсах, работающих в Databricks Runtime 13.3 и выше. См. Просмотр метрик вычислений.

Улучшен поиск и фильтрация в таблицах результатов записной книжки и редактора SQL

28 мая 2024 г.

Теперь можно легко искать столбцы и выбирать значения фильтров из раскрывающегося списка существующих значений в таблицах результатов в записных книжках и редакторе SQL.

Новая панель мониторинга помогает поставщикам Databricks Marketplace отслеживать использование списка

28 мая 2024 г.

Новая панель мониторинга Аналитики поставщиков позволяет поставщикам Databricks Marketplace отслеживать просмотры, запросы и установки. Панель мониторинга извлекает данные из системных таблиц Marketplace. См. Мониторинг метрик использования с помощью панелей мониторинга.

Просмотр системно-сгенерированных федеративных запросов в Query Profile

24 мая 2024 г.

Федерация Lakehouse теперь поддерживает просмотр системных федеративных запросов и их метрик в профиле запросов. Щелкните узел сканирования федерации на графике, чтобы отобразить запрос, переданный в источник данных. См. статью "Просмотр системных федеративных запросов".

Исходящие IP-адреса плоскости вычислений необходимо добавить в список разрешенных IP-адресов рабочей области.

24 мая 2024 г.

Если в вашей рабочей области используются безопасные подключения к кластеру и списки доступа по IP, необходимо либо добавить все общедоступные IP-адреса, которые вычислительная инфраструктура использует для доступа к управляющей инфраструктуре, в список разрешенных, либо настроить back-end Приватный канал. Это изменение повлияет на все новые рабочие области 29 июля 2024 г. и существующие рабочие области 26 августа 2024 г. Дополнительные сведения см. в записи сообщества Databricks.

Например, если вы включите безопасное подключение к кластеру в рабочей области, которая использует внедрение виртуальной сети, Databricks рекомендует, чтобы у вашей рабочей области был статический исходящий общедоступный IP-адрес. Этот общедоступный IP-адрес и все остальные должны присутствовать в списке разрешений. См. развертывание Azure Databricks в виртуальной сети Azure (инъекция VNet). Кроме того, если вы используете управляемую Azure Databricks виртуальную сеть и настраиваете управляемый шлюз NAT для доступа к общедоступным IP-адресам, эти IP-адреса должны присутствовать в списке разрешений.

См . статью "Настройка списков IP-доступа для рабочих областей".

Поддержка OAuth осуществляется в Lakehouse Federation для Snowflake

24 мая 2024 г.

Каталог Unity теперь позволяет создавать подключения Snowflake с помощью OAuth. См. статью "Выполнение федеративных запросов" в Snowflake (OAuth).

Массовое перемещение и удаление объектов рабочей области из браузера рабочей среды

24 мая 2024 г.

Теперь можно выбрать несколько элементов в рабочей области для перемещения или удаления. При выборе нескольких объектов отображается панель действий и имеет параметры перемещения или удаления элементов. Кроме того, можно выбрать несколько элементов с помощью мыши и перетащить их в новое расположение. Существующие разрешения на объекты по-прежнему применяются во время операций массового перемещения и удаления.

Объекты каталога Unity доступны в последних и избранном

23 мая 2024 г.

Теперь вы можете найти объекты Unity Catalog, такие как каталоги и схемы, в списке недавних. Вы также можете выбрать избранные объекты каталога Unity в обозревателе каталогов и браузере схемы и найти избранные объекты на домашней странице рабочей области.

Новый соединитель dbt-databricks 1.8.0 использует модульную архитектуру dbt.

23 мая 2024 г.

Коннектор DBT-Databricks версии 1.8.0 является первой версией, использующей новую развязанную архитектуру dbt. Вместо того чтобы зависеть от dbt-core, чтобы освободить клиентов от необходимости указывать версии для обеих библиотек, соединитель теперь зависит от общего уровня абстракции между адаптером и dbt-core. В результате соединителю больше не нужно согласовывать версию функций с версией dbt-core, и он может свободно использовать семантическое версионирование. Это означает, что разработчикам коннекторов больше не нужно выпускать важные функции, такие как вычислительные ресурсы для каждой модели, в виде исправлений.

Этот выпуск также содержит следующее:

• Улучшения в объявлении и функционировании материальных представлений и потоковых таблиц, включая возможность настройки автоматического расписания обновлений.
• Поддержка тегов защищаемых объектов каталога Unity. Чтобы отличить их от тегов dbt, которые часто используются для выбора моделей в операции dbt, эти теги именуются databricks_tags в конфигурации модели.
• Несколько улучшений производительности обработки метаданных.

Новые API соответствия и параметры безопасности (общедоступная предварительная версия)

23 мая 2024 г.

Databricks представила новые интерфейсы API для профиля безопасности соответствия нормативным требованиям, расширенного мониторинга безопасности и параметров автоматического обновления кластеров в рабочих пространствах. See:

• API профиля безопасности соответствия требованиям
• API расширенного мониторинга безопасности
• API автоматического обновления кластера

Databricks Runtime 15.2 — общедоступная версия

22 мая 2024 г.

Databricks Runtime 15.2 и Databricks Runtime 15.2 ML теперь общедоступны.

См. Databricks Runtime 15.2 (EoS) и Databricks Runtime 15.2 для Машинное обучение (EoS).

Новый соединитель Tableau для Delta Sharing

22 мая 2024 г.

Новый коннектор Tableau Delta Sharing упрощает доступ Tableau Desktop к данным, которые были предоставлены вам с помощью протокола открытого общего доступа Delta Sharing. См. Tableau: чтение общих данных.

Новые примеры модели рекомендаций для глубокого обучения

22 мая 2024 г.

Databricks опубликовал два новых примера, иллюстрирующих современные модели рекомендаций глубокого обучения, в том числе двухбашенную модель и DLRM компании Meta. Чтобы узнать больше о моделях рекомендаций на основе глубокого обучения, см. в разделе «Обучение моделей рекомендаций».

Привязка учетных данных хранилища и внешних расположений к определенным рабочим областям (общедоступная предварительная версия)

22 мая 2024 г.

Теперь вы можете привязать учетные данные хранилища и внешние хранилища к определенным рабочим областям, предотвращая доступ к этим объектам из других рабочих областей. Эта функция особенно полезна при использовании рабочих областей для изоляции доступа к данным пользователей, например при наличии отдельных рабочих областей и рабочих областей разработки или выделенной рабочей области для обработки конфиденциальных данных.

Дополнительные сведения см. в разделе "Назначение внешнего расположения для определенных рабочих областей " и назначение учетных данных хранилища определенным рабочим областям.

Папки Git общедоступны

22 мая 2024 г.

Папки Git теперь общедоступны. См. папки Git для Azure Databricks. Если вы являетесь пользователем бывшей функции "Repos", см. статью Несколько произошло с Databricks Repos?.

Предварительно обученные модели в каталоге Unity (общедоступная предварительная версия)

21 мая 2024 г.

Databricks теперь включает в себя выбор высококачественных предварительно обученных моделей ИИ в каталоге Unity. Эти предварительно обученные модели позволяют получить доступ к возможностям искусственного интеллекта для рабочих процессов вывода, что позволяет сэкономить время и затраты на создание собственных пользовательских моделей. Ознакомьтесь с моделями ИИ и LLM из каталога Unity.

Поиск векторов Mosaic AI теперь доступен для широкой публики

21 мая 2024 г.

Теперь векторный поиск Mosaic AI общедоступен. См. Databricks AI Search.

Автозавершение помощника Databricks (общедоступная предварительная версия)

20 мая 2024 г.

Функция автодополнения в помощнике Databricks предлагает рекомендации с поддержкой ИИ в реальном времени при вводе текста в ноутбуках, запросах и файлах. Чтобы включить его, перейдите в Настройки>Разработчик>Экспериментальные возможности и переключите автозаполнение Помощника Databricks. Дополнительные сведения см. в разделе автозавершения на основе ИИ.

Поддержка Meta Llama 3 в обучении базовых моделей

20 мая 2024 г.

Обучение базовых моделей теперь поддерживает Meta Llama 3. См. Тонкая настройка базовой модели (EoL).

Новые изменения в пользовательском интерфейсе папки Git

17 мая 2024 г.

Вы можете заметить некоторые изменения в пользовательском интерфейсе для взаимодействия с папкой Git. Мы добавили следующее:

• При совместном использовании папки Git вы увидите новое оповещение в баннере, который предложит копировать ссылку для создания папки Git. При нажатии кнопки URL-адрес копируется в локальный буфер обмена, который можно отправить другому пользователю. Когда пользователь-получатель загружает этот URL-адрес в браузере, пользователь будет доставлен в рабочую область, где можно создать собственную папку Git, клонированную из одного удаленного репозитория Git. Когда получатель обращается к URL-адресу, он увидит диалоговое окно "Создать папку Git" в пользовательском интерфейсе, которое предварительно заполнено значениями, взятыми из папки Git.

  

• Аналогично, при просмотре папки Git, созданной другим пользователем, на новой полосе оповещений появляется кнопка «Создать папку Git». Нажмите эту кнопку, чтобы создать собственную папку Git для одного репозитория Git на основе предварительно заполненных значений в диалоговом окне "Создание папки Git".

  

Обучение базовой модели (общедоступная предварительная версия)

13 мая 2024 г.

Databricks теперь поддерживает обучение фундаментальных моделей. Используя обучение модели Foundation, вы используете собственные данные для настройки базовой модели для оптимизации производительности конкретного приложения. Путем точной настройки или продолжения обучения базовой модели вы можете обучать собственную модель с помощью значительно меньше данных, времени и вычислительных ресурсов, чем обучение модели с нуля. Обучающие данные, контрольные точки и настраиваемая модель находятся на платформе Databricks и интегрируются с ее средствами управления и производительности.

Для подробностей см. Тонкая настройка базовой модели (EoL).

Разрешить пользователям копировать данные в буфер обмена из таблицы результатов

9 мая 2024 г.

Теперь администраторы могут включить или отключить возможность копирования данных в буфер обмена из таблиц результатов. Ранее эта функция была ограничена записными книжками. Теперь этот параметр применяется к следующим интерфейсам:

• Notebooks
• Dashboards
• Агенты Genie (ранее Genie Spaces)
• Обозреватель каталогов
• Редактор файлов
• Редактор SQL

Значения тегов атрибутов для объектов каталога Unity теперь могут иметь длину 1000 символов (общедоступная предварительная версия)

8 мая 2024 г.

Значения тегов атрибутов в каталоге Unity теперь могут содержать до 1000 символов. Ограничение символов для ключей тегов остается 255. См. раздел "Применение тегов к защищаемым объектам каталога Unity".

Новая страница "Предпросмотры"

8 мая 2024 г.

Включите и управляйте доступом к предварительным версиям Databricks на новой странице предварительных версий. См. Управление предварительными версиями Azure Databricks.

Новые возможности для векторного поиска в Mosaic AI

8 мая 2024 г.

К новым возможностям относятся следующие возможности:

• Теперь поддерживаются списки IP-доступа.
• Управляемые клиентом ключи (CMK) теперь поддерживаются в конечных точках, созданных 8 мая 2024 г. или после 8 мая 2024 г. Поддержка поиска векторов для CMK доступна в общедоступной предварительной версии.
• Улучшены журналы аудита и отслеживание распределения затрат. См. справочник по журналу диагностики.
• Теперь вы можете сохранить созданные внедрения в виде таблицы Delta. См. статью "Создание индекса поиска ИИ".

См. Databricks AI Search.

Сквозная передача учетных данных и управление доступом к таблицам хранилища метаданных Hive считаются устаревшими.

7 мая 2024 г.

Передача учетных данных и элементы управления доступом к таблицам Hive устарели в Databricks Runtime 15.0, и поддержка будет вскоре прекращена в будущей версии среды выполнения Databricks.

Обновите каталог Unity, чтобы упростить безопасность и управление данными, предоставив централизованное место для администрирования и аудита доступа к данным в нескольких рабочих областях в вашей учетной записи. См. статью Что такое Unity Catalog?

Драйвер JDBC Databricks 2.6.38

6 мая 2024 г.

Мы выпустили версию 2.6.38 драйвера JDBC Databricks (скачать). В этом выпуске добавлены следующие новые функции и улучшения:

• Поддержка собственных параметризованных запросов, если сервер использует SPARK_CLI_SERVICE_PROTOCOL_V8. Ограничение количества параметров в запросе 256 в родном режиме запроса.
• Прием данных с использованием поддержки объема Unity Catalog. Дополнительные сведения о Unity Catalog томах см. в разделе "Подключение к облачному хранилищу объектов с помощью Unity Catalog". Чтобы использовать это, установите UseNativeQuery на 1.
• QueryProfile интерфейс, добавленный к IHadoopStatement, позволяет приложениям извлекать данные запроса query id. Эту функцию query id можно использовать для получения метаданных запроса с помощью REST API Databricks.
• Асинхронные операции для вызовов метаданных Thrift, если сервер использует SPARK_CLI_SERVICE_PROTOCOL_V9. Чтобы использовать эту функцию, установите свойство EnableAsyncModeForMetadataOperation на значение 1.
• Поддержка утверждений JWT. Соединитель теперь поддерживает утверждение JWT OAuth с помощью учетных данных клиента. Чтобы это сделать, установите свойство UseJWTAssertion в 1.

В этом выпуске также решены следующие проблемы:

• Обновления библиотек Джексона. Коннектор теперь использует следующие библиотеки для парсера JSON Jackson: jackson-annotations 2.16.0 (ранее 2.15.2), jackson-core 2.16.0 (ранее 2.15.2), jackson-databind 2.16.0 (ранее 2.15.2)
• Коннектор содержит незатемненные файлы классов в каталоге META-INF.

Поддержка брандмауэра для учетной записи хранения рабочего пространства GA

6 мая 2024 г.

При создании новой рабочей области Azure Databricks учетная запись хранения Azure создается в управляемой группе ресурсов, известной как учетная запись хранения рабочей области. Теперь вы можете активировать брандмауэр для ограничения доступа к хранилищу вашей рабочей области только с авторизованных ресурсов и сетей. См. раздел "Включение поддержки брандмауэра для учетной записи хранения вашей рабочей области".

Databricks Runtime 15.2 (бета-версия)

2 мая 2024 г.

Databricks Runtime 15.2 и Databricks Runtime 15.2 ML теперь доступны в качестве бета-выпусков.

См. Databricks Runtime 15.2 (EoS) и Databricks Runtime 15.2 для Машинное обучение (EoS).

Ноутбуки теперь распознают и автоматически заполняют имена столбцов для Spark Connect DataFrames.

1 мая 2024 г.

Блокноты Databricks теперь автоматически обнаруживают и отображают имена столбцов в Spark Connect DataFrames и позволяют использовать автозавершение для выбора столбцов.