Февраль 2025 г.

Эти функции и улучшения платформы Azure Databricks были выпущены в феврале 2025 года.

Драйвер ODBC Databricks 2.9.1

28 февраля 2025 г.

Драйвер Databricks ODBC версии 2.9.1 доступен для скачивания с страницы загрузки драйвера ODBC.

Этот выпуск включает следующие улучшения и новые возможности:

• Добавлена поддержка продления токена для сквозного потока OAuth.
• Добавлен параметр времени ожидания со стороны драйвера для инструкций простоя. Время ожидания можно настроить для предотвращения прерывания получения результатов и зависания в середине выполнения запроса.

Этот выпуск устраняет следующие проблемы:

• Если исходный каталог не задан, драйвер по умолчанию использует каталог hive_metastore.
• Драйвер обновляет http-User-Agent с thrift/0.9.0 на thrift/0.17.0.

Этот выпуск включает обновления до нескольких сторонних библиотек:

• OpenSSL 3.0.15 (ранее 3.0.13)
• libcURL 8.10.1 (ранее 8.7.1)
• ICU 74.2 (ранее 71.1)
• Arrow 15.0.0 (ранее 9.0.0) для OSX и Linux (версия для Windows также 15.0.0)
• lz4 1.10.0 (ранее 1.9.4)
• Экспат 2.6.3 (ранее 2.6.2)
• Kerberos 1.21.3 (ранее 1.21.2)

Полные сведения о конфигурации см. в руководстве по драйверу ODBC Databricks ODBC, установленному с пакетом скачивания драйвера.

Публикация журналов событий конвейера в виде таблиц каталога Unity

28 февраля 2025 г.

Теперь можно публиковать журналы событий для конвейеров DLT в виде таблиц в каталоге Unity. См. запрос журнала событий.

Обслуживание моделей ИИ Mosaic теперь доступно в Azure Восточная Япония, Великобритания (юг), и Центральная южная часть США.

28 февраля 2025 г.

Служба Модели ИИ Mosaic теперь доступна в следующих регионах:

• japaneast
• uksouth
• southcentralus

См. функции с ограниченной региональной доступностью.

Помощник Databricks предоставляет аналитические сведения о таблицах и происхождении данных.

27 февраля 2025 г.

В рабочих областях Azure Databricks с поддержкой Unity Catalog помощник Databricks может предоставлять информацию о происхождении таблиц и аналитические сведения при использовании простых команд.

См. статью "Получение происхождения с помощью Кода Genie".

Импорт открытых общих папок Delta Sharing непосредственно в Azure Databricks с помощью диалогового окна поставщика импорта

26 февраля 2025 г.

Рабочие области с поддержкой каталога Unity Azure Databricks включают поставщик Import для импорта общих папок из серверов, отличных от Databricks Delta Sharing, в каталог Unity с помощью общего доступа "Открытый к данным" (O2D). Эта функция была выпущена в июле 2024 года, но в то время не была объявлена. При использовании для импорта поставщика, вашим пользователям будет доступен практически такой же интерфейс работы с получателем, как и при совместном использовании Databricks с Databricks: нажмите Создать каталог, чтобы создать общий каталог, используйте средства управления доступом Unity Catalog для предоставления доступа к общим таблицам и используйте стандартный синтаксис Unity Catalog для выполнения запросов к этим общим областям, без необходимости хранения файла учетных данных или указания его при выполнении запросов к общим данным. См. статью Импорт поставщика данных и чтение общих данных в Azure Databricks.

Delta Sharing от открытых поставщиков общего доступа в Azure Databricks с использованием OAuth

26 февраля 2025 г.

Azure Databricks теперь поддерживает OAuth Client Credentials для Open-to-Databricks (O2D) обмена данными, то есть от серверов, отличных от Databricks Delta Sharing, до рабочих областей Azure Databricks, которые включены для Unity Catalog. Это упрощает импорт акций из сетей поставщиков услуг Delta Sharing, таких как Oracle Delta Share, которые используют клиентские учетные данные OAuth. Эта поддержка добавляет к уже значительным преимуществам использования каталога Unity в качестве получателя в модели O2D, которая включает пользовательский интерфейс поставщика импорта для импорта общих папок и возможность использовать стандартный синтаксис каталога Unity для запроса этих общих папок, при этом не нужно хранить файл учетных данных или указывать его при запросе общих данных. См. статью Импорт поставщика данных и чтение общих данных в Azure Databricks.

Потоковые операции чтения в представлениях каталога Unity достигли стадии общей доступности.

25 февраля 2025 г.

Потоковое чтение из представлений Unity Catalog, зарегистрированных на основе таблиц Delta, теперь доступно в общем доступе. См. представление каталога Unity в виде потока.

Порядок времени событий для начальной обработки потока моментальных снимков доступен для общего использования.

25 февраля 2025 г.

Теперь общедоступен параметр withEventTimeOrder для обработки структурированных запросов потоковой передачи из источников таблиц Delta. См. также Обработка начального моментального снимка без потери данных.

Асинхронное отслеживание хода выполнения доступно для общего использования

25 февраля 2025 г.

Теперь общедоступно асинхронное отслеживание хода выполнения для структурированного потокового вещания. См. Асинхронное отслеживание хода выполнения.

Таблица учёта оплачиваемых ресурсов теперь включает затраты на использование частных конечных точек в сети.

25 февраля 2025 г.

Теперь таблица системы платного использования включает поля, которые помогают отслеживать затраты, связанные с подключением бессерверных вычислительных ресурсов с помощью частных конечных точек. См. ссылку на таблицу системы учета платного использования .

Трассировка MLflow теперь общедоступна (GA)

25 февраля 2025 г.

Трекер MLflow теперь доступен в общем доступе. С помощью трассировки можно отслеживать входные данные, выходные данные и другие метаданные, связанные с каждым этапом запроса модели или агента.

Трассировка позволяет определить источник ошибок и непредвиденного поведения, сравнить производительность между моделями или агентами и создать новые наборы данных для улучшения качества. См. треккинг MLflow — наблюдаемость для GenAI.

Новая панель фильтров в Databricks Marketplace

25 февраля 2025 г.

Databricks Marketplace теперь включает улучшенную панель фильтров, предназначенную для упрощения поиска и просмотра. Это обновление повышает доступность обнаружения, что упрощает поиск по продуктам, поставщику, цене и т. д. См. Просмотр списков в Databricks Marketplace.

Время существования секрета OAuth теперь настраивается

24 февраля 2025 г.

Секреты OAuth для субъектов-служб теперь имеют настраиваемое время существования. Только что созданные секреты OAuth по умолчанию имеют срок действия максимум два года, тогда как ранее они не истекали. См. Authorize доступ субъекта-службы к Azure Databricks с помощью OAuth.

Предварительный просмотр файлов в томах

18 февраля 2025 г.

Теперь в обозревателе каталогов для томов отображаются предварительные версии файлов в общих форматах, включая изображения, текстовые файлы, JSON, YAML и CSV. См. предварительный просмотр файлов в томах.

Теперь записи о выставлении счетов за обслуживание модели регистрируются каждые пять минут.

18 февраля 2025 г.

Чтобы повысить наблюдаемость затрат, записи выставления счетов теперь регистрируются каждые пять минут обслуживания модели и использования предоставленной пропускной способности. Ранее записи регистрировались через один час. См. ссылку на таблицу системы учета платного использования . Обратите внимание, что использование Foundation Model Api Pay-Per-Token всё ещё агрегируется по почасовым интервалам.

Автоматическая кластеризация жидкости (общедоступная предварительная версия)

18 февраля 2025 г.

Теперь можно включить автоматическую кластеризацию жидкости в управляемых таблицах каталога Unity. Автоматическое "жидкое кластерирование" интеллектуально выбирает ключи кластеризации для оптимизации структуры данных ваших запросов. См. автоматическая кластеризация жидкости.

Выделенная контрольная плоскость для региона Azure Канада Восток

14 февраля 2025 г.

Databricks теперь предлагает выделенный уровень управления для Azure Восточного региона Канады, ранее управляемого центрального уровня Управления Канады. См. раздел IP-адреса и домены Azure Databricks служб и ресурсов.

Поддержка серии Databricks Runtime 14.1 заканчивается

12 февраля 2025 г.

Поддержка Databricks Runtime 14.1 и Databricks Runtime 14.1 для Машинное обучение закончилась 5 ноября. См. раздел Жизненные циклы поддержки Databricks.

Бессерверные хранилища SQL теперь доступны в дополнительных регионах

12 февраля 2025 г.

Бессерверные SQL хранилища теперь доступны в следующих регионах Azure: Восточная Азия, Центральная Корея, Северная Швейцария, Центральная часть США и Западная часть США 3. См. регионы Azure Databricks.

Databricks Runtime 16.2 — общедоступная версия (GA)

10 февраля 2025 г.

Databricks Runtime 16.2 и Databricks Runtime 16.2 ML теперь общедоступны.

См. Databricks Runtime 16.2 (EoS) и Databricks Runtime 16.2 для Машинное обучение (EoS).

Поддержка потоковой передачи Scala foreach, foreachBatchи flatMapGroupsWithState в вычислительных мощностях стандартного режима доступа (ранее режим общего доступа)

7 февраля 2025 г.

Теперь стандартный режим доступа для вычислений поддерживает функцию потоковой передачи Scala DataStreamWriter.foreach в Databricks Runtime версии 16.1 и выше. В Databricks Runtime 16.2 и более поздних версиях поддерживаются функции DataStreamWriter.foreachBatch и KeyValueGroupedDataset.flatMapGroupsWithState.

Управляемый Unity Catalog доступ к внешним облачным службам с использованием учетных данных службы теперь является общедоступным

7 февраля 2025 г.

Учетные данные службы обеспечивают простую и безопасную проверку подлинности с помощью служб вашего облачного клиента из Azure Databricks. Сведения о службе теперь общедоступны и помимо Python SDK, поддерживаемого в общедоступной предварительной версии, теперь поддерживают также SDK для Scala. Для полностью общедоступной функции требуется выполнение на Databricks Runtime 16.2 или более поздней версии. См. статью "Создание учетных данных службы".

Выгрузка в Excel теперь поддерживается в блокнотах, подключенных к хранилищам SQL

6 февраля 2025 г.

Для записных книжек, подключенных к хранилищам SQL, теперь можно скачать результаты ячейки, содержащие табличные данные в виде файла Excel. Просмотрите результаты загрузки.

Запись данных из конвейеров во внешние службы с помощью приемников DLT (общедоступная предварительная версия)

5 февраля 2025 г.

API sink DLT находится в общедоступной предварительной версии. С помощью приемников DLT можно записывать данные, преобразованные конвейером, в целевые объекты, такие как службы потоковой передачи событий, такие как Apache Kafka или Центры событий Azure, и внешние таблицы, управляемые каталогом Unity или хранилищем метаданных Hive. См. раздел "Приемники" в конвейерах Lakeflow.

Автоматическое управление идентификацией (общедоступная предварительная версия)

5 февраля 2025 г.

Теперь вы можете добавлять пользователей, служебные учетные записи и группы из Microsoft Entra ID в Azure Databricks, используя автоматическое управление идентификацией, без необходимости настройки приложения в Microsoft Entra ID. Если автоматическое управление удостоверениями включено, вы можете напрямую искать в федеративных рабочих областях для удостоверений пользователей Microsoft Entra ID, основных служб и групп и добавлять их в вашу рабочую область. Databricks использует Microsoft Entra ID в качестве источника записи, поэтому любые изменения членства в группах учитываются в Azure Databricks. Автоматизированное управление идентификацией также поддерживает вложенные группы.

См. раздел "Автоматическое управление удостоверениями".

Новый регион: Центральная Мексика

4 февраля 2025 г.

Azure Databricks теперь доступна в Центральной Мексике. См. регионы Azure Databricks.