Сентябрь 2025 г.

Эти функции и улучшения платформы Azure Databricks были выпущены в сентябре 2025 года.

Замечание

Выпуски осуществляются поэтапно. Учетная запись Azure Databricks может не обновляться до недели или более после начальной даты выпуска.

Теперь доступна таблица временной шкалы обновления конвейера (общедоступная предварительная версия)

30 сентября 2025 г.

Таблица system.lakeflow.pipeline_update_timeline обеспечивает полное историческое отслеживание обновлений конвейера и поддерживает подробный анализ активности обновления, триггеров, результатов и использования ресурсов вычислений.

См. схему таблицы временной шкалы обновления конвейера.

Бета-версия таблицы системы классификации данных

30 сентября 2025 г.

Новая системная таблица system.data_classification.resultsтеперь доступна в бета-версии. Эта таблица фиксирует обнаружение конфиденциальных данных на уровне столбца во всех включенных каталогах в хранилище метаданных.

Anthropic Claude Opus 4.1 теперь доступен в качестве базовой модели, размещенной на платформе Databricks.

29 сентября 2025 г.

Мозаичная модель ИИ теперь поддерживает основную модель Claude Opus 4.1 от Anthropic, размещенную на Databricks. Вы можете получить доступ к этой модели с помощью API-интерфейсов модели Foundation, оплачиваемых за токен.

Редактор конвейеров Lakeflow теперь доступен в публичной предварительной версии

29 сентября 2025 г.

Редактор конвейерных процессов Lakeflow (ранее называемый редактором с несколькими файлами) теперь находится в общедоступной предварительной версии. Редактор Lakeflow Pipelines отображает конвейер как набор файлов в обозревателе ресурсов конвейера. Вы можете редактировать файлы и управлять конфигурацией конвейера, а также определять, какие файлы необходимо включить, всё в одном месте. Это также изменяет формат источника кода по умолчанию для пайплайнов из ноутбуков на файлы кода на Python и SQL.

См. статью "Разработка и отладка конвейеров ETL" с помощью редактора конвейеров Lakeflow.

Новое требование для создания подключений для импорта данных из Salesforce

29 сентября 2025 г.

В начале сентября 2025 года Salesforce начала ограничивать использование удаленных подключенных приложений. Это ограничение не нарушает существующие подключения каталога Unity к Salesforce, но не позволяет создавать подключение к новому экземпляру Salesforce без установки подключенного приложения Databricks.

Дополнительные сведения см. в разделе "Подготовка к изменению ограничений использования подключенных приложений " в документации По Salesforce.

Инструкции по подключению к Salesforce см. в разделе "Создание подключения Salesforce"

Миграция декларативных конвейеров Spark в Lakeflow Pipelines из устаревшего режима публикации стала общедоступной

24 сентября 2025 г.

Декларативные конвейеры Spark в Lakeflow имеют устаревший режим публикации, разрешающий публикацию только в одном каталоге и схеме. Режим публикации по умолчанию позволяет публиковать несколько каталогов и схем. Миграция из устаревшего режима публикации в режим публикации по умолчанию теперь общедоступна (проблемы, обнаруженные в предыдущем выпуске этой функции, были исправлены).

См. Активируйте режим публикации по умолчанию в конвейере.

Обновления Databricks Runtime для сервисного обслуживания

24 сентября 2025 г.

Новые обновления обслуживания доступны для поддерживаемых версий среды выполнения Databricks. К этим обновлениям относятся исправления ошибок, исправления безопасности и улучшения производительности. Дополнительные сведения см. в разделе Об обновлениях обслуживания среды выполнения Databricks.

Фреймворк агента ИИ Mosaic поддерживает автоматическую сквозную аутентификацию для ресурсов Lakebase

23 сентября 2025 г.

Фреймворк Mosaic AI Agent теперь поддерживает сквозную авторизацию для ресурсов «Lakebase». Для этого требуется MLFlow 3.3.2 или более поздней версии.

См. автоматическую передачу проверки подлинности.

Теперь для конечных точек, оптимизированных для маршрутизации, требуется путь URL-адреса, оптимизированный для маршрутизации

22 сентября 2025 г.

Все только что созданные конечные точки, оптимизированные для маршрутов, должны запрашиваться с помощью URL-адреса, оптимизированного для маршрутизации. Запросы, использующие стандартный путь URL-адреса рабочей области, не поддерживаются для конечных точек, оптимизированных для маршрутов, созданных после 22 сентября 2025 г.

См. сведения о конечных точках обслуживания, оптимизированных для маршрутов запросов.

Изучение данных таблицы с помощью LLM (общедоступная предварительная версия)

22 сентября 2025 г.

Теперь вы можете задавать на естественном языке вопросы о выборках данных, используя Catalog Explorer. Помощник использует контекст метаданных и шаблоны использования таблиц для создания SQL-запроса. Затем можно проверить запрос и выполнить его по базовой таблице. Изучите данные таблицы с использованием LLM.

Общедоступная предварительная версия Genie One

17 сентября 2025 г.

Genie One, упрощенный пользовательский интерфейс, разработанный для бизнес-пользователей, теперь находится в общедоступной предварительной версии. Genie One предоставляет единую интуитивно понятную точку входа для взаимодействия с данными и ИИ в Databricks, не требуя технических знаний о вычислительных ресурсах, запросах, моделях или записных книжках.

С помощью Genie One бизнес-пользователи могут:

  • Просмотр и взаимодействие с панелями мониторинга AI/BI для отслеживания ключевых показателей эффективности и анализа метрик.
  • Задайте вопросы о данных на естественном языке с помощью Genie.
  • Используйте пользовательские приложения Databricks, которые объединяют аналитику, ИИ и рабочие процессы.

Администраторы рабочей области могут включить Genie One на странице "Предварительные версии" в консоли администрирования.

См. раздел "Использование Genie One".

Открывайте файлы в Auto Loader эффективно с использованием событий файлов без регистрации (публичная предварительная версия)

16 сентября 2025 г.

Параметр cloudFiles.useManagedFileEvents с автозагрузчиком теперь обеспечивает общедоступную предварительную версию без ограничений. Этот параметр позволяет эффективно обнаруживать файлы. Дополнительные сведения см. в следующих статьях:

Databricks Runtime 17.2 теперь является общедоступной версией

16 сентября 2025 г.

Databricks Runtime 17.2 теперь общедоступен. См. раздел Databricks Runtime 17.2 (EoS).

Delta Sharing в Lakehouse Federation находится в бета-версии

16 сентября 2025 г.

Теперь вы можете использовать Delta Sharing для совместного использования внешних схем и таблиц, созданных с помощью федерации запросов, при обмене данными Databricks-to-Databricks и в открытом общем доступе. См. раздел "Добавление внешних схем или таблиц в общий ресурс" и "Чтение данных в общей внешней таблице или внешней схеме".

Подключение ресурсов Delta к существующему общему каталогу

12 сентября 2025 г.

Получатели Delta Sharing теперь могут монтировать доли, полученные от своего поставщика Delta Sharing, к существующему общему каталогу. Ранее получателям было необходимо создавать новый каталог для каждой новой общей папки. См. статью "Создание каталога из общей папки".

Коннектор необработанных данных Google Analytics (GA)

10 сентября 2025 г.

Соединитель необработанных данных Google Analytics в Lakeflow Connect теперь общедоступен. См. документ Настройка Google Analytics 4 и Google BigQuery для интеграции с Azure Databricks.

Бессерверные задания и конвейеры, настроенные в пользовательском интерфейсе, теперь оптимизированы по умолчанию.

11 сентября 2025 г.

Бессерверные задания и конвейеры, настроенные в пользовательском интерфейсе, теперь настроены как производительность, оптимизированная по умолчанию. Это согласует пользовательский интерфейс с текущими значениями по умолчанию для API, Terraform и SDK. Дополнительные сведения см. в разделе "Режим производительности" в бессерверных заданиях и режиме производительности в бессерверных конвейерах.

Пользовательские источники данных Python можно использовать с декларативными конвейерами Spark в Lakeflow

10 сентября 2025 г.

Вы можете использовать пользовательские источники данных и приёмники Python в определениях конвейера в Spark Declarative Pipelines on Lakeflow.

Сведения о пользовательских источниках данных Python см. в следующем:

Автоматическое управление идентификацией общедоступно.

10 сентября 2025 г.

Автоматическое управление удостоверениями позволяет синхронизировать пользователей, субъектов-служб и группы из Microsoft Entra ID в Azure Databricks без настройки приложения в Microsoft Entra ID. Если этот параметр включен, вы можете напрямую искать в федеративных рабочих пространствах идентификации пользователей, служебные участники и группы Microsoft Entra ID и добавлять их в вашу рабочую область. Databricks использует Microsoft Entra ID в качестве источника записи, поэтому любые изменения членства в группах учитываются в Azure Databricks. Автоматизированное управление идентификацией также поддерживает вложенные группы.

См. раздел "Автоматическое управление удостоверениями".

Декларативные конвейеры Spark в Lakeflow теперь поддерживают метрики хода выполнения потоков в общедоступной предварительной версии

10 сентября 2025 г.

Декларативные конвейеры Spark в Lakeflow теперь поддерживают возможность запрашивать журнал событий для получения метрик о ходе обработки потока. См. статью "Мониторинг метрик потоковой передачи конвейера".

Техническое обновление среды выполнения Databricks

8 сентября 2025 г.

Новые обновления обслуживания доступны для поддерживаемых версий среды выполнения Databricks. К этим обновлениям относятся исправления ошибок, исправления безопасности и улучшения производительности. Дополнительные сведения см. в разделе Об обновлениях обслуживания среды выполнения Databricks.

Поддержка приложений Databricks для ресурсов Genie

8 сентября 2025 г.

Databricks Apps теперь поддерживает добавление Genie Space в качестве ресурса приложения для выполнения запросов на естественном языке по курированным наборам данных. См. раздел "Добавление ресурса агента Genie" в приложение Databricks.

Хранилища компонентов Databricks Online (общедоступная предварительная версия)

5 сентября 2025 г.

Хранилища компонентов Databricks Online, на базе Lakebase, обеспечивают высокомасштабируемый доступ к данным функций с низкой задержкой при сохранении согласованности с автономными таблицами функций. Встроенные интеграции с Unity Catalog, MLflow и Mosaic AI Model Serving помогают производить конечные точки ваших моделей, агентов и системы правил, чтобы они могли автоматически и безопасно получать доступ к возможностям из онлайн-магазинов фич, поддерживая высокую производительность.

См. сведения о хранилищах компонентов Databricks Online.

Метаданные MLflow теперь доступны в системных таблицах (общедоступная предварительная версия)

5 сентября 2025 г.

Метаданные MLflow теперь доступны в системных таблицах. Просматривайте метаданные, управляемые в службе отслеживания MLflow, из всего рабочего пространства в одном центральном расположении, используя все инструменты Databricks, такие как создание пользовательских панелей мониторинга ИИ/BI, оповещений SQL и крупномасштабных запросов аналитики данных.

Дополнительные сведения см. в справочнике по системным таблицам MLflow.

Режим агента Databricks Assistant: агент обработки и анализа данных находится в бета-версии

3 сентября 2025 г.

Режим агента для Databricks Assistant теперь в стадии бета-тестирования. В режиме агента помощник может оркестрировать многошаговые рабочие процессы из одной подсказки.

Агент науки о данных создан специально для рабочих процессов, связанных с наукой о данных, и может создавать целую записную книжку для таких задач, как EDA, прогнозирование и машинное обучение с нуля. Используя запрос, он может запланировать решение, получить соответствующие ресурсы, запустить код, использовать выходные данные ячеек для улучшения результатов, исправления ошибок автоматически и многое другое.

См. раздел "Использование кода Genie для обработки и анализа данных".

Таблицы, поддерживаемые хранилищем по умолчанию, могут быть общими для любого получателя (бета-версия)

2 сентября 2025 г.

Поставщики Delta Sharing теперь могут делиться таблицами, поддерживаемыми хранилищем по умолчанию, с любым получателем, как с открытыми, так и с получателями Azure Databricks, даже если получатель использует традиционные вычислительные ресурсы. Таблицы с включенным секционированием являются исключением.

Смотрите ограничения.

Перенос декларативных конвейеров Spark в Lakeflow из устаревшего режима публикации возвращён в статус публичной предварительной версии

2 сентября 2025 г.

Декларативные конвейеры Spark в Lakeflow включают устаревший режим публикации, который ранее позволял публиковать данные только в одном каталоге и одной схеме. Режим публикации по умолчанию позволяет публиковать несколько каталогов и схем. Функция, недавно выпущенная как общедоступная, может помочь перейти из устаревшего режима публикации в режим публикации по умолчанию. Из-за проблемы, обнаруженной после выпуска, функция миграции была откатена до состояния и функциональности общедоступной предварительной версии.

См. раздел "Включить режим публикации по умолчанию" в конвейере

Агенты ИИ: авторизация от имени пользователя в общедоступной предварительной версии

2 сентября 2025 г.

Агенты ИИ, развернутые в конечных точках службы модели, могут использовать авторизацию от имени пользователя. Это позволяет агенту выступать в качестве пользователя Databricks, выполняющего запрос на добавленную безопасность и подробный доступ к конфиденциальным данным.

соединитель SQL Server поддерживает тип SCD 2

1 сентября 2025 г.

Соединитель Microsoft SQL Server в Lakeflow Connect теперь поддерживает SCD типа 2. Этот параметр, известный как отслеживание истории или медленно изменяющиеся измерения (SCD), определяет, как обрабатывать изменения данных с течением времени. При отключении отслеживания журнала (SCD type 1) устаревшие записи перезаписываются по мере их обновления и удаления в источнике. При включенном отслеживании истории (SCD типа 2) соединитель поддерживает историю этих изменений. См. "Включить отслеживание истории" (SCD типа 2).

  • Last updated on