Май 2025 г.

Эти функции и Azure Databricks улучшения платформы были выпущены в мае 2025 года.

Улучшенный пользовательский интерфейс для управления панелями управления ноутбука.

30 мая 2025 г.

Быстро перейдите между записной книжкой и связанными правом верхнем углу.

Перейдите между панелью мониторинга записной книжки и записной книжкой.

Улучшения разработки SQL

30 мая 2025 г.

В редакторе SQL и записных книжках были внесены следующие улучшения в процесс редактирования SQL:

• Фильтры, примененные к таблицам результатов, также влияют на визуализации, позволяя интерактивное исследование без изменения базового запроса или набора данных. Дополнительные сведения о фильтрах см. в разделе "Результаты фильтрации".
• В записной книжке SQL теперь можно создать новый запрос из отфильтрованной таблицы результатов или визуализации. См. статью "Создание запроса из отфильтрованных результатов".
• Вы можете навести указатель мыши на * в запросе SELECT *, чтобы развернуть столбцы в запрашиваемой таблице.
• Настраиваемые параметры форматирования SQL теперь доступны в новом редакторе SQL и редакторе записной книжки. Нажмите кнопку "Просмотреть > параметры разработчика > " в формате SQL. См . раздел "Настройка форматирования SQL".

Отображения метрик находятся в публичной предварительной версии

29 мая 2025 г.

Представления метрик каталога Unity предоставляют централизованный способ определения согласованных, повторно используемых и управляемых основных бизнес-метрик и управления ими. Они абстрагируют сложную бизнес-логику в централизованное определение, позволяя организациям определять ключевые показатели производительности один раз и последовательно использовать их в таких средствах отчетности, как панели мониторинга, агенты Genie (ранее Genie Spaces) и оповещения. Используйте хранилище SQL, работающее на канале предварительной версии (2025.16) или другом вычислительном ресурсе, работающем под управлением Databricks Runtime 16.4 или более поздней версии, для работы с представлениями метрик. Смотрите представления метрик каталога Unity.

Ассистент знаний для специализированных чат-ботов в области находится на стадии бета-тестирования.

29 мая 2025 г.

В бета-версии Помощник по знаниям поддерживает создание чат-бота для работы с документами и улучшение его качества на основе обратной связи на естественном языке от экспертов в предметной области.

См. раздел «Использование помощника знаний для создания высококачественного чат-бота на основе ваших документов».

Теперь доступна системная таблица рабочих областей (общедоступная предварительная версия)

28 мая 2025 г.

Теперь можно использовать таблицу system.access.workspaces_latest для отслеживания последнего состояния всех активных рабочих областей в вашей учетной записи.

Присоедините эту таблицу к другим системным таблицам для анализа надежности, производительности и затрат в рабочих областях вашей учетной записи. См. справочник по системной таблице рабочих областей.

Модели Claude Sonnet 4 и Claude Opus теперь доступны на платформе Mosaic AI Model Serving.

27 мая 2025 г.

Anthropic Claude Sonnet 4 и Anthropic Claude Opus 4 модели теперь доступны в Mosaic AI Model Serving как базовые модели, размещенные на платформе Databricks.

Эти модели доступны через API Foundation моделей с оплатой за каждый токен исключительно в регионах США.

Новые оповещения в бета-версии

22 мая 2025 г.

Новая версия оповещений Databricks SQL теперь находится в бета-версии. Оповещения можно использовать для периодического выполнения запросов, оценки определенных условий и отправки уведомлений, если условие выполнено. Эта версия упрощает создание оповещений и управление ими путем консолидации установки запросов, условий, расписаний и назначений уведомлений в единый интерфейс. Вы по-прежнему можете использовать устаревшие оповещения вместе с новой версией. См. оповещения Databricks SQL.

Обновления исходящего диапазона общедоступных IP-адресов для служб плоскости управления

20 мая 2025 г.

Начиная с 20 мая 2025 г. Azure Databricks развертывает новые компоненты плоскости управления для повышения доступности безопасности и зоны. В рамках этого обновления мы обновляем общедоступные IP-адреса egress (исходящие) общедоступные IP-адреса и связанные теги службы Azure для служб плоскости управления.

Это изменение влияет на клиентов, использующих брандмауэры ресурсов для управления входящим доступом к ресурсам:

• Если правила брандмауэра ссылались на тег Azure Databricks службы, никаких действий не требуется.
• Если правила брандмауэра разрешают определенные общедоступные IP-адреса уровня Azure Databricks , необходимо:
  • Добавьте к 26 сентября 2025 года все общедоступные IP-адреса контрольной плоскости.

Панели мониторинга, оповещения и запросы поддерживаются в виде файлов рабочей области

20 мая 2025 г.

Панели мониторинга, оповещения и запросы теперь поддерживаются в виде файлов рабочей области, что означает, что вы можете программно взаимодействовать с этими объектами Databricks, как и любой другой файл, в любом месте файловой системы рабочей области. См. сведения о файлах рабочей области ипрограммном взаимодействии с файлами рабочей области.

Таблица системы конвейеров теперь доступна (общедоступная предварительная версия)

20 мая 2025 г.

Таблица system.lakeflow.pipelines — это медленно изменяющаяся таблица измерений (SCD2), которая отслеживает все конвейеры, созданные в учетной записи Azure Databricks.

См. схему таблицы Pipelines.

Azure Databricks поддерживает доступ на чтение между облаком к хранилищу AWS S3

20 мая 2025 г.

Используйте каталог Unity для доступа ко всем данным S3 из безопасной среды Azure Databricks. Нет необходимости переносить или копировать наборы данных. Доступ к S3 доступен только для чтения.

См. раздел Подключение к внешнему расположению AWS S3 (только для чтения).

Декларативные пакеты автоматизации в рабочей области (общедоступная предварительная версия)

19 мая 2025 г.

Совместная работа с декларативными пакетами автоматизации с другими пользователями в организации теперь упрощается с помощью пакетов в рабочей области, что позволяет пользователям рабочей области изменять, фиксировать, тестировать и развертывать обновления пакетов с помощью пользовательского интерфейса.

См. Совместная работа над пакетами в рабочей области.

Восстановление задач рабочего процесса теперь учитывает транзитивные зависимости

19 мая 2025 г.

Ранее исправленные задачи были разблокированы после завершения их прямых зависимостей. Теперь исправленные задачи ожидают завершения всех транзитивных зависимостей. Например, в графе A → B → C, восстановление A и C будет блокировать C до тех пор, пока не завершится ремонт A.

Приложения Databricks (общедоступная версия)

13 мая 2025 г.

Приложения Databricks теперь общедоступны (GA). Эта функция позволяет создавать и запускать интерактивные приложения с полным стеком непосредственно в рабочей области Databricks. Приложения выполняются в управляемой инфраструктуре и интегрируются с Delta Lake, записными книжками, моделями машинного обучения и каталогом Unity.

См. статью "Приложения Databricks".

Databricks Runtime 16.4 LTS — это общедоступная версия

13 мая 2025 г.

Databricks Runtime 16.4 и Databricks Runtime 16.4 ML теперь общедоступны.

См. раздел Databricks Runtime 16.4 LTS и Databricks Runtime 16.4 LTS для Машинное обучение.

Рабочие нагрузки ЦП для обслуживания моделей теперь поддерживают стандарты профиля безопасности соответствия

13 мая 2025 г.

Рабочие нагрузки ЦП для обслуживания моделей теперь поддерживают следующие стандарты соответствия, предлагаемые с помощью профиля безопасности соответствия.

• HIPAA
• HITRUST
• PCI-DSS
• Cyber Essentials Plus (Соединенное Королевство)

Ознакомьтесь со стандартами профиля безопасности соответствия требованиям: рабочие нагрузки ЦП для обеспечения доступности этих стандартов в регионе.

Драйвер JDBC Databricks 2.7.3

12 мая 2025 г.

Драйвер JDBC Для Databricks версии 2.7.3 теперь доступен для скачивания на странице скачивания драйвера JDBC.

Этот выпуск включает следующие улучшения и новые возможности:

• Добавлена поддержка аутентификации Azure Managed Identity с использованием OAuth 2.0. Чтобы включить это, установите значение свойства Auth_Flow равным 3.
• Добавлена поддержка обмена токенами OAuth для поставщиков удостоверений, отличных от хоста. Маркеры доступа OAuth (включая BYOT) будут заменены маркером доступа Databricks.
• Браузер OAuth (Auth_Flow=2) теперь поддерживает кэширование токенов для Linux и Mac.
• Добавлена поддержка типов данных VOID, Variant и TIMESTAMP_NTZ в API getColumns() и getTypeInfo().
• Теперь драйвер перечисляет столбцы с неизвестными или неподдерживаемых типами и сопоставляет их с SQL VARCHAR в getColumns() API метаданных.
• Добавлена поддержка cloud.databricks.us и доменов cloud.databricks.mil при подключении к Databricks с помощью OAuth (AuthMech=11).
• Обновлено до netty-buffer 4.1.119 и netty-common 4.1.119 (ранее 4.1.115).

Этот выпуск устраняет следующие проблемы:

• Проблемы совместимости при десериализации данных Apache Arrow с Java виртуальными машинами версии 11 или выше.
• Проблемы с датой и временной меткой перед началом григорианского календаря при подключении к определенным версиям Spark с использованием сериализации наборов результатов с Arrow.

Полные сведения о конфигурации см. в руководстве по драйверу Databricks JDBC, установленному с пакетом загрузки драйвера.

Обновленная схема системных таблиц происхождения

11 мая 2025 г.

Системные таблицы происхождения (system.access.column_lineage и system.access.table_lineage) были обновлены для улучшенного ведения журнала информации о сущностях.

• Столбец entity_metadata заменяет entity_type, entity_run_id и entity_id, которые устарели.
• Столбец record_id является новым первичным ключом для записи происхождения.
• Столбец event_id регистрирует идентификатор события происхождения, который может использоваться несколькими строками, если они были созданы тем же событием.
• Столбец statement_id регистрирует идентификатор запроса, сгенерировавшего событие происхождения. Это внешний ключ, который можно объединить с таблицей system.query.history .

Полную схему этих таблиц см. в справочнике по системным таблицам Lineage.

Теперь вы можете сотрудничать с несколькими сторонами, используя Azure Databricks Clean Rooms.

14 мая 2025 г.

Предложенные улучшения: Azure Databricks Clean Rooms теперь поддерживает следующие возможности:

• До 10 участников совместной работы для более сложных многопартийных проектов данных.
• Новый рабочий процесс утверждения записной книжки, который повышает безопасность и соответствие требованиям, позволяя определённым исполнителям выполнять действия только после получения явного утверждения.
• Параметры автоматического утверждения для доверенных партнеров.
• Представления различий для простого просмотра и аудита.

Эти обновления обеспечивают более безопасную, масштабируемую и аудитную совместную работу.

Azure Databricks GitHub App добавляет область рабочего процесса для поддержки разработки GitHub Actions

9 мая 2025 г.

Azure Databricks внесли изменения, в результате которых вы можете получить электронное письмо с запросом для области разрешений чтение и запись доступа к потокам работ для приложения Azure Databricks GitHub. Это изменение делает область приложения Azure Databricks GitHub согласованной с требуемой областью других поддерживаемых методов проверки подлинности и позволяет пользователям фиксировать GitHub Actions из папок Git Azure Databricks с помощью Azure Databricks GitHub приложение для авторизации.

Если вы являетесь владельцем учетной записи Azure Databricks, в которой установлено Azure Databricks GitHub приложение и настроено для поддержки OAuth, вы можете получить следующее уведомление в сообщении электронной почты с заголовком "Databricks запрашивает обновленные разрешения" из GitHub. (Это законный запрос электронной почты от Databricks.) Примите новые разрешения, чтобы включить фиксацию GitHub Actions из папок Azure Databricks Git с помощью приложения Databricks GitHub.

Автоматическое предоставление пользователей (JIT) GA

9 мая 2025 г.

Теперь вы можете включить JIT-подготовку для автоматического создания новых учетных записей пользователей во время первой проверки подлинности. При первом входе пользователя в Azure Databricks с помощью единого входа Azure Databricks проверяет, уже ли у пользователя есть учетная запись. Если нет, Azure Databricks мгновенно подготавливает новую учетную запись пользователя, используя сведения от поставщика удостоверений. См. Автоматическая подготовка пользователей (JIT).

Фрагменты запросов теперь доступны в новом редакторе SQL, записных книжках, файлах и панелях мониторинга

9 мая 2025 г.

Фрагменты запросов — это сегменты запросов, которые можно совместно использовать и активировать с помощью автозаполнения. Теперь вы можете создавать фрагменты запросов с помощью меню "Вид " в новом редакторе SQL, а также в редакторах записных книжек и файлов. Фрагменты запросов можно использовать в редакторе SQL, ячейках SQL, файлах SQL и наборах данных SQL на панелях мониторинга.

См. фрагменты запросов.

Теперь можно создавать представления в конвейерах ETL

8 мая 2025 г.

Команда CREATE VIEW SQL теперь доступна в конвейерах ETL. Вы можете создать динамическое представление данных. См. CREATE VIEW(конвейеры).

Настройка синтаксиса Python в записных книжках Databricks

8 мая 2025 г.

Теперь вы можете настроить выделение синтаксиса Python записных книжек, разместив файл pyproject.toml в путь предка записной книжки или в папку домашней. С помощью файла pyproject.toml можно настроить ruff, pylint, pyright и flake8 линтеры, а также отключить правила, относящиеся к Databricks. Эта конфигурация поддерживается для кластеров под управлением Databricks Runtime 16.4 или более поздней версии или клиента 3.0 или более поздней версии.

См. раздел Настройка синтаксиса Python.

Настраиваемый LLM для пользовательских текстовых агентов ИИ находится в бета-версии

7 мая 2025 г.

В бета-версии Custom LLM поддерживает создание специализированного LLM для пользовательских текстовых задач, таких как сводка, классификация, преобразование текста и создание контента.

См. раздел Использование пользовательской LLM для создания ИИ-агента для работы с текстом (устаревший).

Теперь задачи и конвейеры демонстрируются в едином интерфейсе (публичный предварительный просмотр).

7 мая 2025 г.

Теперь можно просмотреть все рабочие процессы, включая задания, конвейеры ETL и конвейеры приема данных в одном едином списке. Просмотр заданий и конвейеров.

Включена прогнозная оптимизация для всех существующих учетных записей Azure Databricks

7 мая 2025 г.

Начиная с 7 мая 2025 г. databricks включил прогнозную оптимизацию по умолчанию для всех учетных записей Azure Databricks. Это будет постепенно развернуто на основе вашего региона и будет завершено к 1 июля 2025 года. Если включена прогнозная оптимизация, Azure Databricks автоматически выполняет операции обслуживания для управляемых таблиц каталога Unity. Дополнительную информацию о предиктивной оптимизации для управляемых таблиц в каталоге Unity см. в разделе Предиктивная оптимизация для управляемых таблиц каталога Unity.

Llama 4 Maverick теперь поддерживается на выделенных рабочих нагрузках с пропускной способностью (публичная предварительная версия)

5 мая 2025 г.

Llama 4 Maverick теперь поддерживается в API-Foundation модели с обеспеченной пропускной способностью для рабочих нагрузок в рамках общедоступного предварительного просмотра. См. API базовых моделей с выделенной по требованию пропускной способностью.

См. ограничения подготовленной пропускной способности для Llama 4 Maverick в рамках предварительной версии.

Обратитесь к вашей команде по работе с клиентами Databricks, чтобы принять участие в программе предварительного доступа.

События файлов для внешних местоположений улучшают оповещения о файлах в Auto Loader и триггеры прибытия файлов в заданиях (общедоступная предварительная версия)

5 мая 2025 г.

Теперь можно включить события файлов в внешних местоположениях, указанных в каталоге Unity. Это делает триггеры прибытия файлов в заданиях и уведомлениях о файлах в автозагрузчике более масштабируемым и эффективным.

Эта функция предоставляется в режиме общедоступной предварительной версии. Поддержка автозагрузчика для событий файлов требует включения представителем Azure Databricks. Для доступа обратитесь к команде вашей учетной записи Azure Databricks.

Дополнительные сведения см. в следующих статьях:

• Настройка файловых событий для внешнего местоположения
• Режим уведомлений файлов с включенными и отключенными событиями файлов на внешних расположениях
• Активация заданий при поступлении новых файлов

Расширение региона обслуживания модели мозаичного искусственного интеллекта

5 мая 2025 г.

Служба Mosaic AI Model Serving теперь доступна в следующих регионах:

• eastasia
• francecentral
• germanywestcentral
• koreacentral
• swedencentral
• switzerlandnorth
• uaenorth
• westus3

См. сведения о доступности функций обслуживания моделей.

Системные таблицы заданий (общедоступная предварительная версия) включены по умолчанию

1 мая 2025 г.

Схема system.lakeflow , содержащая системные таблицы, связанные с заданиями, теперь включена по умолчанию во всех рабочих областях каталога Unity. См. справочную таблицу системы заданий.