Август 2022 г.

Эти функции и улучшения платформы Azure Databricks были выпущены в августе 2022 года.

Пользователи учетной записи могут получить доступ к консоли учетной записи

1-31 августа 2022 г.

Пользователи учетной записи могут получить доступ к консоли Azure Databricks account для просмотра списка рабочих областей. Пользователи учетной записи могут просматривать только рабочие области, к которым они получили доступ. См. раздел Управление учетной записью Azure Databricks.

Пользователи из рабочих областей автоматически синхронизируются с вашей учетной записью как пользователи учетной записи. Все существующие пользователи рабочей области и субъекты-службы синхронизируются автоматически с вашей учетной записью как пользователи на уровне учетной записи и субъекты-службы. См. Как синхронизировать удостоверения с вашим поставщиком удостоверений.

Драйвер ODBC Databricks 2.6.26

29 августа 2022 г.

Мы выпустили версию 2.6.26 драйвера ODBC для Databricks (скачать). В этом выпуске обновлена поддержка запросов. Теперь вы можете асинхронно отменить запросы по HTTP-подключениям по запросу API.

В этом выпуске также решены следующие проблемы:

• При использовании пользовательских запросов в Spotfire соединитель перестает отвечать.

Драйвер JDBC Databricks 2.6.29

29 августа 2022 г.

Мы выпустили версию 2.6.29 драйвера JDBC Databricks (скачать). В этом выпуске решены следующие проблемы:

• При использовании HTTP-прокси с включенной облачной выборкой соединитель не возвращает результаты большого набора данных.
• Незначительные проблемы с текстом лицензии Databricks. Отсутствуют ссылки на документацию.
• Неправильные имена JAR-файлов. Вместо SparkJDBC41.jar он должен быть DatabricksJDBC41.jar. Вместо SparkJDBC42.jar он должен быть DatabricksJDBC42.jar.

Клиент хранилища признаков Databricks теперь доступен в PyPI

26 августа 2022 г.

Клиент хранилища признаков теперь доступен в PyPI. Для клиента требуется Databricks Runtime 9.1 LTS или более поздних версий. Его можно установить с помощью следующих средств:

%pip install databricks-feature-store

Клиент уже поставляется с Databricks Runtime для машинного обучения 9.1 LTS и более новых версий.

Клиент не может быть запущен за пределами Databricks. Но вы можете установить его локально, чтобы использовать в модульном тестировании и для дополнительной поддержки IDE (например, автозавершение). Дополнительные сведения см. в разделе Databricks Feature Store Python клиента

Каталог Unity вышел в общую доступность

25 августа 2022 г.

Каталог Unity общедоступен. Подробную информацию о функциях и ограничениях см. в заметке о выпуске общедоступной версии каталога Unity.

Delta Sharing доступно в общем доступе

25 августа 2022 г.

Delta Sharing теперь предоставляется в общедоступной версии, начиная с Databricks Runtime 11.1. Дополнительные сведения см. в разделе "Что такое OpenSharing?".

• В обмене данными Databricks-to-Databricks Delta Sharing полностью управляется без необходимости обмена токенами.
• Создавайте и управляйте поставщиками, получателями и общими ресурсами в удобном пользовательском интерфейсе.
• Создавайте и управляйте поставщиками, получателями и общим доступом с помощью SQL и REST API, с полной поддержкой CLI и Terraform.
• Запрашивайте изменения данных или делитесь инкрементными версиями с помощью потоков данных об изменениях.
• Ограничьте доступ получателя к скачиванию файлов учетных данных или запрашиванию данных, используя списки доступа IP и региональные ограничения.
• Использование Delta Sharing для совместного использования данных в одной учетной записи Azure Databricks включено по умолчанию.
• Обеспечьте разделение обязанностей, делегировав управление Delta Sharing пользователям, не являющимся администраторами.

Databricks Runtime 11.2 (бета-версия)

23 августа 2022 г.

Databricks Runtime 11.2, 11.2 Photon и 11.2 ML теперь доступны в виде бета-версий.

Полные заметки о выпуске см. на странице Databricks Runtime 11.2 (EoS) и Databricks Runtime 11.2 для Машинное обучение (EoS).

Уменьшение объема сообщений в пользовательском интерфейсе DLT для непрерывных конвейеров

22-29 августа 2022 г.: версия 3.79

В этом выпуске переходы состояния для динамических таблиц в непрерывном конвейере DLT отображаются только в пользовательском интерфейсе, пока таблицы не вводятся в состояние выполнения. Все переходы, связанные с успешной повторной компиляцией таблиц, не отображаются в пользовательском интерфейсе, но доступны в журнале событий DLT на уровне METRICS. Любые переходы в состояния отказа по-прежнему отображаются в пользовательском интерфейсе. Ранее все переходы состояния отображались в пользовательском интерфейсе для динамических таблиц. Это изменение уменьшает объем событий конвейера, отображаемых в пользовательском интерфейсе, и упрощает поиск важных сообщений для ваших конвейеров. Дополнительные сведения о запросе журнала событий см. в разделе "Журнал событий конвейера".

Упрощенная конфигурация кластера для конвейеров DLT

22-29 августа 2022 г.: версия 3.79

Теперь можно выбрать режим кластера( автомасштабирование или фиксированный размер) непосредственно в пользовательском интерфейсе DLT при создании конвейера. Ранее настройка кластера автомасштабирования требовала изменения параметров JSON конвейера. Дополнительные сведения о создании конвейера и новом параметре режима кластера см. в разделе "Запуск обновления конвейера".

Оркестрация задач dbt в рабочих процессах Databricks (общедоступная предварительная версия)

22-29 августа 2022 г.: версия 3.79

Вы можете запустить основной проект dbt в качестве задачи в задании Azure Databricks с новой задачей dbt, что позволяет включить преобразования dbt в рабочий процесс обработки данных. Например, рабочий процесс может получать данные с помощью автозагрузчика, преобразовывать данные с помощью dbt и анализировать данные с помощью задачи записной книжки. Дополнительные сведения о задаче dbt, включая пример, см. в разделе "Использование преобразований dbt" в заданиях Lakeflow. Дополнительные сведения о создании, запуске и планировании рабочего процесса, включающего задачу dbt, см. в разделе "Задания Lakeflow".

Федерация удостоверений предоставляется в общедоступной версии

25 августа 2022 г.

Федерация удостоверений упрощает администрирование Azure Databricks, позволяя назначать пользователей учетных записей, сервисные принципы и группы в рабочие области с федерацией удостоверений. Теперь вы можете настроить и администрировать всех своих пользователей, а также все субъекты-службы и группы один раз в консоли учетной записи, а не повторять настройку отдельно в каждой рабочей области. Дополнительные сведения о федерации удостоверений см. в статье Назначение удостоверений рабочим местам. Сведения о начале работы см. в статье "Федерация удостоверений".

Partner Connect поддерживает подключение к Stardog

24 августа 2022 г.

Теперь вы можете легко создать подключение между Stardog и рабочей областью Azure Databricks с помощью Partner Connect. Stardog предоставляет платформу графа знаний для предоставления ответов на сложные запросы в разных хранилищах данных.

Интеграция хранилища признаков Databricks с бессерверной инференцией в реальном времени

22-29 августа 2022 г.: версия 3.79

Хранилище фич Databricks теперь поддерживает автоматический поиск функций для бессерверной инференции в реальном времени. Дополнительные сведения см. в разделе "Обслуживание моделей" с автоматическим поиском функций.

Дополнительная поддержка типов данных для автоматического поиска признаков в хранилище объектов Databricks.

22-29 августа 2022 г.: версия 3.79

Хранилище характеристик Databricks теперь поддерживает BooleanType для автоматического поиска характеристик. См. раздел "Обслуживание моделей" с автоматическим поиском функций.

Использование собственного ключа: шифрование учетных данных Git

23–29 августа 2022 г.

Вы можете использовать ключ шифрования для учетных данных Git для Databricks Repos.

См. раздел "Шифрование учетных данных Git".

Предварительная версия пользовательского интерфейса кластера и режим доступа заменяет режим безопасности

19 августа 2022 г.

Новый пользовательский интерфейс создания кластера находится в предварительной версии. См. справочник по конфигурации вычислений.

Ограничения каталога Unity (общедоступная предварительная версия)

16 августа 2022 г.

• Scala, R и рабочие нагрузки, использующие среду выполнения Машинное обучение, поддерживаются только в кластерах с помощью режима доступа к одному пользователю. Рабочие нагрузки на этих языках не поддерживают использование динамических представлений для безопасности на уровне строк или на уровне столбцов.
• Неглубокие клоны не поддерживаются при использовании Unity Catalog в качестве источника или цели клонирования.
• Сегментирование не поддерживается для таблиц каталога Unity. Команды, пытающиеся создать разбиваемую на группы таблицу в Unity Catalog, вызовут исключение.
• Режим перезаписи для операций записи DataFrame в каталог Unity поддерживается только для таблиц Delta, а не для других форматов файлов. Пользователь должен иметь права CREATE на родительской схеме и должен быть владельцем существующего объекта.
• Стриминг в настоящее время имеет следующие ограничения:
  • она не поддерживается в кластерах, где используется режима общего доступа; для рабочих нагрузок потоковой передачи необходимо использовать режим с доступом одного пользователя;
  • Асинхронные контрольные точки пока не поддерживаются.
  • запросы потоковой передачи продолжительностью более 30 дней в универсальных кластерах или кластерах заданий, выдают исключение. Для длительных потоковых запросов настройте автоматическое повторение работы.
• В настоящее время ссылки на таблицы каталога Unity из конвейеров DLT не поддерживаются.
• Группы, созданные ранее в рабочей области, нельзя использовать в инструкциях каталога Unity GRANT. Это позволяет обеспечить согласованное представление групп, которые могут охватывать несколько рабочих областей. Чтобы использовать группы в инструкциях GRANT, создайте группы в консоли управления учетной записью и обновите любую автоматизацию для управления субъектами или группами (например, коннекторы SCIM, Okta и Microsoft Entra ID, а также Terraform), чтобы направлять ее на конечные точки учетных записей вместо конечных точек рабочей области.

Каталог Unity доступен в следующих регионах:

• canadacentral
• centralus
• francecentral
• germanywestcentral
• japaneast
• norwayeast
• southafricanorth
• swedencentral
• switzerlandnorth
• switzerlandwest
• uaenorth
• westcentralus
• westus3
• australiaeast
• brazilsouth
• centralindia
• eastus
• eastus2
• koreacentral
• northcentralus
• northeurope
• southeastasia
• ukwest
• westeurope
• westus

Чтобы использовать каталог Unity в другом регионе, обратитесь в вашу команду по работе с клиентами.

Бессерверный инференс в реальном времени (публичная предварительная версия)

16 августа 2022 г.

Бессерверный вывод в реальном времени обрабатывает модели машинного обучения с помощью MLflow и предоставляет их в качестве конечных точек REST API. Эта функция использует вычислительные ресурсы Serverless, что означает, что конечные точки и связанные вычислительные ресурсы управляются и выполняются в облачной учетной записи Azure Databricks. Затраты на использование и хранение в настоящее время бесплатны, но Azure Databricks предоставит уведомление при начале зарядки.

Администраторы рабочей области должны включить бессерверный вывод в реальном времени в рабочей области, чтобы можно было использовать эту функцию.

Чтобы принять участие в публичном предварительном просмотре сервернойless-инференции в реальном времени, обратитесь к команде по работе с учетными записями Azure Databricks.

Улучшенный поиск по рабочей области теперь доступен в общественной версии

9 августа 2022 г.

Теперь вы можете выполнять поиск записных книжек, библиотек, папок, файлов и репозиториев по имени. Вы также можете выполнять поиск по содержимому в записной книжке и осуществлять предварительный просмотр соответствующего содержимого. Результаты поиска можно отфильтровать по типу. См. статью "Поиск объектов рабочей области".

Использование созданных столбцов при создании наборов данных DLT

8-15 августа 2022 г.: версия 3.78

Теперь вы можете использовать сгенерированные столбцы при определении таблиц в ваших потоках DLT. Созданные столбцы поддерживаются интерфейсами DLT Python и SQL.

Улучшено редактирование записных книжек с помощью редактора на основе Monaco (экспериментальная версия)

8-15 августа 2022 г.

Новый редактор кода на основе Monaco доступен для Python ноутбуков. Чтобы включить эту функцию, установите флажок "Включить новый редактор записных книжек" на вкладке "Параметры редактора" на странице "Параметры пользователя".

В новом редакторе содержатся подсказки по типу параметров, инспекция объектов при наведении, свертывание кода, поддержка нескольких курсоров, выбор столбцов (боксов) и сравнение изменений в журнале версий записной книжки.

Прекращение поддержки серии Databricks Runtime 10.3

2 августа 2022 г.

Поддержка Databricks Runtime 10.3 и Databricks Runtime 10.3 для Машинное обучение закончилась 2 августа. См. Жизненные циклы поддержки Databricks.

Включение частного подключения с помощью Приватный канал Azure (общедоступная предварительная версия)

2 августа 2022 г.

Azure Databricks теперь поддерживает включение подключений Приватный канал Azure для частного подключения между пользователями и их рабочими областями Azure Databricks, а также между кластерами на вычислительной плоскости и основными службами на уровне управления в инфраструктуре рабочей области Databricks. Приватный канал Azure подключается к службам напрямую без вывода трафика в общедоступную сеть. Эта функция предоставляется в общедоступной предварительной версии. См. концепции Приватный канал.

Включение бессерверных хранилищ SQL для рабочей области (общедоступная предварительная версия)

2 августа 2022 г.

Бессерверные хранилища SQL теперь доступны для учетных записей и рабочих областей в Azure Databricks в качестве Public Preview. Для этой функции требуется ценовая категория "Премиум". Перед созданием бессерверных хранилищ SQL администратор должен включить его для рабочей области.

Теперь DLT поддерживает обновление только выбранных таблиц в обновлениях конвейера

2–24 августа 2022 г.

Теперь вы можете запустить обновление только для выбранных таблиц в конвейере DLT. Эта функция ускоряет тестирование конвейеров и разрешение ошибок, позволяя запускать обновление конвейера, которое обновляет только выбранные таблицы. Чтобы узнать, как запустить обновление только выбранных таблиц, см. статью "Запуск обновления конвейера".

Теперь процесс выполнения задания ожидает завершения установки библиотек кластера

1 августа 2022 г.

Когда кластер запускается, ваши задания Databricks теперь ожидают завершения установки библиотек кластера перед выполнением. Раньше выполнения заданий ожидали установки библиотек во всеобщих кластерах, только если они были указаны как зависимые библиотеки для задания. Дополнительные сведения о настройке зависимых библиотек для задач см. в разделе "Настройка и изменение задач в заданиях Lakeflow".