Что такое Databricks Apps?

Databricks Apps позволяет разработчикам создавать безопасные данные и приложения ИИ на платформе Databricks и совместно использовать эти приложения с пользователями.

Ранее для создания приложений данных и ИИ, которые используют данные, управляемые рабочей областью Databricks и функции аналитики платформы Databricks, требовалось развертывание отдельной инфраструктуры для размещения приложений. Помимо этого, необходимо было обеспечить соответствие требованиям управления данными, а также управление безопасностью приложений, включая проверку подлинности и авторизацию и другие аспекты. При использовании Databricks Apps Databricks размещает приложения, поэтому вам не нужно настраивать или развертывать дополнительную инфраструктуру.

Приложения могут использовать ресурсы и функции платформы Databricks, включая каталог Unity для управления, Databricks SQL для запроса данных, функции ИИ, такие как обслуживание моделей, задания Databricks для ETL и уже настроенные правила безопасности в рабочей области, включая правила, управляющие доступом к данным, используемым приложением. Проверка подлинности и авторизация используют существующие функции Azure Databricks, включая OAuth и служебные принципы.

Databricks разработал Приложения Databricks для разработчиков. Вы разрабатываете приложения на Python с помощью любой платформы, например Dash, Streamlit или Gradio. Так как приложения переносятся, вы можете создавать и отлаживать их локально, развертывать их в рабочей области Databricks, а затем перемещать их в другую рабочую область.

Требования

Требования к рабочей области

Чтобы развернуть и запустить приложения в рабочей области Azure Databricks, рабочая область должна соответствовать следующим требованиям:

• Необходимо убедиться, что брандмауэр не блокирует домен *.databricksapps.com.
• Рабочая область Databricks должна находиться в поддерживаемом регионе. See serverless feature availability.

Требования к среде разработки

Чтобы создавать приложения локально и развертывать эти приложения в рабочей области Azure Databricks, среда разработки должна соответствовать следующим требованиям:

• Python 3.11 или более поздней версии.

• Интерфейс командной строки Databricks (Databricks CLI), версия 0.229.0 или более поздняя, настроенный для доступа к рабочей области Databricks. Сведения об установке или обновлении интерфейса командной строки Databricks см. в статье Установка или обновление интерфейса командной строки Databricks. Databricks рекомендует настроить доступ с помощью проверки подлинности OAuth (U2M), которая описана в разделе Настройка доступа к рабочей области.

• Пакет SDK Databricks для Python. Пакет SDK можно установить с помощью pip3:

  pip3 install databricks-sdk

  См. пакет SDK Databricks для Python.

• (Необязательно) Если приложению требуется доступ к Databricks SQL, установите соединитель Databricks SQL для Python. Соединитель можно установить с помощью pip3:

  pip3 install databricks-sql-connector

Где разрабатывать приложение Databricks?

Вы можете создавать и тестировать приложения в любой интегрированной среде разработки, поддерживающей Python, например PyCharm, IntelliJ IDEA или Visual Studio Code. Databricks рекомендует разрабатывать приложения с помощью Visual Studio Code и расширения Databricks для Visual Studio Code, но вы также можете использовать записную книжку Databricks и редактор файлов для редактирования кода непосредственно в рабочей области Databricks.

Как разработать и развернуть приложение Databricks?

Для локальной разработки приложения используется типичный рабочий процесс:

• Разработка приложения в предпочтительной интегрированной среде разработки, например Visual Studio Code.
• Запустите приложение локально в командной строке и просмотрите его в браузере.
• После завершения и тестирования кода переместите код и необходимые артефакты в рабочую область Databricks.

См. Как начать работу с приложениями Databricks.

Чтобы создать приложение в пользовательском интерфейсе или с использованием предварительно разработанного примера, см. Как создать приложение в пользовательском интерфейсе Databricks Apps?.

Можно ли использовать платформы Python с приложением Databricks?

Вы можете разрабатывать свое приложение с помощью любимых платформ Python, таких как Dash, Streamlit или Gradio. Примеры использования популярных платформ Python можно просмотреть в пользовательском интерфейсе Databricks Apps. См. Как создать приложение в интерфейсе Databricks Apps?

Как Databricks Apps управляет авторизацией?

The Databricks Apps authorization model uses the OAuth 2.0 protocol and includes the permissions assigned to an app and those assigned to the user accessing the app. An app's permissions are determined by a an Azure Databricks managed service principal assigned to the app, and user permissions are determined by a user token assigned to a logged-in workspace user. This model allows you to control and separate the resources your app can access and the resources that the user of your app can access.

To learn more about the Databricks Apps authorization model and how to use it, see Using the Databricks Apps authorization model. To learn more about using OAuth with the Databricks platform, see Authorizing access to Azure Databricks resources.

Кто может создавать приложения Databricks?

Любой пользователь в рабочей области может создавать приложения. However, to manage the permissions of the service principal assigned to an app, you must be an account or workspace admin.

Как настроить мое приложение Databricks?

Databricks Apps автоматически задает несколько переменных среды, к которым может получить доступ ваше приложение, например узел Databricks, на котором работает ваше приложение. Можно также задать настраиваемые параметры с помощью файла YAML. См. конфигурацию приложений Databricks.

Как мне интегрировать мое приложение Databricks со службами Azure Databricks?

Your apps can use Databricks platform features such as Databricks SQL to query data, Databricks Jobs for data ingestion and processing, Mosaic AI Model Serving to access generative AI models, and Databricks secrets to manage sensitive information. При настройке приложения эти функции платформы Databricks называются ресурсами.

Тем не менее, поскольку приложения предназначены для переноса, Databricks рекомендует, чтобы приложения не зависели от определенных ресурсов. Например, приложение не должно быть жестко закодировано для использования определенного хранилища SQL. Вместо этого настройте хранилище SQL в пользовательском интерфейсе Databricks Apps при создании или обновлении приложения.

Кроме того, так как приложения настроены на выполнение с минимальными привилегиями, они не должны создавать новые ресурсы. Вместо этого они должны полагаться на платформу Databricks для разрешения существующих зависимых служб. Each app has a Databricks service principal assigned. Во время создания или обновления приложения служебному принципалу предоставляются необходимые разрешения на определенные ресурсные зависимости.

Дополнительные сведения о добавлении функций платформы Databricks в качестве ресурсов приложения см. в статье "Назначение функций платформы Databricks" в приложение Databricks.

Where can I find audit logs for my Databricks apps?

Чтобы найти события аудита для приложений, используйте системные таблицы Azure Databricks. You can use the system tables to query things like:

• Which users have logged into an app? Узнайте , какие пользователи вошли в приложение Databricks?.
• Which apps have had changes to permissions or sharing? Узнайте , какие приложения Databricks были обновлены, чтобы изменить способ совместного использования приложения с другими пользователями или группами?.
• What apps were created recently? See Which are the most recently created Databricks apps?.
• What actions has an apps user taken recently? See What are the most recent actions by a Databricks Apps user?.

Какова стоимость приложений Databricks?

Сведения о ценах на Приложения Databricks см. в разделе "Вычисления для приложений".

Системная среда Databricks Apps

Ниже описана системная среда, в которой выполняются приложения, ресурсы, доступные для приложения, и версии установленных приложений и библиотек.

• Операционная система: Ubuntu 22.04 LTS
• Python: 3.11.0. Приложения выполняются в виртуальной среде Python. Все зависимости устанавливаются в этой виртуальной среде, включая автоматически установленные библиотеки и любую библиотеку, которую вы установите, например, с помощью файла requirements.txt.
• Системные ресурсы: приложения могут использовать до двух виртуальных ЦП и 6 ГБ памяти. Приложение может быть перезапущено, если оно превышает выделенные ресурсы.

Установленные библиотеки Python

Ограничения

• В рабочей области Databricks существует ограничение в 50 приложений.
• Файлы, используемые приложением, не могут превышать 10 МБ в размере. Если файл в каталоге приложения превышает это ограничение, развертывание приложения завершается ошибкой.
• Databricks Apps не соответствует стандартам соответствия HIPAA, PCI или FedRAMP.
• Logs created by an app do not persist when the Azure Databricks compute hosting the app is terminated. See Logging from your Databricks app.
• If you grant consent on an app that uses on-behalf-of-user authorization, you cannot subsequently revoke consent.

• Так как они не поддерживают OAuth, вы не можете использовать устаревшие региональные URL-адреса с приложениями Databricks.