Настройка места хранения результатов ноутбука

Требования к конфиденциальности вашей организации могут потребовать, чтобы все результаты интерактивных записных книжек хранились в учетной записи хранения рабочей области в вашей облачной учетной записи, а не в расположении по умолчанию уровня управления, управляемом Databricks, где хранятся результаты некоторых команд записных книжек.

Данные вывода команд в записной книжке хранятся по-разному в зависимости от метода её выполнения.

По умолчанию при интерактивном запуске записной книжки нажмите кнопку "Выполнить " в записной книжке:

  • Если результаты небольшие, они хранятся в плоскости управления Azure Databricks вместе с содержимым команд и метаданными записной книжки.
  • Более крупные результаты хранятся в учетной записи хранения рабочей области в подписке Azure. Azure Databricks автоматически создает учетную запись хранения рабочей области. Azure Databricks использует эту область хранения для системных данных рабочей области и корневого каталога DBFS рабочей области. Результаты записной книжки хранятся в системном хранилище данных рабочей области, которое недоступно для пользователей. См. хранилище рабочей области.

При запуске записной книжки в качестве задания, запланировав его или нажав кнопку «Выполнить сейчас» на странице «Задания», все результаты хранятся в учетной записи хранения вашей рабочей области.

Можно настроить рабочую область для хранения всех результатов интерактивной записной книжки в облачной учетной записи независимо от размера результата.

Настройка расположения хранилища для результатов интерактивной записной книжки

Вы можете настроить рабочую область для хранения всех результатов интерактивной записной книжки в подписке Azure, а не в плоскости управления. Эту функцию можно включить с помощью страницы параметров администратора или REST API. Эта конфигурация не влияет на записные книжки, которые выполняются как задания, результаты которых по умолчанию уже хранятся в подписке Azure.

Имейте в виду следующие моменты:

  • Изменения в этой конфигурации действуют только для новых результатов. Результаты существующих записных книжек не перемещаются.
  • Некоторые метаданные о результатах, такие как имена столбцов диаграммы, продолжают храниться в плоскости управления.
  • Ваш поставщик облачных служб может взимать повышенную плату за хранение.
  • При чтении и записи результатов может наблюдаться увеличение задержки в работе сети и операциях ввода-вывода.

Сохранение всех результатов записной книжки в учетной записи с помощью страницы параметров администратора

Администратор рабочей области:

  1. Перейдите на страницу настроек.
  2. Перейдите на вкладку Безопасность .
  3. Щелкните переключатель Сохранить результаты интерактивной записной книжки в учетной записи клиента.

Сохраняйте все результаты записной книжки в учетной записи с помощью REST API

Чтобы настроить рабочую область для хранения всех результатов записной книжки в подписке Azure, используйте REST API:

  • Вы должны быть администратором рабочей области.
  • Вам потребуется личный маркер доступа. В рамках приведенных ниже инструкций предполагается, что вы настроили файл .netrc с помощью личного маркера доступа, чтобы можно было использовать параметр -n в командах curl. Дополнительные сведения см. в указанной выше статье.

Чтобы получить текущую настройку, вызовите конечную точку GET /workspace-conf и задайте для параметра keys значение storeInteractiveNotebookResultsInCustomerAccount:

curl -n --request GET \
  'https://<databricks-instance>/api/2.0/workspace-conf?keys=storeInteractiveNotebookResultsInCustomerAccount'

Чтобы разрешить рабочей области сохранять результаты интерактивной записной книжки в подписке Azure, вызовите конечную точку PATCH /workspace-conf и задайте для параметра storeInteractiveNotebookResultsInCustomerAccount значение true в тексте запроса:

curl -n --request PATCH \
 'https://<databricks-instance>/api/2.0/workspace-conf' \
 --header 'Content-Type: text/plain' \
 --data-raw '{
    "storeInteractiveNotebookResultsInCustomerAccount": "true"
}'

Чтобы отключить эту функцию, задайте для того же флага значение false:

curl -n --request PATCH \
  'https://<databricks-instance>/api/2.0/workspace-conf' \
 --header 'Content-Type: text/plain' \
 --data-raw '{
    "storeInteractiveNotebookResultsInCustomerAccount": "false"
}'
  • Last updated on