Вычислительные ресурсы ноутбука

На этой странице рассматриваются параметры вычислительных ресурсов ноутбука. Записную книжку можно запустить на универсальном вычислительном ресурсе, использовать бессерверные вычисления или для команд SQL использовать хранилище SQL, тип ресурсов, оптимизированных для аналитики SQL. Дополнительные сведения о типах вычислений см. в разделе "Вычисления".

Вычисления по умолчанию

В рабочих областях, настроенных для использования Unity Catalog, новые записные книжки по умолчанию используют бессерверные вычисления. Если вы не выбираете вычислительный ресурс вручную и запускаете ячейку, записная книжка автоматически подключается к бессерверным вычислениям.

Автоматическое подключение вычислений

В параметрах разработчика можно настроить записные книжки для автоматического подключения к вычислительному ресурсу и запуска сеанса при взаимодействии с редактором:

1. Щелкните значок пользователя в левом верхнем углу.

2. Нажмите кнопку "Параметры".

3. Щелкните "Разработчик", чтобы перейти к параметрам разработчика.

4. Переключение на автоматическое создание сеанса при взаимодействии с редактором для автоматического запуска вычислительного сеанса при взаимодействии с редактором. Databricks по умолчанию использует вычислительный ресурс на основе ваших предпочтений (бессерверного или хранилища SQL) и последнего используемого вычислительного ресурса.

   OR

   Отключите этот параметр, если вы не хотите, чтобы записная книжка автоматически подключалась к вычислительному ресурсу и запускалась.

Функции помощи по коду, включая автозавершение, форматирование кода и отладчик, требуют подключения записной книжки к активному сеансу вычислений. Если записная книжка не запустила сеанс вычислений, функции помощи по коду неактивны.

Бессерверные вычисления для записных книжек

Бессерверные вычислительные ресурсы позволяют быстро подключать записную книжку к вычислительным ресурсам по запросу.

Чтобы подключиться к бессерверным вычислениям, щелкните раскрывающееся меню вычислений в записной книжке и выберите "Бессерверный".

Дополнительные сведения см. в разделе Бессерверные вычисления для блокнотов.

Автоматическое восстановление сеанса для безсерверных нотбуков

Завершение бессерверных вычислений может привести к потере работы в процессе выполнения, например, значений переменных Python в записных книжках. Чтобы избежать этого, включите автоматическое восстановление сеансов для бессерверных записных книжек.

1. Щелкните имя пользователя в правом верхнем углу рабочей области, а затем выберите пункт "Параметры " в раскрывающемся списке.
2. На боковой панели "Параметры" выберите "Разработчик".
3. В разделе «Экспериментальные функции» включите настройку автоматического восстановления сеансов для бессерверных записных книжек.

Включение этого параметра позволяет Databricks создавать моментальные снимки состояния памяти бессерверной записной книжки перед завершением простоя. Когда вы вернётесь в ноутбук после разрыва связи в состоянии бездействия, в верхней части страницы появится баннер. Нажмите кнопку "Повторно подключиться", чтобы восстановить рабочее состояние.

При повторном подключении Databricks восстанавливает всю рабочую среду, в том числе:

• Python переменные, функции и определения классов: Python состояние сериализуется с помощью метода pickle/cloudpickle и восстанавливается в свежем rePL, поэтому не нужно повторно импортировать или повторно выполнить повторную обработку.
• Кадры данных Spark, кэшированные и временные представления: данные, загруженные, преобразованные или кэшированные (включая временные представления), сохраняются, поэтому вы избегаете дорогостоящей перезагрузки или повторной компиляции.
• Состояние сеанса Spark: параметры конфигурации на уровне Spark, временные представления, изменения каталога и определяемые пользователем функции восстанавливаются с помощью миграции сеансов Spark Connect, поэтому их не нужно сбрасывать.

Если среда изменилась таким образом, что десериализация становится небезопасной, например, несовместимые версии Python или пакетов, снимок становится недействительным, и ноутбук возвращается к новому сеансу.

Хранилище данных моментальных снимков

Данные моментальных снимков хранятся в хранилище по умолчанию рабочей области. Сама записная книжка хранит только метаданные, включая указатель с идентификатором записной книжки, меткой времени и сведениями о сеансе. Пакет данных не хранится в ноутбуке. Пути к BLOB-объектам шифруются перед сохранением в атрибутах блокнота, а пути моментальных снимков исключаются из экспорта и импорта блокнота, чтобы предотвратить восстановление состояния в другой рабочей области.

Моментальные снимки следуют настройкам по умолчанию времени жизни (TTL) облачного хранилища (около одного месяца) и автоматически устаревают. При удалении записной книжки также удаляются её моментальные снимки. Ваша облачная учетная запись несет расходы на хранение данных в рамках стандартного использования рабочих областей. Эта функция использует сериализацию процессов Python вместо контрольных точек на уровне контейнера, что позволяет создавать моментальные снимки меньшего размера быстрее.

Безопасность и управление доступом

Восстановление моментальных снимков учитывает разрешения записной книжки. Для восстановления состояния требуется разрешение RUN на записную книжку. Зашифрованные метаданные мешают пользователям получать объекты снимков напрямую, а проверки разрешений применяются при восстановлении.

Ограничения

Эта функция имеет ограничения и не поддерживает восстановление следующих компонентов:

• Состояния Spark старше 4 дней
• Состояния Spark размером более 50 МБ
• Данные, связанные со скриптами SQL
• Дескрипторы файлов
• Блокировки и другие примитивы параллелизма
• Сетевые подключения

Присоедините ноутбук к вычислительному ресурсу общего назначения

Чтобы подключить записную книжку к вычислительному ресурсу общего назначения, вам потребуется РАЗРЕШЕНИЕ CAN ATTACH TO на вычислительном ресурсе.

Чтобы подключить записную книжку к вычислительному ресурсу, щелкните селектор вычислений на панели инструментов записной книжки и выберите ресурс в раскрывающемся меню.

В меню отображается выбор всех целевых вычислительных ресурсов и хранилищ SQL, которые вы использовали недавно или в настоящее время запущены.

Чтобы выбрать все доступные вычислительные ресурсы, щелкните Дополнительно.... Выберите из доступных общих вычислительных ресурсов или хранилищ SQL.

Вы также можете создать новый вычислительный ресурс всех целей, выбрав в раскрывающемся меню пункт "Создать новый ресурс".

Использование записной книжки с хранилищем SQL

При присоединении записной книжки к хранилищу SQL можно запускать ячейки SQL и Markdown. Попытка выполнить ячейку на любом другом языке (например, Python или R) приводит к ошибке. Ячейки SQL, выполняемые в хранилище SQL, отображаются в журнале запросов хранилища SQL. Пользователь, который выполнил запрос, может просмотреть профиль запроса из записной книжки, щелкнув время в нижней части выходных данных.

Записные книжки, подключенные к хранилищам SQL, поддерживают сеансы хранилища SQL, где можно определять переменные, создавать временные представления и сохранять состояние в нескольких запусках запросов. Логику SQL можно создавать итеративно, не выполняя все инструкции одновременно. Ознакомьтесь с разделом "Что такое сеансы хранилища SQL?".

Для запуска записной книжки требуется pro или бессерверное хранилище SQL. У вас должен быть доступ к рабочей области и хранилищу SQL.

Чтобы подключить записную книжку к хранилищу SQL, сделайте следующее:

1. Щелкните селектор вычислительных ресурсов на панели инструментов ноутбука. В раскрывающемся меню отображаются вычислительные ресурсы, которые в настоящее время запущены или которые недавно использовались. Хранилища SQL помечаются меткой .

2. В меню выберите хранилище SQL.

   Чтобы просмотреть все доступные хранилища SQL, выберите "Дополнительно" в раскрывающемся меню. Откроется диалоговое окно с доступными вычислительными ресурсами для записной книжки. Выберите хранилище SQL, выберите хранилище, которое вы хотите использовать, и нажмите кнопку "Подключить".

   

Вы также можете выбрать хранилище SQL в качестве вычислительного ресурса для записной книжки SQL при создании рабочего процесса или запланированного задания.

Ограничения хранилища SQL

Для получения дополнительной информации см. известные ограничения блокнотов Databricks.