Настройка режима высокой параллелизма для записных книжек Fabric

При запуске записной книжки в Microsoft Fabric запускается сеанс Apache Spark и используется для выполнения запросов, отправленных в рамках выполнения ячеек записной книжки. С включенным режимом высокой параллелизма не требуется запускать новые сеансы Spark при каждом запуске записной книжки.

Если у вас уже запущен сеанс с высоким параллелизмом, вы можете подключить записные книжки к этому сеансу, чтобы мгновенно получить сессию Spark, выполнить запросы и повысить эффективность использования сеанса.

Условия общего доступа к сеансам

Для совместного использования одного сеанса Spark записные книжки должны:

• Выполняется тем же пользователем.
• Имеют то же самое озеро по умолчанию. Записные книжки без лейкхауса по умолчанию могут совместно использовать сеансы с другими записными книжками, у которых нет озера по умолчанию.
• Имеют те же конфигурации вычислений Spark.
• Имеют те же пакеты библиотеки. Вы можете использовать разные встроенные установки библиотеки как часть ячеек записной книжки и по-прежнему предоставлять общий доступ к сеансу с записными книжками с разными зависимостями библиотеки.

Настройка режима высокой параллелизма

По умолчанию все рабочие области Fabric активированы в режиме высокой параллельности. Чтобы настроить функцию высокого параллелизма, выполните следующие действия.

1. Выберите параметр "Параметры рабочей области" в рабочей области Fabric.

2. Перейдите в раздел Инженерия данных/наука, в >>высокой параллельности.

3. В разделе "Высокий параллелизм " включите параметр "Для записных книжек ". Вы можете включить или отключить параметр на этой панели.

   

4. Включение параметра высокой параллелизма позволяет пользователям запускать сеанс с высоким параллелизмом в записных книжках или подключаться к существующему сеансу с высоким параллелизмом.

5. Отключение режима высокой параллелизма скрывает раздел для настройки периода бездействия, а также скрывает параметр запуска нового сеанса высокой параллелизма из меню записной книжки.

   

Запуск записных книжек в сеансе высокой параллелизма

1. Откройте среду Fabric.

2. Создайте записную книжку или откройте существующую записную книжку.

3. Перейдите на вкладку Запуск на ленте меню и выберите в раскрывающемся списке типа сеанса, где в качестве параметра по умолчанию выбран вариант Стандартный.

   

4. Выберите новый сеанс с высоким параллелизмом.

5. После запуска сеанса высокой параллелизма теперь можно добавить до 5 записных книжек в сеансе высокой параллелизма.

   

6. Создайте записную книжку и перейдите к меню "Запуск ", как упоминалось в приведенных выше шагах, в раскрывающемся меню вы увидите только что созданный сеанс высокой параллелизма.

7. При выборе существующего сеанса высокой параллелизма в сеансе подключается вторая записная книжка.

   

8. После подключения записной книжки можно сразу начать выполнение шагов записной книжки.

9. Состояние сеанса высокой параллелизма также показывает количество записных книжек, подключенных к заданному сеансу в любой момент времени.

10. В любой момент времени, если вы считаете, что для записной книжки, подключенной к сеансу высокой параллельности, требуется более выделенное вычисление, вы можете переключить её на стандартный сеанс, выбрав параметр отключения записной книжки от высокой параллельности на вкладке меню "Запуск".

    

11. Состояние сеанса, тип и идентификатор можно просмотреть в строке состояния. Выберите идентификатор сеанса , чтобы изучить задания, выполняемые в этом сеансе высокой параллелизма, и просмотреть журналы сеанса Spark на странице сведений о мониторинге.

    

Вы также можете настроить режим высокой конкуренции для ноутбуков в конвейерах и использовать теги сеансов для группировки общих сеансов.

Мониторинг и отладка записных книжек, выполняемых в сеансе высокой параллелизма

Мониторинг и отладка часто являются нетривиальной задачей при выполнении нескольких записных книжек в общем сеансе. Для режима высокой параллелизма в Fabric предлагается разделение журналов, позволяющее пользователям отслеживать журналы, создаваемые событиями Spark из разных записных книжек.

1. Когда сеанс выполняется или находится в состоянии завершения, можно просмотреть состояние сеанса, перейдя в меню "Запуск " и выбрав параметр "Все запуски "

2. Откроется журнал выполнения записной книжки с списком текущих активных и исторических сеансов Spark.

   

3. Пользователи, выбрав сеанс, могут получить доступ к представлению сведений мониторинга, в котором отображается список всех заданий Spark, выполняемых в сеансе.

4. В случае сеанса высокой параллелизма пользователи могут определить задания и связанные журналы из разных записных книжек с помощью вкладки "Связанная записная книжка", в которой показана записная книжка , из которой выполняется это задание.

   

Связанный контент

В этом документе вы получите базовое представление о совместном использовании сеансов с помощью режима высокой параллелизма в записных книжках. Перейдите к следующим статьям, чтобы узнать, как создать и приступить к работе с собственными Инжиниринг данных опытом использования Lakehouse и Notebooks:

• Чтобы приступить к работе с Lakehouse, см. статью Создание Lakehouse в Microsoft Fabric.
• Сведения о начале работы с записными книжками см. в статье "Использование записных книжек Microsoft Fabric".