Использование записных книжек Microsoft Fabric

Записная книжка Microsoft Fabric является основным элементом кода для разработки заданий Apache Spark и экспериментов машинного обучения. Это интерактивный веб-интерфейс, используемый специалистами по обработке и анализу данных для написания кода, с использованием расширенных визуализаций и текста в формате Markdown. Инженеры данных записывают код для приема данных, подготовки данных и преобразования данных. Специалисты по обработке и анализу данных также используют записные книжки для создания решений machine learning, включая создание экспериментов и моделей, отслеживание моделей и развертывание.

С помощью записной книжки Fabric можно:

• Начните без усилий на настройку.
• Легко изучить и обработать данные с интуитивно понятным интерфейсом с низким кодом.
• Обеспечьте безопасность данных благодаря встроенным функциям безопасности предприятия.
• Анализ данных в необработанных форматах (CSV, txt, JSON и т. д.), обработанных форматов файлов (parquet, Delta Lake и т. д.), с помощью мощных возможностей Spark.
• Повысьте продуктивность труда с расширенными возможностями разработки и встроенной визуализацией данных.
• Используйте Copilot для создания кода с учетом контекста, рефакторинга и проверки в записной книжке.
• Быстрая диагностика и ремонт сбойных ячеек или заданий Spark с помощью Fix with Copilot, включая изменения кода с одобрением.

В этой статье описывается, как использовать записные книжки в области обработки и анализа данных.

Контекст безопасности запущенной записной книжки

Выполнение записной книжки можно активировать тремя способами, каждый из которых имеет другой контекст безопасности:

• Интерактивное выполнение: вы вручную активируете выполнение с помощью пользовательского интерфейса или REST API. Записная книжка выполняется в контексте безопасности (текущий пользователь).
• Запуск в качестве активности конвейера: выполнение активируется из конвейера Fabric Data Factory. Подробнее см. в активности записной книжки. Записная книжка выполняется под удостоверением последнего измененного пользователя конвейера, а не владельца конвейера или владельца записной книжки. Это означает, что тот, кто в последний раз редактировал конвейер, определяет контекст безопасности для доступа к данным, вызовов API и разрешений.
• Планировщик: выполнение инициируется из запланированного выполнения. Записная книжка выполняется от имени пользователя, создавшего или последним обновившего расписание.

Автоматизация выполнения с помощью API

Вы также можете выполнять записные книжки по запросу через API планировщика заданий. Запуски, инициированные API, поддерживают параметризованное выполнение, конфигурацию сеанса (например, параметры виртуальных вычислительных ядер и Spark), выбор среды и среды выполнения, а также выбор целевого объекта Fabric Lakehouse. Вы можете отслеживать состояние выполнения и отмену экземпляров заданий с помощью одного API. Возвращает код завершения, который внешние планировщики и пайплайны Fabric могут считывать для включения условной оркестрации и передачи сигналов вниз.

REST API элементов и API планировщика заданий поддерживают аутентификацию службы-принципала для безопасной автоматизации и CI/CD. Обратите внимание, что некоторые нижестоящие службы (например, конечные точки T-SQL) не поддерживают учетные записи службы и требуют учетную запись пользователя.

Эти варианты выполнения обеспечивают гибкость для различных сценариев, но необходимо понять, какая учетная запись выполняет записную книжку. Контекст безопасности влияет на права доступа к данным, авторизацию вызова API и доступность ресурсов.

При первом создании записной книжки отображается предупреждение о риске выполнения кода без просмотра.

Чтобы избежать проблем с безопасностью, следуйте приведенным ниже рекомендациям.

• Прежде чем запускать записную книжку вручную, проверьте, кто в последний раз изменил записную книжку и используйте панель журнала версий , чтобы просмотреть фактические изменения содержимого перед выполнением кода, который вы не написали.
• Перед добавлением записной книжки в конвейер проверьте, кто последний раз изменил конвейер, так как записная книжка выполняется с использованием учетной записи этого пользователя. Откройте записную книжку из конвейера, чтобы просмотреть его последнее содержимое. Если удостоверение не имеет необходимых разрешений (или если вам нужен субъект-пользователь вместо субъекта-службы для определенных API), поручите соответствующему пользователю изменить конвейер для обновления удостоверения последнего, кто его изменял.
• Перед созданием или обновлением расписания блокнот работает под учетной записью тех, кто создает или обновляет расписание. Убедитесь, что у пользователя есть необходимые разрешения для всех операций в записной книжке.
• Используйте этапы рабочей области: разделите рабочие области на этапы разработки, тестирования и эксплуатации. Ограничить доступ к рабочим пространствам только для доверенных пользователей.

Создание записных книжек

Вы можете создать новую записную книжку или импортировать существующую записную книжку.

Создание записной книжки

Как и в других стандартных процессах создания элементов Fabric, вы можете легко создать новую записную книжку из раздела Data Engineering на домашней странице Fabric, используя параметр New в рабочем пространстве или Create Hub.

Пошаговые инструкции по созданию записных книжек в определенных рабочих процессах см. в статье:

• Исследуйте данные в lakehouse с помощью записной книжки для создания записной книжки в контексте lakehouse на портале "Fabric".
• Создавайте записные книжки в Microsoft Fabric с помощью Visual Studio Code для создания записных книжек в VS Code.
• Общедоступные API для записных книжек для создания записных книжек и управления ими с помощью REST API элементов (операции CRUD).
• Запуск ноутбуков с использованием API планировщика заданий для выполнения по требованию с параметризацией, настройкой сеанса, выбором среды и Lakehouse, а также мониторингом и отменой выполнения.

Импорт существующих записных книжек

Можно импортировать одну или несколько существующих записных книжек с локального компьютера через опцию на панели инструментов рабочей области. Записные книжки Fabric распознают стандартные файлы Jupyter Notebook .ipynb, исходные файлы, такие как .py, .scala и .sql и создают соответствующие элементы записной книжки.

Экспорт блокнота

Записную книжку можно экспортировать в другие стандартные форматы. Блокнот Fabric можно экспортировать в:

Сохранение записной книжки

В Fabric записная книжка по умолчанию автоматически сохраняется после открытия и редактирования. Вам не нужно беспокоиться о потере изменений кода. Можно также использовать сохранение копии, чтобы клонировать другую копию в текущей рабочей области или в другую рабочую область.

Если вы предпочитаете сохранить записную книжку вручную, можно переключиться на параметр сохранения вручную , чтобы иметь локальную ветвь элемента записной книжки, а затем использовать команду "Сохранить " или CTRL+s для сохранения изменений.

Вы также можете переключиться в режим сохранения вручную, нажав кнопку "Изменить -> Сохранить параметры -> Вручную". Чтобы активировать локальную ветвь записной книжки, сохраните её вручную, выбрав «Сохранить» или используя сочетание клавиш Ctrl+s.

Подключение lakehouses и записных книжек

Записные книжки Fabric теперь поддерживают тесное взаимодействие с lakehouses; вы можете легко добавить новый или существующий lakehouse из обозревателя Lakehouse.

Вы можете перейти к разным лейкхаусам в обозревателе Lakehouse и установить один лейкхаус в качестве лейкхауса по умолчанию, прикрепив его. Затем ваша конфигурация по умолчанию подключается к рабочему каталогу среды выполнения, и вы можете читать или записывать данные в Lakehouse по умолчанию с помощью локального пути.

Добавить или удалить lakehouse

Выбор иконки X рядом с именем lakehouse удаляет его из вкладки записной книжки, но элемент lakehouse по-прежнему существует в рабочей области.

Выберите "Добавить lakehouse", чтобы добавить в записную книжку ещё один lakehouse, либо добавив существующий, либо создав новый.

Изучение файла lakehouse

Папки и файлы в разделе Таблицы и Файлы представления Lake отображаются в области содержимого между списком лейкхауса и содержимым записной книжки. Выберите разные папки в разделе "Таблицы и файлы ", чтобы обновить область содержимого.

Операции с папкой и файлами

Если выбрать файл (.csv,.parquet,.txt,.jpg,.pngи т. д.) с помощью правой кнопки мыши, можно использовать API Spark или Pandas для загрузки данных. Новая ячейка кода создается и вставляется под ячейкой фокуса.

Можно легко скопировать путь с другим форматом из выбранного файла или папки и использовать соответствующий путь в коде.

Ресурсы ноутбука

Обозреватель ресурсов записной книжки предоставляет файловую систему подобную Unix, которая поможет вам управлять папками и файлами. Он предлагает пространство файловой системы для записи, в котором можно хранить небольшие файлы, такие как модули кода, семантические модели и изображения. Вы можете легко получить к ним доступ с помощью кода в блокноте, так, как если бы вы работали с локальной файловой системой.

Встроенная папка ресурсов

Встроенная папка ресурсов — это системная папка, уникальная для каждой записной книжки. Рекомендуется использовать встроенную папку ресурсов для хранения любых данных, используемых в текущей записной книжке. Ниже приведены основные возможности ресурсов записной книжки.

• Вы можете использовать распространенные операции, такие как создание, удаление, загрузка, перетаскивание, переименование, дублирование и поиск по пользовательскому интерфейсу.
• Относительные пути, такие как builtin/YourData.txt, можно использовать для быстрого изучения. Этот notebookutils.nbResPath метод помогает составить полный путь.
• Вы можете легко переместить проверенные данные в лейкхаус с помощью параметра "Записать в lakehouse". Fabric внедряет фрагменты кода для распространенных типов файлов, которые помогут вам быстро приступить к работе.
• Эти ресурсы также доступны для использования в случае запуска записной книжки справочникаnotebookutils.notebook.run().

Папка ресурсов среды

Папка ресурсов среды — это общий репозиторий, предназначенный для упрощения совместной работы в нескольких записных книжках.

• Вы можете найти вкладку "Ресурсы " в среде и иметь полные операции для управления файлами ресурсов здесь. Эти файлы могут быть доступны для использования в нескольких записных книжках после присоединения любой из этих записных книжек к текущей среде.

  

• На странице "Записная книжка" можно легко найти вторую корневую папку в разделе "Ресурсы", унаследованные от подключенной среды.

  

• Вы можете также работать с файлами и папками так же, как с папкой встроенных ресурсов.

• Путь к ресурсу среды автоматически подключается к кластеру записной книжки. Вы можете использовать относительный путь /env, чтобы получить доступ к ресурсам среды.

Среды Fabric поддерживают два режима публикации библиотеки, которые влияют на то, как доставляются библиотеки в сеансы записной книжки:

• Быстрый режим публикует около 5 секунд и устанавливает библиотеки при запуске сеанса записной книжки. В быстром режиме можно переопределить версии библиотеки, опубликованные в полном режиме, но только для текущего сеанса.
• Полный режим создает стабильный, воспроизводимый моментальный снимок библиотеки. Публикация обычно занимает от 3 до 6 минут, а запуск сеанса добавляет от 1 до 3 минут для развертывания зависимостей. Использование полного режима с пользовательским динамическим пулом может вернуть время начала сеанса примерно на 5 секунд при сохранении стабильного моментального снимка.

Для получения подробной информации о каждом режиме см. Управление библиотеками в средах Fabric.

Использование библиотек среды в записных книжках

Выберите режим публикации библиотеки на основании рабочего процесса.

• Быстрый режим для итеративной разработки: используйте быстрый режим при активном эксперименте с записными книжками и требуется быстрая итерация библиотеки. Библиотеки устанавливаются при начале сеанса с минимальным временем публикации.
• Полный режим для воспроизведения: используйте полный режим, если требуются согласованные версии библиотек для всех участников совместной работы, запланированных запусков или заданий конвейера. Моментальный снимок гарантирует, что каждый сеанс начинается с одинаковых зависимостей.
• Полный режим с настраиваемым динамическим пулом для быстрых и стабильных сеансов: при быстром запуске и воспроизводимости сеансов настройте полный режим с пользовательским динамическим пулом. Это сочетание обеспечивает запуск сессий примерно за 5 секунд, сохраняя статичный моментальный снимок библиотеки.

Редактор файлов

Редактор файлов позволяет просматривать и изменять файлы непосредственно в папке ресурсов записной книжки и папке ресурсов среды в записной книжке. Поддерживаемые типы файлов включают CSV, TXT, HTML, YML, PY, SQL и многое другое. С помощью редактора файлов можно легко access и изменять файлы в записной книжке, он поддерживает выделение ключевых слов и предоставляет необходимую языковую службу при открытии и редактировании файлов кода, таких как .py и .sql.

• К этой функции можно получить доступ через 'View and edit' в меню файла. Двойной щелчок по файлу позволяет быстрее открыть его.

  

• Изменение содержимого в редакторе файлов необходимо сохранить вручную, нажав кнопку Сохранить или сочетание клавиш: CTRL+Sредактор файлов не поддерживает автосохранение.

• Режим записной книжки также влияет на редактор файлов. Файлы можно просматривать только в режиме записной книжки без разрешения на редактирование.

Совместная работа в ноутбуке

Записная книжка Fabric — это элемент совместной работы, поддерживающий редактирование нескольких пользователей одной записной книжки.

При открытии записной книжки по умолчанию вы вводите режим совместного редактирования и автоматически сохраняется каждая редактируемая записная книжка. Если ваши коллеги одновременно открывают одну и ту же записную книжку, вы увидите их профиль, вывод выполнения, индикатор курсора, индикатор выбора и след редактирования. С помощью функций совместной работы можно легко выполнить программирование пар, удаленную отладку и сценарии обучения.

Использование Copilot в записных книжках

Copilot немедленно учитывает контекст рабочей области, подключенные схемы Lakehouse, таблицы и файлы, структуру записной книжки и текущее состояние среды выполнения. Вам не нужно начинать сеанс для Copilot, чтобы он начал помогать вам. Copilot поддерживает многошаговое на уровне блокнота создание кода, рефакторинг, суммирование и проверку во всех рабочих процессах, так что вы можете работать с ячейками без потери контекста.

Аналитические сведения о производительности из Copilot

Copilot предоставляет рекомендации по производительности на основе размера данных, шаблонов соединений и поведения среды выполнения. Например, он может рекомендовать эффективные стратегии объединения, помочь избежать дорогостоящих перетасовок, предложить рефакторинг в повторно используемые функции и выделить потенциальные проблемы с качеством данных, наблюдаемые во время выполнения. Эти аналитические сведения отображаются в рамках бесед Copilot и соответствуют команде /optimize.

Устранение неполадок с помощью Copilot

Если ячейка или задание Spark завершается сбоем, ниже приведенной ячейки отображается опция Исправить с помощью Copilot. Он предоставляет сводку ошибок, анализ первопричин и рекомендуемые исправления. Copilot может автоматически применять изменения кода с разницей для утверждения, чтобы вы могли просмотреть перед фиксацией. Вы также можете использовать команду /fix в чате Copilot для выполнения целевой диагностики для определенной ячейки или всей записной книжки. Дополнительные сведения см. в статье Диагностика неисправностей ноутбука с помощью Copilot.

Совместное использование записной книжки

Совместное использование записной книжки — это удобный способ совместной работы с участниками группы. Авторизованные роли рабочей области могут просматривать или изменять или запускать записные книжки по умолчанию. Записную книжку можно предоставить с указанными разрешениями.

1. Выберите "Общий доступ " на панели инструментов записной книжки.

   

2. Выберите соответствующую категорию пользователей , которые могут просматривать эту записную книжку. Вы можете выбрать разрешения "Общий доступ", "Изменить" или "Выполнить" для получателей.

   

3. После нажатия кнопки "Применить" можно отправить записную книжку напрямую или скопировать ссылку на других пользователей. Затем получатели могут открыть записную книжку с доступом, соответствующим их уровню разрешений.

   

4. Чтобы дополнительно управлять разрешениями записной книжки, выберите список>элементов рабочей области "Дополнительные параметры" и выберите пункт "Управление разрешениями". На этом экране можно обновить существующие доступ к записной книжке и разрешения.

   

Комментарий ячейки кода

Комментарии — это еще одна полезная функция для сценариев совместной работы. В настоящее время Fabric поддерживает добавление комментариев на уровне ячеек.

1. Нажмите кнопку "Примечания" на панели инструментов записной книжки или индикатора комментариев ячеек, чтобы открыть панель "Комментарии".

   

2. Выберите код в ячейке кода, выберите "Создать " в области "Примечания ", добавьте примечания, а затем нажмите кнопку "Опубликовать комментарий ", чтобы сохранить.

   

3. Если они вам нужны, найдите параметры "Изменить комментарий", "Закрыть обсуждение" и "Удалить обсуждение", выбрав опцию "Дополнительно" рядом с вашим комментарием.

Упоминание других в комментарии

"Тег" относится к упоминанию и уведомлению пользователя в потоке комментариев, что повышает эффективность совместной работы по конкретным вопросам.

1. Выберите раздел кода в ячейке и создайте поток комментариев.

2. Введите имя пользователя и выберите правильный из списка предложений, если вы хотите упомянуть кого-то в обсуждении определенного раздела.

3. Поделитесь своими аналитическими сведениями и опубликуйте их.

4. Уведомление по электронной почте активируется, и пользователь нажимает на ссылку Открыть Примечания, чтобы быстро найти эту ячейку.

5. Кроме того, авторизуйте и настройте разрешения для пользователей при добавлении тегов тех, у кого нет доступа, чтобы обеспечить хорошее управление активами кода.

История версий

История версий позволяет легко версионировать изменения в актуальной тетради. Она поддерживает отслеживание истории и управление блокнотами с надежными встроенными возможностями управления версиями, что особенно полезно для совместной работы с несколькими участниками в одном блокноте.

1. Откройте версию history из глобальной панели инструментов записной книжки.

   

2. Блокнот поддерживает два способа создания контрольных точек.

   • Ручная контрольная точка: Вы можете вручную создать новую версию, чтобы записать вехи разработки, что обеспечивает гибкость в управлении версиями вашей записной книжки.

     

   • Системная контрольная точка: эти контрольные точки создаются автоматически каждые 5 минут на основе интервала времени редактирования системой записной книжки, обеспечивая согласованное сохранение и версию вашей работы. Записи об изменениях можно найти от всех участников в списке временной шкалы контрольных точек системы.

3. Контрольные точки с несколькими источниками для ноутбука

   Fabric ноутбуки легко интегрируются с Git, пайплайнами развертывания и Visual Studio Code. Каждая сохраненная версия автоматически фиксируется в журнале версий записной книжки. Версии могут возникать из непосредственного редактирования в записной книжке, синхронизаций Git, действий в процессе конвейера развертывания или публикации с использованием VS Code. Источник каждой версии четко помечен в журнале версий для обеспечения полной трассировки.

   

4. Вы можете щелкнуть по контрольной точке, чтобы открыть представление различий (). Оно выделяет различия между выбранной контрольной точкой и текущей актуальной версией, включая различия в содержимом ячеек, выходных данных ячеек и метаданных. Версией этой контрольной точки можно управлять отдельно в меню "дополнительные параметры" .

   

5. Вы можете управлять версией из раскрывающегося меню контрольной точки. Если вы хотите сохранить предыдущую версию, нажмите восстановить из контрольной точки и перезапишите текущую записную книжку, или используйте сохранить как копию, чтобы создать ее копию в новой записной книжке.

   

Переключатель режима ноутбука

записные книжки Fabric поддерживают четыре режима, которые можно переключать между: Develop, Run only, Edit и View. Каждый режим соответствует набору разрешений.

При совместном использовании записной книжки вы назначаете пользователям разрешения. На основе этих разрешений пользователи могут обращаться к режимам, доступным для них, и переключаться между ними.

• Режим разработки: требуются разрешения на чтение, выполнение и запись.
• Режим запуска: требуется разрешение на чтение и выполнение.
• Режим редактирования: требуются разрешения на чтение и запись (не удается выполнить).
• Режим просмотра. Требуется разрешение на чтение.

Разрешения и доступ

Разрешения можно задать на уровне рабочей области или записной книжки в Microsoft Fabric. Они определяют режимы, к которым пользователь может получить доступ:

• Разрешения ограничивают набор доступных режимов.
• Они не выбирают автоматически режим для пользователя.
• Режимы не могут предоставлять возможности за пределами разрешений.

Связанный контент

• Создание и выполнение записных книжек
• Обзор Copilot для инженерии данных и науки о данных
• Управление библиотеками в средах Fabric
• Диагностика сбоев ноутбука с помощью Copilot
• Справочник по REST API планировщика заданий