Использование записных книжек Microsoft Fabric

Записная книжка Microsoft Fabric — это основной элемент кода для разработки заданий Apache Spark и экспериментов машинного обучения. Это веб-интерактивная поверхность, используемая специалистами по обработке и анализу данных, для написания кода с помощью расширенных визуализаций и текста Markdown. Инженеры данных записывают код для приема данных, подготовки данных и преобразования данных. Специалисты по обработке и анализу данных также используют записные книжки для создания решений машинного обучения, включая создание экспериментов и моделей, отслеживание моделей и развертывание.

Записная книжка Fabric позволяет:

• Начните без усилий настройки.
• Легко изучить и обработать данные с интуитивно понятным интерфейсом с низким кодом.
• Обеспечьте безопасность данных благодаря встроенным функциям безопасности предприятия.
• Анализ данных в необработанных форматах (CSV, txt, JSON и т. д.), обработанных форматов файлов (parquet, Delta Lake и т. д.), с помощью мощных возможностей Spark.
• Повысьте продуктивность труда с расширенными возможностями разработки и встроенной визуализацией данных.

В этой статье описывается, как использовать записные книжки в области обработки и анализа данных.

Контекст безопасности запущенной записной книжки

Выполнение записной книжки можно активировать тремя разными способами в Fabric с полной гибкостью в соответствии с различными сценариями:

• Интерактивное выполнение: пользователь вручную активирует выполнение с помощью различных записей пользовательского интерфейса или вызова REST API. Выполнение будет выполняться в контексте безопасности текущего пользователя.
• Запуск как действие конвейера: выполнение активируется из конвейера Фабрики данных. Подробные действия см. в действии записной книжки. Процесс будет выполняться в рамках безопасности владельца конвейера.
• Планировщик: выполнение активируется из плана планировщика. Выполнение будет выполняться в контексте безопасности пользователя, который настраивает или обновляет план планировщика.

Гибкость этих вариантов выполнения с различным контекстом безопасности позволяет соответствовать разным сценариям и требованиям, но также требует учитывать контекст безопасности при разработке и разработке записной книжки, в противном случае может привести к неожиданному поведению и даже некоторым проблемам безопасности.

При первом создании записной книжки отображается предупреждение о риске выполнения кода без просмотра.

Ниже приведены некоторые рекомендации, которые помогут избежать проблем с безопасностью.

• Прежде чем вручную запустить записную книжку, откройте настройки записной книжки и проверьте раздел "Подробности" на панели "О программе" для получения информации об обновлениях, убедитесь, что вас устраивают последние изменения.
• Перед добавлением действия записной книжки в конвейер откройте настройки записной книжки и проверьте раздел "Сведения" на панели "О программе," чтобы ознакомиться с обновлениями и убедиться, что вас устраивают последние изменения. Если вы не уверены в последнем изменении, откройте записную книжку, чтобы просмотреть изменения, прежде чем добавить его в конвейер.
• Перед обновлением плана планировщика откройте настройки записной книжки и проверьте раздел "Сведения" на панели "О программе" для проверки обновлений, убедитесь, что вас устраивают последние изменения. Если вы не уверены в последнем изменении, лучше откройте ноутбук, чтобы просмотреть изменение перед обновлением планировщика.
• Отделите рабочую область на разной стадии (разработка, тестирование, прод) и управляйте доступом на разных этапах, чтобы избежать проблемы с безопасностью. Добавьте только пользователя, которому вы доверяете, на этапе prod.

Создание записных книжек

Вы можете создать новую записную книжку или импортировать существующую записную книжку.

Создание записной книжки

Как и в других стандартных процессах создания элементов Fabric, вы можете легко создать записную книжку на домашней странице Fabric Инжиниринг данных, новой рабочей области или в Центре создания.

Импорт существующих записных книжек

Можно импортировать одну или несколько существующих записных книжек с локального компьютера через опцию на панели инструментов рабочей области. Записные книжки Fabric распознают стандартные файлы Jupyter Notebook .ipynb и исходные файлы, такие как .py, .scalaи .sql, и создают соответствующие элементы записной книжки.

Экспорт записной книжки

Записную книжку можно экспортировать в другие стандартные форматы. Блокнот Synapse можно экспортировать в:

• Стандартный файл записной книжки (IPYNB), используемый для записных книжек Jupyter.
• HTML-файл (.html), который можно открыть непосредственно из браузера.
• Файл Python (.py).
• Латекс-файл (.tex).

Сохранение записной книжки

В Fabric записная книжка по умолчанию автоматически сохраняется после открытия и редактирования записной книжки; Вам не нужно беспокоиться о потере изменений кода. Можно также использовать сохранение копии, чтобы клонировать другую копию в текущей рабочей области или в другую рабочую область.

Если вы предпочитаете сохранить записную книжку вручную, можно переключиться на параметр сохранения вручную , чтобы иметь локальную ветвь элемента записной книжки, а затем использовать команду "Сохранить " или CTRL+s для сохранения изменений.

Вы также можете переключиться в режим сохранения вручную, нажав кнопку "Изменить -> Сохранить параметры -> Вручную". Чтобы активировать локальную ветвь записной книжки, сохраните её вручную, выбрав «Сохранить» или используя сочетание клавиш Ctrl+s.

Подключение объектов lakehouse и записных книжек

Записные книжки Fabric теперь поддерживают тесное взаимодействие с lakehouses. Вы можете легко добавить новый или существующий lakehouse из обозревателя Lakehouse.

Вы можете перейти к разным лейкхаусам в обозревателе Lakehouse и установить один лейкхаус как по умолчанию, закрепив его. Затем ваше значение по умолчанию подключено к рабочему каталогу среды выполнения, и вы можете прочитать или записать его в lakehouse по умолчанию с помощью локального пути.

Добавить или удалить lakehouse

Выбор иконки X рядом с именем lakehouse удаляет его из вкладки записной книжки, но элемент lakehouse по-прежнему существует в рабочей области.

Выберите «Добавить lakehouse», чтобы добавить в блокнот дополнительные lakehouse, добавив существующий или создав новый lakehouse.

Изучите файл lakehouse

Вложенные папки и файлы в разделе Tables и Files представления Lake отображаются в области содержимого между списком Lakehouse и содержимым записной книжки. Выберите разные папки в разделе "Таблицы и файлы ", чтобы обновить область содержимого.

Операции с папкой и файлами

Если выбрать файл (.csv,.parquet,.txt,.jpg,.pngи т. д.) с помощью правой кнопки мыши, можно использовать API Spark или Pandas для загрузки данных. Новая ячейка кода создается и вставляется под ячейкой фокуса.

Можно легко скопировать путь с другим форматом из выбранного файла или папки и использовать соответствующий путь в коде.

Ресурсы блокнота

Обозреватель ресурсов записной книжки предоставляет файловую систему подобную Unix, которая поможет вам управлять папками и файлами. Он предлагает пространство файловой системы для записи, в котором можно хранить небольшие файлы, такие как модули кода, семантические модели и изображения. Вы можете легко получить доступ к ним с кодом в записной книжке, как если бы вы работали с локальной файловой системой.

Встроенная папка ресурсов

Встроенная папка ресурсов — это системная папка, уникальная для каждой записной книжки. Рекомендуется использовать встроенную папку ресурсов для хранения всех данных, используемых в текущей записной книжке. Ниже приведены основные возможности ресурсов записной книжки.

• Вы можете использовать распространенные операции, такие как создание, удаление, загрузка, перетаскивание, переименование, дублирование и поиск по пользовательскому интерфейсу.
• Относительные пути, такие как builtin/YourData.txt, можно использовать для быстрого изучения. Этот notebookutils.nbResPath метод помогает составить полный путь.
• Вы можете легко переместить проверенные данные в лейкхаус с помощью параметра "Запись в lakehouse ". Платформа встраивает полезные фрагменты кода для распространенных типов файлов, чтобы быстро начать работу.
• Эти ресурсы также доступны для использования в случае выполнения справочной записной книжки через notebookutils.notebook.run().

Папка ресурсов среды

Папка ресурсов среды — это общий репозиторий, предназначенный для упрощения совместной работы в нескольких записных книжках.

• Вы можете найти вкладку "Ресурсы " в среде и иметь полные операции для управления файлами ресурсов здесь. Эти файлы могут быть доступны для использования в нескольких записных книжках после присоединения любой из этих записных книжек к текущей среде.

  

• На странице "Записная книжка" можно легко найти вторую корневую папку в разделе "Ресурсы", унаследованные от подключенной среды.

  

• Вы можете также работать с файлами и папками так же, как с папкой встроенных ресурсов.

• Путь к ресурсу среды автоматически подключается к кластеру записной книжки. Для доступа к ресурсам окружения можно использовать относительный путь /env.

Редактор файлов

Редактор файлов позволяет просматривать и изменять файлы непосредственно в папке ресурсов записной книжки и папке ресурсов среды в записной книжке. Поддерживаемые типы файлов включают CSV, TXT, HTML, YML, PY, SQL и многое другое. С помощью редактора файлов вы можете легко получить доступ к файлам и изменить их в записной книжке, он поддерживает выделение ключевых слов и предоставляет необходимую языковую службу при открытии и редактировании файлов кода, таких как .py и .sql.

• Вы можете получить доступ к этой функции с помощью команды "Просмотреть и изменить" в меню файла. Двойной щелчок по файлу позволяет быстрее открыть его.

  

• Изменение содержимого в редакторе файлов необходимо сохранить вручную, нажав кнопку Сохранить или сочетание клавиш: CTRL+Sредактор файлов не поддерживает автосохранение.

• режим записной книжки также влияет на редактор файлов. Файлы можно просматривать только в режиме записной книжки без разрешения на редактирование.

Совместная работа в ноутбуке

Записная книжка Fabric — это элемент совместной работы, поддерживающий редактирование нескольких пользователей одной записной книжки.

При открытии записной книжки по умолчанию вы вводите режим совместного редактирования и автоматически сохраняется каждая редактируемая записная книжка. Если ваши коллеги одновременно открывают одну и ту же записную книжку, вы увидите их профиль, выходные данные выполнения, индикатор курсора, индикатор выбора и следы редактирования. С помощью функций совместной работы можно легко выполнить программирование пар, удаленную отладку и сценарии обучения.

Совместное использование записной книжки

Совместное использование записной книжки — это удобный способ совместной работы с участниками группы. Авторизованные роли рабочей области могут просматривать или изменять или запускать записные книжки по умолчанию. Записную книжку можно передать при наличии соответствующих разрешений.

1. Выберите "Общий доступ " на панели инструментов записной книжки.

   

2. Выберите соответствующую категорию пользователей , которые могут просматривать эту записную книжку. Вы можете выбрать разрешения "Общий доступ", "Изменить" или "Выполнить" для получателей.

   

3. После нажатия кнопки "Применить" можно отправить записную книжку напрямую или скопировать ссылку на других пользователей. Затем получатели могут открыть записную книжку с доступом, соответствующим их уровню разрешений.

   

4. Чтобы дополнительно управлять разрешениями записной книжки, выберите список>элементов рабочей области "Дополнительные параметры" и выберите пункт "Управление разрешениями". На этом экране можно обновить существующий доступ к записной книжке и разрешения.

   

Комментарий ячейки кода

Комментарии — это еще одна полезная функция для сценариев совместной работы. В настоящее время Fabric поддерживает добавление комментариев на уровне ячеек.

1. Нажмите кнопку "Примечания" на панели инструментов записной книжки или индикатора комментариев ячеек, чтобы открыть панель "Комментарии".

   

2. Выберите код в ячейке кода, выберите "Создать " в области "Примечания ", добавьте примечания, а затем нажмите кнопку "Опубликовать комментарий ", чтобы сохранить.

   

3. Если они вам нужны, найдите параметры "Изменить комментарий", "Закрыть обсуждение" и "Удалить обсуждение", выбрав опцию "Дополнительно" рядом с вашим комментарием.

Упоминание других в комментарии

"Тег" относится к упоминанию и уведомлению пользователя в потоке комментариев, что повышает эффективность совместной работы по конкретным вопросам.

1. Выберите раздел кода в ячейке и создайте поток комментариев.

2. Введите имя пользователя и выберите правильный в списке предложений, если хотите упомянуть кого-то для обсуждения определенного раздела.

3. Поделитесь своими аналитическими сведениями и опубликуйте их.

4. Уведомление по электронной почте активируется, и пользователь нажимает на ссылку Открыть Примечания, чтобы быстро найти эту ячейку.

5. Кроме того, авторизуйте и настройте разрешения для пользователей при добавлении в теги тех, у кого нет доступа, обеспечивая надлежащее управление активами кода.

История версий

История версий позволяет легко версионировать изменения в актуальной тетради. Она поддерживает отслеживание истории и управление блокнотами с надежными встроенными возможностями управления версиями, что особенно полезно для совместной работы с несколькими участниками в одном блокноте.

1. Доступ к истории версий из глобальной панели инструментов записной книжки.

   

2. Блокнот поддерживает два способа создания контрольных точек.

   • Ручная контрольная точка: Вы можете вручную создать новую версию, чтобы зафиксировать этапы разработки, обеспечивая гибкость в управлении версиями записной книжки.

     

   • Системная контрольная точка: эти контрольные точки создаются автоматически каждые 5 минут на основе интервала времени редактирования системой записной книжки, обеспечивая согласованное сохранение и версию вашей работы. Записи об изменениях можно найти от всех участников в списке временной шкалы контрольных точек системы.

3. Вы можете щелкнуть по контрольной точке, чтобы открыть представление различий (). Оно выделяет различия между выбранной контрольной точкой и текущей актуальной версией, включая различия в содержимом ячеек, выходных данных ячеек и метаданных. Версией этой контрольной точки можно управлять отдельно в меню "дополнительные параметры" .

   

4. Вы можете управлять версией из раскрывающегося меню контрольной точки. Если вы хотите сохранить предыдущую версию, щелкните восстановить из контрольной точки и перезаписать текущую записную книжку или используйте сохранить как копию, чтобы клонировать ее в новую записную книжку.

   

Переключатель режима ноутбука

Записные книжки Fabric поддерживают четыре режима, которые можно легко переключать: режим разработки, режим только запуска, режим редактирования и режим просмотра . Каждый режим сопоставляется с определенным сочетанием разрешений. При предоставлении доступа к записной книжке другим участникам команды, вы можете предоставить им соответствующие разрешения. Они могут видеть лучший доступный режим записной книжки в соответствии с их разрешением, и они могут переключаться между режимом, на который они имеют разрешение.

• Режим разработки: чтение, выполнение, требуется разрешение на запись.
• Только режим выполнения: Требуются разрешения на чтение и выполнение.
• Режим редактирования: требуется разрешение на чтение, запись.
• Режим просмотра: требуется разрешение на чтение.

Связанный контент

• Создание и выполнение записных книжек