Использование записных книжек Microsoft Fabric

Записная книжка Microsoft Fabric — это основной элемент кода для разработки заданий Apache Spark и экспериментов машинного обучения. Это веб-интерактивная поверхность, используемая специалистами по обработке и анализу данных, для написания кода с помощью расширенных визуализаций и текста Markdown. Инженеры данных записывают код для приема данных, подготовки данных и преобразования данных. Специалисты по обработке и анализу данных также используют записные книжки для создания решений машинного обучения, включая создание экспериментов и моделей, отслеживание моделей и развертывание.

Записная книжка Fabric позволяет:

• Начните работать без усилий по настройке.
• Легко изучить и обработать данные с интуитивно понятным интерфейсом с низким кодом.
• Обеспечьте безопасность данных благодаря встроенным функциям безопасности предприятия.
• Анализ данных в необработанных форматах (CSV, txt, JSON и т. д.), обработанных форматов файлов (parquet, Delta Lake и т. д.), с помощью мощных возможностей Spark.
• Повысьте продуктивность труда с расширенными возможностями разработки и встроенной визуализацией данных.

В этой статье описывается, как использовать записные книжки в области обработки и анализа данных.

Контекст безопасности запущенной записной книжки

Выполнение записной книжки можно активировать тремя способами, каждый из которых имеет другой контекст безопасности:

• Интерактивное выполнение: вы вручную активируете выполнение с помощью пользовательского интерфейса или REST API. Записная книжка выполняется в контексте безопасности (текущий пользователь).
• Запуск в качестве действия конвейера: выполнение инициируется из конвейера Fabric Data Factory. Подробнее см. в активности записной книжки. Записная книжка выполняется под удостоверением последнего измененного пользователя конвейера, а не владельца конвейера или владельца записной книжки. Это означает, что тот, кто последним редактировал конвейер, определяет контекст безопасности для доступа к данным, разрешений и вызовов API.
• Планировщик: выполнение инициируется из запланированного выполнения. Записная книжка выполняется от имени пользователя, создавшего или последним обновившего расписание.

Эти варианты выполнения обеспечивают гибкость для различных сценариев, но необходимо понять, какая учетная запись выполняет записную книжку. Контекст безопасности влияет на разрешения доступа к данным, авторизацию вызова API и доступность ресурсов. Некоторые API (например, конечные точки T-SQL) не поддерживают служебные принципы и требуют пользовательского принципала.

При первом создании записной книжки отображается предупреждение о риске выполнения кода без просмотра.

Чтобы избежать проблем с безопасностью, следуйте приведенным ниже рекомендациям.

• Прежде чем запускать записную книжку вручную, проверьте, кто в последний раз изменил записную книжку и используйте панель журнала версий , чтобы просмотреть фактические изменения содержимого перед выполнением кода, который вы не написали.
• Перед добавлением записной книжки в конвейер проверьте, кто последний раз изменил конвейер, так как записная книжка выполняется с использованием учетной записи этого пользователя. Откройте записную книжку из конвейера, чтобы просмотреть его последнее содержимое. Если удостоверение не имеет необходимых разрешений (или если вам нужен субъект-пользователь вместо субъекта-службы для определенных API), поручите соответствующему пользователю изменить конвейер для обновления удостоверения последнего, кто его изменял.
• Перед созданием или обновлением расписания блокнот работает под учетной записью тех, кто создает или обновляет расписание. Убедитесь, что у пользователя есть необходимые разрешения для всех операций в записной книжке.
• Используйте этапы рабочей области: разделите рабочие области на этапы разработки, тестирования и эксплуатации. Ограничить доступ только к рабочим областям доверенным пользователям.

Создание записных книжек

Вы можете создать новую записную книжку или импортировать существующую записную книжку.

Создание записной книжки

Как и в других стандартных процессах создания элементов Fabric, вы можете легко создать новую записную книжку с домашней страницы Fabric Инжиниринг данных, через опцию Новый в рабочей области или через Центр создания.

Импорт существующих записных книжек

Можно импортировать одну или несколько существующих записных книжек с локального компьютера через опцию на панели инструментов рабочей области. Записные книжки Fabric распознают стандартные файлы Jupyter Notebook .ipynb и исходные файлы, такие как .py, .scalaи .sql, и создают соответствующие элементы записной книжки.

Экспорт блокнота

Записную книжку можно экспортировать в другие стандартные форматы. Записная книжка Fabric может быть экспортирована в:

Сохранение записной книжки

В Fabric записная книжка по умолчанию автоматически сохраняется после открытия и редактирования записной книжки; Вам не нужно беспокоиться о потере изменений кода. Можно также использовать сохранение копии, чтобы клонировать другую копию в текущей рабочей области или в другую рабочую область.

Если вы предпочитаете сохранить записную книжку вручную, можно переключиться на параметр сохранения вручную , чтобы иметь локальную ветвь элемента записной книжки, а затем использовать команду "Сохранить " или CTRL+s для сохранения изменений.

Вы также можете переключиться в режим сохранения вручную, нажав кнопку "Изменить -> Сохранить параметры -> Вручную". Чтобы активировать локальную ветвь записной книжки, сохраните её вручную, выбрав «Сохранить» или используя сочетание клавиш Ctrl+s.

Подключение lakehouses и записных книжек

Записные книжки Fabric теперь поддерживают тесное взаимодействие с lakehouses; вы можете легко добавить новый или существующий lakehouse из обозревателя Lakehouse.

Вы можете перейти к разным лейкхаусам в обозревателе Lakehouse и установить один лейкхаус в качестве лейкхауса по умолчанию, прикрепив его. Затем ваша конфигурация по умолчанию подключается к рабочему каталогу среды выполнения, и вы можете читать или записывать данные в Lakehouse по умолчанию с помощью локального пути.

Добавить или удалить lakehouse

Выбор иконки X рядом с именем lakehouse удаляет его из вкладки записной книжки, но элемент lakehouse по-прежнему существует в рабочей области.

Выберите "Добавить lakehouse", чтобы добавить в записную книжку ещё один lakehouse, либо добавив существующий, либо создав новый.

Изучение файла lakehouse

Папки и файлы в разделе Таблицы и Файлы представления Lake отображаются в области содержимого между списком лейкхауса и содержимым записной книжки. Выберите разные папки в разделе "Таблицы и файлы ", чтобы обновить область содержимого.

Операции с папкой и файлами

Если выбрать файл (.csv,.parquet,.txt,.jpg,.pngи т. д.) с помощью правой кнопки мыши, можно использовать API Spark или Pandas для загрузки данных. Новая ячейка кода создается и вставляется под ячейкой фокуса.

Можно легко скопировать путь с другим форматом из выбранного файла или папки и использовать соответствующий путь в коде.

Ресурсы ноутбука

Обозреватель ресурсов записной книжки предоставляет файловую систему подобную Unix, которая поможет вам управлять папками и файлами. Он предлагает пространство файловой системы для записи, в котором можно хранить небольшие файлы, такие как модули кода, семантические модели и изображения. Вы можете легко получить доступ к ним с кодом в записной книжке, как если бы вы работали с локальной файловой системой.

Встроенная папка ресурсов

Встроенная папка ресурсов — это системная папка, уникальная для каждой записной книжки. Рекомендуется использовать встроенную папку ресурсов для хранения всех данных, используемых в текущей записной книжке. Ниже приведены основные возможности ресурсов записной книжки.

• Вы можете использовать распространенные операции, такие как создание, удаление, загрузка, перетаскивание, переименование, дублирование и поиск по пользовательскому интерфейсу.
• Относительные пути, такие как builtin/YourData.txt, можно использовать для быстрого изучения. Этот notebookutils.nbResPath метод помогает составить полный путь.
• Вы можете легко переместить проверенные данные в лейкхаус с помощью параметра "Записать в lakehouse". Платформа встраивает полезные фрагменты кода для распространенных типов файлов, чтобы быстро начать работу.
• Эти ресурсы также доступны для использования в случае запуска записной книжки справочникаnotebookutils.notebook.run().

Папка ресурсов среды

Папка ресурсов среды — это общий репозиторий, предназначенный для упрощения совместной работы в нескольких записных книжках.

• Вы можете найти вкладку "Ресурсы " в среде и иметь полные операции для управления файлами ресурсов здесь. Эти файлы могут быть доступны для использования в нескольких записных книжках после присоединения любой из этих записных книжек к текущей среде.

  

• На странице "Записная книжка" можно легко найти вторую корневую папку в разделе "Ресурсы", унаследованные от подключенной среды.

  

• Вы можете также работать с файлами и папками так же, как с папкой встроенных ресурсов.

• Путь к ресурсу среды автоматически подключается к кластеру записной книжки. Для доступа к ресурсам окружения можно использовать относительный путь /env.

Редактор файлов

Редактор файлов позволяет просматривать и изменять файлы непосредственно в папке ресурсов записной книжки и папке ресурсов среды в записной книжке. Поддерживаемые типы файлов включают CSV, TXT, HTML, YML, PY, SQL и многое другое. С помощью редактора файлов вы можете легко получить доступ к файлам и изменить их в записной книжке, он поддерживает выделение ключевых слов и предоставляет необходимую языковую службу при открытии и редактировании файлов кода, таких как .py и .sql.

• Вы можете получить доступ к этой функции с помощью команды "Просмотреть и изменить" в меню файла. Двойной щелчок по файлу позволяет быстрее открыть его.

  

• Изменение содержимого в редакторе файлов необходимо сохранить вручную, нажав кнопку Сохранить или сочетание клавиш: CTRL+Sредактор файлов не поддерживает автосохранение.

• Режим записной книжки также влияет на редактор файлов. Файлы можно просматривать только в режиме записной книжки без разрешения на редактирование.

Совместная работа в ноутбуке

Записная книжка Fabric — это элемент совместной работы, поддерживающий редактирование нескольких пользователей одной записной книжки.

При открытии записной книжки по умолчанию вы вводите режим совместного редактирования и автоматически сохраняется каждая редактируемая записная книжка. Если ваши коллеги одновременно открывают одну и ту же записную книжку, вы увидите их профиль, вывод выполнения, индикатор курсора, индикатор выбора и след редактирования. С помощью функций совместной работы можно легко выполнить программирование пар, удаленную отладку и сценарии обучения.

Совместное использование записной книжки

Совместное использование записной книжки — это удобный способ совместной работы с участниками группы. Авторизованные роли рабочей области могут просматривать или изменять или запускать записные книжки по умолчанию. Записную книжку можно предоставить с указанными разрешениями.

1. Выберите "Общий доступ " на панели инструментов записной книжки.

   

2. Выберите соответствующую категорию пользователей , которые могут просматривать эту записную книжку. Вы можете выбрать разрешения "Общий доступ", "Изменить" или "Выполнить" для получателей.

   

3. После нажатия кнопки "Применить" можно отправить записную книжку напрямую или скопировать ссылку на других пользователей. Затем получатели могут открыть записную книжку с доступом, соответствующим их уровню разрешений.

   

4. Чтобы дополнительно управлять разрешениями записной книжки, выберите список>элементов рабочей области "Дополнительные параметры" и выберите пункт "Управление разрешениями". На этом экране можно обновить существующий доступ к записной книжке и разрешения.

   

Комментарий ячейки кода

Комментарии — это еще одна полезная функция для сценариев совместной работы. В настоящее время Fabric поддерживает добавление комментариев на уровне ячеек.

1. Нажмите кнопку "Примечания" на панели инструментов записной книжки или индикатора комментариев ячеек, чтобы открыть панель "Комментарии".

   

2. Выберите код в ячейке кода, выберите "Создать " в области "Примечания ", добавьте примечания, а затем нажмите кнопку "Опубликовать комментарий ", чтобы сохранить.

   

3. Если они вам нужны, найдите параметры "Изменить комментарий", "Закрыть обсуждение" и "Удалить обсуждение", выбрав опцию "Дополнительно" рядом с вашим комментарием.

Упоминание других в комментарии

"Тег" относится к упоминанию и уведомлению пользователя в потоке комментариев, что повышает эффективность совместной работы по конкретным вопросам.

1. Выберите раздел кода в ячейке и создайте поток комментариев.

2. Введите имя пользователя и выберите правильный из списка предложений, если вы хотите упомянуть кого-то в обсуждении определенного раздела.

3. Поделитесь своими аналитическими сведениями и опубликуйте их.

4. Уведомление по электронной почте активируется, и пользователь нажимает на ссылку Открыть Примечания, чтобы быстро найти эту ячейку.

5. Кроме того, авторизуйте и настройте разрешения для пользователей при добавлении в теги тех, у кого нет доступа, обеспечивая надлежащее управление активами кода.

История версий

История версий позволяет легко версионировать изменения в актуальной тетради. Она поддерживает отслеживание истории и управление блокнотами с надежными встроенными возможностями управления версиями, что особенно полезно для совместной работы с несколькими участниками в одном блокноте.

1. Доступ к журналу версий из глобальной панели инструментов записной книжки.

   

2. Блокнот поддерживает два способа создания контрольных точек.

   • Ручная контрольная точка: Вы можете вручную создать новую версию, чтобы записать вехи разработки, что обеспечивает гибкость в управлении версиями вашей записной книжки.

     

   • Системная контрольная точка: эти контрольные точки создаются автоматически каждые 5 минут на основе интервала времени редактирования системой записной книжки, обеспечивая согласованное сохранение и версию вашей работы. Записи об изменениях можно найти от всех участников в списке временной шкалы контрольных точек системы.

3. Вы можете щелкнуть по контрольной точке, чтобы открыть представление различий (). Оно выделяет различия между выбранной контрольной точкой и текущей актуальной версией, включая различия в содержимом ячеек, выходных данных ячеек и метаданных. Версией этой контрольной точки можно управлять отдельно в меню "дополнительные параметры" .

   

4. Вы можете управлять версией из раскрывающегося меню контрольной точки. Если вы хотите сохранить предыдущую версию, нажмите восстановление из контрольной точки, чтобы перезаписать текущий журнал, или используйте сохранить как копию, чтобы клонировать его в новый журнал.

   

Переключатель режима ноутбука

Записные книжки Fabric поддерживают четыре режима, которые можно легко переключать: режим разработки, режим только запуска, режим редактирования и режим просмотра . Каждый режим сопоставляется с определенным сочетанием разрешений. При предоставлении доступа к записной книжке другим участникам команды, вы можете предоставить им соответствующие разрешения. Они могут видеть лучший доступный режим записной книжки в соответствии с их разрешением, и они могут переключаться между режимом, на который они имеют разрешение.

• Режим разработки: чтение, выполнение, требуется разрешение на запись.
• Только режим выполнения: Требуются разрешения на чтение и выполнение.
• Режим редактирования: требуется разрешение на чтение, запись.
• Режим просмотра: требуется разрешение на чтение.

Связанный контент

• Создание и выполнение записных книжек