Поделиться через

Ускорение подготовки данных с помощью Data Wrangler в Microsoft Fabric

Data Wrangler — это средство на основе записных книжек, которое предоставляет иммерсивный интерфейс для анализа аналитических данных. Он объединяет отображение данных, например сетки, с динамической сводной статистикой, встроенными визуализациями и библиотекой общих операций очистки данных. Вы можете применить каждую операцию с несколькими шагами, обновить отображение данных в режиме реального времени и создать код в pandas или PySpark, который можно сохранить обратно в записную книжку в качестве повторной функции. В этой статье основное внимание уделяется исследованию и преобразованию таблиц данных pandas. Дополнительные сведения об использовании Data Wrangler с Spark DataFrame см. в этом источнике.

Предварительные условия

Ограничения

  • Пользовательские операции кода в настоящее время поддерживаются только для pandas DataFrames.
  • Экран Data Wrangler лучше всего работает на больших мониторах. Однако можно свести к минимуму или скрыть различные части интерфейса, чтобы разместить небольшие экраны.

Запуск данных Wrangler

Запустите Data Wrangler непосредственно из записной книжки Microsoft Fabric, чтобы изучить и преобразовать любой объект DataFrame в pandas или Spark. Для получения дополнительной информации об использовании Data Wrangler с Spark DataFrames см. эту статью. В этом фрагменте кода показано, как считывать образцы данных в DataFrame pandas.

import pandas as pd

# Read a CSV into a Pandas DataFrame
df = pd.read_csv("https://raw.githubusercontent.com/plotly/datasets/master/titanic.csv")
display(df)

На вкладке "Главная" на ленте записной книжки используйте выпадающее меню Data Wrangler, чтобы просмотреть активные DataFrames, доступные для редактирования. Выберите нужный объект в Data Wrangler.

Совет

Data Wrangler не удается открыть, пока ядро записной книжки занято. Перед запуском Data Wrangler выполнение ячейки должно быть завершено, как показано на снимке экрана.

Скриншот, на котором показана записная книжка Fabric с выпадающим меню Data Wrangler.

Выбор пользовательских примеров

Чтобы открыть пользовательский образец любого активного кадра данных с помощью Wrangler, выберите "Выбрать пользовательский пример" в раскрывающемся списке, как показано на снимке экрана:

Снимок экрана: раскрывающийся список Data Wrangler с указанным примером параметра.

Это действие открывает диалоговое окно с параметрами, чтобы указать размер требуемого образца (количество строк) и метод выборки (первые записи, последние записи или случайный набор). Первые 5000 строк кадра данных служат размером выборки по умолчанию, как показано на снимке экрана:

Снимок экрана: запрос пользовательского примера Data Wrangler.

Просмотр сводной статистики

При загрузке Data Wrangler в панели "Сводка" отображается информационный обзор выбранного датафрейма. Обзор включает информацию о размерах DataFrame, пропущенных значениях и прочем. При выборе любого столбца в сетке Data Wrangler панель "Сводка" обновляется, чтобы отобразить описательную статистику о конкретном столбце. Краткие сведения о каждом столбце также доступны в заголовке.

Совет

Статистика и визуальные элементы для столбцов (как на панели "Сводка", так и в заголовках столбцов) зависят от типа данных столбца. Например, в заголовке столбца отображается гистограмма с бинированием по числовому столбцу только если столбец приведен к числовому типу, как показано на снимке экрана.

Снимок экрана, показывающий сетку отображения Data Wrangler и панель

Просмотр операций очистки данных

Список операций очистки данных доступен на панели "Операции". При выборе операции очистки данных на панели "Операции" вам будет предложено предоставить целевой столбец или столбцы, а также все необходимые параметры для завершения операции. Например, запрос на числовое масштабирование столбца требует нового диапазона значений, как показано на снимке экрана:

Снимок экрана: панель операций Data Wrangler.

Совет

Вы можете применить меньший выбор операций из меню каждого заголовка столбца, как показано на снимке экрана:

Снимок экрана, показывающий операцию Data Wrangler, которую можно выполнить из меню заголовка столбца.

Предварительный просмотр и применение операций

Сетка отображения данных Wrangler автоматически просматривает результаты выбранной операции, а соответствующий код автоматически отображается на панели под сеткой. Чтобы зафиксировать предварительный код, выберите "Применить" в любом месте интерфейса. Чтобы удалить просмотренный код и попробовать новую операцию, выберите "Отбросить", как показано на снимке экрана:

Снимок экрана, показывающий операцию Data Wrangler в ходе выполнения.

После применения операции сетка отображения Data Wrangler и сводная статистика обновляются для отражения результатов. Код отображается в текущем списке зафиксированных операций на панели «Шаги очистки», как на этом снимке экрана.

Снимок экрана: примененная операция Data Wrangler.

Совет

Вы всегда можете отменить последний примененный шаг. На панели шагов очистки значок корзины появляется, когда вы наводите курсор на самый последний примененный шаг, как показано на этом снимке экрана.

Снимок экрана: операция Data Wrangler, которую можно отменить.

В этой таблице перечислены операции, поддерживаемые Data Wrangler:

Операция Description
Сортировать Сортировка столбца по возрастанию или убыванию
Фильтр Фильтрация строк на основе одного или нескольких условий
Одно горячее кодирование Создание новых столбцов для каждого уникального значения в существующем столбце, указывающее на наличие или отсутствие этих значений на строку
Многоярлыковый бинаризатор Разделите данные, используя разделитель, и создайте новые столбцы для каждой категории, помечая 1, если строка содержит категорию, и 0, если не содержит.
Изменение типа столбца Изменение типа данных столбца
Удаление столбца Удаление одного или нескольких столбцов
Выбор столбца Выберите один или несколько столбцов, чтобы сохранить и удалить остальные
Переименование столбца Переименование столбца
Удаление отсутствующих значений Удаление строк с отсутствующими значениями
Удаление повторяющихся строк Удаление всех строк с повторяющимися значениями в одном или нескольких столбцах
Заполнение отсутствующих значений Замените значения, отсутствующие в ячейках, новым значением.
Поиск и замена Замените ячейки точным шаблоном сопоставления
Группировка по столбцу и агрегация Группировать по значениям столбцов и агрегированным результатам
Удалить пробелы Удаление пробелов из начала и конца текста
Разделение текста Разделение столбца на несколько столбцов на основе определяемого пользователем разделителя
Преобразование текста в строчные буквы Преобразуйте текст в строчные буквы
Преобразование текста в верхний регистр Преобразование текста в ВЕРХНИЙ РЕГИСТР
Минимальное или максимальное масштабирование значений Масштабирование числового столбца между минимальным и максимальным значением
Заливка флэш-памяти Автоматическое создание нового столбца на основе примеров, производных от существующего столбца

Изменение дисплея

В любое время вы можете настроить интерфейс с помощью вкладки "Представления" на панели инструментов над сеткой отображения Data Wrangler. Этот параметр может скрывать или отображать различные панели на основе настроек и размера экрана, как показано на снимке экрана:

Снимок экрана: меню Data Wrangler для настройки представления отображения.

Сохранение и экспорт кода

Панель инструментов над сеткой отображения данных Wrangler предоставляет параметры для сохранения созданного кода. Вы можете скопировать код в буфер обмена или экспортировать его в записную книжку в виде функции. Экспорт кода закрывает Data Wrangler и добавляет новую функцию в ячейку кода в записной книжке. Вы также можете скачать очищенный кадр данных в виде CSV-файла.

Совет

Инструмент Data Wrangler генерирует код, который применяется только при ручном запуске новой ячейки, и не перезаписывает ваш исходный DataFrame, как показано на этом снимке экрана.

Снимок экрана: параметры экспорта кода в Data Wrangler.

Затем можно запустить экспортируемый код, как показано на снимке экрана:

Снимок экрана с кодом, созданным Data Wrangler в записной книжке.

Связанный контент