Dataset Класс

Архивируйте активный или устаревший набор данных.

archive()

Возвращаемое значение

Комментарии

После архивации любая попытка использования набора данных приведет к ошибке. Если архивирован по случайному случаю, повторная активация активирует его.

Анализирует файлы по указанному пути и возвращает новый набор данных.

static auto_read_files(path, include_path=False, partition_format=None)

Параметры

Возвращаемое значение

Комментарии

Этот метод используется при автоматическом обнаружении форматов файлов и разделителей.

После создания набора данных следует использовать get_profile для перечисления обнаруженных типов столбцов и сводной статистики для каждого столбца.

Возвращаемый набор данных не зарегистрирован в рабочей области.

Сравните профиль текущего набора данных с другим профилем набора данных.

Это показывает различия в сводной статистике между двумя наборами данных. Параметр "rhs_dataset" имеет значение "справа" и является просто вторым набором данных. Первый набор данных (текущий объект набора данных) считается левым.

compare_profiles(rhs_dataset, profile_arguments={}, include_columns=None, exclude_columns=None, histogram_compare_method=HistogramCompareMethod.WASSERSTEIN)

Параметры

Возвращаемое значение

Комментарии

Это только для зарегистрированных наборов данных. Вызывает исключение, если профиль текущего набора данных не существует. Для незарегистрированных наборов данных используется метод profile.compare.

Создайте моментальный снимок зарегистрированного набора данных.

create_snapshot(snapshot_name, compute_target=None, create_data_snapshot=False, target_datastore=None)

Параметры

Возвращаемое значение

Комментарии

Моментальные снимки фиксируют сводную статистику по времени базовых данных и необязательную копию самих данных. Чтобы узнать больше о создании моментальных снимков, перейдите к разделу https://aka.ms/azureml/howto/createsnapshots.

Удаление моментального снимка набора данных по имени.

delete_snapshot(snapshot_name)

Параметры

Возвращаемое значение

Комментарии

Используйте это для освобождения хранилища, потребляемого данными, сохраненными в моментальных снимках, которые больше не нужны.

Нерекомендуйте активный набор данных в рабочей области другим набором данных.

deprecate(deprecate_by_dataset_id)

Параметры

Возвращаемое значение

Комментарии

Устаревшие наборы данных будут записывать предупреждения при их использовании. Не рекомендуется использовать набор данных, нерекомендующий все его определения.

Устаревшие наборы данных по-прежнему могут использоваться. Чтобы полностью заблокировать использование набора данных, заархивируйте его.

Если не рекомендуется в случае аварии, повторно активируйте его.

Диффуйте текущий набор данных с rhs_dataset.

diff(rhs_dataset, compute_target=None, columns=None)

Параметры

Возвращаемое значение

Создайте незарегистрированный набор данных в памяти из двоичных файлов.

static from_binary_files(path)

Параметры

Возвращаемое значение

Комментарии

Используйте этот метод для чтения файлов в виде потоков двоичных данных. Возвращает один объект потока файлов на чтение файла. Используйте этот метод при чтении изображений, видео, аудио или других двоичных данных.

get_profile и create_snapshot не будет работать должным образом для набора данных, созданного этим методом.

Возвращаемый набор данных не зарегистрирован в рабочей области.

Создайте незарегистрированный набор данных в памяти из файлов с разделителями.

   # Create a dataset from delimited files with header option as ALL_FILES_HAVE_SAME_HEADERS
   dataset = Dataset.Tabular.from_delimited_files(path=(datastore, 'data/crime-spring.csv'),
       header='ALL_FILES_HAVE_SAME_HEADERS')

   df = dataset.to_pandas_dataframe()

static from_delimited_files(path, separator=',', header=PromoteHeadersBehavior.ALL_FILES_HAVE_SAME_HEADERS, encoding=FileEncoding.UTF8, quoting=False, infer_column_types=True, skip_rows=0, skip_mode=SkipLinesBehavior.NO_ROWS, comment=None, include_path=False, archive_options=None, partition_format=None)

Параметры

   archive_options = ArchiveOptions(archive_type = ArchiveType.ZIP, entry_glob = '*10-20.csv')

Возвращаемое значение

Комментарии

Используйте этот метод для чтения текстовых файлов с разделителями, если вы хотите управлять используемыми параметрами.

После создания набора данных следует использовать get_profile для перечисления обнаруженных типов столбцов и сводной статистики для каждого столбца.

Возвращаемый набор данных не зарегистрирован в рабочей области.

Создайте незарегистрированный набор данных в памяти из файлов Excel.

static from_excel_files(path, sheet_name=None, use_column_headers=False, skip_rows=0, include_path=False, infer_column_types=True, partition_format=None)

Параметры

Возвращаемое значение

Комментарии

Используйте этот метод для чтения файлов Excel в .xlsx формате. Данные можно считывать на одном листе в каждом файле Excel. После создания набора данных следует использовать get_profile для перечисления обнаруженных типов столбцов и сводной статистики для каждого столбца. Возвращаемый набор данных не зарегистрирован в рабочей области.

Создайте незарегистрированный набор данных в памяти из JSON-файлов.

static from_json_files(path, encoding=FileEncoding.UTF8, flatten_nested_arrays=False, include_path=False, partition_format=None)

Параметры

Возвращаемое значение

Создайте незарегистрированный набор данных в памяти из кадра данных Pandas.

static from_pandas_dataframe(dataframe, path=None, in_memory=False)

Параметры

Возвращаемое значение

Комментарии

Используйте этот метод для преобразования кадра данных Pandas в объект набора данных. Набор данных, созданный этим методом, не может быть зарегистрирован, так как данные из памяти.

Если in_memory имеет значение False, кадр данных Pandas преобразуется в CSV-файл локально. Если pat имеет тип DataReference, кадр Pandas будет отправлен в хранилище данных, а набор данных будет основан на DataReference. Если "путь" является локальной папкой, набор данных будет создан из локального файла, который нельзя удалить.

Вызывает исключение, если текущий объект DataReference не является путем к папке.

Создайте незарегистрированный набор данных в памяти из файлов parquet.

static from_parquet_files(path, include_path=False, partition_format=None)

Параметры

Возвращаемое значение

Комментарии

Используйте этот метод для чтения файлов Parquet.

После создания набора данных следует использовать get_profile для перечисления обнаруженных типов столбцов и сводной статистики для каждого столбца.

Возвращаемый набор данных не зарегистрирован в рабочей области.

Создайте незарегистрированный набор данных в памяти из SQL-запроса.

static from_sql_query(data_source, query)

Параметры

Возвращаемое значение

Создайте новый профиль для набора данных.

generate_profile(compute_target=None, workspace=None, arguments=None)

Параметры

Возвращаемое значение

Комментарии

Синхронный вызов блокируется до завершения. Вызов get_result , чтобы получить результат действия.

Получите набор данных, который уже существует в рабочей области, указав его имя или идентификатор.

static get(workspace, name=None, id=None)

Параметры

Возвращаемое значение

Комментарии

Можно указать или nameid. Исключение возникает, если:

• name оба и указаны, id но не соответствуют.

• Набор данных с указанным name или id не удается найти в рабочей области.

Получите все зарегистрированные наборы данных в рабочей области.

get_all()

Параметры

Возвращаемое значение

Получение всех моментальных снимков набора данных.

get_all_snapshots()

Возвращаемое значение

Получите набор данных, сохраненный в рабочей области.

get_by_id(id, **kwargs)

Параметры

Возвращаемое значение

Получите зарегистрированный набор данных из рабочей области по его имени регистрации.

get_by_name(name, version='latest', **kwargs)

Параметры

Возвращаемое значение

Получите определенное определение набора данных.

get_definition(version_id=None)

Параметры

Возвращаемое значение

Комментарии

Если version_id задано, машинное обучение Azure пытается получить определение, соответствующее этой версии. Если эта версия не существует, создается исключение. Если version_id опущено, то извлекается последняя версия.

Получите все определения набора данных.

get_definitions()

Возвращаемое значение

Комментарии

Набор данных, зарегистрированный в рабочей области AzureML, может содержать несколько определений, каждый из которых создается путем вызова update_definition. Каждое определение имеет уникальный идентификатор. Текущее определение является последним созданным.

Для незарегистрированных наборов данных существует только одно определение.

Получение сводной статистики по набору данных, вычисляемого ранее.

get_profile(arguments=None, generate_if_not_exist=True, workspace=None, compute_target=None)

Параметры

Возвращаемое значение

Комментарии

Для набора данных, зарегистрированного в рабочей области Машинного обучения Azure, этот метод извлекает существующий профиль, созданный ранее путем вызова get_profile , если он по-прежнему действителен. Профили недопустимы при обнаружении измененных данных в наборе данных или аргументах get_profile , которые отличаются от тех, которые используются при создании профиля. Если профиль отсутствует или недействителен, определит, generate_if_not_exist создается ли новый профиль.

Для набора данных, который не зарегистрирован в рабочей области Машинного обучения Azure, этот метод всегда выполняется generate_profile и возвращает результат.

Получение моментального снимка набора данных по имени.

get_snapshot(snapshot_name)

Параметры

Возвращаемое значение

Извлеките указанное количество записей, указанных из этого набора данных, и возвращает их в виде кадра данных.

head(count)

Параметры

Возвращаемое значение

Список всех наборов данных в рабочей области, включая те, которые со is_visible свойством равны False.

static list(workspace)

Параметры

Возвращаемое значение

Повторно активируйте архивный или устаревший набор данных.

reactivate()

Возвращаемое значение

Зарегистрируйте набор данных в рабочей области, что делает его доступным для других пользователей рабочей области.

register(workspace, name, description=None, tags=None, visible=True, exist_ok=False, update_if_exist=False)

Параметры

Возвращаемое значение

Создайте новый образец из исходного набора данных, используя стратегию выборки и предоставленные параметры.

sample(sample_strategy, arguments)

Параметры

Возвращаемое значение

Комментарии

Примеры создаются путем выполнения конвейера преобразования, определенного этим набором данных, а затем применение стратегии выборки и параметров к выходным данным. Каждый метод выборки поддерживает следующие необязательные аргументы:

• top_n

  • Необязательные аргументы

    • n, введите целое число. Выберите первые N-строки в качестве примера.

• simple_random

  • Необязательные аргументы

    • вероятность, тип float. Простая случайная выборка, в которой каждая строка имеет одинаковую вероятность выбора. Вероятность должна быть числом от 0 до 1.

    • seed, type float. Используется генератором случайных чисел. Используется для повторяемости.

• Стратифицированной

  • Необязательные аргументы

    • столбцы, список типов[str]. Список столбцов слоев в данных.

    • seed, type float. Используется генератором случайных чисел. Используется для повторяемости.

    • дроби, тип дикт[кортеж, float]. Кортеж: значения столбцов, определяющие страт, должны находиться в том же порядке, что и имена столбцов. Float: вес, присоединенный к страту во время выборки.

Приведенные ниже фрагменты кода являются примерами шаблонов проектирования для различных примеров методов.

   # sample_strategy "top_n"
   top_n_sample_dataset = dataset.sample('top_n', {'n': 5})

   # sample_strategy "simple_random"
   simple_random_sample_dataset = dataset.sample('simple_random', {'probability': 0.3, 'seed': 10.2})

   # sample_strategy "stratified"
   fractions = {}
   fractions[('THEFT',)] = 0.5
   fractions[('DECEPTIVE PRACTICE',)] = 0.2

   # take 50% of records with "Primary Type" as THEFT and 20% of records with "Primary Type" as
   # DECEPTIVE PRACTICE into sample Dataset
   sample_dataset = dataset.sample('stratified', {'columns': ['Primary Type'], 'fractions': fractions})

Создайте кадр данных Pandas, выполнив конвейер преобразования, определенный этим определением набора данных.

to_pandas_dataframe()

Возвращаемое значение

Комментарии

Возвращает кадр данных Pandas, полностью материализованный в памяти.

Создайте кадр данных Spark, который может выполнить конвейер преобразования, определенный этим определением набора данных.

to_spark_dataframe()

Возвращаемое значение

Комментарии

Возвращаемый кадр данных Spark — это только план выполнения и фактически не содержит никаких данных, так как кадры данных Spark оцениваются безумно.

Обновите изменяемые атрибуты набора данных в рабочей области и верните обновленный набор данных из рабочей области.

update(name=None, description=None, tags=None, visible=None)

Параметры

Возвращаемое значение

Обновите определение набора данных.

update_definition(definition, definition_update_message)

Параметры

Возвращаемое значение

Комментарии

Чтобы использовать обновленный набор данных, используйте объект, возвращаемый этим методом.

Возвращает текущее определение набора данных.

Возвращаемое значение

Комментарии

Определение набора данных — это ряд шагов, которые указывают, как считывать и преобразовывать данные.

Набор данных, зарегистрированный в рабочей области AzureML, может содержать несколько определений, каждый из которых создается путем вызова update_definition. Каждое определение имеет уникальный идентификатор. Наличие нескольких определений позволяет вносить изменения в существующие наборы данных без критических моделей и конвейеров, которые зависят от старого определения.

Для незарегистрированных наборов данных существует только одно определение.

Возвращает версию текущего определения набора данных.

Возвращаемое значение

Комментарии

Определение набора данных — это ряд шагов, которые указывают, как считывать и преобразовывать данные.

Набор данных, зарегистрированный в рабочей области AzureML, может содержать несколько определений, каждый из которых создается путем вызова update_definition. Каждое определение имеет уникальный идентификатор. Текущее определение является последним созданным, идентификатор которого возвращается этим.

Для незарегистрированных наборов данных существует только одно определение.

Возвращает описание набора данных.

Возвращаемое значение

Комментарии

Указание описания данных в наборе данных позволяет пользователям рабочей области понять, какие данные представляются, и как они могут его использовать.

Если набор данных зарегистрирован в рабочей области, верните идентификатор набора данных. В противном случае верните значение None.

Возвращаемое значение

Управление видимостью зарегистрированного набора данных в пользовательском интерфейсе рабочей области Машинного обучения Azure.

Возвращаемое значение

Комментарии

Возвращаемые значения:

• True: набор данных отображается в пользовательском интерфейсе рабочей области. По умолчанию.

• False: набор данных скрыт в пользовательском интерфейсе рабочей области.

Не влияет на незарегистрированные наборы данных.

Возвращает имя набора данных.

Возвращаемое значение

Возвращает состояние набора данных.

Возвращаемое значение

Комментарии

Смысл и эффект состояний приведены следующим образом:

• Активный. Активные определения — это то, что они похожи, все действия можно выполнять с активными определениями.

• Устарело. Нерекомендуемое определение можно использовать, но приведет к тому, что предупреждение регистрируется в журналах каждый раз, когда доступ к базовым данным осуществляется.

• Архив. Архивное определение нельзя использовать для выполнения каких-либо действий. Чтобы выполнить действия в архивном определении, его необходимо повторно активировать.

Возвращает теги, связанные с набором данных.

Возвращаемое значение

Если набор данных зарегистрирован в рабочей области, верните его. В противном случае верните значение None.

Возвращаемое значение

Фабрика для создания FileDataset

псевдоним TabularDatasetFactory