Поделиться через


Run Класс

Определяет базовый класс для всех запусков эксперимента машинного обучения Azure.

Выполнение представляет собой одну пробную версию эксперимента. Запуски используются для мониторинга асинхронного выполнения пробной версии, метрик журнала и хранения выходных данных пробной версии, а также для анализа результатов и доступа к артефактам, созданным пробной версией.

Объекты запуска создаются при отправке скрипта для обучения модели во многих различных сценариях машинного обучения Azure, включая запуски HyperDrive, запуски конвейера и запуски AutoML. Объект Run также создается при использовании submit класса или start_logging с Experiment ним.

Сведения о начале работы с экспериментами и запусками см. в статье

Инициализация объекта Run.

Конструктор

Run(experiment, run_id, outputs=None, **kwargs)

Параметры

Имя Описание
experiment
Обязательно

Содержащийся эксперимент.

run_id
Обязательно
str

Идентификатор запуска.

outputs
str

Отслеживаемые выходные данные.

Default value: None
_run_dto
Обязательно
<xref:azureml._restclient.models.run_dto.RunDto>

Только для внутреннего применения.

kwargs
Обязательно

Словарь дополнительных параметров конфигурации.

experiment
Обязательно

Содержащийся эксперимент.

run_id
Обязательно
str

Идентификатор запуска.

outputs
Обязательно
str

Отслеживаемые выходные данные.

kwargs
Обязательно

Словарь дополнительных параметров конфигурации.

Комментарии

Выполнение представляет собой одну пробную версию эксперимента. Объект Run используется для мониторинга асинхронного выполнения пробной версии, метрик журнала и хранения выходных данных пробной версии, а также для анализа результатов и доступа к артефактам, созданным пробной версией.

Выполнение используется внутри кода экспериментирования для записи метрик и артефактов в службу журнала выполнения.

Выполнение используется за пределами экспериментов для отслеживания хода выполнения и запроса и анализа метрик и результатов, созданных.

Функциональные возможности запуска включают:

  • Хранение и получение метрик и данных

  • Отправка и скачивание файлов

  • Использование тегов, а также дочерней иерархии для простого поиска прошлых запусков

  • Регистрация хранимых файлов модели в качестве модели, которая может быть введена в эксплуатацию

  • Хранение, изменение и получение свойств запуска

  • Загрузка текущего запуска из удаленной среды с get_context помощью метода

  • Эффективное создание моментального снимка файла или каталога для воспроизведения

Этот класс работает с Experiment этими сценариями:

  • Создание запуска путем выполнения кода с помощью submit

  • Создание интерактивного запуска в записной книжке с помощью start_logging

  • Ведение журнала метрик и отправка артефактов в эксперименте, например при использовании log

  • Чтение метрик и скачивание артефактов при анализе экспериментальных результатов, например при использовании get_metrics

Чтобы отправить запуск, создайте объект конфигурации, описывающий выполнение эксперимента. Ниже приведены примеры различных объектов конфигурации, которые можно использовать:

  • ScriptRunConfig

  • azureml.train.automl.automlconfig.AutoMLConfig

  • azureml.train.hyperdrive.HyperDriveConfig

  • azureml.pipeline.core.Pipeline

  • azureml.pipeline.core.PublishedPipeline

  • azureml.pipeline.core.PipelineEndpoint

Следующие метрики можно добавить в выполнение во время обучения эксперимента.

  • Скаляр

    • Зайдите в журнал числовое или строковое значение для выполнения с заданным именем.log Ведение журнала метрик в ходе выполнения приводит к тому, что метрика будет сохранена в записи выполнения эксперимента. Вы можете регистрировать одну и ту же метрику несколько раз в ходе выполнения, то результат считается вектором этой метрики.

    • Пример: run.log("accuracy", 0.95)

  • Список

    • Зайдите в список значений для выполнения с заданным именем с помощью log_list.

    • Пример: run.log_list("accuracies", [0.6, 0.7, 0.87])

  • Строка

    • Использование log_row создает метрику с несколькими столбцами, как описано в kwargsописании. Каждый именованный параметр создает столбец со указанным значением. log_row можно вызывать один раз, чтобы записать произвольный кортеж или несколько раз в цикле, чтобы создать полную таблицу.

    • Пример: run.log_row("Y over X", x=1, y=0.4)

  • Таблица

    • Зайдите в журнал объекта словаря в выполнение с заданным именем с помощью log_table.

    • Пример: run.log_table("Y over X", {"x":[1, 2, 3], "y":[0.6, 0.7, 0.89]})

  • Изображение

    • Запишите образ в запись выполнения. Используется log_image для записи файла изображения или диаграммы matplotlib в выполнение. Эти изображения будут видимыми и сопоставимыми в записи выполнения.

    • Пример: run.log_image("ROC", path)

Методы

add_properties

Добавьте в выполнение неизменяемые свойства.

Теги и свойства (оба дикта[str, str]) отличаются в их мутируемости. Свойства являются неизменяемыми, поэтому они создают постоянную запись для целей аудита. Теги являются изменяемыми. Дополнительные сведения о работе с тегами и свойствами см. в разделе "Теги" и "Поиск запусков".

add_type_provider

Перехватчик расширяемости для пользовательских типов запуска, хранящихся в журнале выполнения.

cancel

Пометьте запуск как отмененный.

Если есть связанное задание с полем набора cancel_uri, завершите это задание.

child_run

Создайте дочерний запуск.

clean

Удалите файлы, соответствующие текущему запуску в целевом объекте, указанном в конфигурации запуска.

complete

Дождитесь обработки очереди задач.

Затем выполнение помечается как завершенное. Обычно это используется в сценариях интерактивной записной книжки.

create_children

Создайте один или несколько дочерних запусков.

download_file

Скачайте связанный файл из хранилища.

download_files

Скачайте файлы из заданного префикса хранилища (имя папки) или весь контейнер, если префикс не указан.

fail

Помечайте выполнение как неудачное.

При необходимости задайте свойство Error запуска с сообщением или исключением, переданным error_detailsв .

flush

Дождитесь обработки очереди задач.

get

Получите запуск для этой рабочей области с его идентификатором выполнения.

get_all_logs

Скачайте все журналы для запуска в каталог.

get_children

Получение всех дочерних элементов для текущего запуска, выбранного указанными фильтрами.

get_context

Возвращает текущий контекст службы.

Используйте этот метод для получения текущего контекста службы для метрики ведения журнала и отправки файлов. Если allow_offline задано значение True (по умолчанию), действия с объектом Run будут напечатаны в стандартном режиме.

get_detailed_status

Получите последнее состояние выполнения. Если состояние запуска имеет значение Queued, отобразится сведения.

get_details

Получите определение, сведения о состоянии, текущие файлы журнала и другие сведения о выполнении.

get_details_with_logs

Возвращает состояние выполнения, включая содержимое файла журнала.

get_environment

Получите определение среды, используемое этим запуском.

get_file_names

Вывод списка файлов, хранящихся в связи с выполнением.

get_metrics

Получите метрики, зарегистрированные в выполнение.

Значение recursive True (False по умолчанию), а затем извлекает метрики для выполнения в поддереве выполнения.

get_properties

Получение последних свойств запуска из службы.

get_secret

Получите значение секрета из контекста выполнения.

Получите значение секрета для указанного имени. Имя секрета ссылается на значение, хранящееся в Azure Key Vault, связанное с рабочей областью. Пример работы с секретами см. в статье "Использование секретов в учебных запусках".

get_secrets

Получение значений секрета для заданного списка имен секретов.

Получите словарь найденных и не найденных секретов для списка указанных имен. Каждое имя секрета ссылается на значение, хранящееся в Azure Key Vault, связанное с рабочей областью. Пример работы с секретами см. в статье "Использование секретов в учебных запусках".

get_snapshot_id

Получите последний идентификатор моментального снимка.

get_status

Получите последнее состояние выполнения.

К общим значениям, возвращаемым, относятся "Выполнение", "Завершено" и "Сбой".

get_submitted_run

УСТАРЕВШИЕ. Используйте get_context.

Получите отправленный запуск для этого эксперимента.

get_tags

Получите последний набор изменяемых тегов во время выполнения из службы.

list

Получение списка запусков в эксперименте, заданного необязательными фильтрами.

list_by_compute

Получение списка запусков в вычислительных ресурсах, указанных необязательными фильтрами.

log

Зайдите в журнал значения метрики в выполнение с заданным именем.

log_accuracy_table

Зайдите в таблицу точности в хранилище артефактов.

Метрика таблицы точности — это многопользовательская, не скалярная метрика, которая может использоваться для создания нескольких типов графиков, которые постоянно различаются по пространству прогнозируемых вероятностей. Примерами этих диаграмм являются ROC, точность отзыва и кривые подъема.

Вычисление таблицы точности аналогично вычислению кривой ROC. Кривая ROC сохраняет истинные положительные ставки и ложные положительные ставки во многих различных пороговых значениях вероятности. Таблица точности сохраняет необработанное число истинных положительных, ложных срабатываний, истинных отрицательных и ложных отрицательных значений во многих пороговых значениях вероятности.

Для выбора пороговых значений используются два метода: "вероятность" и "процентиль". Они отличаются тем, как они выборки из пространства прогнозируемых вероятностей.

Пороговые значения вероятности равномерно разделены между 0 и 1. Если NUM_POINTS равен 5 пороговым значениям вероятности будет [0.0, 0.25, 0.5, 0.75, 1.0].

Пороговые значения процентиля распределяются в соответствии с распределением прогнозируемых вероятностей. Каждое пороговое значение соответствует процентиле данных с пороговым значением вероятности. Например, если NUM_POINTS равен 5, то первый порог будет находиться на 0-м процентилье, второй на 25-м процентилье, третий в 50-м и т. д.

Таблицы вероятностей и таблицы процентиля — это 3D-списки, в которых первое измерение представляет метку класса, второе измерение представляет выборку по одному порогу (масштабы с NUM_POINTS), а третье измерение всегда имеет 4 значения: TP, FP, TN, FN и всегда в этом порядке.

Значения путаницы (TP, FP, TN, FN) вычисляются с помощью одной стратегии rest. Дополнительные сведения см. по следующей ссылке: https://en.wikipedia.org/wiki/Multiclass_classification

N = # примеров в наборе данных проверки (200 в примере) M = # пороговые значения = # выборки, взятые из пространства вероятности (5 в примере) C = # классы в полном наборе данных (например, 3 в примере)

Некоторые инварианты таблицы точности:

  • TP + FP + TN + FN = N для всех пороговых значений для всех классов
  • TP + FN совпадает со всеми порогами для любого класса
  • TN + FP совпадает со всеми порогами для любого класса.
  • Таблицы вероятностей и процентильные таблицы имеют фигуру [C, M, 4]

Примечание. M может быть любым значением и управлять разрешением диаграмм, это не зависит от набора данных, определяется при вычислении метрик, а также удаляет место хранения, время вычисления и разрешение.

Метки классов должны быть строками, значения путаницы должны быть целыми числами, а пороговые значения должны быть с плавающей запятой.

log_confusion_matrix

Зайдите в матрицу путаницы в хранилище артефактов.

Это регистрирует оболочку вокруг матрицы смещений. Данные метрик содержат метки класса и список 2D для самой матрицы. Дополнительные сведения о вычислении метрики см. по следующей ссылке: https://scikit-learn.org/stable/modules/generated/sklearn.metrics.confusion_matrix.html

log_image

Запишите метрику изображения в запись выполнения.

log_list

Заведите список значений метрик в выполнение с заданным именем.

log_predictions

Журнал прогнозов в хранилище артефактов.

Это регистрирует оценку метрик, которую можно использовать для сравнения распределения истинных целевых значений с распределением прогнозируемых значений для задачи регрессии.

Прогнозы бинируются и стандартные отклонения вычисляются для линейчатой диаграммы ошибок.

log_residuals

Журнал остатков в хранилище артефактов.

Это регистрирует данные, необходимые для отображения гистограммы остатков для задачи регрессии. Остаточные остатки прогнозируются - фактические.

Должно быть несколько краев, чем число счетчиков. Ознакомьтесь с документацией по гистограмме числовых чисел и ребер для представления гистограммы. https://docs.scipy.org/doc/numpy/reference/generated/numpy.histogram.html

log_row

Зайдите в журнал метрики строки в выполнение с заданным именем.

log_table

Зайдите в журнал метрики таблицы в выполнение с заданным именем.

register_model

Зарегистрируйте модель для ввода в эксплуатацию.

remove_tags

Удалите список изменяемых тегов в этом запуске.

restore_snapshot

Восстановление моментального снимка в виде ZIP-файла. Возвращает путь к ZIP-файлу.

set_tags

Добавьте или измените набор тегов в выполнении. Теги, которые не передаются в словаре, остаются неуправляемыми.

Можно также добавлять простые строковые теги. Если эти теги отображаются в словаре тегов в виде ключей, они имеют значение None. Дополнительные сведения см. в разделе "Тег" и "Поиск запусков".

start

Пометьте запуск как запущенный.

Обычно это используется в сложных сценариях при создании запуска другим субъектом.

submit_child

Отправьте эксперимент и верните активный дочерний запуск.

tag

Пометьте выполнение строковым ключом и необязательным строковым значением.

take_snapshot

Сохраните моментальный снимок входного файла или папки.

upload_file

Отправьте файл в запись выполнения.

upload_files

Отправьте файлы в запись выполнения.

upload_folder

Отправьте указанную папку в заданное имя префикса.

wait_for_completion

Дождитесь завершения этого запуска. Возвращает объект состояния после ожидания.

add_properties

Добавьте в выполнение неизменяемые свойства.

Теги и свойства (оба дикта[str, str]) отличаются в их мутируемости. Свойства являются неизменяемыми, поэтому они создают постоянную запись для целей аудита. Теги являются изменяемыми. Дополнительные сведения о работе с тегами и свойствами см. в разделе "Теги" и "Поиск запусков".

add_properties(properties)

Параметры

Имя Описание
properties
Обязательно

Скрытые свойства, хранящиеся в объекте выполнения.

add_type_provider

Перехватчик расширяемости для пользовательских типов запуска, хранящихся в журнале выполнения.

static add_type_provider(runtype, run_factory)

Параметры

Имя Описание
runtype
Обязательно
str

Значение Run.type, для которого будет вызвана фабрика. Примеры включают hyperdrive или azureml.scriptrun, но могут быть расширены с помощью пользовательских типов.

run_factory
Обязательно
<xref:function>

Функция с сигнатурой (Experiment, RunDto) —> выполнение, вызываемое при выполнении перечисления.

cancel

Пометьте запуск как отмененный.

Если есть связанное задание с полем набора cancel_uri, завершите это задание.

cancel()

child_run

Создайте дочерний запуск.

child_run(name=None, run_id=None, outputs=None)

Параметры

Имя Описание
name
str

Необязательное имя дочернего запуска, обычно указанное для элемента "part".

Default value: None
run_id
str

Необязательный идентификатор выполнения для дочернего элемента, в противном случае он создается автоматически. Обычно этот параметр не задан.

Default value: None
outputs
str

Необязательный каталог выходных данных для отслеживания дочернего элемента.

Default value: None

Возвращаемое значение

Тип Описание
Run

Дочерний запуск.

Комментарии

Используется для изоляции части подраздела. Это можно сделать для идентифицируемых "частей" запуска, которые интересны для разделения, или для записи независимых метрик во время взаимодействия подпроцесса.

Если для дочернего запуска задан выходной каталог, содержимое этого каталога будет отправлено в дочернюю запись выполнения при завершении дочернего файла.

clean

Удалите файлы, соответствующие текущему запуску в целевом объекте, указанном в конфигурации запуска.

clean()

Возвращаемое значение

Тип Описание

Список удаленных файлов.

complete

Дождитесь обработки очереди задач.

Затем выполнение помечается как завершенное. Обычно это используется в сценариях интерактивной записной книжки.

complete(_set_status=True)

Параметры

Имя Описание
_set_status

Указывает, следует ли отправлять событие состояния для отслеживания.

Default value: True

create_children

Создайте один или несколько дочерних запусков.

create_children(count=None, tag_key=None, tag_values=None)

Параметры

Имя Описание
count
int

Дополнительное число дочерних элементов для создания.

Default value: None
tag_key
str

Необязательный ключ для заполнения записи Тегов во всех созданных дочерних элементах.

Default value: None
tag_Values
Обязательно

Необязательный список значений, которые будут сопоставляться с тегами[tag_key] для созданного списка запусков.

tag_values
Default value: None

Возвращаемое значение

Тип Описание

Список дочерних запусков.

Комментарии

Необходимо указать параметр ИЛИ параметры counttag_key AND tag_values .

download_file

Скачайте связанный файл из хранилища.

download_file(name, output_file_path=None, _validate_checksum=False)

Параметры

Имя Описание
name
Обязательно
str

Имя скачиваемого артефакта.

output_file_path
Обязательно
str

Локальный путь к хранилищу артефакта.

download_files

Скачайте файлы из заданного префикса хранилища (имя папки) или весь контейнер, если префикс не указан.

download_files(prefix=None, output_directory=None, output_paths=None, batch_size=100, append_prefix=True, timeout_seconds=None)

Параметры

Имя Описание
prefix
Обязательно
str

Префикс filepath в контейнере, из которого необходимо скачать все артефакты.

output_directory
Обязательно
str

Необязательный каталог, который все пути артефактов используются в качестве префикса.

output_paths
Обязательно
[str]

Необязательные пути к файлам, в которых хранятся скачанные артефакты. Должна быть уникальной и совпадать с длиной путей.

batch_size
Обязательно
int

Количество файлов для скачивания на пакет. Значение по умолчанию — 100 файлов.

append_prefix
Обязательно

Необязательный флаг, добавляемый указанный префикс из конечного пути к выходному файлу. Если значение False, префикс удаляется из пути к выходному файлу.

timeout_seconds
Обязательно
int

Время ожидания загрузки файлов.

fail

Помечайте выполнение как неудачное.

При необходимости задайте свойство Error запуска с сообщением или исключением, переданным error_detailsв .

fail(error_details=None, error_code=None, _set_status=True)

Параметры

Имя Описание
error_details

Необязательные сведения об ошибке.

Default value: None
error_code
str

Необязательный код ошибки для классификации ошибок.

Default value: None
_set_status

Указывает, следует ли отправлять событие состояния для отслеживания.

Default value: True

flush

Дождитесь обработки очереди задач.

flush(timeout_seconds=300)

Параметры

Имя Описание
timeout_seconds
int

Сколько времени нужно ожидать (в секундах) для обработки очереди задач.

Default value: 300

get

Получите запуск для этой рабочей области с его идентификатором выполнения.

static get(workspace, run_id)

Параметры

Имя Описание
workspace
Обязательно

Содержащаяся рабочая область.

run_id
Обязательно

Идентификатор выполнения.

Возвращаемое значение

Тип Описание
Run

Отправленное выполнение.

get_all_logs

Скачайте все журналы для запуска в каталог.

get_all_logs(destination=None)

Параметры

Имя Описание
destination
str

Путь назначения для хранения журналов. Если не указано, в каталоге проекта создается каталог с именем run ID.

Default value: None

Возвращаемое значение

Тип Описание

Список имен скачанных журналов.

get_children

Получение всех дочерних элементов для текущего запуска, выбранного указанными фильтрами.

get_children(recursive=False, tags=None, properties=None, type=None, status=None, _rehydrate_runs=True)

Параметры

Имя Описание
recursive

Указывает, следует ли рекурсировать через всех потомков.

Default value: False
tags
str или dict

Если задано, возвращается совпадение с указанным тегом или {"tag": "value"}.

Default value: None
properties
str или dict

Если задано, возвращается соответствие указанного свойства или {"property": "value"}.

Default value: None
type
str

Если задано, возвращает выполнение, соответствующее этому типу.

Default value: None
status
str

Если задано, возвращается состояние с указанным "состоянием".

Default value: None
_rehydrate_runs

Указывает, следует ли создать экземпляр запуска исходного типа или базового запуска.

Default value: True

Возвращаемое значение

Тип Описание

Список Run объектов.

get_context

Возвращает текущий контекст службы.

Используйте этот метод для получения текущего контекста службы для метрики ведения журнала и отправки файлов. Если allow_offline задано значение True (по умолчанию), действия с объектом Run будут напечатаны в стандартном режиме.

get_context(allow_offline=True, used_for_context_manager=False, **kwargs)

Параметры

Имя Описание
cls
Обязательно

Указывает метод класса.

allow_offline

Разрешить контексту службы вернуться в автономный режим, чтобы скрипт обучения можно было протестировать локально без отправки задания с помощью пакета SDK. Значение true по умолчанию.

Default value: True
kwargs
Обязательно

Словарь дополнительных параметров.

used_for_context_manager
Default value: False

Возвращаемое значение

Тип Описание
Run

Отправленное выполнение.

Комментарии

Эта функция обычно используется для получения объекта run, прошедшего проверку подлинности, внутри скрипта, который будет отправлен для выполнения с помощью experiment.submit(). Этот объект запуска — это контекст, прошедший проверку подлинности для взаимодействия со службами машинного обучения Azure, и концептуальным контейнером, в котором содержатся метрики, файлы (артефакты) и модели.


   run = Run.get_context() # allow_offline=True by default, so can be run locally as well
   ...
   run.log("Accuracy", 0.98)
   run.log_row("Performance", epoch=e, error=err)

get_detailed_status

Получите последнее состояние выполнения. Если состояние запуска имеет значение Queued, отобразится сведения.

get_detailed_status()

Возвращаемое значение

Тип Описание

Последнее состояние и сведения

Комментарии

  • состояние: текущее состояние выполнения. То же значение, что и возвращаемое из get_status().

  • сведения: подробные сведения о текущем состоянии.


   run = experiment.submit(config)
   details = run.get_detailed_status()
   # details = {
   #     'status': 'Queued',
   #     'details': 'Run requested 1 node(s). Run is in pending status.',
   # }

get_details

Получите определение, сведения о состоянии, текущие файлы журнала и другие сведения о выполнении.

get_details()

Возвращаемое значение

Тип Описание

Возврат сведений о выполнении

Комментарии

Возвращенный словарь содержит следующие пары "ключ-значение".

  • runId: идентификатор этого запуска.

  • целевой объект

  • состояние: текущее состояние выполнения. То же значение, что и возвращаемое из get_status().

  • startTimeUtc: время UTC при запуске этого запуска в ISO8601.

  • endTimeUtc: время UTC завершения выполнения (завершено или не выполнено) в ISO8601.

    Этот ключ не существует, если выполнение по-прежнему выполняется.

  • свойства: неизменяемые пары "ключ-значение", связанные с выполнением. Свойства по умолчанию включают идентификатор моментального снимка запуска и сведения о репозитории Git, из которого был создан запуск (при наличии). Дополнительные свойства можно добавить в выполнение с помощью add_properties.

  • inputDatasets: входные наборы данных, связанные с выполнением.

  • outputDatasets: выходные наборы данных, связанные с выполнением.

  • logFiles

  • submittedBy


   run = experiment.start_logging()

   details = run.get_details()
   # details = {
   #     'runId': '5c24aa28-6e4a-4572-96a0-fb522d26fe2d',
   #     'target': 'sdk',
   #     'status': 'Running',
   #     'startTimeUtc': '2019-01-01T13:08:01.713777Z',
   #     'endTimeUtc': '2019-01-01T17:15:65.986253Z',
   #     'properties': {
   #         'azureml.git.repository_uri': 'https://example.com/my/git/repo',
   #         'azureml.git.branch': 'master',
   #         'azureml.git.commit': '7dc972657c2168927a02c3bc2b161e0f370365d7',
   #         'azureml.git.dirty': 'True',
   #         'mlflow.source.git.repoURL': 'https://example.com/my/git/repo',
   #         'mlflow.source.git.branch': 'master',
   #         'mlflow.source.git.commit': '7dc972657c2168927a02c3bc2b161e0f370365d7',
   #         'ContentSnapshotId': 'b4689489-ce2f-4db5-b6d7-6ad11e77079c'
   #     },
   #     'inputDatasets': [{
   #         'dataset': {'id': 'cdebf245-701d-4a68-8055-41f9cf44f298'},
   #         'consumptionDetails': {
   #             'type': 'RunInput',
   #             'inputName': 'training-data',
   #             'mechanism': 'Mount',
   #             'pathOnCompute': '/mnt/datasets/train'
   #         }
   #     }],
   #     'outputDatasets': [{
   #         'dataset': {'id': 'd04e8a19-1caa-4b1f-b318-4cbff9af9615'},
   #         'outputType': 'RunOutput',
   #         'outputDetails': {
   #             'outputName': 'training-result'
   #         }
   #     }],
   #     'runDefinition': {},
   #     'logFiles': {},
   #     'submittedBy': 'Alan Turing'
   # }

get_details_with_logs

Возвращает состояние выполнения, включая содержимое файла журнала.

get_details_with_logs()

Возвращаемое значение

Тип Описание

Возвращает состояние выполнения с содержимым файла журнала.

get_environment

Получите определение среды, используемое этим запуском.

get_environment()

Возвращаемое значение

Тип Описание

Возвращает объект среды.

get_file_names

Вывод списка файлов, хранящихся в связи с выполнением.

get_file_names()

Возвращаемое значение

Тип Описание

Список путей для существующих артефактов

get_metrics

Получите метрики, зарегистрированные в выполнение.

Значение recursive True (False по умолчанию), а затем извлекает метрики для выполнения в поддереве выполнения.

get_metrics(name=None, recursive=False, run_type=None, populate=False)

Параметры

Имя Описание
name
str

Имя метрики.

Default value: None
recursive

Указывает, следует ли рекурсировать через всех потомков.

Default value: False
run_type
str
Default value: None
populate

Указывает, следует ли получить содержимое внешних данных, связанных с метрикой.

Default value: False

Возвращаемое значение

Тип Описание

Словарь, содержащий метрики пользователей.

Комментарии


   run = experiment.start_logging() # run id: 123
   run.log("A", 1)
   with run.child_run() as child: # run id: 456
       child.log("A", 2)

   metrics = run.get_metrics()
   # metrics = { 'A': 1 }

   metrics = run.get_metrics(recursive=True)
   # metrics = { '123': { 'A': 1 }, '456': { 'A': 2 } } note key is runId

get_properties

Получение последних свойств запуска из службы.

get_properties()

Возвращаемое значение

Тип Описание

Свойства выполнения.

Комментарии

Свойства являются неизменяемыми системными сведениями, такими как длительность, дата выполнения, пользователь и настраиваемые свойства, добавленные с add_properties помощью метода. Дополнительные сведения см. в разделе "Тег" и "Поиск запусков".

При отправке задания в Машинное обучение Azure, если исходные файлы хранятся в локальном репозитории Git, сведения о репозитории хранятся в виде свойств. Эти свойства Git добавляются при создании запуска или вызове Experiment.submit. Дополнительные сведения о свойствах Git см. в интеграции Git для Машинного обучения Azure.

get_secret

Получите значение секрета из контекста выполнения.

Получите значение секрета для указанного имени. Имя секрета ссылается на значение, хранящееся в Azure Key Vault, связанное с рабочей областью. Пример работы с секретами см. в статье "Использование секретов в учебных запусках".

get_secret(name)

Параметры

Имя Описание
name
Обязательно
str

Имя секрета, для которого возвращается секрет.

Возвращаемое значение

Тип Описание
str

Значение секрета.

get_secrets

Получение значений секрета для заданного списка имен секретов.

Получите словарь найденных и не найденных секретов для списка указанных имен. Каждое имя секрета ссылается на значение, хранящееся в Azure Key Vault, связанное с рабочей областью. Пример работы с секретами см. в статье "Использование секретов в учебных запусках".

get_secrets(secrets)

Параметры

Имя Описание
secrets
Обязательно

Список имен секретов, для которых возвращаются значения секретов.

Возвращаемое значение

Тип Описание

Возвращает словарь найденных и не найденных секретов.

get_snapshot_id

Получите последний идентификатор моментального снимка.

get_snapshot_id()

Возвращаемое значение

Тип Описание
str

Последний идентификатор моментального снимка.

get_status

Получите последнее состояние выполнения.

К общим значениям, возвращаемым, относятся "Выполнение", "Завершено" и "Сбой".

get_status()

Возвращаемое значение

Тип Описание
str

Последнее состояние.

Комментарии

  • NotStarted — это временные объекты запуска на стороне клиента состояния перед отправкой облака.

  • Запуск начал обрабатываться в облаке. Вызывающий объект имеет идентификатор выполнения на этом этапе.

  • Подготовка — возвращается при создании вычислений по запросу для заданной отправки задания.

  • Подготовка — подготовленная среда выполнения:

    • Сборка образа docker

    • Настройка среды conda

  • В очереди — задание помещается в очередь в целевом объекте вычислений. Например, в BatchAI задание находится в состоянии очереди

    ожидая готовности всех запрошенных узлов.

  • Выполнение — задание, запущенное в целевом объекте вычислений.

  • Завершение — код пользователя завершился, и выполнение выполняется на этапах после обработки.

  • CancelRequested . Отмена была запрошена для задания.

  • Завершено — выполнение успешно завершено. Это включает как пользовательский код, так и запуск

    этапы после обработки.

  • Сбой — сбой выполнения. Обычно свойство Error во время выполнения предоставляет сведения о том, почему.

  • Отменено . Следует запросу на отмену и указывает, что выполнение теперь успешно отменено.

  • Не отвечая на запросы — для запусков с включенными пульсами, не было отправлено пульса.


   run = experiment.submit(config)
   while run.get_status() not in ['Completed', 'Failed']: # For example purposes only, not exhaustive
       print('Run {} not in terminal state'.format(run.id))
       time.sleep(10)

get_submitted_run

УСТАРЕВШИЕ. Используйте get_context.

Получите отправленный запуск для этого эксперимента.

get_submitted_run(**kwargs)

Возвращаемое значение

Тип Описание
Run

Отправленное выполнение.

get_tags

Получите последний набор изменяемых тегов во время выполнения из службы.

get_tags()

Возвращаемое значение

Тип Описание

Теги, хранящиеся в объекте выполнения.

list

Получение списка запусков в эксперименте, заданного необязательными фильтрами.

static list(experiment, type=None, tags=None, properties=None, status=None, include_children=False, _rehydrate_runs=True)

Параметры

Имя Описание
experiment
Обязательно

Содержащийся эксперимент.

type
str

Если задано, возвращается соответствующий тип.

Default value: None
tags
str или dict

Если задано, возвращается совпадение с указанным тегом или {"tag": "value"}.

Default value: None
properties
str или dict

Если задано, возвращается соответствие указанного свойства или {"property": "value"}.

Default value: None
status
str

Если задано, возвращается состояние с указанным "состоянием".

Default value: None
include_children

Если задано значение true, получите все запуски, а не только те, которые выполняются на верхнем уровне.

Default value: False
_rehydrate_runs

Если задано значение True (по умолчанию), будет использовать зарегистрированный поставщик для повторного создания объекта для этого типа вместо базового запуска.

Default value: True

Возвращаемое значение

Тип Описание

Список запусков.

Комментарии

В следующем примере кода показаны некоторые способы использования list метода.


   favorite_completed_runs = Run.list(experiment, status='Completed', tags='favorite')

   all_distinct_runs = Run.list(experiment)
   and_their_children = Run.list(experiment, include_children=True)

   only_script_runs = Run.list(experiment, type=ScriptRun.RUN_TYPE)

list_by_compute

Получение списка запусков в вычислительных ресурсах, указанных необязательными фильтрами.

static list_by_compute(compute, type=None, tags=None, properties=None, status=None)

Параметры

Имя Описание
compute
Обязательно

Содержащий вычислительные ресурсы.

type
str

Если задано, возвращается соответствующий тип.

Default value: None
tags
str или dict

Если задано, возвращается совпадение с указанным тегом или {"tag": "value"}.

Default value: None
properties
str или dict

Если задано, возвращается соответствие указанного свойства или {"property": "value"}.

Default value: None
status
str

Если задано, возвращается состояние с указанным "состоянием". Допустимыми значениями являются "Выполнение" и "Очередь".

Default value: None

Возвращаемое значение

Тип Описание
<xref:builtin.generator>

генератор ~_restclient.models.RunDto

log

Зайдите в журнал значения метрики в выполнение с заданным именем.

log(name, value, description='', step=None)

Параметры

Имя Описание
name
Обязательно
str

Имя метрики.

value
Обязательно

Значение, которое будет размещено в службе.

description
Обязательно
str

Необязательное описание метрик.

step
int

Необязательная ось для указания порядка значений в метрии.

Default value: None

Комментарии

Ведение журнала метрик в ходе выполнения приводит к тому, что метрика будет сохранена в записи выполнения эксперимента. Вы можете регистрировать одну и ту же метрику несколько раз в ходе выполнения, то результат считается вектором этой метрики. Если шаг указан для метрики, он должен быть указан для всех значений.

log_accuracy_table

Зайдите в таблицу точности в хранилище артефактов.

Метрика таблицы точности — это многопользовательская, не скалярная метрика, которая может использоваться для создания нескольких типов графиков, которые постоянно различаются по пространству прогнозируемых вероятностей. Примерами этих диаграмм являются ROC, точность отзыва и кривые подъема.

Вычисление таблицы точности аналогично вычислению кривой ROC. Кривая ROC сохраняет истинные положительные ставки и ложные положительные ставки во многих различных пороговых значениях вероятности. Таблица точности сохраняет необработанное число истинных положительных, ложных срабатываний, истинных отрицательных и ложных отрицательных значений во многих пороговых значениях вероятности.

Для выбора пороговых значений используются два метода: "вероятность" и "процентиль". Они отличаются тем, как они выборки из пространства прогнозируемых вероятностей.

Пороговые значения вероятности равномерно разделены между 0 и 1. Если NUM_POINTS равен 5 пороговым значениям вероятности будет [0.0, 0.25, 0.5, 0.75, 1.0].

Пороговые значения процентиля распределяются в соответствии с распределением прогнозируемых вероятностей. Каждое пороговое значение соответствует процентиле данных с пороговым значением вероятности. Например, если NUM_POINTS равен 5, то первый порог будет находиться на 0-м процентилье, второй на 25-м процентилье, третий в 50-м и т. д.

Таблицы вероятностей и таблицы процентиля — это 3D-списки, в которых первое измерение представляет метку класса, второе измерение представляет выборку по одному порогу (масштабы с NUM_POINTS), а третье измерение всегда имеет 4 значения: TP, FP, TN, FN и всегда в этом порядке.

Значения путаницы (TP, FP, TN, FN) вычисляются с помощью одной стратегии rest. Дополнительные сведения см. по следующей ссылке: https://en.wikipedia.org/wiki/Multiclass_classification

N = # примеров в наборе данных проверки (200 в примере) M = # пороговые значения = # выборки, взятые из пространства вероятности (5 в примере) C = # классы в полном наборе данных (например, 3 в примере)

Некоторые инварианты таблицы точности:

  • TP + FP + TN + FN = N для всех пороговых значений для всех классов
  • TP + FN совпадает со всеми порогами для любого класса
  • TN + FP совпадает со всеми порогами для любого класса.
  • Таблицы вероятностей и процентильные таблицы имеют фигуру [C, M, 4]

Примечание. M может быть любым значением и управлять разрешением диаграмм, это не зависит от набора данных, определяется при вычислении метрик, а также удаляет место хранения, время вычисления и разрешение.

Метки классов должны быть строками, значения путаницы должны быть целыми числами, а пороговые значения должны быть с плавающей запятой.

log_accuracy_table(name, value, description='')

Параметры

Имя Описание
name
Обязательно
str

Имя таблицы точности.

value
Обязательно
str или dict

JSON, содержащий имя, версию и свойства данных.

description
Обязательно
str

Необязательное описание метрик.

Комментарии

Пример допустимого значения JSON:


   {
       "schema_type": "accuracy_table",
       "schema_version": "1.0.1",
       "data": {
           "probability_tables": [
               [
                   [82, 118, 0, 0],
                   [75, 31, 87, 7],
                   [66, 9, 109, 16],
                   [46, 2, 116, 36],
                   [0, 0, 118, 82]
               ],
               [
                   [60, 140, 0, 0],
                   [56, 20, 120, 4],
                   [47, 4, 136, 13],
                   [28, 0, 140, 32],
                   [0, 0, 140, 60]
               ],
               [
                   [58, 142, 0, 0],
                   [53, 29, 113, 5],
                   [40, 10, 132, 18],
                   [24, 1, 141, 34],
                   [0, 0, 142, 58]
               ]
           ],
           "percentile_tables": [
               [
                   [82, 118, 0, 0],
                   [82, 67, 51, 0],
                   [75, 26, 92, 7],
                   [48, 3, 115, 34],
                   [3, 0, 118, 79]
               ],
               [
                   [60, 140, 0, 0],
                   [60, 89, 51, 0],
                   [60, 41, 99, 0],
                   [46, 5, 135, 14],
                   [3, 0, 140, 57]
               ],
               [
                   [58, 142, 0, 0],
                   [56, 93, 49, 2],
                   [54, 47, 95, 4],
                   [41, 10, 132, 17],
                   [3, 0, 142, 55]
               ]
           ],
           "probability_thresholds": [0.0, 0.25, 0.5, 0.75, 1.0],
           "percentile_thresholds": [0.0, 0.01, 0.24, 0.98, 1.0],
           "class_labels": ["0", "1", "2"]
       }
   }

log_confusion_matrix

Зайдите в матрицу путаницы в хранилище артефактов.

Это регистрирует оболочку вокруг матрицы смещений. Данные метрик содержат метки класса и список 2D для самой матрицы. Дополнительные сведения о вычислении метрики см. по следующей ссылке: https://scikit-learn.org/stable/modules/generated/sklearn.metrics.confusion_matrix.html

log_confusion_matrix(name, value, description='')

Параметры

Имя Описание
name
Обязательно
str

Имя матрицы путаницы.

value
Обязательно
str или dict

JSON, содержащий имя, версию и свойства данных.

description
Обязательно
str

Необязательное описание метрик.

Комментарии

Пример допустимого значения JSON:


   {
       "schema_type": "confusion_matrix",
       "schema_version": "1.0.0",
       "data": {
           "class_labels": ["0", "1", "2", "3"],
           "matrix": [
               [3, 0, 1, 0],
               [0, 1, 0, 1],
               [0, 0, 1, 0],
               [0, 0, 0, 1]
           ]
       }
   }

log_image

Запишите метрику изображения в запись выполнения.

log_image(name, path=None, plot=None, description='')

Параметры

Имя Описание
name
Обязательно
str

Имя метрики.

path
Обязательно
str

Путь или поток изображения.

plot
Обязательно
<xref:matplotlib.pyplot>

График для записи в виде изображения.

description
Обязательно
str

Необязательное описание метрик.

Комментарии

Используйте этот метод для записи файла изображения или диаграммы matplotlib в выполнение. Эти изображения будут видимыми и сопоставимыми в записи выполнения.

log_list

Заведите список значений метрик в выполнение с заданным именем.

log_list(name, value, description='')

Параметры

Имя Описание
name
Обязательно
str

Имя метрики.

value
Обязательно

Значения метрики.

description
Обязательно
str

Необязательное описание метрик.

log_predictions

Журнал прогнозов в хранилище артефактов.

Это регистрирует оценку метрик, которую можно использовать для сравнения распределения истинных целевых значений с распределением прогнозируемых значений для задачи регрессии.

Прогнозы бинируются и стандартные отклонения вычисляются для линейчатой диаграммы ошибок.

log_predictions(name, value, description='')

Параметры

Имя Описание
name
Обязательно
str

Имя прогнозов.

value
Обязательно
str или dict

JSON, содержащий имя, версию и свойства данных.

description
Обязательно
str

Необязательное описание метрик.

Комментарии

Пример допустимого значения JSON:


   {
       "schema_type": "predictions",
       "schema_version": "1.0.0",
       "data": {
           "bin_averages": [0.25, 0.75],
           "bin_errors": [0.013, 0.042],
           "bin_counts": [56, 34],
           "bin_edges": [0.0, 0.5, 1.0]
       }
   }

log_residuals

Журнал остатков в хранилище артефактов.

Это регистрирует данные, необходимые для отображения гистограммы остатков для задачи регрессии. Остаточные остатки прогнозируются - фактические.

Должно быть несколько краев, чем число счетчиков. Ознакомьтесь с документацией по гистограмме числовых чисел и ребер для представления гистограммы. https://docs.scipy.org/doc/numpy/reference/generated/numpy.histogram.html

log_residuals(name, value, description='')

Параметры

Имя Описание
name
Обязательно
str

Имя остатков.

value
Обязательно
str или dict

JSON, содержащий имя, версию и свойства данных.

description
Обязательно
str

Необязательное описание метрик.

Комментарии

Пример допустимого значения JSON:


   {
       "schema_type": "residuals",
       "schema_version": "1.0.0",
       "data": {
           "bin_edges": [50, 100, 200, 300, 350],
           "bin_counts": [0.88, 20, 30, 50.99]
       }
   }

log_row

Зайдите в журнал метрики строки в выполнение с заданным именем.

log_row(name, description=None, **kwargs)

Параметры

Имя Описание
name
Обязательно
str

Имя метрики.

description
str

Необязательное описание метрик.

Default value: None
kwargs
Обязательно

Словарь дополнительных параметров. В этом случае столбцы метрики.

Комментарии

Использование log_row создает табличную метрику со столбцами, как описано в kwargs. Каждый именованный параметр создает столбец со указанным значением. log_row можно вызывать один раз, чтобы записать произвольный кортеж или несколько раз в цикле, чтобы создать полную таблицу.


   citrus = ['orange', 'lemon', 'lime']
   sizes = [ 10, 7, 3]
   for index in range(len(citrus)):
       run.log_row("citrus", fruit = citrus[index], size=sizes[index])

log_table

Зайдите в журнал метрики таблицы в выполнение с заданным именем.

log_table(name, value, description='')

Параметры

Имя Описание
name
Обязательно
str

Имя метрики.

value
Обязательно

Табличное значение метрики— словарь, в котором ключи являются столбцами, которые должны быть размещены в службе.

description
Обязательно
str

Необязательное описание метрик.

register_model

Зарегистрируйте модель для ввода в эксплуатацию.

register_model(model_name, model_path=None, tags=None, properties=None, model_framework=None, model_framework_version=None, description=None, datasets=None, sample_input_dataset=None, sample_output_dataset=None, resource_configuration=None, **kwargs)

Параметры

Имя Описание
model_name
Обязательно
str

Имя модели.

model_path
str

Относительный облачный путь к модели, например "outputs/modelname". Если не указано (Нет), model_name используется в качестве пути.

Default value: None
tags

Словарь тегов значений ключа для назначения модели.

Default value: None
properties

Словарь свойств значений ключа для назначения модели. Эти свойства нельзя изменить после создания модели, однако можно добавить новые пары значений ключей.

Default value: None
model_framework
str

Платформа модели для регистрации. В настоящее время поддерживаются платформы TensorFlow, ScikitLearn, Onnx, Custom, Multi

Default value: None
model_framework_version
str

Версия платформы зарегистрированной модели.

Default value: None
description
str

Необязательное описание модели.

Default value: None
datasets

Список кортежей, в которых первый элемент описывает отношение модели набора данных, а второй — набор данных.

Default value: None
sample_input_dataset

Необязательно. Пример входного набора данных для зарегистрированной модели

Default value: None
sample_output_dataset

Необязательно. Пример выходного набора данных для зарегистрированной модели

Default value: None
resource_configuration

Необязательно. Конфигурация ресурсов для запуска зарегистрированной модели

Default value: None
kwargs
Обязательно

Необязательные параметры.

Возвращаемое значение

Тип Описание

Зарегистрированная модель.

Комментарии


   model = best_run.register_model(model_name = 'best_model', model_path = 'outputs/model.pkl')

remove_tags

Удалите список изменяемых тегов в этом запуске.

remove_tags(tags)

Параметры

Имя Описание
tags
Обязательно

Список тегов для удаления.

Возвращаемое значение

Тип Описание

Теги, хранящиеся в объекте выполнения

restore_snapshot

Восстановление моментального снимка в виде ZIP-файла. Возвращает путь к ZIP-файлу.

restore_snapshot(snapshot_id=None, path=None)

Параметры

Имя Описание
snapshot_id
str

Идентификатор моментального снимка для восстановления. Последнее используется, если не указано.

Default value: None
path
str

Путь, в котором сохранен скачанный ZIP-файл.

Default value: None

Возвращаемое значение

Тип Описание
str

Путь.

set_tags

Добавьте или измените набор тегов в выполнении. Теги, которые не передаются в словаре, остаются неуправляемыми.

Можно также добавлять простые строковые теги. Если эти теги отображаются в словаре тегов в виде ключей, они имеют значение None. Дополнительные сведения см. в разделе "Тег" и "Поиск запусков".

set_tags(tags)

Параметры

Имя Описание
tags
Обязательно
dict[str] или str

Теги, хранящиеся в объекте выполнения.

start

Пометьте запуск как запущенный.

Обычно это используется в сложных сценариях при создании запуска другим субъектом.

start()

submit_child

Отправьте эксперимент и верните активный дочерний запуск.

submit_child(config, tags=None, **kwargs)

Параметры

Имя Описание
config
Обязательно

Отправляемая конфигурация.

tags

Теги, добавляемые в отправленное выполнение, например {"tag": "value"}.

Default value: None
kwargs
Обязательно

Дополнительные параметры, используемые в функции отправки для конфигураций.

Возвращаемое значение

Тип Описание
Run

Объект выполнения.

Комментарии

Отправка — это асинхронный вызов платформы машинного обучения Azure для выполнения пробной версии на локальном или удаленном оборудовании. В зависимости от конфигурации отправка автоматически подготавливает среды выполнения, выполняет код и записывает исходный код и результаты в журнал выполнения эксперимента.

Чтобы отправить эксперимент, сначала необходимо создать объект конфигурации, описывающий запуск эксперимента. Конфигурация зависит от типа пробной версии.

Пример отправки дочернего эксперимента с локального компьютера ScriptRunConfig следующим образом:


   from azureml.core import ScriptRunConfig

   # run a trial from the train.py code in your current directory
   config = ScriptRunConfig(source_directory='.', script='train.py',
       run_config=RunConfiguration())
   run = parent_run.submit_child(config)

   # get the url to view the progress of the experiment and then wait
   # until the trial is complete
   print(run.get_portal_url())
   run.wait_for_completion()

Дополнительные сведения о настройке запуска см. в статье submit.

tag

Пометьте выполнение строковым ключом и необязательным строковым значением.

tag(key, value=None)

Параметры

Имя Описание
key
Обязательно
str

Ключ тега

value
str

Необязательное значение для тега

Default value: None

Комментарии

Теги и свойства в выполнении — это оба словаря строковой> строки. Разница между ними заключается в том, что теги можно задавать, обновлять и удалять, а свойства можно добавлять только. Это делает свойства более подходящими для триггеров поведения, связанных с системой или рабочим процессом, в то время как теги обычно сталкиваются с пользователем и значимы для потребителей эксперимента.


   run = experiment.start_logging()
   run.tag('DeploymentCandidate')
   run.tag('modifiedBy', 'Master CI')
   run.tag('modifiedBy', 'release pipeline') # Careful, tags are mutable

   run.add_properties({'BuildId': os.environ.get('VSTS_BUILD_ID')}) # Properties are not

   tags = run.get_tags()
   # tags = { 'DeploymentCandidate': None, 'modifiedBy': 'release pipeline' }

take_snapshot

Сохраните моментальный снимок входного файла или папки.

take_snapshot(file_or_folder_path)

Параметры

Имя Описание
file_or_folder_path
Обязательно
str

Файл или папка, содержащая исходный код запуска.

Возвращаемое значение

Тип Описание
str

Возвращает идентификатор моментального снимка.

Комментарии

Моментальные снимки предназначены для исходного кода , используемого для выполнения эксперимента. Они хранятся вместе с запуском, чтобы пробная версия была реплицирована в будущем.

Замечание

Моментальные снимки автоматически принимаются при submit вызове. Как правило, этот метод take_snapshot требуется только для интерактивных (записных книжек).

upload_file

Отправьте файл в запись выполнения.

upload_file(name, path_or_stream, datastore_name=None)

Параметры

Имя Описание
name
Обязательно
str

Имя файла для отправки.

path_or_stream
Обязательно
str

Относительный локальный путь или поток для отправки файла.

datastore_name
Обязательно
str

Необязательное имя хранилища данных

Возвращаемое значение

Тип Описание

Комментарии


   run = experiment.start_logging()
   run.upload_file(name='important_file', path_or_stream="path/on/disk/file.txt")

Замечание

Выполняется автоматический захват файла в указанном выходном каталоге, который по умолчанию используется для ./outputs для большинства типов выполнения. Используйте upload_file только в том случае, если необходимо отправить дополнительные файлы или выходной каталог не указан.

upload_files

Отправьте файлы в запись выполнения.

upload_files(names, paths, return_artifacts=False, timeout_seconds=None, datastore_name=None)

Параметры

Имя Описание
names
Обязательно

Имена файлов для отправки. Если задано, путь также должен быть задан.

paths
Обязательно

Относительные локальные пути к файлам для отправки. Если задано значение, имена требуются.

return_artifacts
Обязательно

Указывает, что объект артефакта должен быть возвращен для каждого отправленного файла.

timeout_seconds
Обязательно
int

Время ожидания отправки файлов.

datastore_name
Обязательно
str

Необязательное имя хранилища данных

Комментарии

upload_files имеет то же влияние, что upload_file и на отдельные файлы, однако при использовании используются преимущества производительности и использования upload_filesресурсов.


   import os

   run = experiment.start_logging()
   file_name_1 = 'important_file_1'
   file_name_2 = 'important_file_2'
   run.upload_files(names=[file_name_1, file_name_2],
                       paths=['path/on/disk/file_1.txt', 'other/path/on/disk/file_2.txt'])

   run.download_file(file_name_1, 'file_1.txt')

   os.mkdir("path")  # The path must exist
   run.download_file(file_name_2, 'path/file_2.txt')

Замечание

Выполняет автоматические записи файлов в указанном выходном каталоге, который по умолчанию используется для ./outputs для большинства типов выполнения. Используйте upload_files только в том случае, если необходимо отправить дополнительные файлы или выходной каталог не указан.

upload_folder

Отправьте указанную папку в заданное имя префикса.

upload_folder(name, path, datastore_name=None)

Параметры

Имя Описание
name
Обязательно
str

Имя папки файлов для отправки.

folder
Обязательно
str

Относительный локальный путь к папке для отправки.

datastore_name
Обязательно
str

Необязательное имя хранилища данных

Комментарии


   run = experiment.start_logging()
   run.upload_folder(name='important_files', path='path/on/disk')

   run.download_file('important_files/existing_file.txt', 'local_file.txt')

Замечание

Выполняет автоматические записи файлов в указанном выходном каталоге, который по умолчанию используется для ./outputs для большинства типов выполнения. Используйте upload_folder только в том случае, если необходимо отправить дополнительные файлы или выходной каталог не указан.

wait_for_completion

Дождитесь завершения этого запуска. Возвращает объект состояния после ожидания.

wait_for_completion(show_output=False, wait_post_processing=False, raise_on_error=True)

Параметры

Имя Описание
show_output

Указывает, следует ли отображать выходные данные выполнения в sys.stdout.

Default value: False
wait_post_processing

Указывает, следует ли ожидать завершения последующей обработки после завершения выполнения.

Default value: False
raise_on_error

Указывает, возникает ли ошибка при сбое выполнения.

Default value: True

Возвращаемое значение

Тип Описание

Объект состояния.

Атрибуты

description

Возвращает описание выполнения.

Необязательное описание выполнения — это указанная пользователем строка, полезная для описания выполнения.

Возвращаемое значение

Тип Описание
str

Описание выполнения.

display_name

Возвращает отображаемое имя выполнения.

Необязательное отображаемое имя запуска — это указанная пользователем строка, полезная для последующей идентификации выполнения.

Возвращаемое значение

Тип Описание
str

Отображаемое имя запуска.

experiment

Получите эксперимент, содержащий запуск.

Возвращаемое значение

Тип Описание

Извлекает эксперимент, соответствующий выполнению.

id

Получение идентификатора выполнения.

Идентификатор выполнения — это уникальный идентификатор в содержаемом эксперименте.

Возвращаемое значение

Тип Описание
str

Идентификатор выполнения.

name

УСТАРЕВШИЕ. Используйте display_name.

Необязательный имя запуска — это указанная пользователем строка, полезная для последующей идентификации выполнения.

Возвращаемое значение

Тип Описание
str

Идентификатор выполнения.

number

Получение номера выполнения.

Монотонно увеличивающееся число, представляющее порядок выполнения в эксперименте.

Возвращаемое значение

Тип Описание
int

Номер выполнения.

parent

Получите родительский запуск для этого запуска из службы.

Запуски могут иметь необязательный родительский объект, что приводит к потенциальной иерархии деревьев запусков. Чтобы записать метрики в родительский запуск, используйте log метод родительского объекта, например run.parent.log().

Возвращаемое значение

Тип Описание
Run

Родительский запуск или Нет, если он не задан.

properties

Возвращает неизменяемые свойства этого запуска.

Возвращаемое значение

Тип Описание
dict[str],
str

Локально кэшированные свойства выполнения.

Комментарии

К свойствам относятся неизменяемые системные сведения, такие как длительность, дата выполнения, пользователь и т. д.

status

Возвращает состояние объекта запуска.

tags

Возвращает набор изменяемых тегов в этом запуске.

Возвращаемое значение

Тип Описание

Теги, хранящиеся в объекте выполнения.

type

Получение типа выполнения.

Указывает, как был создан или настроен запуск.

Возвращаемое значение

Тип Описание
str

Тип выполнения.