Run Класс
Определяет базовый класс для всех запусков эксперимента машинного обучения Azure.
Выполнение представляет собой одну пробную версию эксперимента. Запуски используются для мониторинга асинхронного выполнения пробной версии, метрик журнала и хранения выходных данных пробной версии, а также для анализа результатов и доступа к артефактам, созданным пробной версией.
Объекты запуска создаются при отправке скрипта для обучения модели во многих различных сценариях машинного обучения Azure, включая запуски HyperDrive, запуски конвейера и запуски AutoML. Объект Run также создается при использовании submit класса или start_logging с Experiment ним.
Сведения о начале работы с экспериментами и запусками см. в статье
Инициализация объекта Run.
Конструктор
Run(experiment, run_id, outputs=None, **kwargs)
Параметры
| Имя | Описание |
|---|---|
|
experiment
Обязательно
|
Содержащийся эксперимент. |
|
run_id
Обязательно
|
Идентификатор запуска. |
|
outputs
|
Отслеживаемые выходные данные. Default value: None
|
|
_run_dto
Обязательно
|
<xref:azureml._restclient.models.run_dto.RunDto>
Только для внутреннего применения. |
|
kwargs
Обязательно
|
Словарь дополнительных параметров конфигурации. |
|
experiment
Обязательно
|
Содержащийся эксперимент. |
|
run_id
Обязательно
|
Идентификатор запуска. |
|
outputs
Обязательно
|
Отслеживаемые выходные данные. |
|
kwargs
Обязательно
|
Словарь дополнительных параметров конфигурации. |
Комментарии
Выполнение представляет собой одну пробную версию эксперимента. Объект Run используется для мониторинга асинхронного выполнения пробной версии, метрик журнала и хранения выходных данных пробной версии, а также для анализа результатов и доступа к артефактам, созданным пробной версией.
Выполнение используется внутри кода экспериментирования для записи метрик и артефактов в службу журнала выполнения.
Выполнение используется за пределами экспериментов для отслеживания хода выполнения и запроса и анализа метрик и результатов, созданных.
Функциональные возможности запуска включают:
Хранение и получение метрик и данных
Отправка и скачивание файлов
Использование тегов, а также дочерней иерархии для простого поиска прошлых запусков
Регистрация хранимых файлов модели в качестве модели, которая может быть введена в эксплуатацию
Хранение, изменение и получение свойств запуска
Загрузка текущего запуска из удаленной среды с get_context помощью метода
Эффективное создание моментального снимка файла или каталога для воспроизведения
Этот класс работает с Experiment этими сценариями:
Создание запуска путем выполнения кода с помощью submit
Создание интерактивного запуска в записной книжке с помощью start_logging
Ведение журнала метрик и отправка артефактов в эксперименте, например при использовании log
Чтение метрик и скачивание артефактов при анализе экспериментальных результатов, например при использовании get_metrics
Чтобы отправить запуск, создайте объект конфигурации, описывающий выполнение эксперимента. Ниже приведены примеры различных объектов конфигурации, которые можно использовать:
azureml.train.automl.automlconfig.AutoMLConfig
azureml.train.hyperdrive.HyperDriveConfig
azureml.pipeline.core.Pipeline
azureml.pipeline.core.PublishedPipeline
azureml.pipeline.core.PipelineEndpoint
Следующие метрики можно добавить в выполнение во время обучения эксперимента.
Скаляр
Зайдите в журнал числовое или строковое значение для выполнения с заданным именем.log Ведение журнала метрик в ходе выполнения приводит к тому, что метрика будет сохранена в записи выполнения эксперимента. Вы можете регистрировать одну и ту же метрику несколько раз в ходе выполнения, то результат считается вектором этой метрики.
Пример:
run.log("accuracy", 0.95)
Список
Зайдите в список значений для выполнения с заданным именем с помощью log_list.
Пример:
run.log_list("accuracies", [0.6, 0.7, 0.87])
Строка
Использование log_row создает метрику с несколькими столбцами, как описано в
kwargsописании. Каждый именованный параметр создает столбец со указанным значением.log_rowможно вызывать один раз, чтобы записать произвольный кортеж или несколько раз в цикле, чтобы создать полную таблицу.Пример:
run.log_row("Y over X", x=1, y=0.4)
Таблица
Зайдите в журнал объекта словаря в выполнение с заданным именем с помощью log_table.
Пример:
run.log_table("Y over X", {"x":[1, 2, 3], "y":[0.6, 0.7, 0.89]})
Изображение
Запишите образ в запись выполнения. Используется log_image для записи файла изображения или диаграммы matplotlib в выполнение. Эти изображения будут видимыми и сопоставимыми в записи выполнения.
Пример:
run.log_image("ROC", path)
Методы
| add_properties |
Добавьте в выполнение неизменяемые свойства. Теги и свойства (оба дикта[str, str]) отличаются в их мутируемости. Свойства являются неизменяемыми, поэтому они создают постоянную запись для целей аудита. Теги являются изменяемыми. Дополнительные сведения о работе с тегами и свойствами см. в разделе "Теги" и "Поиск запусков". |
| add_type_provider |
Перехватчик расширяемости для пользовательских типов запуска, хранящихся в журнале выполнения. |
| cancel |
Пометьте запуск как отмененный. Если есть связанное задание с полем набора cancel_uri, завершите это задание. |
| child_run |
Создайте дочерний запуск. |
| clean |
Удалите файлы, соответствующие текущему запуску в целевом объекте, указанном в конфигурации запуска. |
| complete |
Дождитесь обработки очереди задач. Затем выполнение помечается как завершенное. Обычно это используется в сценариях интерактивной записной книжки. |
| create_children |
Создайте один или несколько дочерних запусков. |
| download_file |
Скачайте связанный файл из хранилища. |
| download_files |
Скачайте файлы из заданного префикса хранилища (имя папки) или весь контейнер, если префикс не указан. |
| fail |
Помечайте выполнение как неудачное. При необходимости задайте свойство Error запуска с сообщением или исключением, переданным |
| flush |
Дождитесь обработки очереди задач. |
| get |
Получите запуск для этой рабочей области с его идентификатором выполнения. |
| get_all_logs |
Скачайте все журналы для запуска в каталог. |
| get_children |
Получение всех дочерних элементов для текущего запуска, выбранного указанными фильтрами. |
| get_context |
Возвращает текущий контекст службы. Используйте этот метод для получения текущего контекста службы для метрики ведения журнала и отправки файлов. Если |
| get_detailed_status |
Получите последнее состояние выполнения. Если состояние запуска имеет значение Queued, отобразится сведения. |
| get_details |
Получите определение, сведения о состоянии, текущие файлы журнала и другие сведения о выполнении. |
| get_details_with_logs |
Возвращает состояние выполнения, включая содержимое файла журнала. |
| get_environment |
Получите определение среды, используемое этим запуском. |
| get_file_names |
Вывод списка файлов, хранящихся в связи с выполнением. |
| get_metrics |
Получите метрики, зарегистрированные в выполнение. Значение |
| get_properties |
Получение последних свойств запуска из службы. |
| get_secret |
Получите значение секрета из контекста выполнения. Получите значение секрета для указанного имени. Имя секрета ссылается на значение, хранящееся в Azure Key Vault, связанное с рабочей областью. Пример работы с секретами см. в статье "Использование секретов в учебных запусках". |
| get_secrets |
Получение значений секрета для заданного списка имен секретов. Получите словарь найденных и не найденных секретов для списка указанных имен. Каждое имя секрета ссылается на значение, хранящееся в Azure Key Vault, связанное с рабочей областью. Пример работы с секретами см. в статье "Использование секретов в учебных запусках". |
| get_snapshot_id |
Получите последний идентификатор моментального снимка. |
| get_status |
Получите последнее состояние выполнения. К общим значениям, возвращаемым, относятся "Выполнение", "Завершено" и "Сбой". |
| get_submitted_run |
УСТАРЕВШИЕ. Используйте get_context. Получите отправленный запуск для этого эксперимента. |
| get_tags |
Получите последний набор изменяемых тегов во время выполнения из службы. |
| list |
Получение списка запусков в эксперименте, заданного необязательными фильтрами. |
| list_by_compute |
Получение списка запусков в вычислительных ресурсах, указанных необязательными фильтрами. |
| log |
Зайдите в журнал значения метрики в выполнение с заданным именем. |
| log_accuracy_table |
Зайдите в таблицу точности в хранилище артефактов. Метрика таблицы точности — это многопользовательская, не скалярная метрика, которая может использоваться для создания нескольких типов графиков, которые постоянно различаются по пространству прогнозируемых вероятностей. Примерами этих диаграмм являются ROC, точность отзыва и кривые подъема. Вычисление таблицы точности аналогично вычислению кривой ROC. Кривая ROC сохраняет истинные положительные ставки и ложные положительные ставки во многих различных пороговых значениях вероятности. Таблица точности сохраняет необработанное число истинных положительных, ложных срабатываний, истинных отрицательных и ложных отрицательных значений во многих пороговых значениях вероятности. Для выбора пороговых значений используются два метода: "вероятность" и "процентиль". Они отличаются тем, как они выборки из пространства прогнозируемых вероятностей. Пороговые значения вероятности равномерно разделены между 0 и 1. Если NUM_POINTS равен 5 пороговым значениям вероятности будет [0.0, 0.25, 0.5, 0.75, 1.0]. Пороговые значения процентиля распределяются в соответствии с распределением прогнозируемых вероятностей. Каждое пороговое значение соответствует процентиле данных с пороговым значением вероятности. Например, если NUM_POINTS равен 5, то первый порог будет находиться на 0-м процентилье, второй на 25-м процентилье, третий в 50-м и т. д. Таблицы вероятностей и таблицы процентиля — это 3D-списки, в которых первое измерение представляет метку класса, второе измерение представляет выборку по одному порогу (масштабы с NUM_POINTS), а третье измерение всегда имеет 4 значения: TP, FP, TN, FN и всегда в этом порядке. Значения путаницы (TP, FP, TN, FN) вычисляются с помощью одной стратегии rest. Дополнительные сведения см. по следующей ссылке: https://en.wikipedia.org/wiki/Multiclass_classification N = # примеров в наборе данных проверки (200 в примере) M = # пороговые значения = # выборки, взятые из пространства вероятности (5 в примере) C = # классы в полном наборе данных (например, 3 в примере) Некоторые инварианты таблицы точности:
Примечание. M может быть любым значением и управлять разрешением диаграмм, это не зависит от набора данных, определяется при вычислении метрик, а также удаляет место хранения, время вычисления и разрешение. Метки классов должны быть строками, значения путаницы должны быть целыми числами, а пороговые значения должны быть с плавающей запятой. |
| log_confusion_matrix |
Зайдите в матрицу путаницы в хранилище артефактов. Это регистрирует оболочку вокруг матрицы смещений. Данные метрик содержат метки класса и список 2D для самой матрицы. Дополнительные сведения о вычислении метрики см. по следующей ссылке: https://scikit-learn.org/stable/modules/generated/sklearn.metrics.confusion_matrix.html |
| log_image |
Запишите метрику изображения в запись выполнения. |
| log_list |
Заведите список значений метрик в выполнение с заданным именем. |
| log_predictions |
Журнал прогнозов в хранилище артефактов. Это регистрирует оценку метрик, которую можно использовать для сравнения распределения истинных целевых значений с распределением прогнозируемых значений для задачи регрессии. Прогнозы бинируются и стандартные отклонения вычисляются для линейчатой диаграммы ошибок. |
| log_residuals |
Журнал остатков в хранилище артефактов. Это регистрирует данные, необходимые для отображения гистограммы остатков для задачи регрессии. Остаточные остатки прогнозируются - фактические. Должно быть несколько краев, чем число счетчиков. Ознакомьтесь с документацией по гистограмме числовых чисел и ребер для представления гистограммы. https://docs.scipy.org/doc/numpy/reference/generated/numpy.histogram.html |
| log_row |
Зайдите в журнал метрики строки в выполнение с заданным именем. |
| log_table |
Зайдите в журнал метрики таблицы в выполнение с заданным именем. |
| register_model |
Зарегистрируйте модель для ввода в эксплуатацию. |
| remove_tags |
Удалите список изменяемых тегов в этом запуске. |
| restore_snapshot |
Восстановление моментального снимка в виде ZIP-файла. Возвращает путь к ZIP-файлу. |
| set_tags |
Добавьте или измените набор тегов в выполнении. Теги, которые не передаются в словаре, остаются неуправляемыми. Можно также добавлять простые строковые теги. Если эти теги отображаются в словаре тегов в виде ключей, они имеют значение None. Дополнительные сведения см. в разделе "Тег" и "Поиск запусков". |
| start |
Пометьте запуск как запущенный. Обычно это используется в сложных сценариях при создании запуска другим субъектом. |
| submit_child |
Отправьте эксперимент и верните активный дочерний запуск. |
| tag |
Пометьте выполнение строковым ключом и необязательным строковым значением. |
| take_snapshot |
Сохраните моментальный снимок входного файла или папки. |
| upload_file |
Отправьте файл в запись выполнения. |
| upload_files |
Отправьте файлы в запись выполнения. |
| upload_folder |
Отправьте указанную папку в заданное имя префикса. |
| wait_for_completion |
Дождитесь завершения этого запуска. Возвращает объект состояния после ожидания. |
add_properties
Добавьте в выполнение неизменяемые свойства.
Теги и свойства (оба дикта[str, str]) отличаются в их мутируемости. Свойства являются неизменяемыми, поэтому они создают постоянную запись для целей аудита. Теги являются изменяемыми. Дополнительные сведения о работе с тегами и свойствами см. в разделе "Теги" и "Поиск запусков".
add_properties(properties)
Параметры
| Имя | Описание |
|---|---|
|
properties
Обязательно
|
Скрытые свойства, хранящиеся в объекте выполнения. |
add_type_provider
Перехватчик расширяемости для пользовательских типов запуска, хранящихся в журнале выполнения.
static add_type_provider(runtype, run_factory)
Параметры
| Имя | Описание |
|---|---|
|
runtype
Обязательно
|
Значение Run.type, для которого будет вызвана фабрика. Примеры включают hyperdrive или azureml.scriptrun, но могут быть расширены с помощью пользовательских типов. |
|
run_factory
Обязательно
|
<xref:function>
Функция с сигнатурой (Experiment, RunDto) —> выполнение, вызываемое при выполнении перечисления. |
cancel
Пометьте запуск как отмененный.
Если есть связанное задание с полем набора cancel_uri, завершите это задание.
cancel()
child_run
Создайте дочерний запуск.
child_run(name=None, run_id=None, outputs=None)
Параметры
| Имя | Описание |
|---|---|
|
name
|
Необязательное имя дочернего запуска, обычно указанное для элемента "part". Default value: None
|
|
run_id
|
Необязательный идентификатор выполнения для дочернего элемента, в противном случае он создается автоматически. Обычно этот параметр не задан. Default value: None
|
|
outputs
|
Необязательный каталог выходных данных для отслеживания дочернего элемента. Default value: None
|
Возвращаемое значение
| Тип | Описание |
|---|---|
|
Дочерний запуск. |
Комментарии
Используется для изоляции части подраздела. Это можно сделать для идентифицируемых "частей" запуска, которые интересны для разделения, или для записи независимых метрик во время взаимодействия подпроцесса.
Если для дочернего запуска задан выходной каталог, содержимое этого каталога будет отправлено в дочернюю запись выполнения при завершении дочернего файла.
clean
Удалите файлы, соответствующие текущему запуску в целевом объекте, указанном в конфигурации запуска.
clean()
Возвращаемое значение
| Тип | Описание |
|---|---|
|
Список удаленных файлов. |
complete
Дождитесь обработки очереди задач.
Затем выполнение помечается как завершенное. Обычно это используется в сценариях интерактивной записной книжки.
complete(_set_status=True)
Параметры
| Имя | Описание |
|---|---|
|
_set_status
|
Указывает, следует ли отправлять событие состояния для отслеживания. Default value: True
|
create_children
Создайте один или несколько дочерних запусков.
create_children(count=None, tag_key=None, tag_values=None)
Параметры
| Имя | Описание |
|---|---|
|
count
|
Дополнительное число дочерних элементов для создания. Default value: None
|
|
tag_key
|
Необязательный ключ для заполнения записи Тегов во всех созданных дочерних элементах. Default value: None
|
|
tag_Values
Обязательно
|
Необязательный список значений, которые будут сопоставляться с тегами[tag_key] для созданного списка запусков. |
|
tag_values
|
Default value: None
|
Возвращаемое значение
| Тип | Описание |
|---|---|
|
Список дочерних запусков. |
Комментарии
Необходимо указать параметр ИЛИ параметры counttag_key AND tag_values .
download_file
download_files
Скачайте файлы из заданного префикса хранилища (имя папки) или весь контейнер, если префикс не указан.
download_files(prefix=None, output_directory=None, output_paths=None, batch_size=100, append_prefix=True, timeout_seconds=None)
Параметры
| Имя | Описание |
|---|---|
|
prefix
Обязательно
|
Префикс filepath в контейнере, из которого необходимо скачать все артефакты. |
|
output_directory
Обязательно
|
Необязательный каталог, который все пути артефактов используются в качестве префикса. |
|
output_paths
Обязательно
|
[str]
Необязательные пути к файлам, в которых хранятся скачанные артефакты. Должна быть уникальной и совпадать с длиной путей. |
|
batch_size
Обязательно
|
Количество файлов для скачивания на пакет. Значение по умолчанию — 100 файлов. |
|
append_prefix
Обязательно
|
Необязательный флаг, добавляемый указанный префикс из конечного пути к выходному файлу. Если значение False, префикс удаляется из пути к выходному файлу. |
|
timeout_seconds
Обязательно
|
Время ожидания загрузки файлов. |
fail
Помечайте выполнение как неудачное.
При необходимости задайте свойство Error запуска с сообщением или исключением, переданным error_detailsв .
fail(error_details=None, error_code=None, _set_status=True)
Параметры
| Имя | Описание |
|---|---|
|
error_details
|
str или
BaseException
Необязательные сведения об ошибке. Default value: None
|
|
error_code
|
Необязательный код ошибки для классификации ошибок. Default value: None
|
|
_set_status
|
Указывает, следует ли отправлять событие состояния для отслеживания. Default value: True
|
flush
Дождитесь обработки очереди задач.
flush(timeout_seconds=300)
Параметры
| Имя | Описание |
|---|---|
|
timeout_seconds
|
Сколько времени нужно ожидать (в секундах) для обработки очереди задач. Default value: 300
|
get
Получите запуск для этой рабочей области с его идентификатором выполнения.
static get(workspace, run_id)
Параметры
| Имя | Описание |
|---|---|
|
workspace
Обязательно
|
Содержащаяся рабочая область. |
|
run_id
Обязательно
|
Идентификатор выполнения. |
Возвращаемое значение
| Тип | Описание |
|---|---|
|
Отправленное выполнение. |
get_all_logs
Скачайте все журналы для запуска в каталог.
get_all_logs(destination=None)
Параметры
| Имя | Описание |
|---|---|
|
destination
|
Путь назначения для хранения журналов. Если не указано, в каталоге проекта создается каталог с именем run ID. Default value: None
|
Возвращаемое значение
| Тип | Описание |
|---|---|
|
Список имен скачанных журналов. |
get_children
Получение всех дочерних элементов для текущего запуска, выбранного указанными фильтрами.
get_children(recursive=False, tags=None, properties=None, type=None, status=None, _rehydrate_runs=True)
Параметры
| Имя | Описание |
|---|---|
|
recursive
|
Указывает, следует ли рекурсировать через всех потомков. Default value: False
|
|
tags
|
Если задано, возвращается совпадение с указанным тегом или {"tag": "value"}. Default value: None
|
|
properties
|
Если задано, возвращается соответствие указанного свойства или {"property": "value"}. Default value: None
|
|
type
|
Если задано, возвращает выполнение, соответствующее этому типу. Default value: None
|
|
status
|
Если задано, возвращается состояние с указанным "состоянием". Default value: None
|
|
_rehydrate_runs
|
Указывает, следует ли создать экземпляр запуска исходного типа или базового запуска. Default value: True
|
Возвращаемое значение
| Тип | Описание |
|---|---|
|
Список Run объектов. |
get_context
Возвращает текущий контекст службы.
Используйте этот метод для получения текущего контекста службы для метрики ведения журнала и отправки файлов. Если allow_offline задано значение True (по умолчанию), действия с объектом Run будут напечатаны в стандартном режиме.
get_context(allow_offline=True, used_for_context_manager=False, **kwargs)
Параметры
| Имя | Описание |
|---|---|
|
cls
Обязательно
|
Указывает метод класса. |
|
allow_offline
|
Разрешить контексту службы вернуться в автономный режим, чтобы скрипт обучения можно было протестировать локально без отправки задания с помощью пакета SDK. Значение true по умолчанию. Default value: True
|
|
kwargs
Обязательно
|
Словарь дополнительных параметров. |
|
used_for_context_manager
|
Default value: False
|
Возвращаемое значение
| Тип | Описание |
|---|---|
|
Отправленное выполнение. |
Комментарии
Эта функция обычно используется для получения объекта run, прошедшего проверку подлинности, внутри скрипта, который будет отправлен для выполнения с помощью experiment.submit(). Этот объект запуска — это контекст, прошедший проверку подлинности для взаимодействия со службами машинного обучения Azure, и концептуальным контейнером, в котором содержатся метрики, файлы (артефакты) и модели.
run = Run.get_context() # allow_offline=True by default, so can be run locally as well
...
run.log("Accuracy", 0.98)
run.log_row("Performance", epoch=e, error=err)
get_detailed_status
Получите последнее состояние выполнения. Если состояние запуска имеет значение Queued, отобразится сведения.
get_detailed_status()
Возвращаемое значение
| Тип | Описание |
|---|---|
|
Последнее состояние и сведения |
Комментарии
состояние: текущее состояние выполнения. То же значение, что и возвращаемое из get_status().
сведения: подробные сведения о текущем состоянии.
run = experiment.submit(config)
details = run.get_detailed_status()
# details = {
# 'status': 'Queued',
# 'details': 'Run requested 1 node(s). Run is in pending status.',
# }
get_details
Получите определение, сведения о состоянии, текущие файлы журнала и другие сведения о выполнении.
get_details()
Возвращаемое значение
| Тип | Описание |
|---|---|
|
Возврат сведений о выполнении |
Комментарии
Возвращенный словарь содержит следующие пары "ключ-значение".
runId: идентификатор этого запуска.
целевой объект
состояние: текущее состояние выполнения. То же значение, что и возвращаемое из get_status().
startTimeUtc: время UTC при запуске этого запуска в ISO8601.
endTimeUtc: время UTC завершения выполнения (завершено или не выполнено) в ISO8601.
Этот ключ не существует, если выполнение по-прежнему выполняется.
свойства: неизменяемые пары "ключ-значение", связанные с выполнением. Свойства по умолчанию включают идентификатор моментального снимка запуска и сведения о репозитории Git, из которого был создан запуск (при наличии). Дополнительные свойства можно добавить в выполнение с помощью add_properties.
inputDatasets: входные наборы данных, связанные с выполнением.
outputDatasets: выходные наборы данных, связанные с выполнением.
logFiles
submittedBy
run = experiment.start_logging()
details = run.get_details()
# details = {
# 'runId': '5c24aa28-6e4a-4572-96a0-fb522d26fe2d',
# 'target': 'sdk',
# 'status': 'Running',
# 'startTimeUtc': '2019-01-01T13:08:01.713777Z',
# 'endTimeUtc': '2019-01-01T17:15:65.986253Z',
# 'properties': {
# 'azureml.git.repository_uri': 'https://example.com/my/git/repo',
# 'azureml.git.branch': 'master',
# 'azureml.git.commit': '7dc972657c2168927a02c3bc2b161e0f370365d7',
# 'azureml.git.dirty': 'True',
# 'mlflow.source.git.repoURL': 'https://example.com/my/git/repo',
# 'mlflow.source.git.branch': 'master',
# 'mlflow.source.git.commit': '7dc972657c2168927a02c3bc2b161e0f370365d7',
# 'ContentSnapshotId': 'b4689489-ce2f-4db5-b6d7-6ad11e77079c'
# },
# 'inputDatasets': [{
# 'dataset': {'id': 'cdebf245-701d-4a68-8055-41f9cf44f298'},
# 'consumptionDetails': {
# 'type': 'RunInput',
# 'inputName': 'training-data',
# 'mechanism': 'Mount',
# 'pathOnCompute': '/mnt/datasets/train'
# }
# }],
# 'outputDatasets': [{
# 'dataset': {'id': 'd04e8a19-1caa-4b1f-b318-4cbff9af9615'},
# 'outputType': 'RunOutput',
# 'outputDetails': {
# 'outputName': 'training-result'
# }
# }],
# 'runDefinition': {},
# 'logFiles': {},
# 'submittedBy': 'Alan Turing'
# }
get_details_with_logs
Возвращает состояние выполнения, включая содержимое файла журнала.
get_details_with_logs()
Возвращаемое значение
| Тип | Описание |
|---|---|
|
Возвращает состояние выполнения с содержимым файла журнала. |
get_environment
Получите определение среды, используемое этим запуском.
get_environment()
Возвращаемое значение
| Тип | Описание |
|---|---|
|
Возвращает объект среды. |
get_file_names
get_metrics
Получите метрики, зарегистрированные в выполнение.
Значение recursive True (False по умолчанию), а затем извлекает метрики для выполнения в поддереве выполнения.
get_metrics(name=None, recursive=False, run_type=None, populate=False)
Параметры
| Имя | Описание |
|---|---|
|
name
|
Имя метрики. Default value: None
|
|
recursive
|
Указывает, следует ли рекурсировать через всех потомков. Default value: False
|
|
run_type
|
Default value: None
|
|
populate
|
Указывает, следует ли получить содержимое внешних данных, связанных с метрикой. Default value: False
|
Возвращаемое значение
| Тип | Описание |
|---|---|
|
Словарь, содержащий метрики пользователей. |
Комментарии
run = experiment.start_logging() # run id: 123
run.log("A", 1)
with run.child_run() as child: # run id: 456
child.log("A", 2)
metrics = run.get_metrics()
# metrics = { 'A': 1 }
metrics = run.get_metrics(recursive=True)
# metrics = { '123': { 'A': 1 }, '456': { 'A': 2 } } note key is runId
get_properties
Получение последних свойств запуска из службы.
get_properties()
Возвращаемое значение
| Тип | Описание |
|---|---|
|
Свойства выполнения. |
Комментарии
Свойства являются неизменяемыми системными сведениями, такими как длительность, дата выполнения, пользователь и настраиваемые свойства, добавленные с add_properties помощью метода. Дополнительные сведения см. в разделе "Тег" и "Поиск запусков".
При отправке задания в Машинное обучение Azure, если исходные файлы хранятся в локальном репозитории Git, сведения о репозитории хранятся в виде свойств. Эти свойства Git добавляются при создании запуска или вызове Experiment.submit. Дополнительные сведения о свойствах Git см. в интеграции Git для Машинного обучения Azure.
get_secret
Получите значение секрета из контекста выполнения.
Получите значение секрета для указанного имени. Имя секрета ссылается на значение, хранящееся в Azure Key Vault, связанное с рабочей областью. Пример работы с секретами см. в статье "Использование секретов в учебных запусках".
get_secret(name)
Параметры
| Имя | Описание |
|---|---|
|
name
Обязательно
|
Имя секрета, для которого возвращается секрет. |
Возвращаемое значение
| Тип | Описание |
|---|---|
|
Значение секрета. |
get_secrets
Получение значений секрета для заданного списка имен секретов.
Получите словарь найденных и не найденных секретов для списка указанных имен. Каждое имя секрета ссылается на значение, хранящееся в Azure Key Vault, связанное с рабочей областью. Пример работы с секретами см. в статье "Использование секретов в учебных запусках".
get_secrets(secrets)
Параметры
| Имя | Описание |
|---|---|
|
secrets
Обязательно
|
Список имен секретов, для которых возвращаются значения секретов. |
Возвращаемое значение
| Тип | Описание |
|---|---|
|
Возвращает словарь найденных и не найденных секретов. |
get_snapshot_id
Получите последний идентификатор моментального снимка.
get_snapshot_id()
Возвращаемое значение
| Тип | Описание |
|---|---|
|
Последний идентификатор моментального снимка. |
get_status
Получите последнее состояние выполнения.
К общим значениям, возвращаемым, относятся "Выполнение", "Завершено" и "Сбой".
get_status()
Возвращаемое значение
| Тип | Описание |
|---|---|
|
Последнее состояние. |
Комментарии
NotStarted — это временные объекты запуска на стороне клиента состояния перед отправкой облака.
Запуск начал обрабатываться в облаке. Вызывающий объект имеет идентификатор выполнения на этом этапе.
Подготовка — возвращается при создании вычислений по запросу для заданной отправки задания.
Подготовка — подготовленная среда выполнения:
Сборка образа docker
Настройка среды conda
В очереди — задание помещается в очередь в целевом объекте вычислений. Например, в BatchAI задание находится в состоянии очереди
ожидая готовности всех запрошенных узлов.
Выполнение — задание, запущенное в целевом объекте вычислений.
Завершение — код пользователя завершился, и выполнение выполняется на этапах после обработки.
CancelRequested . Отмена была запрошена для задания.
Завершено — выполнение успешно завершено. Это включает как пользовательский код, так и запуск
этапы после обработки.
Сбой — сбой выполнения. Обычно свойство Error во время выполнения предоставляет сведения о том, почему.
Отменено . Следует запросу на отмену и указывает, что выполнение теперь успешно отменено.
Не отвечая на запросы — для запусков с включенными пульсами, не было отправлено пульса.
run = experiment.submit(config)
while run.get_status() not in ['Completed', 'Failed']: # For example purposes only, not exhaustive
print('Run {} not in terminal state'.format(run.id))
time.sleep(10)
get_submitted_run
УСТАРЕВШИЕ. Используйте get_context.
Получите отправленный запуск для этого эксперимента.
get_submitted_run(**kwargs)
Возвращаемое значение
| Тип | Описание |
|---|---|
|
Отправленное выполнение. |
get_tags
Получите последний набор изменяемых тегов во время выполнения из службы.
get_tags()
Возвращаемое значение
| Тип | Описание |
|---|---|
|
Теги, хранящиеся в объекте выполнения. |
list
Получение списка запусков в эксперименте, заданного необязательными фильтрами.
static list(experiment, type=None, tags=None, properties=None, status=None, include_children=False, _rehydrate_runs=True)
Параметры
| Имя | Описание |
|---|---|
|
experiment
Обязательно
|
Содержащийся эксперимент. |
|
type
|
Если задано, возвращается соответствующий тип. Default value: None
|
|
tags
|
Если задано, возвращается совпадение с указанным тегом или {"tag": "value"}. Default value: None
|
|
properties
|
Если задано, возвращается соответствие указанного свойства или {"property": "value"}. Default value: None
|
|
status
|
Если задано, возвращается состояние с указанным "состоянием". Default value: None
|
|
include_children
|
Если задано значение true, получите все запуски, а не только те, которые выполняются на верхнем уровне. Default value: False
|
|
_rehydrate_runs
|
Если задано значение True (по умолчанию), будет использовать зарегистрированный поставщик для повторного создания объекта для этого типа вместо базового запуска. Default value: True
|
Возвращаемое значение
| Тип | Описание |
|---|---|
|
Список запусков. |
Комментарии
В следующем примере кода показаны некоторые способы использования list метода.
favorite_completed_runs = Run.list(experiment, status='Completed', tags='favorite')
all_distinct_runs = Run.list(experiment)
and_their_children = Run.list(experiment, include_children=True)
only_script_runs = Run.list(experiment, type=ScriptRun.RUN_TYPE)
list_by_compute
Получение списка запусков в вычислительных ресурсах, указанных необязательными фильтрами.
static list_by_compute(compute, type=None, tags=None, properties=None, status=None)
Параметры
| Имя | Описание |
|---|---|
|
compute
Обязательно
|
Содержащий вычислительные ресурсы. |
|
type
|
Если задано, возвращается соответствующий тип. Default value: None
|
|
tags
|
Если задано, возвращается совпадение с указанным тегом или {"tag": "value"}. Default value: None
|
|
properties
|
Если задано, возвращается соответствие указанного свойства или {"property": "value"}. Default value: None
|
|
status
|
Если задано, возвращается состояние с указанным "состоянием". Допустимыми значениями являются "Выполнение" и "Очередь". Default value: None
|
Возвращаемое значение
| Тип | Описание |
|---|---|
|
<xref:builtin.generator>
|
генератор ~_restclient.models.RunDto |
log
Зайдите в журнал значения метрики в выполнение с заданным именем.
log(name, value, description='', step=None)
Параметры
| Имя | Описание |
|---|---|
|
name
Обязательно
|
Имя метрики. |
|
value
Обязательно
|
Значение, которое будет размещено в службе. |
|
description
Обязательно
|
Необязательное описание метрик. |
|
step
|
Необязательная ось для указания порядка значений в метрии. Default value: None
|
Комментарии
Ведение журнала метрик в ходе выполнения приводит к тому, что метрика будет сохранена в записи выполнения эксперимента. Вы можете регистрировать одну и ту же метрику несколько раз в ходе выполнения, то результат считается вектором этой метрики. Если шаг указан для метрики, он должен быть указан для всех значений.
log_accuracy_table
Зайдите в таблицу точности в хранилище артефактов.
Метрика таблицы точности — это многопользовательская, не скалярная метрика, которая может использоваться для создания нескольких типов графиков, которые постоянно различаются по пространству прогнозируемых вероятностей. Примерами этих диаграмм являются ROC, точность отзыва и кривые подъема.
Вычисление таблицы точности аналогично вычислению кривой ROC. Кривая ROC сохраняет истинные положительные ставки и ложные положительные ставки во многих различных пороговых значениях вероятности. Таблица точности сохраняет необработанное число истинных положительных, ложных срабатываний, истинных отрицательных и ложных отрицательных значений во многих пороговых значениях вероятности.
Для выбора пороговых значений используются два метода: "вероятность" и "процентиль". Они отличаются тем, как они выборки из пространства прогнозируемых вероятностей.
Пороговые значения вероятности равномерно разделены между 0 и 1. Если NUM_POINTS равен 5 пороговым значениям вероятности будет [0.0, 0.25, 0.5, 0.75, 1.0].
Пороговые значения процентиля распределяются в соответствии с распределением прогнозируемых вероятностей. Каждое пороговое значение соответствует процентиле данных с пороговым значением вероятности. Например, если NUM_POINTS равен 5, то первый порог будет находиться на 0-м процентилье, второй на 25-м процентилье, третий в 50-м и т. д.
Таблицы вероятностей и таблицы процентиля — это 3D-списки, в которых первое измерение представляет метку класса, второе измерение представляет выборку по одному порогу (масштабы с NUM_POINTS), а третье измерение всегда имеет 4 значения: TP, FP, TN, FN и всегда в этом порядке.
Значения путаницы (TP, FP, TN, FN) вычисляются с помощью одной стратегии rest. Дополнительные сведения см. по следующей ссылке: https://en.wikipedia.org/wiki/Multiclass_classification
N = # примеров в наборе данных проверки (200 в примере) M = # пороговые значения = # выборки, взятые из пространства вероятности (5 в примере) C = # классы в полном наборе данных (например, 3 в примере)
Некоторые инварианты таблицы точности:
- TP + FP + TN + FN = N для всех пороговых значений для всех классов
- TP + FN совпадает со всеми порогами для любого класса
- TN + FP совпадает со всеми порогами для любого класса.
- Таблицы вероятностей и процентильные таблицы имеют фигуру [C, M, 4]
Примечание. M может быть любым значением и управлять разрешением диаграмм, это не зависит от набора данных, определяется при вычислении метрик, а также удаляет место хранения, время вычисления и разрешение.
Метки классов должны быть строками, значения путаницы должны быть целыми числами, а пороговые значения должны быть с плавающей запятой.
log_accuracy_table(name, value, description='')
Параметры
| Имя | Описание |
|---|---|
|
name
Обязательно
|
Имя таблицы точности. |
|
value
Обязательно
|
JSON, содержащий имя, версию и свойства данных. |
|
description
Обязательно
|
Необязательное описание метрик. |
Комментарии
Пример допустимого значения JSON:
{
"schema_type": "accuracy_table",
"schema_version": "1.0.1",
"data": {
"probability_tables": [
[
[82, 118, 0, 0],
[75, 31, 87, 7],
[66, 9, 109, 16],
[46, 2, 116, 36],
[0, 0, 118, 82]
],
[
[60, 140, 0, 0],
[56, 20, 120, 4],
[47, 4, 136, 13],
[28, 0, 140, 32],
[0, 0, 140, 60]
],
[
[58, 142, 0, 0],
[53, 29, 113, 5],
[40, 10, 132, 18],
[24, 1, 141, 34],
[0, 0, 142, 58]
]
],
"percentile_tables": [
[
[82, 118, 0, 0],
[82, 67, 51, 0],
[75, 26, 92, 7],
[48, 3, 115, 34],
[3, 0, 118, 79]
],
[
[60, 140, 0, 0],
[60, 89, 51, 0],
[60, 41, 99, 0],
[46, 5, 135, 14],
[3, 0, 140, 57]
],
[
[58, 142, 0, 0],
[56, 93, 49, 2],
[54, 47, 95, 4],
[41, 10, 132, 17],
[3, 0, 142, 55]
]
],
"probability_thresholds": [0.0, 0.25, 0.5, 0.75, 1.0],
"percentile_thresholds": [0.0, 0.01, 0.24, 0.98, 1.0],
"class_labels": ["0", "1", "2"]
}
}
log_confusion_matrix
Зайдите в матрицу путаницы в хранилище артефактов.
Это регистрирует оболочку вокруг матрицы смещений. Данные метрик содержат метки класса и список 2D для самой матрицы. Дополнительные сведения о вычислении метрики см. по следующей ссылке: https://scikit-learn.org/stable/modules/generated/sklearn.metrics.confusion_matrix.html
log_confusion_matrix(name, value, description='')
Параметры
| Имя | Описание |
|---|---|
|
name
Обязательно
|
Имя матрицы путаницы. |
|
value
Обязательно
|
JSON, содержащий имя, версию и свойства данных. |
|
description
Обязательно
|
Необязательное описание метрик. |
Комментарии
Пример допустимого значения JSON:
{
"schema_type": "confusion_matrix",
"schema_version": "1.0.0",
"data": {
"class_labels": ["0", "1", "2", "3"],
"matrix": [
[3, 0, 1, 0],
[0, 1, 0, 1],
[0, 0, 1, 0],
[0, 0, 0, 1]
]
}
}
log_image
Запишите метрику изображения в запись выполнения.
log_image(name, path=None, plot=None, description='')
Параметры
| Имя | Описание |
|---|---|
|
name
Обязательно
|
Имя метрики. |
|
path
Обязательно
|
Путь или поток изображения. |
|
plot
Обязательно
|
<xref:matplotlib.pyplot>
График для записи в виде изображения. |
|
description
Обязательно
|
Необязательное описание метрик. |
Комментарии
Используйте этот метод для записи файла изображения или диаграммы matplotlib в выполнение. Эти изображения будут видимыми и сопоставимыми в записи выполнения.
log_list
log_predictions
Журнал прогнозов в хранилище артефактов.
Это регистрирует оценку метрик, которую можно использовать для сравнения распределения истинных целевых значений с распределением прогнозируемых значений для задачи регрессии.
Прогнозы бинируются и стандартные отклонения вычисляются для линейчатой диаграммы ошибок.
log_predictions(name, value, description='')
Параметры
| Имя | Описание |
|---|---|
|
name
Обязательно
|
Имя прогнозов. |
|
value
Обязательно
|
JSON, содержащий имя, версию и свойства данных. |
|
description
Обязательно
|
Необязательное описание метрик. |
Комментарии
Пример допустимого значения JSON:
{
"schema_type": "predictions",
"schema_version": "1.0.0",
"data": {
"bin_averages": [0.25, 0.75],
"bin_errors": [0.013, 0.042],
"bin_counts": [56, 34],
"bin_edges": [0.0, 0.5, 1.0]
}
}
log_residuals
Журнал остатков в хранилище артефактов.
Это регистрирует данные, необходимые для отображения гистограммы остатков для задачи регрессии. Остаточные остатки прогнозируются - фактические.
Должно быть несколько краев, чем число счетчиков. Ознакомьтесь с документацией по гистограмме числовых чисел и ребер для представления гистограммы. https://docs.scipy.org/doc/numpy/reference/generated/numpy.histogram.html
log_residuals(name, value, description='')
Параметры
| Имя | Описание |
|---|---|
|
name
Обязательно
|
Имя остатков. |
|
value
Обязательно
|
JSON, содержащий имя, версию и свойства данных. |
|
description
Обязательно
|
Необязательное описание метрик. |
Комментарии
Пример допустимого значения JSON:
{
"schema_type": "residuals",
"schema_version": "1.0.0",
"data": {
"bin_edges": [50, 100, 200, 300, 350],
"bin_counts": [0.88, 20, 30, 50.99]
}
}
log_row
Зайдите в журнал метрики строки в выполнение с заданным именем.
log_row(name, description=None, **kwargs)
Параметры
| Имя | Описание |
|---|---|
|
name
Обязательно
|
Имя метрики. |
|
description
|
Необязательное описание метрик. Default value: None
|
|
kwargs
Обязательно
|
Словарь дополнительных параметров. В этом случае столбцы метрики. |
Комментарии
Использование log_row создает табличную метрику со столбцами, как описано в kwargs. Каждый именованный параметр создает столбец со указанным значением.
log_row можно вызывать один раз, чтобы записать произвольный кортеж или несколько раз в цикле, чтобы создать полную таблицу.
citrus = ['orange', 'lemon', 'lime']
sizes = [ 10, 7, 3]
for index in range(len(citrus)):
run.log_row("citrus", fruit = citrus[index], size=sizes[index])
log_table
Зайдите в журнал метрики таблицы в выполнение с заданным именем.
log_table(name, value, description='')
Параметры
| Имя | Описание |
|---|---|
|
name
Обязательно
|
Имя метрики. |
|
value
Обязательно
|
Табличное значение метрики— словарь, в котором ключи являются столбцами, которые должны быть размещены в службе. |
|
description
Обязательно
|
Необязательное описание метрик. |
register_model
Зарегистрируйте модель для ввода в эксплуатацию.
register_model(model_name, model_path=None, tags=None, properties=None, model_framework=None, model_framework_version=None, description=None, datasets=None, sample_input_dataset=None, sample_output_dataset=None, resource_configuration=None, **kwargs)
Параметры
| Имя | Описание |
|---|---|
|
model_name
Обязательно
|
Имя модели. |
|
model_path
|
Относительный облачный путь к модели, например "outputs/modelname".
Если не указано (Нет), Default value: None
|
|
tags
|
Словарь тегов значений ключа для назначения модели. Default value: None
|
|
properties
|
Словарь свойств значений ключа для назначения модели. Эти свойства нельзя изменить после создания модели, однако можно добавить новые пары значений ключей. Default value: None
|
|
model_framework
|
Платформа модели для регистрации. В настоящее время поддерживаются платформы TensorFlow, ScikitLearn, Onnx, Custom, Multi Default value: None
|
|
model_framework_version
|
Версия платформы зарегистрированной модели. Default value: None
|
|
description
|
Необязательное описание модели. Default value: None
|
|
datasets
|
Список кортежей, в которых первый элемент описывает отношение модели набора данных, а второй — набор данных. Default value: None
|
|
sample_input_dataset
|
Необязательно. Пример входного набора данных для зарегистрированной модели Default value: None
|
|
sample_output_dataset
|
Необязательно. Пример выходного набора данных для зарегистрированной модели Default value: None
|
|
resource_configuration
|
Необязательно. Конфигурация ресурсов для запуска зарегистрированной модели Default value: None
|
|
kwargs
Обязательно
|
Необязательные параметры. |
Возвращаемое значение
| Тип | Описание |
|---|---|
|
Зарегистрированная модель. |
Комментарии
model = best_run.register_model(model_name = 'best_model', model_path = 'outputs/model.pkl')
remove_tags
Удалите список изменяемых тегов в этом запуске.
remove_tags(tags)
Параметры
| Имя | Описание |
|---|---|
|
tags
Обязательно
|
Список тегов для удаления. |
Возвращаемое значение
| Тип | Описание |
|---|---|
|
Теги, хранящиеся в объекте выполнения |
restore_snapshot
Восстановление моментального снимка в виде ZIP-файла. Возвращает путь к ZIP-файлу.
restore_snapshot(snapshot_id=None, path=None)
Параметры
| Имя | Описание |
|---|---|
|
snapshot_id
|
Идентификатор моментального снимка для восстановления. Последнее используется, если не указано. Default value: None
|
|
path
|
Путь, в котором сохранен скачанный ZIP-файл. Default value: None
|
Возвращаемое значение
| Тип | Описание |
|---|---|
|
Путь. |
set_tags
Добавьте или измените набор тегов в выполнении. Теги, которые не передаются в словаре, остаются неуправляемыми.
Можно также добавлять простые строковые теги. Если эти теги отображаются в словаре тегов в виде ключей, они имеют значение None. Дополнительные сведения см. в разделе "Тег" и "Поиск запусков".
set_tags(tags)
Параметры
| Имя | Описание |
|---|---|
|
tags
Обязательно
|
Теги, хранящиеся в объекте выполнения. |
start
Пометьте запуск как запущенный.
Обычно это используется в сложных сценариях при создании запуска другим субъектом.
start()
submit_child
Отправьте эксперимент и верните активный дочерний запуск.
submit_child(config, tags=None, **kwargs)
Параметры
| Имя | Описание |
|---|---|
|
config
Обязательно
|
Отправляемая конфигурация. |
|
tags
|
Теги, добавляемые в отправленное выполнение, например {"tag": "value"}. Default value: None
|
|
kwargs
Обязательно
|
Дополнительные параметры, используемые в функции отправки для конфигураций. |
Возвращаемое значение
| Тип | Описание |
|---|---|
|
Объект выполнения. |
Комментарии
Отправка — это асинхронный вызов платформы машинного обучения Azure для выполнения пробной версии на локальном или удаленном оборудовании. В зависимости от конфигурации отправка автоматически подготавливает среды выполнения, выполняет код и записывает исходный код и результаты в журнал выполнения эксперимента.
Чтобы отправить эксперимент, сначала необходимо создать объект конфигурации, описывающий запуск эксперимента. Конфигурация зависит от типа пробной версии.
Пример отправки дочернего эксперимента с локального компьютера ScriptRunConfig следующим образом:
from azureml.core import ScriptRunConfig
# run a trial from the train.py code in your current directory
config = ScriptRunConfig(source_directory='.', script='train.py',
run_config=RunConfiguration())
run = parent_run.submit_child(config)
# get the url to view the progress of the experiment and then wait
# until the trial is complete
print(run.get_portal_url())
run.wait_for_completion()
Дополнительные сведения о настройке запуска см. в статье submit.
tag
Пометьте выполнение строковым ключом и необязательным строковым значением.
tag(key, value=None)
Параметры
| Имя | Описание |
|---|---|
|
key
Обязательно
|
Ключ тега |
|
value
|
Необязательное значение для тега Default value: None
|
Комментарии
Теги и свойства в выполнении — это оба словаря строковой> строки. Разница между ними заключается в том, что теги можно задавать, обновлять и удалять, а свойства можно добавлять только. Это делает свойства более подходящими для триггеров поведения, связанных с системой или рабочим процессом, в то время как теги обычно сталкиваются с пользователем и значимы для потребителей эксперимента.
run = experiment.start_logging()
run.tag('DeploymentCandidate')
run.tag('modifiedBy', 'Master CI')
run.tag('modifiedBy', 'release pipeline') # Careful, tags are mutable
run.add_properties({'BuildId': os.environ.get('VSTS_BUILD_ID')}) # Properties are not
tags = run.get_tags()
# tags = { 'DeploymentCandidate': None, 'modifiedBy': 'release pipeline' }
take_snapshot
Сохраните моментальный снимок входного файла или папки.
take_snapshot(file_or_folder_path)
Параметры
| Имя | Описание |
|---|---|
|
file_or_folder_path
Обязательно
|
Файл или папка, содержащая исходный код запуска. |
Возвращаемое значение
| Тип | Описание |
|---|---|
|
Возвращает идентификатор моментального снимка. |
Комментарии
Моментальные снимки предназначены для исходного кода , используемого для выполнения эксперимента. Они хранятся вместе с запуском, чтобы пробная версия была реплицирована в будущем.
Замечание
Моментальные снимки автоматически принимаются при submit вызове. Как правило, этот метод take_snapshot требуется только для интерактивных (записных книжек).
upload_file
Отправьте файл в запись выполнения.
upload_file(name, path_or_stream, datastore_name=None)
Параметры
| Имя | Описание |
|---|---|
|
name
Обязательно
|
Имя файла для отправки. |
|
path_or_stream
Обязательно
|
Относительный локальный путь или поток для отправки файла. |
|
datastore_name
Обязательно
|
Необязательное имя хранилища данных |
Возвращаемое значение
| Тип | Описание |
|---|---|
Комментарии
run = experiment.start_logging()
run.upload_file(name='important_file', path_or_stream="path/on/disk/file.txt")
Замечание
Выполняется автоматический захват файла в указанном выходном каталоге, который по умолчанию используется для ./outputs для большинства типов выполнения. Используйте upload_file только в том случае, если необходимо отправить дополнительные файлы или выходной каталог не указан.
upload_files
Отправьте файлы в запись выполнения.
upload_files(names, paths, return_artifacts=False, timeout_seconds=None, datastore_name=None)
Параметры
| Имя | Описание |
|---|---|
|
names
Обязательно
|
Имена файлов для отправки. Если задано, путь также должен быть задан. |
|
paths
Обязательно
|
Относительные локальные пути к файлам для отправки. Если задано значение, имена требуются. |
|
return_artifacts
Обязательно
|
Указывает, что объект артефакта должен быть возвращен для каждого отправленного файла. |
|
timeout_seconds
Обязательно
|
Время ожидания отправки файлов. |
|
datastore_name
Обязательно
|
Необязательное имя хранилища данных |
Комментарии
upload_files имеет то же влияние, что upload_file и на отдельные файлы, однако при использовании используются преимущества производительности и использования upload_filesресурсов.
import os
run = experiment.start_logging()
file_name_1 = 'important_file_1'
file_name_2 = 'important_file_2'
run.upload_files(names=[file_name_1, file_name_2],
paths=['path/on/disk/file_1.txt', 'other/path/on/disk/file_2.txt'])
run.download_file(file_name_1, 'file_1.txt')
os.mkdir("path") # The path must exist
run.download_file(file_name_2, 'path/file_2.txt')
Замечание
Выполняет автоматические записи файлов в указанном выходном каталоге, который по умолчанию используется для ./outputs для большинства типов выполнения. Используйте upload_files только в том случае, если необходимо отправить дополнительные файлы или выходной каталог не указан.
upload_folder
Отправьте указанную папку в заданное имя префикса.
upload_folder(name, path, datastore_name=None)
Параметры
| Имя | Описание |
|---|---|
|
name
Обязательно
|
Имя папки файлов для отправки. |
|
folder
Обязательно
|
Относительный локальный путь к папке для отправки. |
|
datastore_name
Обязательно
|
Необязательное имя хранилища данных |
Комментарии
run = experiment.start_logging()
run.upload_folder(name='important_files', path='path/on/disk')
run.download_file('important_files/existing_file.txt', 'local_file.txt')
Замечание
Выполняет автоматические записи файлов в указанном выходном каталоге, который по умолчанию используется для ./outputs для большинства типов выполнения. Используйте upload_folder только в том случае, если необходимо отправить дополнительные файлы или выходной каталог не указан.
wait_for_completion
Дождитесь завершения этого запуска. Возвращает объект состояния после ожидания.
wait_for_completion(show_output=False, wait_post_processing=False, raise_on_error=True)
Параметры
| Имя | Описание |
|---|---|
|
show_output
|
Указывает, следует ли отображать выходные данные выполнения в sys.stdout. Default value: False
|
|
wait_post_processing
|
Указывает, следует ли ожидать завершения последующей обработки после завершения выполнения. Default value: False
|
|
raise_on_error
|
Указывает, возникает ли ошибка при сбое выполнения. Default value: True
|
Возвращаемое значение
| Тип | Описание |
|---|---|
|
Объект состояния. |
Атрибуты
description
Возвращает описание выполнения.
Необязательное описание выполнения — это указанная пользователем строка, полезная для описания выполнения.
Возвращаемое значение
| Тип | Описание |
|---|---|
|
Описание выполнения. |
display_name
Возвращает отображаемое имя выполнения.
Необязательное отображаемое имя запуска — это указанная пользователем строка, полезная для последующей идентификации выполнения.
Возвращаемое значение
| Тип | Описание |
|---|---|
|
Отображаемое имя запуска. |
experiment
Получите эксперимент, содержащий запуск.
Возвращаемое значение
| Тип | Описание |
|---|---|
|
Извлекает эксперимент, соответствующий выполнению. |
id
Получение идентификатора выполнения.
Идентификатор выполнения — это уникальный идентификатор в содержаемом эксперименте.
Возвращаемое значение
| Тип | Описание |
|---|---|
|
Идентификатор выполнения. |
name
УСТАРЕВШИЕ. Используйте display_name.
Необязательный имя запуска — это указанная пользователем строка, полезная для последующей идентификации выполнения.
Возвращаемое значение
| Тип | Описание |
|---|---|
|
Идентификатор выполнения. |
number
Получение номера выполнения.
Монотонно увеличивающееся число, представляющее порядок выполнения в эксперименте.
Возвращаемое значение
| Тип | Описание |
|---|---|
|
Номер выполнения. |
parent
Получите родительский запуск для этого запуска из службы.
Запуски могут иметь необязательный родительский объект, что приводит к потенциальной иерархии деревьев запусков. Чтобы записать метрики в родительский запуск, используйте log метод родительского объекта, например run.parent.log().
Возвращаемое значение
| Тип | Описание |
|---|---|
|
Родительский запуск или Нет, если он не задан. |
properties
status
Возвращает состояние объекта запуска.
tags
Возвращает набор изменяемых тегов в этом запуске.
Возвращаемое значение
| Тип | Описание |
|---|---|
|
Теги, хранящиеся в объекте выполнения. |
type
Получение типа выполнения.
Указывает, как был создан или настроен запуск.
Возвращаемое значение
| Тип | Описание |
|---|---|
|
Тип выполнения. |