Настройка модели с помощью уточнения параметров

Предпосылки

• Ознакомьтесь с руководством по настройке Azure OpenAI.
• Подписка Azure. Создайте его бесплатно.
• Ресурс Azure OpenAI. Дополнительные сведения см. в статье "Создание ресурса" и развертывание модели с помощью Azure OpenAI.
• Следующие библиотеки Python: os, json, requests. openai
• Библиотека OpenAI Python.
• Для доступа к тонкой настройке требуется специалист OpenAI Cognitive Services.
• Если у вас еще нет доступа к квоте для просмотра и развертывания моделей на портале Microsoft Foundry, вам потребуются дополнительные разрешения.

Поддерживаемые модели

Ознакомьтесь со страницей моделей, чтобы проверить, какие регионы в настоящее время поддерживают точную настройку.

Или вы можете точно настроить ранее настраиваемую модель, отформатированную как base-model.ft-{jobid}.

Просмотр рабочего процесса пакета SDK для Python

Ознакомьтесь с рабочим процессом точной настройки пакета SDK для Python с Azure OpenAI:

1. Подготовьте данные обучения и проверки.
2. Выберите базовую модель.
3. Отправьте данные обучения.
4. Обучите новую кастомизированную модель.
5. Проверьте состояние настраиваемой модели.
6. Разверните настраиваемую модель для использования.
7. Используйте настраиваемую модель.
8. Опционально проведите анализ вашей настраиваемой модели на производительность и соответствие.

Подготовьте данные для обучения и проверки

Обучающие данные и наборы данных проверки состоят из входных и выходных примеров того, как модель должна выполняться.

Используемые данные обучения и проверки должны быть отформатированы в виде документа JSON Lines (JSONL) и должны быть отформатированы в формате беседы, который используется API завершения чата .

Если вы хотите пошаговое руководство по настройке точной настройкиgpt-4o-mini-2024-07-18, ознакомьтесь с руководством по настройке Azure OpenAI.

Пример формата файла

{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who discovered Antarctica?"}, {"role": "assistant", "content": "Some chaps named Fabian Gottlieb von Bellingshausen and Mikhail Lazarev, as if they don't teach that in every school!"}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What is the biggest ocean?"}, {"role": "assistant", "content": "The Pacific Ocean. It's not like it's a small pond or anything."}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What is the largest planet?"}, {"role": "assistant", "content": "It's called Jupiter, you might have heard of it...or not."}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who painted the Mona Lisa?"}, {"role": "assistant", "content": "Oh, some obscure artist named Leonardo da Vinci. Not that he is famous or anything."}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What's the boiling point of water?"}, {"role": "assistant", "content": "Exciting fact of the day: it's 100 degrees Celsius. Life-changing, isn't it?"}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who wrote 'The Odyssey'?"}, {"role": "assistant", "content": "Oh, just some poet named Homer. Nothing special, really."}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What is the largest mammal?"}, {"role": "assistant", "content": "Blue Whale. Quite a big fish isn't it? Oh wait, it's not a fish!"}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What's the highest mountain peak?"}, {"role": "assistant", "content": "Everest. Brace yourself, it's not a walk in the park."}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who invented the telephone?"}, {"role": "assistant", "content": "A guy named Alexander Graham Bell. Bet you didn't guess that one!"}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What is the distance from Earth to the Sun?"}, {"role": "assistant", "content": "About 93 million miles. Just a quick drive, really."}]}

Формат файла многократного чата

Кроме того, поддерживается несколько поворотов беседы в одной строке файла обучения jsonl. Чтобы пропустить тонкую настройку для определенных сообщений помощника, добавьте пару необязательных weight значений ключа. weight В настоящее время можно задать значение 0 или 1.

{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What's the capital of France?"}, {"role": "assistant", "content": "Paris", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Paris, as if everyone doesn't know that already.", "weight": 1}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who wrote 'Romeo and Juliet'?"}, {"role": "assistant", "content": "William Shakespeare", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Oh, just some guy named William Shakespeare. Ever heard of him?", "weight": 1}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "How far is the Moon from Earth?"}, {"role": "assistant", "content": "384,400 kilometers", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Around 384,400 kilometers. Give or take a few, like that really matters.", "weight": 1}]}

Завершение чата с помощью визуального зрения

{"messages": [{"role": "user", "content": [{"type": "text", "text": "What's in this image?"}, {"type": "image_url", "image_url": {"url": "https://raw.githubusercontent.com/MicrosoftDocs/azure-ai-docs/main/articles/ai-services/openai/media/how-to/generated-seattle.png"}}]}, {"role": "assistant", "content": "The image appears to be a watercolor painting of a city skyline, featuring tall buildings and a recognizable structure often associated with Seattle, like the Space Needle. The artwork uses soft colors and brushstrokes to create a somewhat abstract and artistic representation of the cityscape."}]}

Помимо формата JSONL, файлы данных обучения и проверки должны быть закодированы в UTF-8 и включать метку порядка байтов (BOM). Размер файла должен быть меньше 512 МБ.

Создание наборов данных для обучения и проверки

Чем больше примеров обучения у вас есть, тем лучше. Задания тонкой настройки не будут продолжаться без по крайней мере 10 примеров обучения, но такое небольшое число недостаточно, чтобы заметно повлиять на ответы модели. Рекомендуется предоставить сотни, если не тысячи, примеры обучения, которые будут успешными.

Как правило, удвоение размера набора данных может привести к линейному увеличению качества модели. Но помните, что примеры низкого качества могут негативно повлиять на производительность. Если вы обучите модель на большом объеме внутренних данных, без предварительной очистки набора данных для самых качественных примеров, вы можете в конечном итоге получить модель, которая работает гораздо хуже, чем ожидалось.

Отправка обучающих данных

Следующим шагом является выбор существующих подготовленных обучающих данных или отправка новых подготовленных обучающих данных для использования при настройке модели. После подготовки обучающих данных вы можете передать файлы в службу. Существует два способа отправки обучающих данных:

• Из локального файла
• Импорт из облачного хранилища Azure или другого веб-местоположения

Для больших файлов данных рекомендуется импортировать из хранилища BLOB-объектов Azure. Большие файлы могут работать нестабильно при отправке через многокомпонентные формы, так как запросы являются атомарными, и их невозможно повторить или возобновить. Дополнительные сведения о хранилище BLOB-объектов Azure см. в статье "Что такое хранилище BLOB-объектов Azure"?

В следующем примере Python отправляются локальные файлы обучения и проверки с помощью пакета SDK для Python и извлекаются идентификаторы возвращенных файлов.

import os
from openai import OpenAI

# Load the OpenAI client
client = OpenAI(
  api_key = os.getenv("AZURE_OPENAI_API_KEY"),  
  base_url="https://YOUR-RESOURCE-NAME.openai.azure.com/openai/v1/"
)

# Upload the training and validation dataset files to Microsoft Foundry with the SDK.
training_file_name = 'training_set.jsonl'
validation_file_name = 'validation_set.jsonl'

training_response = client.files.create(file=open(training_file_name, "rb"), purpose="fine-tune")
validation_response = client.files.create(file=open(validation_file_name, "rb"), purpose="fine-tune")
training_file_id = training_response.id
validation_file_id = validation_response.id

print("Training file ID:", training_file_id)
print("Validation file ID:", validation_file_id)

Создание настраиваемой модели

После загрузки файлов для обучения и проверки вы можете начать процесс тонкой настройки.

В следующем примере кода на Python показано, как создать новую задачу настройки с помощью Python SDK.

response = client.fine_tuning.jobs.create(
    training_file=training_file_id,
    validation_file=validation_file_id,
    model="gpt-4.1-2025-04-14", # Enter base model name.
    suffix="my-model", # Custom suffix for naming the resulting model. Note that in Microsoft Foundry the model cannot contain dot/period characters.
    seed=105, # Seed parameter controls reproducibility of the fine-tuning job. If no seed is specified one will be generated automatically.
    extra_body={ "trainingType": "GlobalStandard" } # Change this to your preferred training type. Other options are `Standard` and `Developer`.
)

job_id = response.id

# You can use the job ID to monitor the status of the fine-tuning job.
# The fine-tuning job will take some time to start and complete.

print("Job ID:", response.id)
print(response.model_dump_json(indent=2))

Кроме того, можно передать дополнительные необязательные параметры, такие как гиперпараметры, чтобы получить более широкий контроль над процессом тонкой настройки. Для начального обучения рекомендуется использовать автоматические значения по умолчанию, которые присутствуют без указания этих параметров.

Текущие поддерживаемые гиперпараметры для контролируемой точной настройки:

Чтобы задать пользовательские гиперпараметры в версии 1.x OpenAI Python API, предоставьте их в составе method:

client.fine_tuning.jobs.create(
  training_file="file-abc123", 
  model="gpt-4.1-2025-04-14",
  suffix="my-model",
  seed=105,
  method={
    "type": "supervised", # In this case, the job will be using Supervised Fine Tuning.
    "supervised": {
      "hyperparameters": {
        "n_epochs": 2
      }
    }
  },
  extra_body={ "trainingType": "GlobalStandard" }
)

Проверьте статус задания по точной настройке

response = client.fine_tuning.jobs.retrieve(job_id)

print("Job ID:", response.id)
print("Status:", response.status)
print(response.model_dump_json(indent=2))

Список событий настройки параметров

Чтобы изучить отдельные события тонкой настройки, которые были созданы во время обучения, вам может понадобиться обновить клиентскую библиотеку OpenAI до последней версии. После этого можно выполнить эту команду с помощью pip install openai --upgrade.

response = client.fine_tuning.jobs.list_events(fine_tuning_job_id=job_id, limit=10)
print(response.model_dump_json(indent=2))

Контрольные точки

При завершении каждой эпохи обучения создается контрольная точка. Контрольная точка — это полностью функциональная версия модели, которую можно развернуть и использовать в качестве целевой модели для последующих заданий точной настройки. Контрольные точки могут быть особенно полезными, так как они могут предоставлять моментальные снимки до переобучения. Когда задание точной настройки завершится, у вас будут три последние версии модели, доступные для развертывания. Последняя эпоха будет представлена вашей тонкой моделью, предыдущие две эпохи будут доступны в качестве контрольных точек.

Чтобы получить список контрольных точек, связанных с конкретным заданием точной настройки, можно выполнить команду list checkpoints. Для выполнения этой команды может потребоваться обновить клиентную библиотеку OpenAI до последней версии pip install openai --upgrade .

response = client.fine_tuning.jobs.checkpoints.list(job_id)
print(response.model_dump_json(indent=2))

Анализ настраиваемой модели

Azure OpenAI присоединяет файл результатов с именем results.csv к каждому заданию точной настройки после завершения. Вы можете использовать файл результатов для анализа производительности обучения и проверки настраиваемой модели. Идентификатор файла результата указан для каждой настраиваемой модели, и вы можете использовать пакет SDK Для Python для получения идентификатора файла и скачивания файла результатов для анализа.

В следующем примере Python извлекается идентификатор файла первого файла результатов, присоединенного к заданию тонкой настройки для настраиваемой модели, а затем используется пакет SDK Python для скачивания файла в текущий рабочий каталог для анализа.

# Retrieve the file ID of the first result file from the fine-tuning job
# for the customized model.
response = client.fine_tuning.jobs.retrieve(job_id)
if response.status == 'succeeded':
    result_file_id = response.result_files[0]

retrieve = client.files.retrieve(result_file_id)

# Download the result file.
print(f'Downloading result file: {result_file_id}')

with open(retrieve.filename, "wb") as file:
    result = client.files.content(result_file_id).read()
    file.write(result)

Результатом будет CSV-файл, содержащий строку заголовка и строку для каждого шага обучения, выполняемого в процессе тонкой настройки. Результирующий файл содержит следующие столбцы:

Вы также можете просмотреть данные в файле results.csv как графики на портале Microsoft Foundry. Выберите ссылку для обученной модели, и вы увидите три диаграммы: ошибка, средняя точность токена и точность токена. Если вы предоставили данные проверки, оба набора данных будут отображаться на одном графике.

Ожидайте, что потеря будет уменьшаться со временем, а точность увеличиваться. Если вы видите расхождение между данными обучения и валидации, это может указывать на то, что вы переобучаетесь. Попробуйте обучение с меньшим количеством эпох или меньшим коэффициентом скорости обучения.

Разверните точно настроенную модель

Когда вы удовлетворены метриками из задания тонкой настройки или просто хотите перейти к предсказанию, необходимо развернуть модель.

Если вы развертываете для дальнейшей проверки, рассмотрите возможность развертывания для тестирования с помощью развертывания в среде разработчика.

В отличие от предыдущих команд ПАКЕТА SDK, развертывание должно выполняться с помощью API уровня управления, который требует отдельной авторизации, другого пути API и другой версии API.

import json
import os
import requests

token= os.getenv("<TOKEN>") 
subscription = "<YOUR_SUBSCRIPTION_ID>"  
resource_group = "<YOUR_RESOURCE_GROUP_NAME>"
resource_name = "<YOUR_AZURE_OPENAI_RESOURCE_NAME>"
model_deployment_name ="gpt-41-ft" # custom deployment name that you will use to reference the model when making inference calls.

deploy_params = {'api-version': "2024-10-01"} # control plane API version rather than dataplane API for this call 
deploy_headers = {'Authorization': 'Bearer {}'.format(token), 'Content-Type': 'application/json'}

deploy_data = {
    "sku": {"name": "standard", "capacity": 1}, 
    "properties": {
        "model": {
            "format": "OpenAI",
            "name": <"fine_tuned_model">, #retrieve this value from the previous call, it will look like gpt-4.1-2025-04-14.ft-b044a9d3cf9c4228b5d393567f693b83
            "version": "1"
        }
    }
}
deploy_data = json.dumps(deploy_data)

request_url = f'https://management.azure.com/subscriptions/{subscription}/resourceGroups/{resource_group}/providers/Microsoft.CognitiveServices/accounts/{resource_name}/deployments/{model_deployment_name}'

print('Creating a new deployment...')

r = requests.put(request_url, params=deploy_params, headers=deploy_headers, data=deploy_data)

print(r)
print(r.reason)
print(r.json())

Дополнительные сведения о развертывании между регионами и использовании развернутой модели см. здесь.

Если вы готовы к развертыванию в промышленной среде или у вас есть особые требования к размещению данных, следуйте нашему руководству по развертыванию.

Непрерывная настройка

После создания точно настроенной модели может потребоваться продолжить уточнение модели с течением времени с помощью дальнейшей тонкой настройки. Непрерывная итеративная настройка — это итеративный процесс выбора уже настраиваемой модели в качестве базовой модели и последующей настройки новых наборов примеров обучения.

Для точной настройки модели, которую вы ранее настроили, вы будете использовать тот же процесс, что и при создании настраиваемой модели , но вместо указания имени универсальной базовой модели можно указать идентификатор уже точно настроенной модели. Идентификатор точно настроенной модели выглядит следующим образом. gpt-4.1-2025-04-14.ft-5fd1918ee65d4cd38a5dcf6835066ed7

response = client.fine_tuning.jobs.create(
    training_file=training_file_id,
    validation_file=validation_file_id,
    model="gpt-4.1-2025-04-14.ft-5fd1918ee65d4cd38a5dcf6835066ed7"
)
job_id = response.id

# You can use the job ID to monitor the status of the fine-tuning job.
# The fine-tuning job will take some time to start and complete.

print("Job ID:", response.id)
print("Status:", response.id)
print(response.model_dump_json(indent=2))

Мы также рекомендуем включить suffix параметр, чтобы упростить различие между различными итерациями вашей точно настроенной модели. suffix принимает строку и используется для идентификации модели с тонкой настройкой. С помощью API Python OpenAI поддерживается строка до 18 символов, которые будут добавлены в имя настраиваемой модели.

Если вы не уверены в идентификаторе существующей точно настроенной модели, эти сведения можно найти на странице моделей Microsoft Foundry или создать список моделей для определенного ресурса Azure OpenAI с помощью REST API.

Очистка развертываний, настраиваемых моделей и файлов обучения

После завершения работы с настроенной моделью можно удалить развертывание и модель. При необходимости вы также можете удалить файлы обучения и проверки, отправленные в службу.

Удалите развертывание вашей модели

Вы можете использовать различные методы для удаления развертывания вашей настраиваемой модели.

• Microsoft Foundry
• Интерфейс командной строки Azure

Удаление настраиваемой модели

Аналогичным образом можно использовать различные методы для удаления настраиваемой модели:

• Microsoft Foundry

Удаление обучающих файлов

Кроме того, вы можете удалить файлы обучения и проверки, отправленные для обучения, и файлы результатов, созданные во время обучения, из подписки Azure OpenAI. Для удаления обучающих, проверки и результирующих файлов можно использовать следующие методы:

• Microsoft Foundry
• REST API
• Пакет SDK для Python

В следующем примере Python используется комплект разработки программного обеспечения (SDK) для удаления файлов обучения, проверки и результатов вашей настраиваемой модели.

print('Checking for existing uploaded files.')
results = []

# Get the complete list of uploaded files in our subscription.
files = openai.File.list().data
print(f'Found {len(files)} total uploaded files in the subscription.')

# Enumerate all uploaded files, extracting the file IDs for the
# files with file names that match your training dataset file and
# validation dataset file names.
for item in files:
    if item["filename"] in [training_file_name, validation_file_name, result_file_name]:
        results.append(item["id"])
print(f'Found {len(results)} already uploaded files that match our files')

# Enumerate the file IDs for our files and delete each file.
print(f'Deleting already uploaded files.')
for id in results:
    openai.File.delete(sid = id)

Предпосылки

• Изучите руководство AI Foundry о том, когда использовать настройки.
• Подписка Azure. Создайте его бесплатно.
• Ресурс проекта Ai Foundry. Войдите на портал Ai Foundry , чтобы создать его.
• Следующие библиотеки Python: os, json, requests, azure-ai-projects. azure-identity
• Для тонкой настройки доступа требуется роль пользователя ИИ Azure .
• Если у вас еще нет доступа к квоте и развертыванию моделей на портале Microsoft Foundry, вам потребуется больше разрешений.

Поддерживаемые модели

Ознакомьтесь со страницей моделей, чтобы проверить, какие регионы в настоящее время поддерживают точную настройку.

Или можно точно настроить ранее настроенную модель, отформатированную как base-model.ft-{jobid}.

Подготовка данных

Обучающие данные и наборы данных проверки состоят из входных и выходных примеров того, как модель должна выполняться.

Используемые данные обучения и проверки должны быть отформатированы в виде документа JSON Lines (JSONL) и должны быть отформатированы в формате беседы, который используется API завершения чата .

Рекомендуется использовать те инструкции и подсказки, которые вы нашли наиболее эффективными в каждом примере обучения. Это помогает получить лучшие результаты, особенно если у вас меньше сотни примеров.

Если у вас нет подготовленного набора данных, можно использовать возможности создания данных для создания нового.

Пример формата файла

{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who discovered Antarctica?"}, {"role": "assistant", "content": "Some chaps named Fabian Gottlieb von Bellingshausen and Mikhail Lazarev, as if they don't teach that in every school!"}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What is the biggest ocean?"}, {"role": "assistant", "content": "The Pacific Ocean. It's not like it's a small pond or anything."}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What is the largest planet?"}, {"role": "assistant", "content": "It's called Jupiter, you might have heard of it...or not."}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who painted the Mona Lisa?"}, {"role": "assistant", "content": "Oh, some obscure artist named Leonardo da Vinci. Not that he is famous or anything."}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What's the boiling point of water?"}, {"role": "assistant", "content": "Exciting fact of the day: it's 100 degrees Celsius. Life-changing, isn't it?"}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who wrote 'The Odyssey'?"}, {"role": "assistant", "content": "Oh, just some poet named Homer. Nothing special, really."}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What is the largest mammal?"}, {"role": "assistant", "content": "Blue Whale. Quite a big fish isn't it? Oh wait, it's not a fish!"}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What's the highest mountain peak?"}, {"role": "assistant", "content": "Everest. Brace yourself, it's not a walk in the park."}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who invented the telephone?"}, {"role": "assistant", "content": "A guy named Alexander Graham Bell. Bet you didn't guess that one!"}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What is the distance from Earth to the Sun?"}, {"role": "assistant", "content": "About 93 million miles. Just a quick drive, really."}]}

Формат файла многократного чата

Кроме того, поддерживается несколько поворотов беседы в одной строке файла обучения jsonl. Чтобы пропустить тонкую настройку для определенных сообщений помощника, добавьте пару необязательных weight значений ключа. weight В настоящее время можно задать значение 0 или 1.

{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What's the capital/major city of France?"}, {"role": "assistant", "content": "Paris", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Paris, as if everyone doesn't know that already.", "weight": 1}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who wrote 'Romeo and Juliet'?"}, {"role": "assistant", "content": "William Shakespeare", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Oh, just some guy named William Shakespeare. Ever heard of him?", "weight": 1}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "How far is the Moon from Earth?"}, {"role": "assistant", "content": "384,400 kilometers", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Around 384,400 kilometers. Give or take a few, like that really matters.", "weight": 1}]}

Завершение чата с помощью визуального зрения

{"messages": [{"role": "user", "content": [{"type": "text", "text": "What's in this image?"}, {"type": "image_url", "image_url": {"url": "https://raw.githubusercontent.com/MicrosoftDocs/azure-ai-docs/main/articles/ai-services/openai/media/how-to/generated-seattle.png"}}]}, {"role": "assistant", "content": "The image appears to be a watercolor painting of a city skyline, featuring tall buildings and a recognizable structure often associated with Seattle, like the Space Needle. The artwork uses soft colors and brushstrokes to create a somewhat abstract and artistic representation of the cityscape."}]}

Помимо формата JSONL, файлы данных обучения и проверки должны быть закодированы в UTF-8 и включать метку порядка байтов (BOM). Размер файла должен быть меньше 512 МБ.

Рекомендации по размеру наборов данных

Чем больше примеров обучения у вас есть, тем лучше. Задания тонкой настройки не выполняются без по крайней мере 10 примеров обучения, но такое небольшое число недостаточно для заметного влияния на ответы модели. Рекомендуется предоставить сотни, если не тысячи, обучающих примеров, чтобы добиться успеха. Рекомендуется начать с 50 хорошо созданных обучающих данных.

Как правило, удвоение размера набора данных может привести к линейному увеличению качества модели. Но помните, что примеры низкого качества могут негативно повлиять на производительность. Если вы обучите модель на большом объеме внутренних данных, без предварительной очистки набора данных для самых качественных примеров, вы можете в конечном итоге получить модель, которая работает гораздо хуже, чем ожидалось.

Просмотр рабочего процесса пакета SDK для Python

Посвятите некоторое время изучению рабочего процесса точной настройки для использования Python SDK с Microsoft Foundry.

1. Подготовьте данные обучения и проверки.
2. Выберите базовую модель.
3. Отправьте данные обучения.
4. Обучите новую кастомизированную модель.
5. Проверьте состояние настраиваемой модели.
6. Разверните настраиваемую модель для использования.
7. Используйте настраиваемую модель.
8. Опционально проведите анализ вашей настраиваемой модели на производительность и соответствие.

Подготовьте данные для обучения и проверки

Обучающие данные и наборы данных проверки состоят из входных и выходных примеров того, как модель должна выполняться.

Используемые данные обучения и проверки должны быть отформатированы в виде документа JSON Lines (JSONL) и должны быть отформатированы в формате беседы, который используется API завершения чата .

Если вы хотите пошаговое руководство по точной настройке , ознакомьтесь с учебным пособием по точной настройке Microsoft Foundry .

Пример формата файла

{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who discovered Antarctica?"}, {"role": "assistant", "content": "Some chaps named Fabian Gottlieb von Bellingshausen and Mikhail Lazarev, as if they don't teach that in every school!"}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What is the biggest ocean?"}, {"role": "assistant", "content": "The Pacific Ocean. It's not like it's a small pond or anything."}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What is the largest planet?"}, {"role": "assistant", "content": "It's called Jupiter, you might have heard of it...or not."}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who painted the Mona Lisa?"}, {"role": "assistant", "content": "Oh, some obscure artist named Leonardo da Vinci. Not that he is famous or anything."}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What's the boiling point of water?"}, {"role": "assistant", "content": "Exciting fact of the day: it's 100 degrees Celsius. Life-changing, isn't it?"}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who wrote 'The Odyssey'?"}, {"role": "assistant", "content": "Oh, just some poet named Homer. Nothing special, really."}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What is the largest mammal?"}, {"role": "assistant", "content": "Blue Whale. Quite a big fish isn't it? Oh wait, it's not a fish!"}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What's the highest mountain peak?"}, {"role": "assistant", "content": "Everest. Brace yourself, it's not a walk in the park."}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who invented the telephone?"}, {"role": "assistant", "content": "A guy named Alexander Graham Bell. Bet you didn't guess that one!"}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What is the distance from Earth to the Sun?"}, {"role": "assistant", "content": "About 93 million miles. Just a quick drive, really."}]}

Формат файла многократного чата

Кроме того, поддерживается несколько поворотов беседы в одной строке файла обучения jsonl. Чтобы пропустить тонкую настройку для определенных сообщений помощника, добавьте пару необязательных weight значений ключа. weight В настоящее время можно задать значение 0 или 1.

{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What's the biggest city in France?"}, {"role": "assistant", "content": "Paris", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Paris, as if everyone doesn't know that already.", "weight": 1}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who wrote 'Romeo and Juliet'?"}, {"role": "assistant", "content": "William Shakespeare", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Oh, just some guy named William Shakespeare. Ever heard of him?", "weight": 1}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "How far is the Moon from Earth?"}, {"role": "assistant", "content": "384,400 kilometers", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Around 384,400 kilometers. Give or take a few, like that really matters.", "weight": 1}]}

Завершение чата с помощью визуального зрения

{"messages": [{"role": "user", "content": [{"type": "text", "text": "What's in this image?"}, {"type": "image_url", "image_url": {"url": "https://raw.githubusercontent.com/MicrosoftDocs/azure-ai-docs/main/articles/ai-services/openai/media/how-to/generated-seattle.png"}}]}, {"role": "assistant", "content": "The image appears to be a watercolor painting of a city skyline, featuring tall buildings and a recognizable structure often associated with Seattle, like the Space Needle. The artwork uses soft colors and brushstrokes to create a somewhat abstract and artistic representation of the cityscape."}]}

Помимо формата JSONL, файлы данных обучения и проверки должны быть закодированы в UTF-8 и включать метку порядка байтов (BOM). Размер файла должен быть меньше 512 МБ.

Создание наборов данных для обучения и проверки

Чем больше примеров обучения у вас есть, тем лучше. Задания тонкой настройки не будут продолжаться без по крайней мере 10 примеров обучения, но такое небольшое число недостаточно, чтобы заметно повлиять на ответы модели. Рекомендуется предоставить сотни, если не тысячи, примеры обучения, которые будут успешными.

Как правило, удвоение размера набора данных может привести к линейному увеличению качества модели. Но помните, что примеры низкого качества могут негативно повлиять на производительность. Если вы обучите модель на большом объеме внутренних данных, без предварительной очистки набора данных для самых качественных примеров, вы можете в конечном итоге получить модель, которая работает гораздо хуже, чем ожидалось.

Отправка обучающих данных

Следующим шагом является выбор существующих подготовленных обучающих данных или отправка новых подготовленных обучающих данных для использования при настройке модели. После подготовки обучающих данных вы можете передать файлы в службу. Существует два способа отправки обучающих данных:

• Из локального файла
• Импорт из облачного хранилища Azure или другого веб-местоположения

Для больших файлов данных рекомендуется импортировать из хранилища BLOB-объектов Azure. Большие файлы могут работать нестабильно при отправке через многокомпонентные формы, так как запросы являются атомарными, и их невозможно повторить или возобновить. Дополнительные сведения о хранилище BLOB-объектов Azure см. в статье "Что такое хранилище BLOB-объектов Azure"?

В следующем примере Python отправляются локальные файлы обучения и проверки с помощью пакета SDK для Python и извлекаются идентификаторы возвращенных файлов.

import os
from azure.ai.projects import AIProjectClient
from azure.identity import DefaultAzureCredential

# Load the OpenAI client using the Foundry SDK
client = AIProjectClient(
    credential=DefaultAzureCredential(),
    endpoint=os.getenv("AZURE_AI_PROJECT_ENDPOINT"),
).get_openai_client()

# Upload the training and validation dataset files to Microsoft Foundry with the SDK.
training_file_name = 'training_set.jsonl'
validation_file_name = 'validation_set.jsonl'

training_response = client.files.create(file=open(training_file_name, "rb"), purpose="fine-tune")
validation_response = client.files.create(file=open(validation_file_name, "rb"), purpose="fine-tune")
training_file_id = training_response.id
validation_file_id = validation_response.id

print("Training file ID:", training_file_id)
print("Validation file ID:", validation_file_id)

Создание настраиваемой модели

После загрузки файлов для обучения и проверки вы можете начать процесс тонкой настройки.

В следующем примере кода на Python показано, как создать новую задачу настройки с помощью Python SDK.

response = client.fine_tuning.jobs.create(
    training_file=training_file_id,
    validation_file=validation_file_id,
    model="gpt-4.1-2025-04-14", # Enter base model name.
    suffix="my-model", # Custom suffix for naming the resulting model. Note that in Microsoft Foundry the model cannot contain dot/period characters.
    seed=105, # Seed parameter controls reproducibility of the fine-tuning job. If no seed is specified one will be generated automatically.
    extra_body={ "trainingType": "GlobalStandard" } # Change this to your preferred training type. Other options are `Standard` and `Developer`.
)

job_id = response.id

# You can use the job ID to monitor the status of the fine-tuning job.
# The fine-tuning job will take some time to start and complete.

print("Job ID:", response.id)
print(response.model_dump_json(indent=2))

Кроме того, можно передать дополнительные необязательные параметры, такие как гиперпараметры, чтобы получить более широкий контроль над процессом тонкой настройки. Для начального обучения рекомендуется использовать автоматические значения по умолчанию, которые присутствуют без указания этих параметров.

Текущие поддерживаемые гиперпараметры для контролируемой точной настройки:

Чтобы задать пользовательские гиперпараметры в версии 1.x OpenAI Python API, предоставьте их в составе method:

client.fine_tuning.jobs.create(
  training_file="file-abc123", 
  model="gpt-4.1-2025-04-14",
  suffix="my-model",
  seed=105,
  method={
    "type": "supervised", # In this case, the job will be using Supervised Fine Tuning.
    "supervised": {
      "hyperparameters": {
        "n_epochs": 2
      }
    }
  },
  extra_body={ "trainingType": "GlobalStandard" }
)

Проверьте статус задания по точной настройке

response = client.fine_tuning.jobs.retrieve(job_id)

print("Job ID:", response.id)
print("Status:", response.status)
print(response.model_dump_json(indent=2))

Список событий настройки параметров

Чтобы изучить отдельные события тонкой настройки, которые были созданы во время обучения, вам может понадобиться обновить клиентскую библиотеку OpenAI до последней версии. После этого можно выполнить эту команду с помощью pip install openai --upgrade.

response = client.fine_tuning.jobs.list_events(fine_tuning_job_id=job_id, limit=10)
print(response.model_dump_json(indent=2))

Контрольные точки

При завершении каждой эпохи обучения создается контрольная точка. Контрольная точка — это полностью функциональная версия модели, которую можно развернуть и использовать в качестве целевой модели для последующих заданий точной настройки. Контрольные точки могут быть особенно полезными, так как они могут предоставлять моментальные снимки до переобучения. Когда задание точной настройки завершится, у вас будут три последние версии модели, доступные для развертывания. Последняя эпоха будет представлена вашей тонкой моделью, предыдущие две эпохи будут доступны в качестве контрольных точек.

Чтобы получить список контрольных точек, связанных с конкретным заданием точной настройки, можно выполнить команду list checkpoints.

response = client.fine_tuning.jobs.checkpoints.list(job_id)
print(response.model_dump_json(indent=2))

Анализ настраиваемой модели

Microsoft Foundry присоединяет файл результатов с именем results.csv к каждому заданию точной настройки после завершения. Вы можете использовать файл результатов для анализа производительности обучения и проверки настраиваемой модели. Идентификатор файла результата указан для каждой настраиваемой модели, и вы можете использовать пакет SDK Для Python для получения идентификатора файла и скачивания файла результатов для анализа.

В следующем примере Python извлекается идентификатор файла первого файла результатов, присоединенного к заданию тонкой настройки для настраиваемой модели, а затем используется пакет SDK Python для скачивания файла в текущий рабочий каталог для анализа.

# Retrieve the file ID of the first result file from the fine-tuning job
# for the customized model.
response = client.fine_tuning.jobs.retrieve(job_id)
if response.status == 'succeeded':
    result_file_id = response.result_files[0]

retrieve = client.files.retrieve(result_file_id)

# Download the result file.
print(f'Downloading result file: {result_file_id}')

with open(retrieve.filename, "wb") as file:
    result = client.files.content(result_file_id).read()
    file.write(result)

Результатом будет CSV-файл, содержащий строку заголовка и строку для каждого шага обучения, выполняемого в процессе тонкой настройки. Результирующий файл содержит следующие столбцы:

Вы также можете просмотреть данные в файле results.csv как графики на портале Microsoft Foundry. Выберите ссылку для обученной модели, и вы увидите три диаграммы: ошибка, средняя точность токена и точность токена. Если вы предоставили данные проверки, оба набора данных будут отображаться на одном графике.

Ожидайте, что потеря будет уменьшаться со временем, а точность увеличиваться. Если вы видите расхождение между данными обучения и валидации, это может указывать на то, что вы переобучаетесь. Попробуйте обучение с меньшим количеством эпох или меньшим коэффициентом скорости обучения.

Разверните точно настроенную модель

Когда вы удовлетворены метриками из задания тонкой настройки или просто хотите перейти к предсказанию, необходимо развернуть модель.

Если вы развертываете для дальнейшей проверки, рассмотрите возможность развертывания для тестирования с помощью развертывания в среде разработчика.

В отличие от предыдущих команд ПАКЕТА SDK, развертывание должно выполняться с помощью API уровня управления, который требует отдельной авторизации, другого пути API и другой версии API.

import json
import os
import requests

token= os.getenv("<TOKEN>") 
subscription = "<YOUR_SUBSCRIPTION_ID>"  
resource_group = "<YOUR_RESOURCE_GROUP_NAME>"
resource_name = "<YOUR_AZURE_OPENAI_RESOURCE_NAME>"
model_deployment_name ="gpt-41-ft" # custom deployment name that you will use to reference the model when making inference calls.

deploy_params = {'api-version': "2024-10-01"} # control plane API version rather than dataplane API for this call 
deploy_headers = {'Authorization': 'Bearer {}'.format(token), 'Content-Type': 'application/json'}

deploy_data = {
    "sku": {"name": "standard", "capacity": 1}, 
    "properties": {
        "model": {
            "format": "OpenAI",
            "name": <"fine_tuned_model">, #retrieve this value from the previous call, it will look like gpt-4.1-2025-04-14.ft-b044a9d3cf9c4228b5d393567f693b83
            "version": "1"
        }
    }
}
deploy_data = json.dumps(deploy_data)

request_url = f'https://management.azure.com/subscriptions/{subscription}/resourceGroups/{resource_group}/providers/Microsoft.CognitiveServices/accounts/{resource_name}/deployments/{model_deployment_name}'

print('Creating a new deployment...')

r = requests.put(request_url, params=deploy_params, headers=deploy_headers, data=deploy_data)

print(r)
print(r.reason)
print(r.json())

Дополнительные сведения о развертывании между регионами и использовании развернутой модели см. здесь.

Если вы готовы к развертыванию в промышленной среде или у вас есть особые требования к размещению данных, следуйте нашему руководству по развертыванию.

Непрерывная настройка

После создания точно настроенной модели может потребоваться продолжить уточнение модели с течением времени с помощью дальнейшей тонкой настройки. Непрерывная итеративная настройка — это итеративный процесс выбора уже настраиваемой модели в качестве базовой модели и последующей настройки новых наборов примеров обучения.

Для точной настройки модели, которую вы ранее настроили, вы будете использовать тот же процесс, что и при создании настраиваемой модели , но вместо указания имени универсальной базовой модели можно указать идентификатор уже точно настроенной модели. Идентификатор точно настроенной модели выглядит следующим образом. gpt-4.1-2025-04-14.ft-5fd1918ee65d4cd38a5dcf6835066ed7

response = client.fine_tuning.jobs.create(
    training_file=training_file_id,
    validation_file=validation_file_id,
    model="gpt-4.1-2025-04-14.ft-5fd1918ee65d4cd38a5dcf6835066ed7"
)
job_id = response.id

# You can use the job ID to monitor the status of the fine-tuning job.
# The fine-tuning job will take some time to start and complete.

print("Job ID:", response.id)
print("Status:", response.id)
print(response.model_dump_json(indent=2))

Мы также рекомендуем включить suffix параметр, чтобы упростить различие между различными итерациями вашей точно настроенной модели. suffix принимает строку и используется для идентификации модели с тонкой настройкой. Поддерживается строка длиной до 18 символов, которая будет добавлена к названию вашей модели с тонкой настройкой.

Если вы не уверены в идентификаторе вашей модели с тонкой настройкой, эти сведения можно найти на странице Моделей Microsoft Foundry.

Предпосылки

• Ознакомьтесь с руководством по настройке Azure OpenAI.
• Подписка Azure. Создайте его бесплатно.
• Ресурс Azure OpenAI, расположенный в регионе, который поддерживает настройку модели Azure OpenAI. Проверьте доступность сводной таблицы модели и региона для списка доступных моделей по регионам и поддерживаемым функциям. Дополнительные сведения см. в статье "Создание ресурса" и развертывание модели с помощью Azure OpenAI.
• Для доступа к тонкой настройке требуется специалист OpenAI Cognitive Services.
• Если у вас еще нет доступа к квоте для просмотра и развертывания моделей на портале Microsoft Foundry, вам потребуются дополнительные разрешения.

Поддерживаемые модели

Ознакомьтесь со страницей моделей, чтобы проверить, какие регионы в настоящее время поддерживают точную настройку.

Или можно точно настроить ранее настроенную модель, отформатированную как base-model.ft-{jobid}.

Просмотр рабочего процесса на портале Foundry

Просмотрите рабочий процесс тонкой настройки для использования портала Foundry:

1. Подготовьте данные обучения и проверки.
2. Используйте диалоговое окно "Создание точно настроенной модели" на портале Foundry для обучения пользовательской модели.
   1. Выберите метод обучения.
   2. Выберите базовую модель.
   3. Выбор типа обучения
   4. Выберите данные обучения.
   5. При необходимости выберите данные проверки.
   6. При необходимости настройте параметры задачи для задачи тонкой настройки.
   7. При необходимости включите автоматическое развертывание для результирующей пользовательской модели.
   8. Пересмотрите свои варианты и обучите новую пользовательскую модель.
3. Проверьте состояние вашей настраиваемой модели.
4. Разверните настраиваемую модель для использования.
5. Используйте настраиваемую модель.
6. При необходимости проанализируйте настраиваемую модель для повышения производительности и соответствия.

Подготовьте данные для обучения и проверки

Обучающие данные и наборы данных проверки состоят из входных и выходных примеров того, как модель должна выполняться.

Используемые данные обучения и проверки должны быть отформатированы в виде документа JSON Lines (JSONL) и должны быть отформатированы в формате беседы, который используется API завершения чата .

Обычно рекомендуется использовать инструкции и подсказки, которые, по вашему мнению, работали лучше всего в каждом тренировочном примере. Это поможет вам получить лучшие результаты, особенно если у вас меньше сотни примеров.

Пример формата файла

{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who discovered Antarctica?"}, {"role": "assistant", "content": "Some chaps named Fabian Gottlieb von Bellingshausen and Mikhail Lazarev, as if they don't teach that in every school!"}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What is the biggest ocean?"}, {"role": "assistant", "content": "The Pacific Ocean. It's not like it's a small pond or anything."}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What is the largest planet?"}, {"role": "assistant", "content": "It's called Jupiter, you might have heard of it...or not."}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who painted the Mona Lisa?"}, {"role": "assistant", "content": "Oh, some obscure artist named Leonardo da Vinci. Not that he is famous or anything."}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What's the boiling point of water?"}, {"role": "assistant", "content": "Exciting fact of the day: it's 100 degrees Celsius. Life-changing, isn't it?"}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who wrote 'The Odyssey'?"}, {"role": "assistant", "content": "Oh, just some poet named Homer. Nothing special, really."}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What is the largest mammal?"}, {"role": "assistant", "content": "Blue Whale. Quite a big fish isn't it? Oh wait, it's not a fish!"}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What's the highest mountain peak?"}, {"role": "assistant", "content": "Everest. Brace yourself, it's not a walk in the park."}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who invented the telephone?"}, {"role": "assistant", "content": "A guy named Alexander Graham Bell. Bet you didn't guess that one!"}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What is the distance from Earth to the Sun?"}, {"role": "assistant", "content": "About 93 million miles. Just a quick drive, really."}]}

Многоэтапный формат файла чата Azure OpenAI

Кроме того, поддерживается несколько поворотов беседы в одной строке файла обучения jsonl. Чтобы пропустить тонкую настройку для определенных сообщений помощника, добавьте пару необязательных weight значений ключа. weight В настоящее время можно задать значение 0 или 1.

{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What's the capital of France?"}, {"role": "assistant", "content": "Paris", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Paris, as if everyone doesn't know that already.", "weight": 1}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who wrote 'Romeo and Juliet'?"}, {"role": "assistant", "content": "William Shakespeare", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Oh, just some guy named William Shakespeare. Ever heard of him?", "weight": 1}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "How far is the Moon from Earth?"}, {"role": "assistant", "content": "384,400 kilometers", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Around 384,400 kilometers. Give or take a few, like that really matters.", "weight": 1}]}

Завершение чата с помощью визуального зрения

{"messages": [{"role": "user", "content": [{"type": "text", "text": "What's in this image?"}, {"type": "image_url", "image_url": {"url": "https://raw.githubusercontent.com/MicrosoftDocs/azure-ai-docs/main/articles/ai-services/openai/media/how-to/generated-seattle.png"}}]}, {"role": "assistant", "content": "The image appears to be a watercolor painting of a city skyline, featuring tall buildings and a recognizable structure often associated with Seattle, like the Space Needle. The artwork uses soft colors and brushstrokes to create a somewhat abstract and artistic representation of the cityscape."}]}

Помимо формата JSONL, файлы данных обучения и проверки должны быть закодированы в UTF-8 и включать метку порядка байтов (BOM). Размер файла должен быть меньше 512 МБ.

Рекомендации по размеру наборов данных

Чем больше примеров обучения у вас есть, тем лучше. Задания точной настройки не будут продолжаться без по крайней мере 10 примеров обучения, но такого небольшого числа недостаточно, чтобы заметно повлиять на ответы модели. Рекомендуется предоставить сотни, если не тысячи, примеры обучения, которые будут успешными. Рекомендуется начать с 50 хорошо созданных обучающих данных.

Как правило, удвоение размера набора данных может привести к линейному увеличению качества модели. Но помните, что примеры низкого качества могут негативно повлиять на производительность. Если вы обучите модель на большом объеме внутренних данных, без предварительной очистки набора данных для самых качественных примеров, вы можете в конечном итоге получить модель, которая работает гораздо хуже, чем ожидалось.

Создание точно настроенной модели

Портал Foundry предоставляет диалоговое окно "Создание точно настроенной модели" , поэтому в одном месте можно легко создать и обучить настраиваемую модель для ресурса Azure.

1. Перейдите на портал https://ai.azure.com/ Foundry и войдите с учетными данными, имеющими доступ к ресурсу Azure OpenAI. Во время рабочего процесса входа выберите соответствующий каталог, подписку Azure и ресурс Azure OpenAI.

2. На портале Foundry перейдите на > панель "Средства тонкой настройки" и выберите модель точной настройки.

   

3. Выберите модель для точной настройки и нажмите кнопку "Далее ".

   

Теперь вы увидите диалоговое окно "Создание точно настроенной модели".

Выбор метода обучения

Первым шагом является подтверждение выбора модели и метода обучения. Не все модели поддерживают все методы обучения.

• Контролируемая тонкая настройка (SFT): поддерживается всеми моделями, не использующими рассуждение.
• Прямая оптимизация предпочтений (предварительная версия) (DPO): поддерживается GPT-4o.
• Тонкая настройка с подкреплением (предварительная версия) (RFT): поддерживается рациональными моделями, например o4-mini.

При выборе модели можно также выбрать ранее настроенную модель.

Выбрать тип обучения

Foundry предлагает три уровня обучения, предназначенные для удовлетворения различных потребностей клиентов:

Уровень обучения "Стандартный"

Предоставляет выделенную емкость для точной настройки с прогнозируемой производительностью и соглашениями об уровне обслуживания. Идеально подходит для рабочих нагрузок, требующих гарантированной пропускной способности.

Глобальный стандартный уровень обучения

Расширяя доступность настройки моделей, Global Training предлагает более доступные цены на другие глобальные предложения. Не предлагает размещение данных. Если вам требуется расположение данных, ознакомьтесь с регионами, указанными в разделе доступность модели для вашей выбранной модели.

Данные обучения и результирующий вес модели могут быть скопированы в другой регион Azure.

• Обучить последние модели OpenAI из более чем десятка регионов Azure OpenAI.
• Воспользуйтесь преимуществами более низких тарифов за обучение на один токен по сравнению с уровнем "Стандарт".

Уровень обучения разработчика

Экономически эффективный вариант, использующий незадействованные мощности для несрочных или исследовательских рабочих нагрузок.
Задания на этом уровне могут быть прерваны и возобновлены позже, что делает его идеальным для экспериментов и вариантов использования с учетом затрат.

Выбор обучающих данных

Следующий шаг — выбрать существующие подготовленные данные обучения или отправить новые подготовленные обучающие данные для использования при настройке модели, нажав кнопку "Добавить обучающие данные".

В диалоговом окне "Обучающие данные " отображаются все существующие ранее загруженные наборы данных, а также предоставляются параметры для отправки новых обучающих данных.

• Если данные обучения уже отправлены в службу, выберите "Файлы" из ресурса Подключенного искусственного интеллекта.

  • Выберите файл из раскрывающегося списка.

• Чтобы отправить новые обучающие данные, используйте один из следующих вариантов:

  • Выберите " Отправить файлы " для отправки обучающих данных из локального файла.
  • Выберите Azure Blob или другие общие веб-расположения, чтобы импортировать данные обучения из Azure Blob или другого общего веб-расположения.

Для больших файлов данных рекомендуется импортировать из хранилища BLOB-объектов Azure. Большие файлы могут работать нестабильно при отправке через многокомпонентные формы, так как запросы являются атомарными, и их невозможно повторить или возобновить. Дополнительные сведения о Хранилище BLOB-объектов Azure см. в разделе "Что такое Хранилище BLOB-объектов Azure?".

Выберите данные проверки (необязательно)

Если у вас есть набор данных проверки, выберите "Добавить обучающие данные". Вы можете выбрать существующие подготовленные данные проверки или отправить новые подготовленные данные проверки для использования при настройке модели.

В диалоговом окне "Данные проверки " отображаются существующие ранее загруженные наборы данных для обучения и проверки и предоставляются параметры, с помощью которых можно отправить новые данные проверки.

• Если данные проверки уже отправлены в службу, выберите " Выбрать набор данных".

  • Выберите файл из списка, показанного в области проверки данных.

• Чтобы отправить новые данные проверки, используйте один из следующих вариантов:

  • Выберите локальный файл для отправки данных проверки из локального файла.
  • Выберите хранилище BLOB Azure или другие общие веб-расположения, чтобы импортировать данные проверки из хранилища BLOB Azure или другого общего веб-расположения.

Для больших файлов данных рекомендуется импортировать из хранилища BLOB-объектов Azure. Большие файлы могут работать нестабильно при отправке через многокомпонентные формы, так как запросы являются атомарными, и их невозможно повторить или возобновить.

Сделать модель идентифицируемой (необязательно)

Мы также рекомендуем включить suffix параметр, чтобы упростить различие между различными итерациями вашей точно настроенной модели. suffix принимает строку длиной до 18 символов и используется при именовании модели после её тонкой настройки.

Настройка параметров обучения (необязательно)

Вы можете предоставить дополнительное начальное значение и настроить дополнительные гиперпараметры.

Начальное значение определяет воспроизводимость задания. Передача одинаковых параметров начального значения и заданий должна иметь одинаковые результаты, но может отличаться в редких случаях. Если начальное значение не указано, он будет случайным образом создан для вас.

Для настройки на портале Foundry доступны следующие гиперпараметры:

Включение автоматического развертывания (необязательно)

Чтобы сэкономить время, можно включить автоматическое развертывание для результирующей модели. Если обучение завершено успешно, модель будет развернута с помощью выбранного типа развертывания. Развертывание будет названо на основе уникального имени, созданного для пользовательской модели, и необязательного суффикса , который вы могли предоставить ранее.

Просмотрите варианты и обучите модель

Просмотрите выбранные варианты и нажмите кнопку "Отправить ", чтобы начать обучение новой точно настроенной модели.

Проверка состояния пользовательской модели

После отправки задания по точной настройке вы увидите страницу со сведениями о вашей точно настроенной модели. Состояние и дополнительные сведения о настраиваемой модели можно найти на странице точной настройки на портале Foundry.

Задание может находиться в очереди за другими заданиями в системе. Обучение модели может занять несколько минут или часов в зависимости от размера модели и набора данных.

Контрольные точки

При завершении каждой эпохи обучения создается контрольная точка. Контрольная точка — это полностью функциональная версия модели, которую можно развернуть и использовать в качестве целевой модели для последующих заданий точной настройки. Контрольные точки могут быть особенно полезными, так как они могут предоставлять моментальные снимки до переобучения. Когда задание точной настройки завершится, у вас будут три последние версии модели, доступные для развертывания. С помощью REST API можно скопировать контрольные точки между ресурсами и подписками.

Остановка и возобновление

Вы можете отслеживать ход выполнения в обоих представлениях тонкой настройки на портале Foundry. Вы увидите, что ваше задание проходит через те же состояния, что и обычные задания тонкой настройки (в процессе постановки в очередь, в процессе выполнения, выполнено успешно).

Вы также можете просмотреть файлы результатов во время обучения, чтобы получить пик хода выполнения и продолжить обучение должным образом.

Анализ пользовательской модели

Azure OpenAI присоединяет файл результатов с именем results.csv к каждому заданию тонкой настройки после завершения. Вы можете использовать файл результатов для анализа производительности обучения и проверки пользовательской модели. Идентификатор файла для результата указан для каждой пользовательской модели в столбце Идентификатор файла результата на панели Models портала Foundry. Идентификатор файла можно использовать для идентификации и скачивания файла результатов на панели файлов данных на портале Foundry.

Результатом будет CSV-файл, содержащий строку заголовка и строку для каждого шага обучения, выполняемого в процессе тонкой настройки. Результирующий файл содержит следующие столбцы:

Вы также можете просмотреть данные в файле results.csv как графики на портале Foundry. Выберите ссылку для обученной модели, и вы увидите три диаграммы: ошибка, средняя точность токена и точность токена. Если вы предоставили данные проверки, оба набора данных будут отображаться на одном графике.

Ожидайте, что потеря будет уменьшаться со временем, а точность увеличиваться. Если вы видите расхождение между данными обучения и валидации, это может указывать на то, что вы переобучаетесь. Попробуйте обучение с меньшим количеством эпох или меньшим коэффициентом скорости обучения.

Разверните точно настроенную модель

После того как вас устраивают метрики по заданию тонкой настройки или если вы хотите перейти к этапу вывода, необходимо развернуть модель.

Если вы развертываете для дальнейшей проверки, рассмотрите возможность развертывания для тестирования с помощью развертывания в среде разработчика.

Если вы готовы к развертыванию в промышленной среде или у вас есть особые требования к размещению данных, следуйте нашему руководству по развертыванию.

Использовать развернутую модель, настроенную с высокой точностью

После развертывания настроенной модели ее можно использовать как любую другую развернутую модель. Вы можете использовать детскую площадку в Foundry для экспериментов с новым развертыванием. Вы также можете использовать REST API для вызова вашей точно настроенной модели из собственного приложения. Вы уже можете приступить к использованию этой новой точно настроенной модели в потоке запросов для построения генеративного приложения ИИ.

Непрерывная настройка

После создания точно настроенной модели может потребоваться продолжить уточнение модели с течением времени с помощью дальнейшей тонкой настройки. Непрерывная итеративная настройка — это итеративный процесс выбора уже настраиваемой модели в качестве базовой модели и последующей настройки новых наборов примеров обучения.

Для точной настройки модели, которую вы ранее настроили, вы будете использовать тот же процесс, что и при создании точно настроенной модели, но вместо указания имени универсальной базовой модели можно указать уже настраиваемую модель. Пользовательская настроенная модель будет выглядеть так: gpt-4o-2024-08-06.ft-d93dda6110004b4da3472d96f4dd4777-ft

Очистка развертываний, пользовательских моделей и файлов обучения

После завершения работы с вашей пользовательской моделью вы можете удалить развертывание и саму модель. При необходимости вы также можете удалить файлы обучения и проверки, отправленные в службу.

Удалите развертывание вашей модели

Развертывание вашей настраиваемой модели можно удалить на панели Развертывания на портале Foundry. Выберите развертывание для удаления и нажмите кнопку "Удалить ", чтобы удалить развертывание.

Удалите вашу пользовательскую модель

Вы можете удалить пользовательскую модель на панели «Модели» на портале Foundry. Выберите пользовательскую модель, чтобы удалить ее на вкладке "Настраиваемые модели ", а затем выберите "Удалить ", чтобы удалить пользовательскую модель.

Удаление обучающих файлов

При необходимости можно удалить файлы обучения и проверки, которые вы загрузили для обучения, а также результативные файлы, созданные во время обучения, на панели Управление>Данные + индексы в портале Foundry. Выберите файл, который нужно удалить, и нажмите кнопку "Удалить ", чтобы удалить файл.

Предпосылки

• Ознакомьтесь с руководством по настройке Azure OpenAI.
• Подписка Azure — создайте бесплатную учетную запись.
• Проект Foundry на портале Microsoft Foundry.
• Подключение Azure OpenAI к ресурсу в регионе, где поддерживается точная настройка.

  Замечание

  Поддерживаемые регионы могут различаться, если вы используете модели Azure OpenAI в проекте Foundry по сравнению с использованием вне проекта.

• Для тонкой настройки доступа требуется роль участника OpenAI в Cognitive Services в ресурсе Azure OpenAI.
• Если у вас еще нет доступа к квоте и развертыванию моделей на портале Foundry, вам потребуется больше разрешений.

Поддерживаемые модели

Ознакомьтесь со страницей моделей, чтобы проверить, какие регионы в настоящее время поддерживают точную настройку.

Или можно точно настроить ранее настроенную модель, отформатированную как base-model.ft-{jobid}.

Проверка рабочего процесса для Foundry

Просмотрите рабочий процесс настройки параметров для использования Foundry:

1. Подготовьте данные обучения и проверки.
2. Используйте мастер создания точно настроенных моделей на портале Foundry для обучения пользовательской модели.
   1. Выберите метод обучения.
   2. Выберите базовую модель.
   3. Выберите данные обучения.
   4. При необходимости выберите данные проверки.
   5. При необходимости настройте параметры для задания детальной настройки.
   6. Пересмотрите свои варианты и обучите новую пользовательскую модель.
3. Проверьте состояние настраиваемой модели.
4. При необходимости проанализируйте тонко настроенную модель для оценки её производительности и соответствия.
5. Разверните настроенную модель для использования.
6. Используйте настраиваемую модель.

Подготовьте данные для обучения и проверки

Обучающие данные и наборы данных проверки состоят из входных и выходных примеров того, как модель должна выполняться.

Используемые данные обучения и проверки должны быть отформатированы в виде документа JSON Lines (JSONL) и должны быть отформатированы в формате беседы, который используется API завершения чата .

Обычно рекомендуется использовать инструкции и подсказки, которые, по вашему мнению, работали лучше всего в каждом тренировочном примере. Это поможет вам получить лучшие результаты, особенно если у вас меньше сотни примеров.

Пример формата файла

{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who discovered Antarctica?"}, {"role": "assistant", "content": "Some chaps named Fabian Gottlieb von Bellingshausen and Mikhail Lazarev, as if they don't teach that in every school!"}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What is the biggest ocean?"}, {"role": "assistant", "content": "The Pacific Ocean. It's not like it's a small pond or anything."}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What is the largest planet?"}, {"role": "assistant", "content": "It's called Jupiter, you might have heard of it...or not."}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who painted the Mona Lisa?"}, {"role": "assistant", "content": "Oh, some obscure artist named Leonardo da Vinci. Not that he is famous or anything."}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What's the boiling point of water?"}, {"role": "assistant", "content": "Exciting fact of the day: it's 100 degrees Celsius. Life-changing, isn't it?"}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who wrote 'The Odyssey'?"}, {"role": "assistant", "content": "Oh, just some poet named Homer. Nothing special, really."}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What is the largest mammal?"}, {"role": "assistant", "content": "Blue Whale. Quite a big fish isn't it? Oh wait, it's not a fish!"}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What's the highest mountain peak?"}, {"role": "assistant", "content": "Everest. Brace yourself, it's not a walk in the park."}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who invented the telephone?"}, {"role": "assistant", "content": "A guy named Alexander Graham Bell. Bet you didn't guess that one!"}]}
{"messages": [{"role": "system", "content": "Clippy is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What is the distance from Earth to the Sun?"}, {"role": "assistant", "content": "About 93 million miles. Just a quick drive, really."}]}

Формат файла многократного чата

Кроме того, поддерживается несколько поворотов беседы в одной строке файла обучения jsonl. Чтобы пропустить тонкую настройку для определенных сообщений помощника, добавьте пару необязательных weight значений ключа. weight В настоящее время можно задать значение 0 или 1.

{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What's the capital of France?"}, {"role": "assistant", "content": "Paris", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Paris, as if everyone doesn't know that already.", "weight": 1}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who wrote 'Romeo and Juliet'?"}, {"role": "assistant", "content": "William Shakespeare", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Oh, just some guy named William Shakespeare. Ever heard of him?", "weight": 1}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "How far is the Moon from Earth?"}, {"role": "assistant", "content": "384,400 kilometers", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Around 384,400 kilometers. Give or take a few, like that really matters.", "weight": 1}]}

Завершение чата с помощью визуального зрения

{"messages": [{"role": "user", "content": [{"type": "text", "text": "What's in this image?"}, {"type": "image_url", "image_url": {"url": "https://raw.githubusercontent.com/MicrosoftDocs/azure-ai-docs/main/articles/ai-services/openai/media/how-to/generated-seattle.png"}}]}, {"role": "assistant", "content": "The image appears to be a watercolor painting of a city skyline, featuring tall buildings and a recognizable structure often associated with Seattle, like the Space Needle. The artwork uses soft colors and brushstrokes to create a somewhat abstract and artistic representation of the cityscape."}]}

Помимо формата JSONL, файлы данных обучения и проверки должны быть закодированы в UTF-8 и включать метку порядка байтов (BOM). Размер файла должен быть меньше 512 МБ.

Рекомендации по размеру наборов данных

Чем больше примеров обучения у вас есть, тем лучше. Задания тонкой настройки не будут продолжаться без по крайней мере 10 примеров обучения, но такое небольшое число недостаточно, чтобы заметно повлиять на ответы модели. Рекомендуется предоставить сотни, если не тысячи, примеры обучения, которые будут успешными. Рекомендуется начать с 50 хорошо созданных обучающих данных.

Как правило, удвоение размера набора данных может привести к линейному увеличению качества модели. Но помните, что примеры низкого качества могут негативно повлиять на производительность. Если вы обучите модель на большом объеме внутренних данных, без предварительной очистки набора данных для самых качественных примеров, вы можете в конечном итоге получить модель, которая работает гораздо хуже, чем ожидалось.

Создайте точно настроенную модель

Чтобы точно настроить модель Azure OpenAI в существующем проекте Foundry, выполните следующие действия.

Войдите в Microsoft Foundry. Убедитесь, что переключатель New Foundry отключен. Эти действия относятся к Foundry (классическая).

Выберите проект. Если у вас еще нет проекта, сначала создайте проект.

1. В меню, которое можно свернуть слева, выберите Точная настройка>и точная настройка модели.

   

2. Выберите базовую модель для точной настройки. Выбор влияет как на производительность, так и на стоимость модели. В этом примере мы выбираем gpt-35-turbo модель. Затем нажмите кнопку "Подтвердить".

3. У gpt-35-turbo нас есть разные версии, доступные для доработки, поэтому выберите версию, которую вы хотите доработать. Мы выберем (0125).

4. Мы также рекомендуем включить suffix параметр, чтобы упростить различие между различными итерациями вашей точно настроенной модели. suffix принимает строку и используется для идентификации модели с тонкой настройкой. С помощью API Python OpenAI поддерживается строка до 18 символов, которые будут добавлены в имя настраиваемой модели.

Если для точной настройки включено несколько подключений Azure OpenAI, выберите нужный ресурс. Обратите внимание, что у всех пользователей с доступом к ресурсу Azure OpenAI будет доступ к этой точно настроенной модели.

1. Затем выберите Далее.

   

Выбор обучающих данных

Следующим шагом является выбор существующих подготовленных обучающих данных или отправка новых подготовленных обучающих данных для использования при настройке модели. В области данных обучения отображаются все существующие ранее загруженные наборы данных , а также предоставляются параметры для отправки новых обучающих данных.

• Если данные обучения уже находятся в проекте, выберите "Данные" в Foundry.

  • Выберите файл из списка, показанного на панели данных обучения .

• Если данные обучения уже отправлены в службу Azure OpenAI, выберите подключение Azure OpenAI в разделе "Подключенный ресурс ИИ".

• Чтобы передать обучающие данные для точной настройки модели, выберите " Отправить данные " и нажмите кнопку "Отправить файл".

  • Убедитесь, что все примеры обучения соответствуют ожидаемому формату вывода. Для эффективной настройки моделей убедитесь, что у вас достаточно сбалансированный и разнообразный набор данных. Это включает поддержание баланса данных, включая различные сценарии, и периодическое уточнение обучающих данных для выравнивания с реальными ожиданиями, что в конечном итоге приводит к более точным и сбалансированным ответам модели. Дополнительные сведения см. в статье о подготовке данных .
  • Для больших файлов данных рекомендуется импортировать из хранилища BLOB-объектов Azure. Большие файлы могут работать нестабильно при отправке через многокомпонентные формы, так как запросы являются атомарными, и их невозможно повторить или возобновить. Дополнительные сведения о Хранилище BLOB-объектов Azure см. в разделе "Что такое Хранилище BLOB-объектов Azure?".

После отправки файлов вы увидите предварительную версию обучающих данных. Выберите Далее для продолжения.

Выбор данных проверки

При необходимости можно предоставить данные проверки для точной настройки модели. Если вы не хотите использовать данные проверки, выберите "Нет " и нажмите кнопку "Далее ", чтобы перейти к дополнительным параметрам модели.

В противном случае, если у вас есть набор данных проверки, можно выбрать из ранее загруженных данных или передать только что подготовленные данные проверки для точной настройки модели.

Настройка параметров

При необходимости настройте параметры процесса тонкой настройки. Ниже приведены следующие возможности:

Вы можете оставить конфигурацию по умолчанию или настроить значения в соответствии с вашими предпочтениями. После завершения настройки нажмите кнопку "Далее".

Просмотрите варианты и обучите модель

Просмотрите выбранные варианты и нажмите кнопку "Отправить ", чтобы начать обучение новой точно настроенной модели.

Проверьте состояние настраиваемой модели

После отправки задачи тонкой настройки вы увидите страницу со сведениями о модели, прошедшей тонкую настройку. Состояние и дополнительные сведения о настраиваемой модели можно найти на странице точной настройки на портале Foundry.

Задание может находиться в очереди за другими заданиями в системе. Обучение модели может занять несколько минут или часов в зависимости от размера модели и набора данных.

Контрольные точки

При завершении каждой эпохи обучения создается контрольная точка. Контрольная точка — это полностью функциональная версия модели, которую можно развернуть и использовать в качестве целевой модели для последующих заданий точной настройки. Контрольные точки могут быть особенно полезными, так как они могут предоставлять моментальные снимки до переобучения. Когда задание точной настройки завершится, у вас будут три последние версии модели, доступные для развертывания.

Остановка и возобновление

Вы можете отслеживать ход выполнения в обоих представлениях тонкой настройки на портале Foundry. Вы увидите, что ваше задание проходит через те же состояния, что и обычные задания тонкой настройки (в процессе постановки в очередь, в процессе выполнения, выполнено успешно).

Вы также можете просмотреть файлы результатов во время обучения, чтобы получить пик хода выполнения и продолжить обучение должным образом.

Проанализируйте точно настроенную модель

После успешной настройки можно скачать файл результатов с именемresults.csv на странице точно настроенной модели на вкладке "Сведения ". Вы можете использовать файл результатов для анализа производительности обучения и проверки пользовательской модели.

Результатом будет CSV-файл, содержащий строку заголовка и строку для каждого шага обучения, выполняемого в процессе тонкой настройки. Результирующий файл содержит следующие столбцы:

Вы также можете просмотреть данные в файле results.csv как графики на портале Foundry на вкладке "Мониторинг " вашей точно настроенной модели. Выберите ссылку для обученной модели, и вы увидите две диаграммы: потери и точность токенов. Если вы предоставили данные проверки, оба набора данных будут отображаться на одном графике.

Ожидайте, что потеря будет уменьшаться со временем, а точность увеличиваться. Если вы видите расхождение между данными обучения и валидации, это может указывать на то, что вы переобучаетесь. Попробуйте обучение с меньшим количеством эпох или меньшим коэффициентом скорости обучения.

Разверните точно настроенную модель

После того как ваша модель будет доработана, вы можете развернуть её и использовать в вашем собственном приложении.

При развертывании модели вы делаете модель доступной для вывода и взимается почасовая плата за размещение. Однако точно настроенные модели можно хранить на портале Foundry без затрат, пока вы не будете готовы к использованию.

Ход развертывания можно отслеживать на странице "Развертывания" на портале Foundry.

Использовать развернутую модель, настроенную с высокой точностью

После развертывания настроенной модели ее можно использовать как любую другую развернутую модель. Вы можете использовать детскую площадку в Foundry для экспериментов с новым развертыванием. Вы также можете использовать REST API для вызова вашей точно настроенной модели из собственного приложения. Вы уже можете приступить к использованию этой новой точно настроенной модели в потоке запросов для построения генеративного приложения ИИ.

Очистите ваши развертывания, настроенные модели и файлы обучения

Когда вы закончите работу с тонко настроенной моделью, вы можете удалить её развертывание и саму модель. При необходимости вы также можете удалить файлы обучения и проверки, отправленные в службу.

Удаление точно настроенного развертывания модели

Вы можете удалить развертывание для точно настроенной модели на странице "Развертывания " на портале Foundry. Выберите развертывание для удаления и нажмите кнопку "Удалить ", чтобы удалить развертывание.

Удалите модель с тонкой настройкой

Вы можете удалить настраиваемую модель на странице тонкой настройки на портале Foundry. Выберите настраиваемую модель, чтобы удалить, а затем выберите "Удалить ", чтобы удалить настроенную модель.