Модели Службы Azure OpenAI

Служба Azure OpenAI работает на платформе разнообразного набора моделей с разными возможностями и ценовыми категориями. Доступность модели зависит от региона и облака. Сведения о доступности модели Azure для государственных организаций см. в Azure для государственных организаций службе OpenAI.

ограниченный доступ к моделям o1-preview и o1-mini

Azure OpenAI o1-preview и o1-mini модели специально предназначены для решения задач по устранению причин и решению проблем с повышенным фокусом и возможностями. Эти модели тратят больше времени на обработку и понимание запроса пользователя, что делает их исключительно сильными в таких областях, как наука, программирование и математика по сравнению с предыдущими итерациями.

Availability

o1-mini Теперь o1-preview доступны модели для доступа к API и развертывания моделей. Регистрация требуется, и доступ будет предоставлен на основе критериев соответствия корпорации Майкрософт.

Запрос доступа: приложение модели ограниченного доступа

После предоставления доступа необходимо создать развертывание для каждой модели.

поддержка API

Поддержка моделей серии o1 была добавлена в версию 2024-09-01-previewAPI.

Параметр max_tokens устарел и заменен новым max_completion_tokens параметром. Модели серии o1 будут работать только с параметром max_completion_tokens .

Использование

В настоящее время эти модели не поддерживают тот же набор параметров, что и другие модели, использующие API завершения чата. В настоящее время поддерживается только очень ограниченное подмножество, поэтому распространенные параметры, например temperature, top_pнедоступны, и в том числе они вызывают сбой запроса. o1-preview и o1-mini модели также не принимают роль системного сообщения в составе массива сообщений.

pip install openai --upgrade

from openai import AzureOpenAI
from azure.identity import DefaultAzureCredential, get_bearer_token_provider

token_provider = get_bearer_token_provider(
    DefaultAzureCredential(), "https://cognitiveservices.azure.com/.default"
)

client = AzureOpenAI(
  azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT"), 
  azure_ad_token_provider=token_provider,
  api_version="2024-09-01-preview"
)

response = client.chat.completions.create(
    model="o1-preview-new", # replace with the model deployment name of your o1-preview, or o1-mini model
    messages=[
        {"role": "user", "content": "What steps should I think about when writing my first Python API?"},
    ],
    max_completion_tokens = 5000

)

print(response.model_dump_json(indent=2))

pip install openai --upgrade

from openai import AzureOpenAI

client = AzureOpenAI(
  azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT"), 
  api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
  api_version="2024-09-01-preview"
)

response = client.chat.completions.create(
    model="o1-preview-new", # replace with the model deployment name of your o1-preview, or o1-mini model
    messages=[
        {"role": "user", "content": "What steps should I think about when writing my first Python API?"},
    ],
    max_completion_tokens = 5000

)

print(response.model_dump_json(indent=2))

{
  "id": "chatcmpl-AEj7pKFoiTqDPHuxOcirA9KIvf3yz",
  "choices": [
    {
      "finish_reason": "stop",
      "index": 0,
      "logprobs": null,
      "message": {
        "content": "Writing your first Python API is an exciting step in developing software that can communicate with other applications. An API (Application Programming Interface) allows different software systems to interact with each other, enabling data exchange and functionality sharing. Here are the steps you should consider when creating your first Python API:\n\n1. **Define the Purpose and Requirements**\n\n   - **Identify the Functionality**: Clearly outline what your API is supposed to do. What data or services will it provide to the users?\n   - **Determine the Endpoints**: Plan the different URLs (endpoints) through which users can access the API functionalities.\n   - **Specify Request and Response Formats**: Decide on the data formats (usually JSON) for incoming requests and outgoing responses.\n\n2. **Choose the Right Framework**\n\n   Python offers several frameworks for building APIs. Two of the most popular are:\n\n   - **Flask**: A lightweight and flexible web framework, great for small to medium-sized APIs.\n   - **FastAPI**: A modern, high-performance framework for building APIs with Python 3.6+ types, offering automatic interactive documentation.\n\n   **Example**:\n   ```bash\n   pip install flask\n   ```\n   or\n   ```bash\n   pip install fastapi uvicorn\n   ```\n\n3. **Set Up the Development Environment**\n\n   - **Create a Virtual Environment**: Isolate your project dependencies using `venv` or `conda`.\n   - **Install Required Packages**: Ensure all necessary libraries and packages are installed.\n\n   **Example**:\n   ```bash\n   python -m venv env\n   source env/bin/activate  # On Windows use `env\\Scripts\\activate`\n   ```\n\n4. **Implement the API Endpoints**\n\n   - **Write the Code for Each Endpoint**: Implement the logic that handles requests and returns responses.\n   - **Use Decorators to Define Routes**: In frameworks like Flask, you use decorators to specify the URL endpoints.\n\n   **Example with Flask**:\n   ```python\n   from flask import Flask, request, jsonify\n\n   app = Flask(__name__)\n\n   @app.route('/hello', methods=['GET'])\n   def hello_world():\n       return jsonify({'message': 'Hello, World!'})\n\n   if __name__ == '__main__':\n       app.run(debug=True)\n   ```\n\n5. **Handle Data Serialization and Deserialization**\n\n   - **Parsing Incoming Data**: Use libraries to parse JSON or other data formats from requests.\n   - **Formatting Output Data**: Ensure that responses are properly formatted in JSON or XML.\n\n6. **Implement Error Handling**\n\n   - **Handle Exceptions Gracefully**: Provide meaningful error messages and HTTP status codes.\n   - **Validate Input Data**: Check for required fields and appropriate data types to prevent errors.\n\n   **Example**:\n   ```python\n   @app.errorhandler(404)\n   def resource_not_found(e):\n       return jsonify(error=str(e)), 404\n   ```\n\n7. **Add Authentication and Authorization (If Necessary)**\n\n   - **Secure Endpoints**: If your API requires, implement security measures such as API keys, tokens (JWT), or OAuth.\n   - **Manage User Sessions**: Handle user login states and permissions appropriately.\n\n8. **Document Your API**\n\n   - **Use Tools Like Swagger/OpenAPI**: Automatically generate interactive API documentation.\n   - **Provide Usage Examples**: Help users understand how to interact with your API.\n\n   **Example with FastAPI**:\n   FastAPI automatically generates docs at `/docs` using Swagger UI.\n\n9. **Test Your API**\n\n   - **Write Unit and Integration Tests**: Ensure each endpoint works as expected.\n   - **Use Testing Tools**: Utilize tools like `unittest`, `pytest`, or API testing platforms like Postman.\n\n   **Example**:\n   ```python\n   import unittest\n   class TestAPI(unittest.TestCase):\n       def test_hello_world(self):\n           response = app.test_client().get('/hello')\n           self.assertEqual(response.status_code, 200)\n   ```\n\n10. **Optimize Performance**\n\n    - **Improve Response Times**: Optimize your code and consider using asynchronous programming if necessary.\n    - **Manage Resource Utilization**: Ensure your API can handle the expected load.\n\n11. **Deploy Your API**\n\n    - **Choose a Hosting Platform**: Options include AWS, Heroku, DigitalOcean, etc.\n    - **Configure the Server**: Set up the environment to run your API in a production setting.\n    - **Use a Production Server**: Instead of the development server, use WSGI servers like Gunicorn or Uvicorn.\n\n    **Example**:\n    ```bash\n    uvicorn main:app --host 0.0.0.0 --port 80\n    ```\n\n12. **Monitor and Maintain**\n\n    - **Logging**: Implement logging to track events and errors.\n    - **Monitoring**: Use monitoring tools to track performance and uptime.\n    - **Update and Patch**: Keep dependencies up to date and patch any security vulnerabilities.\n\n13. **Consider Versioning**\n\n    - **Plan for Updates**: Use versioning in your API endpoints to manage changes without breaking existing clients.\n    - **Example**:\n      ```python\n      @app.route('/v1/hello', methods=['GET'])\n      ```\n\n14. **Gather Feedback and Iterate**\n\n    - **User Feedback**: Encourage users to provide feedback on your API.\n    - **Continuous Improvement**: Use the feedback to make improvements and add features.\n\n**Additional Tips**:\n\n- **Keep It Simple**: Start with a minimal viable API and expand functionality over time.\n- **Follow RESTful Principles**: Design your API according to REST standards to make it intuitive and standard-compliant.\n- **Security Best Practices**: Always sanitize inputs and protect against common vulnerabilities like SQL injection and cross-site scripting (XSS).\nBy following these steps, you'll be well on your way to creating a functional and robust Python API. Good luck with your development!",
        "refusal": null,
        "role": "assistant",
        "function_call": null,
        "tool_calls": null
      },
      "content_filter_results": {
        "hate": {
          "filtered": false,
          "severity": "safe"
        },
        "protected_material_code": {
          "filtered": false,
          "detected": false
        },
        "protected_material_text": {
          "filtered": false,
          "detected": false
        },
        "self_harm": {
          "filtered": false,
          "severity": "safe"
        },
        "sexual": {
          "filtered": false,
          "severity": "safe"
        },
        "violence": {
          "filtered": false,
          "severity": "safe"
        }
      }
    }
  ],
  "created": 1728073417,
  "model": "o1-preview-2024-09-12",
  "object": "chat.completion",
  "service_tier": null,
  "system_fingerprint": "fp_503a95a7d8",
  "usage": {
    "completion_tokens": 1843,
    "prompt_tokens": 20,
    "total_tokens": 1863,
    "completion_tokens_details": {
      "audio_tokens": null,
      "reasoning_tokens": 448
    },
    "prompt_tokens_details": {
      "audio_tokens": null,
      "cached_tokens": 0
    }
  },
  "prompt_filter_results": [
    {
      "prompt_index": 0,
      "content_filter_results": {
        "custom_blocklists": {
          "filtered": false
        },
        "hate": {
          "filtered": false,
          "severity": "safe"
        },
        "jailbreak": {
          "filtered": false,
          "detected": false
        },
        "self_harm": {
          "filtered": false,
          "severity": "safe"
        },
        "sexual": {
          "filtered": false,
          "severity": "safe"
        },
        "violence": {
          "filtered": false,
          "severity": "safe"
        }
      }
    }
  ]
}

Доступность по регионам

Доступно для стандартного и глобального стандартного развертывания в восточной части США, восточной части США2, центрально-северной части США, центрально-южной части США, Центральной Швеции, западной части США и западной части США3 для утвержденных клиентов.

GPT-4o-Realtime-Preview

Модель gpt-4o-realtime-preview является частью семейства моделей GPT-4o и поддерживает низкой задержки, "речь в, речь вне" диалоговых взаимодействий. Звук GPT-4o предназначен для обработки взаимодействия в режиме реального времени, низкой задержки общения, что делает его отличным для агентов поддержки, помощников, переводчиков и других вариантов использования, которые нуждаются в высокой скорости обратной и вперед с пользователем.

Звук GPT-4o доступен в регионах Восточная часть США 2 (eastus2) и Центральная Швеция (swedencentral). Чтобы использовать звук GPT-4o, необходимо создать или использовать существующий ресурс в одном из поддерживаемых регионов.

При создании ресурса можно развернуть звуковую модель GPT-4o. При выполнении программного развертывания имя модели — gpt-4o-realtime-previewэто имя модели. Дополнительные сведения об использовании звука GPT-4o см. в документации по звуку GPT-4o.

Сведения о максимальных маркерах запроса и обучающих данных доступны в следующей таблице.

GPT-4o и GPT-4 Turbo

GPT-4o интегрирует текст и изображения в одну модель, что позволяет одновременно обрабатывать несколько типов данных. Этот многомодальный подход повышает точность и скорость реагирования на взаимодействие с компьютером. GPT-4o соответствует GPT-4 Turbo в английском тексте и задачах программирования, обеспечивая более высокую производительность на языках, отличных от английского языка и задач визуального зрения, устанавливая новые тесты для возможностей искусственного интеллекта.

Разделы справки доступ к моделям GPT-4o и GPT-4o mini?

GPT-4o и GPT-4o mini доступны для стандартного и глобального развертывания модели.

Необходимо создать или использовать существующий ресурс в поддерживаемом стандартном или глобальном стандартном регионе, где доступна модель.

При создании ресурса можно развернуть модели GPT-4o. Если выполняется программное развертывание, имена моделей :

• gpt-4oВерсия 2024-08-06
• gpt-4o, версия 2024-05-13
• gpt-4o-miniВерсия 2024-07-18

GPT-4 Turbo

GPT-4 Turbo — это большая многомодальная модель (прием ввода текста или изображения и создание текста), которая может решить сложные проблемы с большей точностью, чем любая из предыдущих моделей OpenAI. Как и GPT-3.5 Turbo, и более старые модели GPT-4 GPT-4 Turbo оптимизированы для чата и хорошо работают для традиционных задач завершения.

Последний выпуск GPT-4 Turbo:

• gpt-4Версия: turbo-2024-04-09

Это замена для следующих моделей предварительной версии:

• gpt-4Версия: 1106-Preview
• gpt-4Версия: 0125-Preview
• gpt-4Версия: vision-preview

Различия между моделями OpenAI и Azure OpenAI GPT-4 Turbo GA

• Версия OpenAI последней 0409 модели turbo поддерживает режим JSON и функцию, вызывая для всех запросов вывода.
• Версия Azure OpenAI последней turbo-2024-04-09 в настоящее время не поддерживает использование режима JSON и вызова функций при выполнении запросов вывода с входными данными изображения (визуального зрения). Текстовые входные запросы (запросы без image_url встроенных изображений) поддерживают режим JSON и вызов функции.

Различия от gpt-4 vision-preview

• Интеграция СИИ с GPT-4 Turbo с Vision не поддерживается для gpt-4 версии: turbo-2024-04-09 К ним относятся оптическое распознавание символов (OCR), заземление объектов, запросы видео и улучшенная обработка данных с помощью изображений.

GPT-4 Turbo подготовленная управляемая доступность

• gpt-4Версия: turbo-2024-04-09 доступен как для стандартных, так и подготовленных развертываний. В настоящее время подготовленная версия этой модели не поддерживает запросы на вывод изображений и визуального зрения. Подготовленные развертывания этой модели принимают только текстовые входные данные. Развертывания стандартной модели принимают как текстовые, так и запросы вывода изображений и визуального распознавания.

Развертывание GPT-4 Turbo с помощью общедоступной версии vision

Чтобы развернуть модель общедоступной версии из пользовательского интерфейса Студии, выберите GPT-4 и выберите turbo-2024-04-09 версию из раскрывающегося меню. Квота по умолчанию для gpt-4-turbo-2024-04-09 модели будет совпадать с текущей квотой для GPT-4-Turbo. См. ограничения региональной квоты.

GPT-4

GPT-4 является предшественником GPT-4 Turbo. Обе модели GPT-4 и GPT-4 Turbo имеют базовое имя gpt-4модели. Вы можете различать модели GPT-4 и Turbo, изучая версию модели.

• gpt-4Версия 0314
• gpt-4Версия 0613
• gpt-4-32kВерсия 0613

Вы можете увидеть длину контекста маркера, поддерживаемую каждой моделью в сводной таблице модели.

Модели GPT-4 и GPT-4 Turbo

• Эти модели можно использовать только с API завершения чата.

Ознакомьтесь с версиями моделей, чтобы узнать, как Служба Azure OpenAI обрабатывает обновления версий модели и работает с моделями , чтобы узнать, как просматривать и настраивать параметры версии модели развертываний GPT-4.

• GPT-4 версии 0125-preview — это обновленная версия предварительной версии GPT-4 Turbo, выпущенная ранее в качестве версии 1106-preview.
• GPT-4 версии 0125-preview завершает такие задачи, как создание кода более полно по сравнению с gpt-4-1106-preview. Из-за этого в зависимости от задачи клиенты могут обнаружить, что GPT-4-0125-preview создает больше выходных данных по сравнению с gpt-4-1106-preview. Мы рекомендуем клиентам сравнивать выходные данные новой модели. GPT-4-0125-preview также устраняет ошибки в gpt-4-1106-preview с обработкой UTF-8 для языков, отличных от английского языка.
• GPT-4 — это последняя версия общедоступной версии turbo-2024-04-09 и заменяет , 1106-previewа vision-previewтакже 0125-Preview.

GPT-3.5

Модели GPT-3.5 могут понять и создать естественный язык или код. Наиболее эффективной и экономичной моделью в семействе GPT-3.5 является GPT-3.5 Turbo, которая оптимизирована для чата и хорошо работает для традиционных задач завершения, а также. GPT-3.5 Turbo доступен для использования с API завершения чата. Служба GPT-3.5 Turbo Instruct имеет аналогичные возможности использования text-davinci-003 API завершения вместо API завершения чата. Мы рекомендуем использовать GPT-3.5 Turbo и GPT-3.5 Turbo Instruct над устаревшими моделями GPT-3.5 и GPT-3.

Дополнительные сведения о взаимодействии с GPT-3.5 Turbo и API завершения чата см . в подробном руководстве.

¹ Эта модель будет принимать запросы > 4096 токенов. Не рекомендуется превышать ограничение на 4096 входных маркеров, так как более новая версия модели ограничена 4096 токенами. Если возникают проблемы при превышении 4096 входных маркеров с этой моделью, эта конфигурация официально не поддерживается.

Внедрение

text-embedding-3-large является последней и самой способной моделью внедрения. Обновление между моделями внедрения невозможно. Для перехода от использования text-embedding-ada-002 text-embedding-3-large к вам потребуется создать новые внедрения.

• text-embedding-3-large
• text-embedding-3-small
• text-embedding-ada-002

При тестировании OpenAI сообщает как о больших, так и небольших моделях внедрения третьего поколения, что обеспечивает более высокую производительность многоязычного извлечения с помощью теста MIRACL , сохраняя производительность для английских задач с помощью теста MTEB .

Модели внедрения третьего поколения поддерживают уменьшение размера внедрения с помощью нового dimensions параметра. Как правило, более крупные внедрения являются более дорогими с точки зрения вычислений, памяти и хранилища. Возможность настроить количество измерений позволяет более контролировать общую стоимость и производительность. Параметр dimensions не поддерживается во всех версиях библиотеки Python OpenAI 1.x, чтобы воспользоваться этим параметром, рекомендуется обновить до последней версии: pip install openai --upgrade

Тестирование тестов mtEB в OpenAI показало, что даже если размеры модели третьего поколения снижаются до менее text-embeddings-ada-002 1536 измерений производительности, остается немного лучше.

DALL-E

Модели DALL-E создают изображения из текстовых запросов, которые предоставляет пользователь. DALL-E 3 обычно доступен для использования с ИНТЕРФЕЙСами REST API. DALL-E 2 и DALL-E 3 с клиентскими пакетами SDK находятся в предварительной версии.

Шептать

Модели Whisper можно использовать для преобразования речи в текст.

Вы также можете использовать модель Whisper с помощью API пакетной транскрибирования службы распознавания речи Azure. Ознакомьтесь с тем, что такое модель Whisper? Чтобы узнать больше об использовании службы "Речь ИИ Azure" и "Служба OpenAI Azure".

Текст для речи (предварительная версия)

Текст OpenAI для моделей речи, в настоящее время в предварительной версии, можно использовать для синтеза текста для речи.

Вы также можете использовать текст OpenAI для речевых голосов с помощью службы "Речь ИИ Azure". Дополнительные сведения см. в статье OpenAI text to speech voices via Azure OpenAI Service or via Azure AI Speech guide.

Сводная таблица модели и доступность региона

Модели по типу развертывания

Azure OpenAI предоставляет клиентам выбор в структуре размещения, которая соответствует своим бизнес-шаблонам и шаблонам использования. Служба предлагает два основных типа развертывания:

• Стандарт предлагается с глобальным вариантом развертывания, маршрутизация трафика глобально для обеспечения более высокой пропускной способности.
• Подготовка также предоставляется с помощью глобального варианта развертывания, что позволяет клиентам приобретать и развертывать подготовленные единицы пропускной способности в глобальной инфраструктуре Azure.

Все развертывания могут выполнять те же операции вывода, однако выставление счетов, масштабирование и производительность существенно отличаются. Дополнительные сведения о типах развертывания Azure OpenAI см. в руководстве по типам развертывания.

Эта таблица не содержит сведения о точной настройке региональной доступности. Ознакомьтесь с разделом по настройке этих сведений.

Стандартные модели по конечной точке

Модели точной настройки

¹ GPT-4 в настоящее время находится в общедоступной предварительной версии.

Помощники (предварительная версия)

Для Помощников требуется сочетание поддерживаемой модели и поддерживаемого региона. Для некоторых инструментов и возможностей требуются последние модели. Следующие модели доступны в API Помощников, пакете SDK и Azure AI Studio. Следующая таблица предназначена для оплаты по мере использования. Сведения о доступности подготовленной единицы пропускной способности (PTU) см . в статье о подготовленной пропускной способности. Перечисленные модели и регионы можно использовать как с помощниками версии 1, так и с версией 2. Вы можете использовать глобальные стандартные модели , если они поддерживаются в перечисленных ниже регионах.

Прекращение использования модели

Последние сведения о выходе на пенсию модели см. в руководстве по выходу на пенсию модели.

Следующие шаги

• Выход на пенсию и прекращение использования модели
• Дополнительные сведения о работе с моделями Azure OpenAI
• Дополнительные сведения об Azure OpenAI
• Дополнительные сведения о тонкой настройке моделей Azure OpenAI