Azure OpenAI на ваших данных (классический)

Применяется только к:Портал Foundry (классический). Эта статья недоступна для нового портала Foundry. Дополнительные сведения о новом портале.

Примечание

Ссылки в этой статье могут открывать содержимое в новой документации Microsoft Foundry вместо документации Foundry (классической), которую вы просматриваете сейчас.

Важно

Azure OpenAI On Your Data устарел и приближается к выходу из эксплуатации.

Microsoft прекратила адаптацию новых моделей в Azure OpenAI On Your Data. Эта функция поддерживает только следующие модели:

Рекомендуем перенести задачи Azure OpenAI On Your Data на Foundry Agent Service с использованием Foundry IQ, чтобы извлекать контент и генерировать обоснованные ответы на основе ваших данных. Чтобы начать, см. Подключение базы знаний Foundry IQ.

Используйте эту статью, чтобы узнать о Azure OpenAI On Your Data, что упрощает для разработчиков подключение, прием и создание корпоративных данных для быстрого создания персонализированных копилот (предварительная версия). Он улучшает понимание пользователей, ускоряет выполнение задач, повышает эффективность работы и помогает принимать решения.

Что такое Azure OpenAI на ваших данных

Azure OpenAI On Your Data позволяет запускать расширенные модели ИИ, такие как GPT-35-Turbo и GPT-4 на собственных корпоративных данных, не требуя обучения или точной настройки моделей. Вы можете одновременно общаться и анализировать данные с большей точностью. Вы можете указать источники для поддержки ответов на основе последних сведений, доступных в указанных источниках данных. Вы можете получить доступ к Azure OpenAI On Your Data с помощью REST API через пакет SDK или веб-интерфейс на портале Microsoft Foundry portal. Вы также можете создать веб-приложение, которое подключается к вашим данным для предоставления расширенного решения для чата или развернуть его непосредственно в качестве копилота в Copilot Studio (предварительная версия).

Разработка с помощью Azure OpenAI на ваших данных

Схема, показывающая пример рабочего процесса.

Как правило, процесс разработки, который вы используете с Azure OpenAI On Your Data:

  1. Прием: отправка файлов с помощью портала Foundry или API приема. Это позволяет разделить на части, обработать и встроить ваши данные в экземпляр Поиск с использованием ИИ Azure, который можно использовать с моделями Azure OpenAI. Если у вас есть существующий поддерживаемый источник данных, вы также можете подключить его напрямую.

  2. Develop. После попытки Azure OpenAI On Your Data начните разработку приложения с помощью доступного REST API и пакетов SDK, доступных на нескольких языках. Он создаст подсказки и намерения поиска для передачи в сервис Azure OpenAI.

  3. Inference: после развертывания приложения в предпочитаемой среде он отправит запросы на Azure OpenAI, который выполнит несколько действий перед возвратом ответа:

    1. Создание намерений: служба определит намерение запроса пользователя, чтобы определить правильный ответ.

    2. Извлечение. Служба извлекает соответствующие блоки доступных данных из подключенного источника данных, запрашивая его. Например, с помощью семантического или векторного поиска. Для влияния на извлечение используются такие параметры, как строгость и количество извлеченных документов.

    3. Фильтрация и повторная обработка. Результаты поиска на шаге извлечения улучшаются путем ранжирования и фильтрации данных для уточнения релевантности.

    4. Создание ответов: полученные данные отправляются вместе с другими сведениями, такими как системное сообщение в большую языковую модель (LLM) и ответ отправляется в приложение.

Чтобы приступить к работе, подключите источник данных с помощью портала Foundry и начните задавать вопросы и чаты по данным.

Управление доступом на основе ролей Azure (Azure RBAC) для добавления источников данных

Чтобы полностью использовать Azure OpenAI On Your Data, необходимо задать одну или несколько Azure ролей RBAC. Дополнительные сведения см. в разделе Azure OpenAI в конфигурации данных.

Форматы данных и типы файлов

Azure OpenAI On Your Data поддерживает следующие типы файлов:

  • .txt
  • .md
  • .html
  • .docx
  • .pptx
  • .pdf

Существует ограничение отправки, и есть некоторые предостережения о структуре документов и о том, как это может повлиять на качество ответов из модели:

  • Если вы преобразуете данные из неподдерживаемого формата в поддерживаемый формат, оптимизируйте качество ответа модели, гарантируя преобразование:

    • Не приводит к значительной потере данных.
    • Не добавляет неожиданный шум в ваши данные.

  • Если файлы имеют специальное форматирование, например таблицы и столбцы, или точки маркеров, подготовьте данные с помощью скрипта подготовки данных, доступного в GitHub.

  • Для документов и наборов данных с длинным текстом следует использовать доступный сценарий подготовки данных. Скрипт разбивает данные на части, чтобы ответы модели были более точными. Этот скрипт также поддерживает сканированные PDF-файлы и изображения.

Поддерживаемые источники данных

Для отправки данных необходимо подключиться к источнику данных. Если вы хотите использовать свои данные для взаимодействия с моделью Azure OpenAI, данные сегментируются в поисковом индексе, чтобы соответствующие данные можно было найти по пользовательским запросам.

Примечание

Данные должны быть неструктурированным текстом для получения наилучших результатов. Если у вас есть нетекстовые полуструктурированные или структурированные данные, рассмотрите возможность преобразования его в текст. Если файлы имеют специальное форматирование, например таблицы и столбцы, или точки маркеров, подготовьте данные с помощью скрипта подготовки данных, доступного в GitHub.

База данных Integrated Vector Database в Azure Cosmos DB на базе vCore для MongoDB изначально поддерживает интеграцию с Azure OpenAI On Your Data.

Для некоторых источников данных, таких как отправка файлов с локального компьютера (предварительная версия) или данных, содержащихся в учетной записи хранения BLOB-объектов (предварительная версия), используется Поиск с использованием ИИ Azure. При выборе следующих источников данных, ваши данные принимаются в индекс Поиск с использованием ИИ Azure.

Прием данных через Поиск с использованием ИИ Azure Описание
Поиск с использованием ИИ Azure Используйте существующий индекс Поиск с использованием ИИ Azure с Azure OpenAI для обработки ваших данных.
Отправка файлов (предварительная версия) Передайте файлы с локального компьютера, чтобы храниться в базе данных Хранилище BLOB-объектов Azure и передавать их в Поиск с использованием ИИ Azure.
URL-адрес или веб-адрес (предварительная версия) Веб-содержимое из URL-адресов хранится в Хранилище BLOB-объектов Azure.
Хранилище BLOB-объектов Azure (предварительная версия) Отправка файлов из Хранилище BLOB-объектов Azure для приема в индекс Поиск с использованием ИИ Azure.

Схема служб индексирования векторов.

Развертывание в copilot (предварительная версия), приложение Teams (предварительная версия) или веб-приложение

После подключения Azure OpenAI к данным его можно развернуть с помощью кнопки Deploy на портале Foundry.

Снимок экрана: кнопка развертывания модели на портале Foundry.

Это дает несколько вариантов развертывания решения.

Вы можете развернуть на copilote в Copilot Studio (предварительная версия) непосредственно из портала Foundry, что позволяет использовать диалоговые возможности для различных каналов, таких как Microsoft Teams, веб-сайты, Dynamics 365 и другие каналы Azure Служба Bot. Тенант, используемый в Azure OpenAI и Copilot Studio (предварительная версия), должен совпадать. Дополнительные сведения см. в статье Подключение к Azure OpenAI On Your Data.

Примечание

Развертывание в помощнике в Copilot Studio (предварительная версия) доступно только в регионах США.

Настройка доступа и сети для Azure OpenAI на ваших данных

Вы можете использовать Azure OpenAI On Your Data и защитить данные и ресурсы с помощью Microsoft Entra ID управления доступом на основе ролей, виртуальных сетей и частных конечных точек. Вы также можете ограничить документы, которые можно использовать в ответах для разных пользователей с фильтрами безопасности Поиск с использованием ИИ Azure. См. раздел Azure OpenAI On Your Data access and network configuration.

Наилучшие практики

Используйте следующие разделы, чтобы узнать, как улучшить качество ответов, заданных моделью.

Параметр приема

При поглощении данных в Поиск с использованием ИИ Azure, вы можете изменить следующие дополнительные параметры в студии или API-интерфейсе.

Размер блока (предварительная версия)

Azure OpenAI On Your Data обрабатывает ваши документы, разделяя их на фрагменты перед загрузкой в систему. Размер блока — это максимальный размер с точки зрения количества маркеров любого блока в индексе поиска. Размер блока и количество извлеченных документов совместно определяют объем сведений (токенов) в запросе, отправляемом в модель. В общем, размер блока, умноженный на количество извлеченных документов, дает общее количество токенов, отправляемых в модель.

Настройка размера фрагмента для вашего варианта использования

Размер блока по умолчанию — 1024 токенов. Однако учитывая уникальность ваших данных, вы можете найти другой размер куска (например, 256, 512 или 1536 токенов) более эффективным.

Настройка размера блока может повысить производительность чат-бота. При поиске оптимального размера блока может потребоваться метод проб и ошибок, начать с рассмотрения характера вашего набора данных. Меньший размер блока обычно лучше подходит для наборов данных с прямыми фактами и меньшим контекстом, в то время как более крупный размер блока может оказаться полезным для более контекстной информации, хотя это может повлиять на производительность извлечения.

Небольшой размер блока, как 256, создает более детализированные блоки. Этот размер также означает, что модель будет использовать меньше токенов для создания выходных данных (если количество извлеченных документов очень высоко), что может снизить затраты. Меньшие блоки также означают, что модели не нужно обрабатывать и интерпретировать длинные разделы текста, уменьшая шум и отвлекающий фактор. Эта детализация и фокус, однако, представляют собой потенциальную проблему. Важные сведения могут быть не одними из наиболее извлеченных фрагментов, особенно если количество извлеченных документов имеет низкое значение, например 3.

Совет

Имейте в виду, что изменение размера блока требует повторного приема документов, поэтому рекомендуется сначала настроить параметры среды выполнения , такие как строгость и количество извлеченных документов. Попробуйте изменить размер блока, если вы по-прежнему не получаете нужные результаты:

  • Если вы сталкиваетесь с большим количеством ответов, таких как "Я не знаю" для вопросов с ответами, которые должны находиться в ваших документах, рассмотрите возможность уменьшения размера блока до 256 или 512, чтобы повысить степень детализации.
  • Если чат-бот предоставляет некоторые правильные сведения, но отсутствуют другие, что становится очевидным в цитатах, увеличение размера блока до 1536 может помочь получить более контекстную информацию.

Параметры среды выполнения

Вы можете изменить следующие дополнительные параметры в разделе параметров данных на портале Foundry и API. При обновлении этих параметров вам не нужно повторно отправлять данные.

Имя параметра Описание
Ограничьте ответы вашими данными Этот флаг настраивает подход чат-бота к обработке запросов, которые не связаны с источником данных, или когда результаты поиска в документах недостаточны для полного ответа. Если этот параметр отключен, модель дополняет свои ответы собственными знаниями в дополнение к документам. Если этот параметр включен, модель пытается использовать только ваши документы для ответов. inScope Это параметр в API и задано значение true по умолчанию.
Извлеченные документы Этот параметр представляет собой целое число, которое можно задать для 3, 5, 10 или 20, и определяет количество блоков документов, предоставленных большой языковой модели для формирования окончательного ответа. По умолчанию это значение равно 5. Процесс поиска может быть шумным, а иногда из-за фрагментирования релевантной информации может распространяться по нескольким блокам в индексе поиска. Выбор числа top-K, например 5, гарантирует, что модель может извлечь соответствующую информацию, несмотря на ограничения поиска и разбиения на части. Однако слишком большое увеличение числа может отвлекать модель. Кроме того, максимальное количество документов, которые можно эффективно использовать, зависит от версии модели, так как каждая из них имеет другой размер контекста и емкость для обработки документов. Если вы обнаружите, что ответы отсутствуют в важном контексте, попробуйте увеличить этот параметр. topNDocuments Это параметр в API и имеет значение 5 по умолчанию.
Строгость Определяет агрессивность системы в фильтрации документов поиска на основе их показателей сходства. Система выполняет запросы к Azure Search или другим хранилищам документов, а затем решает, какие документы предоставить большим языковым моделям, таким как ChatGPT. Фильтрация неуместных документов может значительно повысить производительность сквозного чат-бота. Некоторые документы исключены из результатов top-K, если они имеют низкие оценки сходства перед пересылкой их в модель. Это управляется целым значением от 1 до 5. При задании этого значения значение равно 1 означает, что система будет минимально фильтровать документы на основе сходства поиска с пользовательским запросом. И наоборот, параметр 5 указывает, что система будет агрессивно фильтровать документы, применяя очень высокий порог сходства. Если вы обнаружите, что чат-бот пропускает соответствующие сведения, уменьшите строгость фильтра (задайте значение ближе к 1), чтобы включить дополнительные документы. И наоборот, если неуместные документы отвлекают ответы, увеличьте пороговое значение (задайте значение ближе к 5). strictness Это параметр в API и задано значение 3 по умолчанию.

Нецитированные источники

Модель может вернуть "TYPE":"UNCITED_REFERENCE" вместо "TYPE":CONTENT в API для документов, извлекаемых из источника данных, но не включенных в ссылку. Это может быть полезно для отладки, и вы можете управлять этим поведением, изменив параметры среды выполнения строгости и извлеченных документов, описанные выше.

Системное сообщение

Вы можете определить системное сообщение, чтобы управлять ответом модели при использовании Azure OpenAI On Your Data. Это сообщение позволяет настроить ваши ответы поверх шаблона извлечения с дополненным поколением (RAG), который используется Azure OpenAI On Your Data. Системное сообщение используется в дополнение к внутреннему базовому запросу для предоставления интерфейса. Чтобы поддержать это, мы усекаем системное сообщение после определенного количества маркеров, чтобы модель могла отвечать на вопросы с помощью данных. Если вы определяете дополнительное поведение поверх интерфейса по умолчанию, убедитесь, что системный запрос подробно описан и объясняет точную ожидаемую настройку.

После добавления набора данных можно использовать раздел системного сообщения на портале Foundry или role_informationпараметр в API.

Снимок экрана, показывающий опцию системного сообщения на портале Foundry.

Потенциальные шаблоны использования

Определение роли

Вы можете определить роль, которую требуется помощнику. Например, если вы создаете бот поддержки, вы можете добавить "Вы являетесь помощником по поддержке инцидентов эксперта, который помогает пользователям решать новые проблемы".

Определение типа извлекаемых данных

Вы также можете добавить характер данных, которые вы предоставляете помощнику.

  • Определите тему или область набора данных, например "финансовый отчет", "академический документ" или "отчет об инциденте". Например, для технической поддержки можно добавить сообщение "Вы отвечаете на запросы, используя информацию из аналогичных инцидентов в извлеченных документах".
  • Если данные имеют определенные характеристики, вы можете добавить эти сведения в системное сообщение. Например, если документы находятся на японском языке, можно добавить "Вы извлекаете японские документы, и их следует внимательно читать на японском языке и отвечать на них на японском языке".
  • Если документы включают структурированные данные, такие как таблицы из финансового отчета, вы также можете добавить этот факт в системный запрос. Например, если данные содержат таблицы, можно добавить "Вы предоставляете данные в виде таблиц, относящихся к финансовым результатам, и вы должны прочитать строку таблицы по строке, чтобы выполнить вычисления, чтобы ответить на вопросы пользователя".

Определение стиля выходных данных

Вы также можете изменить выходные данные модели, определив системное сообщение. Например, если вы хотите убедиться, что ответы помощника находятся на французском языке, можно добавить запрос , например "Вы являетесь помощником по искусственному интеллекту, который помогает пользователям, которые понимают французскую информацию о поиске информации. Вопросы пользователя могут быть на английском или французском языках. Внимательно прочитайте извлеченные документы и ответьте на них на французском языке. Пожалуйста, переводите знания из документов на французский, чтобы убедиться, что все ответы находятся на французском языке".

Подтверждение критического поведения

Azure OpenAI On Your Data работает, отправляя подсказки в большую языковую модель для ответа на запросы пользователей с использованием ваших данных. Если в приложении имеется определенное поведение, можно повторить поведение в системном сообщении, чтобы повысить ее точность. Например, чтобы управлять моделью только ответами из документов, можно добавить "Пожалуйста, ответьте только с использованием извлеченных документов и без использования знаний. Создайте ссылки для получения документов для каждого утверждения в ответе. Если не удается ответить на вопрос пользователя с помощью извлеченных документов, объясните причину того, почему документы относятся к запросам пользователей. В любом случае не отвечайте на свои знания».

Примечание

Системное сообщение используется для изменения ответа помощника GPT на вопрос пользователя на основе полученной документации. Это не влияет на процесс извлечения. Если вы хотите предоставить инструкции по процессу извлечения, лучше включить их в вопросы. Системное сообщение является только руководством. Модель может не выполнять каждую указанную инструкцию, так как она была настроена на выполнение определенных функций, таких как объективность и избегание спорных заявлений. Непредвиденное поведение может произойти, если системное сообщение противоречит этим поведению.

Ограничьте ответы на ваши данные

Этот параметр поощряет модель реагировать только на данные и выбирается по умолчанию. При отмене выбора этого параметра модель может более легко применить свои внутренние знания для реагирования. Определите правильный выбор на основе варианта использования и сценария.

Взаимодействие с моделью

Используйте следующие методики для получения наилучших результатов при чате с моделью.

История переписки

  • Прежде чем начать новую беседу (или задать вопрос, который не связан с предыдущими), снимите журнал чата.
  • Получение разных ответов на один и тот же вопрос между первым ходом беседы и последующими можно ожидать, так как история беседы изменяет текущее состояние модели. Если вы получаете неправильные ответы, сообщите о ней как о проблеме качества.

Ответ модели

  • Если вы не удовлетворены ответом модели для конкретного вопроса, попробуйте сделать вопрос более конкретным или более универсальным, чтобы узнать, как модель реагирует, и соответствующим образом обработать свой вопрос.

  • Показано, что цепочка рассуждений эффективна для получения моделью нужных выходных данных при решении сложных вопросов и задач.

Длина вопроса

Избегайте задавать длинные вопросы и разбивайте их на несколько вопросов, если это возможно. Модели GPT имеют ограничения на количество маркеров, которые они могут принимать. При подсчете общего количества маркеров учитываются: вопрос пользователя, системное сообщение, извлеченные документы поиска (фрагменты), внутренние подсказки, история беседы (если таковая имеется) и ответ. Если вопрос превышает ограничение на количество токенов, он будет усечен.

Поддержка нескольких лингвистов

  • В настоящее время поиск ключевых слов и семантический поиск в Azure OpenAI On Your Data поддерживает запросы на том же языке, что и данные в индексе. Например, если данные на японском языке, то входные запросы также должны находиться на японском языке. Для получения многоязычных документов рекомендуется создавать индекс с включенным векторным поиском.

  • Чтобы повысить качество получения информации и ответа модели, рекомендуется включить семантический поиск на следующих языках: английский, французский, испанский, португальский, итальянский, итальянский, китайский(zh), японский, корейский, русский, арабский

  • Мы рекомендуем использовать системное сообщение для информирования модели о том, что данные используются на другом языке. Например:

  • **Вы являетесь помощником по искусственному интеллекту, который помогает пользователям извлекать информацию из извлеченных японских документов. Внимательно изучите японские документы, прежде чем сформулировать ответ. Запрос пользователя будет находиться на японском языке, и вы также должны ответить на японском языке".

  • Если у вас есть документы на нескольких языках, рекомендуется создать новый индекс для каждого языка и подключить их отдельно к Azure OpenAI.

Потоковая передача данных

Запрос потоковой передачи можно отправить с помощью stream параметра, позволяя отправлять и получать данные постепенно, не ожидая ответа всего API. Это может повысить производительность и взаимодействие с пользователем, особенно для больших или динамических данных.

{
    "stream": true,
    "data_sources": [
        {
            "type": "AzureCognitiveSearch",
            "parameters": {
                "endpoint": "'$AZURE_AI_SEARCH_ENDPOINT'",
                "key": "'$AZURE_AI_SEARCH_API_KEY'",
                "indexName": "'$AZURE_AI_SEARCH_INDEX'"
            }
        }
    ],
    "messages": [
        {
            "role": "user",
            "content": "What are the differences between Azure Machine Learning and Foundry Tools?"
        }
    ]
}

История разговоров для улучшения результатов

Во время общения с моделью предоставление истории чата поможет модели предоставить более качественные результаты. Вам не нужно включать context свойство сообщений помощника в запросы API для повышения качества ответа. См. справочную документацию по API для примеров.

Вызов функции

Некоторые модели Azure OpenAI позволяют определять параметры tools и tool_choice для включения вызова функций. Вы можете настроить вызов функции с помощью REST API/chat/completions. Если оба toolsисточника данных находятся в запросе, применяется следующая политика.

  1. Если tool_choice равен none, средства игнорируются, а для создания ответа используются только источники данных.
  2. В противном случае, если tool_choice не указан или указан как auto или как объект, источники данных игнорируются, а ответ будет содержать имя выбранной функции и аргументы, если таковые имеются. Даже если модель не выбирает функцию, источники данных по-прежнему игнорируются.

Если указанная выше политика не соответствует вашей необходимости, рассмотрите другие варианты, например : поток запросов или API помощников.

Оценка использования токенов для Azure OpenAI на ваших данных

Azure OpenAI On Your Data Retrieval Дополненное поколение (RAG) — это служба, которая использует службу поиска (например, Поиск с использованием ИИ Azure) и поколение (Azure модели OpenAI), чтобы пользователи получили ответы на свои вопросы на основе предоставленных данных.

В рамках этого конвейера RAG существует три шага на высоком уровне:

  1. Переформатировать запрос пользователя в список намерений поиска. Это делается путем вызова модели с запросом, включающим инструкции, вопрос пользователя и журнал бесед. Давайте вызовем этот запрос намерения.

  2. Для каждого намерения из службы поиска извлекаются несколько блоков документов. После фильтрации неуместных блоков на основе заданного пользователем порога строгости и повторной обработки или агрегирования блоков на основе внутренней логики выбирается указанное пользователем количество блоков документов.

  3. Эти блоки документов, а также вопросы пользователя, журнал бесед, сведения о роли и инструкции отправляются в модель, чтобы создать окончательный ответ модели. Давайте назовем это запросом поколения.

В общей сложности было сделано два вызова модели.

  • Для обработки намерения: оценка токенов для запроса намерения включает те, которые относятся к вопросу пользователя, журналу бесед и инструкциям, предоставленным модели для создания намерения.

  • Для создания ответа: оценка токенов для запроса на генерацию включает вопрос пользователя, историю беседы, полученный список фрагментов документов, данные о роли и инструкции, отправленные для генерации.

Для оценки общего количества токенов необходимо учитывать созданные моделью токены (как намерения, так и ответа). Суммирование всех четырех столбцов ниже дает среднее общее количество маркеров, используемых для создания ответа.

Модель Количество токенов генерации запроса Число маркеров запроса намерения Число маркеров ответа Количество токенов намерения
gpt-35-turbo-16k 4297 1366 111 25
gpt-4-0613 3997 1385 118 18
gpt-4-1106-preview 4538 811 119 27
gpt-35-turbo-1106 4854 1372 110 26

Приведенные выше числа основаны на тестировании набора данных с помощью следующих компонентов:

  • 191 беседа
  • 250 вопросов
  • 10 средних токенов на вопрос
  • В среднем 4 реплики на разговор.

И следующие параметры.

Настройка Значение
Количество извлеченных документов 5
Строгость 3
Размер блока 1024
Ограничить ответы только на загруженные данные? Истина

Эти оценки зависят от значений, заданных для указанных выше параметров. Например, если для количества извлеченных документов задано значение 10, а строгость имеет значение 1, число маркеров увеличится. Если возвращенные ответы не ограничиваются загруженными данными, модели дается меньше инструкций, и количество токенов сократится.

Оценки также зависят от характера запрашиваемых документов и вопросов. Например, если вопросы открыты, ответы, скорее всего, будут длиннее. Аналогичным образом, более длинное системное сообщение будет способствовать более длинному запросу, который потребляет больше токенов; если история беседы длинная, запрос будет длиннее.

Модель Максимальное количество токенов для системного сообщения
GPT-35-0301 400
GPT-35-0613-16K 1000
GPT-4-0613-8K 400
GPT-4-0613-32K 2000
GPT-35-turbo-0125 2000
GPT-4-turbo-0409 4000
GPT-4o 4000
GPT-4o-mini 4000

В приведенной выше таблице показано максимальное количество маркеров, которые можно использовать для системного сообщения. Чтобы просмотреть максимальное количество токенов в ответе модели, см. статью о моделях. Кроме того, следующие также потребляют токены:

  • Мета-запрос: если вы ограничиваете ответы модели содержимым данных заземления (inScope=True в API), максимальное количество токенов увеличивается. В противном случае (например, если inScope=False) максимальное значение меньше. Это число изменяется в зависимости от длины токена вопроса пользователя и истории беседы. Эта оценка содержит базовую подсказку и подсказки для переформулировки запросов для извлечения.

  • Вопрос пользователя и история: значение переменной, но ограничено 2000 токенами.

  • Извлеченные документы (блоки): количество маркеров, используемых извлекаемыми блоками документов, зависит от нескольких факторов. Верхняя граница для этого — это количество извлеченных блоков документа, умноженное на размер блока. Однако он будет усечен на основе доступных маркеров для конкретной модели, используемой после подсчета остальных полей.

    20% токенов из доступных зарезервированы для ответа модели. Остальные 80% доступных маркеров включают мета-запрос, журнал вопросов и бесед пользователя и системное сообщение. Оставшийся бюджет токенов используется извлеченными фрагментами документов.

Чтобы вычислить количество маркеров, потребляемых входными данными (например, вопросом, сведениями о системном сообщении или роли), используйте следующий пример кода.

import tiktoken

class TokenEstimator(object):

    GPT2_TOKENIZER = tiktoken.get_encoding("gpt2")

    def estimate_tokens(self, text: str) -> int:
        return len(self.GPT2_TOKENIZER.encode(text))
      
token_output = TokenEstimator.estimate_tokens(input_text)

Устранение неполадок

Чтобы устранить сбои операций, всегда ищите ошибки или предупреждения, указанные в ответе API или на портале Foundry. Ниже приведены некоторые распространенные ошибки и предупреждения:

Неудачные задания ингестации

Проблемы с ограничениями квот

Не удалось создать индекс с именем X в службе Y. Превышена квота индекса для этого сервиса. Сначала необходимо удалить неиспользуемые индексы, добавить задержку между запросами на создание индекса или обновить службу для более высоких ограничений.

Превышена квота стандартного индексатора X для этой службы. В настоящее время у вас имеется X стандартных индексаторов. Сначала необходимо удалить неиспользуемые индексаторы, изменить индексатор executionMode или обновить службу для более высоких ограничений.

Разрешение:

Обновление до более высокой ценовой категории или удаление неиспользуемых ресурсов.

Проблемы с временем ожидания предварительной обработки

Не удалось выполнить навык из-за сбоя запроса к веб-API

Не удалось выполнить навык, так как ответ веб-API недействителен

Разрешение:

Разбиите входные документы на небольшие документы и повторите попытку.

Проблемы с разрешениями

Этот запрос не авторизован для выполнения этой операции

Разрешение:

Это означает, что учетная запись хранения недоступна с указанными учетными данными. В этом случае проверьте учетные данные учетной записи хранения, передаваемые API, и убедитесь, что учетная запись хранения не скрыта за частной конечной точкой (если частная конечная точка не настроена для этого ресурса).

Каждое сообщение пользователя может переводиться на несколько поисковых запросов, все из которых отправляются в ресурс поиска параллельно. Это может привести к поведению троттлинга, если количество реплик поиска и разделов мало. Максимальное количество запросов в секунду, которое может поддерживать одна секция и одна реплика, может быть недостаточно. В этом случае рассмотрите возможность увеличения реплик и партиций или добавления логики ожидания/повторной попытки в приложении. Дополнительные сведения см. в документации Поиск с использованием ИИ Azure.

Поддержка региональной доступности и моделей

Важно

Azure OpenAI On Your Data устарел и приближается к выходу из эксплуатации.

Microsoft прекратила адаптацию новых моделей в Azure OpenAI On Your Data. Эта функция поддерживает только следующие модели:

Рекомендуем перенести задачи Azure OpenAI On Your Data на Foundry Agent Service с использованием Foundry IQ, чтобы извлекать контент и генерировать обоснованные ответы на основе ваших данных. Чтобы начать, см. Подключение базы знаний Foundry IQ.

См. сводную таблицу модели для региональной доступности.

Дальнейшие действия

  • Last updated on