Выбор подходящей модели ИИ для рабочей нагрузки

В быстро развивающемся ландшафте разработки искусственного интеллекта выбор правильной модели является как базовым, так и стратегическим решением. Тысячи моделей доступны для развертывания, при этом регулярно разрабатываются и выпускаются новые модели. В этой статье рассматриваются стратегии, которые можно использовать для улучшения процесса принятия решений.

Ключевые критерии выбора модели

Несколько критериев могут повлиять на выбор модели. В зависимости от уникальных характеристик рабочей нагрузки и приоритетов вашей организации некоторые критерии могут быть более важными, чем другие. Каждый критерий служит фильтром для уменьшения тысяч доступных моделей до более управляемого набора. Следующий список упорядочен по общему приоритету и начинается с факторов, которые обычно оказывают наибольшее влияние.

Соответствие задачи

Определите назначение модели, например чат, рассуждение, встраивание, генерация с дополнением извлечением (RAG) или многомодальную обработку.

При выборе модели искусственного интеллекта выберите модель, которая имеет возможности, которые соответствуют определенной задаче, которую необходимо выполнить. Различные модели оптимизированы для различных функций. Некоторые модели превосходят в обработке естественного языка, например, в классификации текста и аннотировании. Сверточная нейронная сеть (CNN) идеально подходит для визуальных данных, включая классификацию изображений и обнаружение объектов. Повторяющиеся нейронные сети (RNN) и преобразователи поддерживают анализ звука и распознавание речи. Многомодальные модели обрабатывают задачи, которые объединяют текстовые, изображения или звуковые входные данные. Например, модели GPT хорошо подходят для создания текста и понимания. Чтобы сузить параметры и выбрать модель, которая обеспечивает лучшую производительность, точность и эффективность для вашего варианта использования, четко определите задачу. Задачи включают анализ тональности, создание кода или беседу в режиме реального времени.

Современные рабочие нагрузки все чаще включают в себя агентные поведения, такие как многоэтапное рассуждение, использование инструментов и взаимодействие с пользовательскими интерфейсами или внешними системами. Эти шаблоны уделяют больше внимания качеству рассуждений, предсказуемости задержки и поддержке оркестрации при оценке соответствия задачи.

Стратегия маршрутизации моделей

Некоторые рабочие нагрузки получают преимущества от внедрения архитектурной абстракции между приложением и отдельными моделями. Стратегия маршрутизации модели позволяет приложению отправлять запросы в одну конечную точку, а компонент маршрутизации динамически выбирает резервную модель.

Маршрутизаторы модели оценивают характеристики запроса и направляют его в соответствующую модель на основе предопределенных критериев. К общим стратегиям маршрутизации относятся:

• Оптимизированная для затрат маршрутизация, которая предпочитает модели с более низкими затратами для простых или некритических запросов.

• Оптимизированная для качества маршрутизация, которая направляет сложные или высокориском запросы к моделям с более высоким уровнем возможностей.

• Сбалансированная маршрутизация, которая автоматически совмещает затраты и качество на основе характеристик рабочей нагрузки.

Маршрутизация моделей не устраняет необходимость понимания возможностей модели. Вместо этого он реализует это понимание во время выполнения и позволяет системам адаптироваться при изменении моделей и рабочих нагрузок.

Рекомендации по проектированию модельных маршрутизаторов

При внедрении стратегии маршрутизации моделей учитывайте следующие факторы:

• Ограничения пула моделей: решения по маршрутизации ограничены моделями, включенными в резервный пул маршрутизатора.

• Ограничения контекстного окна. Эффективное окно контекста ограничено наименьшим окном контекста среди всех моделей кандидатов.

• Пользовательские и точно настроенные модели: стратегии маршрутизации должны учитывать модели, настроенные для определенных доменов или задач.

• Прогнозируемость и наблюдаемость. Динамическая маршрутизация может усложнять прогнозирование затрат, отладку и анализ производительности.

Модельные маршрутизаторы наиболее эффективны, если изменчивость в сложности запросов или объёме оправдывает дополнительную архитектурную сложность.

Виды использования одиночной модели и нескольких моделей

При рассмотрении задачи следует учитывать совместимость с проектированием приложения для управления рабочей нагрузкой. Единая модель, которая соответствует всем требованиям задачи, лучше всего подходит для более простого подхода. Кроме того, можно структурировать задачу на несколько шагов, которые используют модель, подходящую для конкретной цели. В разработке рабочих нагрузок на основе агента ИИ распространено несколько моделей, особенно при использовании шаблонов оркестрации агентов ИИ. Например, можно объединить понимание языка, логическое мышление и извлечение. Этот модульный подход обеспечивает большую гибкость, масштабируемость и адаптируемость, особенно в динамических средах, где задачи развиваются или требуют разнообразных возможностей.

По отдельности оцените и выберите каждую модель, которую вы включаете в рабочую нагрузку. Примените следующие рекомендации для каждой модели.

Маршрутизация вручную между несколькими моделями и автоматическим выбором моделей

Большинство рекомендаций по выбору моделей предполагает, что вы вручную выбираете модель во время разработки. Этот подход хорошо работает, если требования к рабочей нагрузке стабильны, поведение модели хорошо понятно, а характеристики затрат или производительности прогнозируются.

В более динамических рабочих нагрузках можно делегировать выбор модели самой системе. Автоматический выбор модели представляет уровень маршрутизации, который вычисляет каждый запрос во время выполнения и выбирает наиболее подходящую модель из предопределенного набора. Этот подход переводит выбор модели из статического решения, принятого на этапе разработки, в область операционных задач.

Выбор вручную подчеркивает прогнозируемость и управление. Автоматический выбор подчеркивает адаптацию по мере изменений рабочих нагрузок, паттернов трафика и возможностей модели. Оба подхода являются допустимыми вариантами архитектуры, и многие системы объединяют их с помощью ручного выбора критически важных путей и автоматического выбора для переменных или поисковых рабочих нагрузок.

Ограничения затрат

Определите бюджетные ограничения для вывода и развертывания.

Учитывайте рекомендации по затратам при выборе модели искусственного интеллекта, особенно при балансировке производительности с ограничениями бюджета. Для высокопроизводительных моделей часто требуются значительные вычислительные ресурсы, которые могут увеличить инфраструктуру и операционные затраты, особенно в масштабе. Для рабочих нагрузок, имеющих ограниченное финансирование, модели с открытым исходным кодом или предварительно обученные от поставщиков облачных служб могут быть экономически эффективным вариантом, который по-прежнему соответствует требованиям к производительности. Кроме того, рабочие нагрузки, имеющие более крупные бюджеты, могут предпочесть собственные модели или настраиваемое обучение для повышения точности и возможностей конкретного домена. Выровняйте выбор модели вокруг модели, которая обеспечивает максимальную отдачу от инвестиций (ROI).

Затраты влияют не только на объем запросов, но и на характеристики модели и поведение рабочей нагрузки. Факторы, которые обычно влияют на затраты, включают:

• Размер окна контекста, где большие окна увеличивают затраты на обработку входных данных.

• Многомодальные входные данные, такие как изображения или аудио, которые добавляют предварительную обработку и затраты на маркеризацию.

• Возможности рассуждений, которые могут привести к дополнительным затратам вычислений сверх видимых выходных токенов.

По мере того как модели конвергятся в возможностях, оценка затрат все чаще зависит от того, как шаблоны использования рабочей нагрузки взаимодействуют с этими характеристиками, а не на простых сравнениях категорий моделей.

Размер окна контекста

Определите размер окна контекста, необходимого для задачи.

При выборе модели ИИ размер окна контекста должен соответствовать сложности и длине входных данных, с которыми вы планируете работать. Как правило, более крупные, полнофункционированные модели имеют более крупные контекстные окна. Эти модели также требуют больше вычислительных ресурсов и обычно медленнее при возврате ответов, чем небольшие специализированные модели. Более крупное окно контекста позволяет модели одновременно рассматривать больше сведений, таких как более длинные документы, расширенные беседы или сложные базы кода, не теряя отслеживания более раннего содержимого. Эта возможность особенно важна для задач, требующих последовательного ответа, понимания нюансов контекста или ссылки на более ранние части беседы или документа. И наоборот, модели с меньшими контекстными окнами могут быть более быстрыми или более экономичными и лучше подходят для более коротких, более ориентированных задач.

Безопасность и соответствие требованиям

Проверьте, соответствует ли модель стандартам безопасности и соответствия требованиям вашей организации.

Выберите модель, которая соответствует стандартам безопасности вашей организации и нормативным обязательствам по устранению рисков и поддержанию доверия. Организации, работающие в регулируемых отраслях, таких как здравоохранение, финансы или правительство, должны обеспечить соблюдение своих моделей, таких как Общие правила защиты данных (GDPR), Закон о переносимости медицинского страхования и подотчетности (HIPAA) или Закон о конфиденциальности потребителей Калифорнии (CCPA). Они должны выбирать модели, обеспечивающие надежную защиту данных, параметры безопасного развертывания и прозрачность в процессах принятия решений. Модели с открытым исходным кодом могут обеспечить более высокую интерпретацию и контроль, в то время как собственные модели могут обеспечить более строгие встроенные гарантии и поддержку сертификации соответствия требованиям.

Доступность по регионам

Проверьте, можно ли развернуть модель в том же регионе, что и другие ресурсы рабочей нагрузки.

Ограниченная региональная доступность может значительно повлиять на выбор модели ИИ, особенно при рассмотрении задержки, расположения данных и требований к соответствию требованиям. Некоторые модели размещаются только в определенных географических регионах, что может повлиять на производительность пользователей в других местах из-за увеличения времени отклика. Рабочие нагрузки, входящие в региональные законы о защите данных, такие как GDPR в Европе или CCPA в Калифорнии, должны обеспечить соответствие выбранной модели местным нормативным требованиям для хранения и обработки данных.

Стратегия развертывания

Проверьте, можно ли разместить модель на бессерверной или управляемой инфраструктуре, собственной инфраструктуре или непосредственно на устройстве.

Выбор модели тесно связан с тем, где выполняется вывод. Помимо облачных моделей некоторые рабочие нагрузки используют локальные или локальные модели устройств. Локальное развертывание представляет новые ограничения и возможности, влияющие на выбор модели, включая возможности оборудования, ограничения памяти и доступные акселераторы.

Локальные модели могут снизить перемещение данных, поддерживать автономные или пограничные сценарии и улучшать конфиденциальность, сохраняя конфиденциальные данные на устройстве. Однако они часто предлагают меньше корпоративных гарантий по сравнению с облачными моделями и возлагают большую ответственность на владельца рабочей нагрузки за обновления моделей, обеспечение безопасности и поддержку происхождения.

В гибридных архитектурах локальный вывод может сочетаться с периодической облачной обработкой, обеспечивая баланс между скоростью реагирования, конфиденциальностью и централизованным управлением.

Требования к рабочей нагрузке ограничивают параметры вычислительной платформы для каждой задачи. Это ограничение эффективно ограничивает, какие модели можно использовать в зависимости от того, где их можно развернуть для удовлетворения требований к эффективности, затратам и соответствию требованиям. В зависимости от доступного хостинга вы также можете выбрать пакет SDK для выполнения инференса для этой модели. Некоторые платформы предоставляют единый пакет SDK, поддерживающий вызов всех размещенных моделей. Другие вычислительные платформы требуют использования пакета SDK, созданного поставщиком модели.

Специфика домена

Проверьте, была ли модель предварительно обучена на данных, значимых для вашей отрасли, таких как финансы или здравоохранение.

Модель искусственного интеллекта, которая предварительно обучена данным, относящимся к вашей отрасли, например здравоохранению, финансам или юридическим, может обеспечить значительные преимущества в точности, эффективности и контекстном понимании. Эти модели обучены на терминологии, специфичной для данной области, регуляторным нюансам и типичным рабочим процессам. Это обучение снижает потребность в обширном переобучении и тонкой настройке. В результате они могут предоставлять более точные прогнозы, создавать более релевантное содержимое и поддерживать быстрое развертывание в реальных приложениях. Предварительная подготовка в отрасли также помогает обеспечить соответствие требованиям и повысить надежность, особенно в областях, определяющих точность и надежность.

Performance

Определите, насколько быстро и точно должны быть ответы.

Каждая модель ИИ имеет встроенные ограничения производительности и способ размещения модели может привести к дополнительным ограничениям. Как модель, так и ее настройка размещения определяют, насколько быстро она может реагировать и сколько запросов она может обрабатывать одновременно. В зависимости от того, как ваша система или приложение использует модель, необходимо выбрать модель, которая соответствует требованиям вашей системы или настроить систему в соответствии с тем, что модель может реалистично обрабатывать.

Как правило, вы хотите выбрать модель, которая соответствует вашим стандартам качества при реагировании как можно быстрее. Он также должен размещаться таким образом, чтобы поддерживать ожидаемый объем запросов, не вызывая задержек или ухудшения взаимодействия с пользователем.

Настраиваемость модели

Определите, насколько много вам требуется настроек.

Некоторые модели искусственного интеллекта предоставляют множество гиперпараметров, которые можно настроить в соответствии с потребностями приложения. К примерам относятся глубокие нейронные сети и градиентный бустинг. Эти модели обеспечивают точный контроль над параметрами, такими как скорость обучения и архитектура, что делает их идеальными для задач с высокими ставками, где точность имеет решающее значение. Кроме того, более простые модели, такие как линейная регрессия или деревья принятия решений, проще развертывать и интерпретировать, что делает их подходящими для небольших наборов данных, вариантов использования в режиме реального времени или команд, имеющих ограниченный опыт машинного обучения. Настраиваемость также влияет на обобщение. Чрезмерно сложные модели рискуют переобучением, в то время как более простые модели могут быть недообучены, но обеспечивают более стабильную производительность. Кроме того, учитывайте ограничения ресурсов, так как модели с высокой настройкой часто требуют больше времени обучения, памяти и автоматизированных средств настройки.

Другие факторы

Предыдущие критерии часто тесно соответствуют функциональным и нефункциональным требованиям рабочей нагрузки. Но другие факторы иногда относятся к процессу принятия решений. Эти факторы обычно являются самым низким приоритетом для большинства рабочих нагрузок, но ваша рабочая нагрузка может назначить им большую важность в определенных ситуациях. Следующие факторы также могут влиять на решения по выбору модели:

• Тип лицензии
• Многоязычные возможности
• План поддержки (сообщество или платный)
• Отчеты об устойчивости и воздействии на окружающую среду
• Обновление жизненного цикла (исправлений ошибок и исправлений модели) и стратегии выхода на пенсию

Некритерии выбора модели

Не включайте следующие факторы в принятие решений, так как они редко соответствуют функциональным или нефункциональным требованиям рабочей нагрузки:

• Культурная популярность
• Издатель, например OpenAI, Meta, Microsoft, xAI и другие

Уточнение выбора модели

Чтобы эффективно применить критерии выбора, используйте каталог, например каталоги в моделях Hugging Face, Foundry Models и GitHub. Эти службы предоставляют фильтры, которые соответствуют многим из предыдущих критериев принятия решений, таких как задачи, чтобы сократить количество моделей, которые нужно выбрать.

Оценка и тестирование

Чтобы выполнить параллельное вычисление модели ИИ, начните с определения четкого набора критериев на основе конкретных потребностей вашего приложения, таких как точность, скорость, стоимость, хранение контекста и качество выходных данных. Затем запустите модели кандидатов в одном репрезентативном наборе данных или наборе задач, чтобы обеспечить согласованные условия ввода и оценки. Сравните выходные данные как качественно, так и количественно с помощью таких метрик, как релевантность, согласованность, задержка и удовлетворенность пользователей. Кроме того, полезно привлечь заинтересованных лиц или пользователей в процесс оценки, чтобы собрать отзывы о том, какая модель лучше всего соответствует реальным ожиданиям. Этот структурированный подход помогает принять информированное решение о том, какая модель лучше всего подходит для вашего варианта использования.

Вы также можете использовать такие инструменты, как коллекции бенчмарков от Hugging Face, для оценки языковых возможностей, логического вывода и безопасности моделей. Ознакомьтесь с несколькими источниками тестирования, чтобы узнать, как работают конкретные модели в различных реальных сценариях. Такой подход снижает риск предвзятости от любого хоста модели.

Хост модели может предоставлять встроенные средства оценки на своей платформе, и мы рекомендуем воспользоваться ими. Дополнительные сведения см. в разделе "Оценка моделей сгенерированных ИИ" с помощью Microsoft Foundry.

Тонкая настройка и дистилляция

Во многих случаях необходимо произвести тонкую настройку, чтобы обучить модель на вашем наборе данных. Это требование может повлиять на выбор модели, так как некоторые модели не поддерживают точную настройку. Дистилляция относится к использованию модели, обученной на вашем наборе данных, чтобы обучить другую модель, которая часто меньше и более специализированна. Эта практика позволяет создавать более эффективную рабочую нагрузку, повышая производительность и уменьшая затраты. Как и при тонкой настройке, некоторые модели не поддерживают дистилляцию, поэтому учитывайте это требование при планировании проектирования рабочей нагрузки.

Планирование изменений модели

Выбор модели не является однократным действием. В вашем доказательстве концепции (POC) или на этапе прототипа можно выбрать передовую модель для ускорения разработки. При переходе к использованию в производственной среде более специализированная модель или даже небольшая языковая модель может оказаться лучшим выбором. По мере развития рабочей нагрузки выбранная модель может не выполняться должным образом, или запланированные функции могут не совпадать с этой моделью. Чтобы следить за развитием рынка, вам также может потребоваться регулярно заменить модель более новыми выпусками. Дополнительные сведения о рекомендациях по жизненному циклу модели см. в разделе "Проектирование" для поддержки жизненных циклов базовой модели.

Для обеспечения устойчивости архитектуры в будущем рассмотрите следующие подходы к снижению рисков:

• Используйте уровни абстракции, такие как пакет SDK для вывода искусственного интеллекта Azure, чтобы избежать блокировки поставщика.

• Параллельное тестирование моделей путем переключения переменных среды и сравнения выходных данных.

• Избегайте непрозрачной маршрутизации, если не гарантируется возможность наблюдения и трассировки.

Дальнейшие шаги

• Изучение моделей
• Модели и возможности, которые Azure продает напрямую