Использование локального SLM (контейнер бокового контейнера)

Разверните веб-приложение с локальной языковой моделью (SLM) в качестве контейнера на стороне для запуска моделей ИИ полностью в среде Службы приложений. Исходящие вызовы или внешние зависимости службы ИИ не требуются. Этот подход идеально подходит, если у вас есть строгие требования к конфиденциальности данных или соответствия требованиям, так как все обработки ИИ и данные остаются локальными для вашего приложения. Служба приложений предлагает высокопроизводительные ценовые категории, оптимизированные для памяти, необходимые для запуска SMS на боковиках.

Обзор

Небольшие языковые модели (SLM) — это компактные модели ИИ, такие как серия Microsoft Phi-3 и Phi-4, которая может эффективно работать с меньшим количеством вычислительных ресурсов по сравнению с большими языковыми моделями. Развернув SLM в качестве контейнера на стороне вместе с веб-приложением в службе приложений, вы можете обрабатывать запросы ИИ полностью локально, не выполняя внешние вызовы API.

Эта архитектура обеспечивает несколько преимуществ:

  • Полная конфиденциальность данных: все данные и обработка ИИ остаются в среде службы приложений
  • Ноль внешних зависимостей: нет зависимости от внешних служб ИИ или подключения к Интернету
  • Прогнозируемая задержка: ответы стабильно быстрые без дополнительных сетевых накладных расходов
  • Управление затратами: оплата только для вычислительных ресурсов службы приложений без расходов на токен
  • Соответствие нормативным требованиям: соблюдение строгих требований к месту расположения и конфиденциальности данных

Когда следует использовать локальные SLMs

Локальные SLM идеально подходят для сценариев, в которых:

  • Конфиденциальность данных важна: здравоохранение, финансы, юридические или государственные приложения, которые не могут отправлять данные во внешние службы.
  • Требуется автономная возможность: приложения, которые должны функционировать без подключения к Интернету
  • Прогнозируемые затраты важны: фиксированные затраты на инфраструктуру вместо переменных цен на запрос
  • Низкая задержка необходима: время отклика sub-100ms без сетевых вызовов
  • Достаточно умеренных возможностей искусственного интеллекта: такие задачи, как классификация, сводка, извлечение сущностей или простые Q&A, которые не требуют самых мощных моделей

Хотя SLM могут не соответствовать возможностям больших моделей, таких как GPT-4, они превосходят в выполнении задач, специфичных для домена, где небольшие модели можно провести точную настройку для достижения отличной производительности с полным контролем над вашими данными.

Технический подход

Служба приложений поддерживает запуск SLMs через контейнеры sidecar, развертывающиеся вместе с вашим основным приложением. В сайдкаре запускается модельный механизм вывода (например, среда выполнения ONNX или llama.cpp) и открывает локальную конечную точку, которую может вызвать ваше приложение. При этом все процессы обработки сохраняются и поддерживают изоляцию при совместном использовании одних вычислительных ресурсов.

Начните с руководств

Связанный контент

  • Last updated on