шаблон архитектуры Azure для рабочих нагрузок ИИ

На этой схеме показаны ключевые компоненты интеллектуальной рабочей нагрузки приложения, которые необходимо включить в проект.

Рекомендации по проектированию

При разработке архитектуры интеллектуальной рабочей нагрузки приложений следует учитывать следующие характеристики проектирования, чтобы принимать обоснованные решения о проектировании компонентов и взаимодействии.

Время существования и состояние

API искусственного интеллекта, оркестрация, инференс и уровни знаний являются долгоживущими сервисами, которые работают на протяжении всего времени работы вашей нагрузки. Инвестируйте в доступность, мониторинг и эффективность работы для каждой службы.

Каждый слой развивается по-разному, поэтому вам нужна преднамеренная координация развертывания. API аналитики развивается медленно, чтобы оставаться стабильным и поддерживать обратную совместимость. Уровни оркестрации и агента развиваются быстрее по мере добавления новых возможностей. Уровень вывода обновляется при развертывании новых моделей. Уровень знаний постоянно развивается по мере изменения данных.

Компоненты без отслеживания состояния могут быть выделены или освобождены по запросу, а компоненты с отслеживанием состояния управляют данными, сохраняющимися во время взаимодействия.

API Интеллекта, уровни оркестрации и вывода являются нехранящими состояние, что упрощает их масштабирование путем добавления дополнительных экземпляров. Уровень оркестрации может содержать эфемерное состояние во время выполнения, но не сохраняет его за пределами обработки запросов. Эфемерное состояние снижает операционную сложность, но ограничивает возможности восстановления после сбоев, поэтому необходимо тщательно проектировать для повторных попыток и идемпотентных операций.

Данные сеанса управления беседами могут длиться от минут до дней. Более длинные сеансы позволяют проводить более содержательные беседы, но они стоят больше и увеличивают риск нарушения конфиденциальности. Уровень знаний хранит данные в индексах и базах данных, которые развиваются при добавлении, обновлении или удалении информации.

Компромисс. Принятые решения по управлению временем существования и состоянием непосредственно влияют на затраты, надежность и производительность. Долгосрочные компоненты с отслеживанием состояния требуют больше инвестиций в масштабирование и устойчивость, в то время как без отслеживания состояния, временные компоненты являются более экономичными, но могут привести к задержке от холодных запусков или извлечения внешнего состояния.

Охват и зависимости

API аналитики является единственной общедоступной конечной точкой в архитектуре, все остальное остается внутренним. Его можно развернуть в нескольких регионах, чтобы пользователи были близки к конечной точке и повысить устойчивость.

Уровень оркестрации располагается в центре, действует в вашей сети и координирует все, например, состояние беседы, вызовы моделей, извлечение знаний и вызов инструментов. Сбои здесь блокируют всю систему, поэтому сделать ее высокодоступной.

Уровень вывода выполняется внутренне без внешних зависимостей. Разверните его близко к оркестратору, чтобы обеспечить низкую задержку.

Уровни знаний и инструментов являются внутренними, но могут зависеть от внешних систем. Эти внешние зависимости могут привести к задержкам или проблемам доступности, влияющим на качество ответа.

Компромисс. Многорегионное развертывание повышает производительность и устойчивость, но увеличивает затраты. Развертывание в одном регионе является более экономичным, но может привести к более высокой задержке для пользователей далеко от региона.

Доступность и масштабируемость

Интеллектуальное приложение имеет два шаблона масштабирования. Базовые слои, такие как API, оркестрация и обработка выводов, масштабируются путем добавления дополнительных экземпляров. Слои данных, используемые для управления беседами и масштабирования знаний, распространяют данные между несколькими хранилищами через механизмы, такие как реплики чтения, партиционирование и шардирование.

API аналитики масштабируется для обработки дополнительных запросов. Разверните его в нескольких зонах или регионах для повышения доступности и обеспечения близкого доступа пользователей к конечной точке.

Оркестрация и агентские вычисления находятся в центре вашей системы, поэтому сбои здесь блокируют всё. Добавьте дополнительные экземпляры, используйте балансировку нагрузки и настройте механизм отказоустойчивости, чтобы система продолжала работать при сбое отдельных экземпляров.

Уровень вывода масштабируется в зависимости от нужд ваших моделей. Добавьте дополнительные экземпляры с графическими процессорами по мере роста спроса. Используйте подход «инфраструктура как код» (IaC) для быстрой реконструкции окружающей среды во время восстановления.

Управление беседами масштабируется с числом одновременных пользователей. Используйте копии и резервные копии для хранения данных сеанса.

Уровень знаний масштабируется на основе количества данных, которые у вас есть, и насколько часто он запрашивается. Используйте эффективную индексирование и настройку базы данных для быстрого реагирования. Настройте копии в нескольких местах для обеспечения доступности.

Компромисс. Бессостоячные компоненты могут быстро масштабироваться, но могут вызвать задержку холодного запуска. Компоненты данных обеспечивают устойчивость, но требуют больше планирования масштабирования. Сбалансируйте эти факторы на основе ожидаемых требований к нагрузке и бизнес-требованиям.

Безопасность и ответственный ИИ

Каждый слой в интеллектуальном приложении несет различные риски и нуждается в своих собственных элементах управления. Средства могут активировать реальные действия, знания формируют то, что знает ваш ИИ, и вывод создает выходные данные, которые видят пользователи. Ограничить доступ на каждом уровне, отслеживать то, что происходит, и убедиться, что вы можете объяснить, как принимаются решения.

Уровень инструментов несет самый высокий риск, поскольку действия могут иметь реальные последствия, которые потенциально необратимы. Для операций с высоким риском добавьте этапы утверждения. Используйте строгую проверку подлинности, доступ к наименьшим привилегиям и принудительное применение конфиденциальности данных для предотвращения несанкционированных действий и раскрытия персональных данных. Оцените каждое средство перед интеграцией, чтобы управление выходит за рамки рабочей нагрузки.

Для получения надежных выходных данных уровень знаний нуждается в высококачественных, непредвзятых данных. Обеспечение безопасности доступа к данным с помощью надлежащей проверки подлинности, авторизации и соответствия требованиям к месту расположения данных. Доступ только для чтения и сетевая изоляция предотвращают повреждение. Запишите, какие источники были получены для каждого ответа через следы аудита, этот процесс позволяет объяснить решения и исследовать проблемы позже.

Слой вывода должен быть доступен только для ролей операций и идентификации уровня оркестрации. Отслеживайте выходные данные через службу проверки, которая проверяет наличие токсики и других проблем безопасности. Проверьте модели перед развертыванием для выявления предвзятости и подготовьте механизмы отката, если возникнут проблемы в рабочей среде.

На этой схеме показаны ключевые компоненты учебной и тонкой настройки рабочей нагрузки, которые необходимо включить в проект.

Рекомендации по проектированию

При разработке архитектуры учебной и точной настройки рабочей нагрузки следует учитывать следующие характеристики проектирования, чтобы принимать обоснованные решения о проектировании компонентов и взаимодействии.

Время существования и состояние

Долгосрочные постоянные компоненты позволяют анализировать исторические данные и переобучивать модели в прошлых данных. Хранилище агрегатов данных, хранилище компонентов и реестр моделей являются долгосрочными, постоянными хранилищами, которые растут с новыми импортами, функциями и версиями моделей.

Временные компоненты обеспечивают экономичность, но требуют тщательной обработки сбоев и перезапусков. Платформа обработки данных и платформа обучения имеют длительную конфигурацию среды, но их вычислительные ресурсы эфемерные, создаются и масштабируются по требованию для конвейерных и обучающих заданий.

Уровень вывода не сохраняет состояния и является эфемерным. Разверните его по запросу для периодической пакетной обработки или в качестве долго работающей среды для частых потоков данных. Безгосударственная архитектура обеспечивает горизонтальное масштабирование и простое восстановление сбоев.

Компромисс. Долгосрочные постоянные компоненты обеспечивают устойчивость и исторический контекст, но требуют текущих затрат на обслуживание и хранение. Эфемерные компоненты без состояния являются более экономичными и масштабируемыми, но требуют надежной обработки сбоев и могут привести к задержкам от холодных запусков.

Охват и зависимости

Сохраняйте хранилища данных, обработку, обучение и вывод в одном регионе, чтобы свести к минимуму задержку и затраты. Распространяйте только в том случае, если этого требуют требования к месту размещения данных. Большинство компонентов являются только внутренними, что сокращает область атаки, но требует безопасного доступа для разработчиков и операторов.

Вы можете распространять источники данных в разных средах и географических регионах. Они являются вашей основной зависимостью для импорта данных, необходимых для обучения, тонкой настройки или закрепления.

Хранилище агрегирования данных является основной зависимостью платформы обработки данных, отделяя ее от источников данных.

Платформа обработки данных обращается к хранилищу функций для хранения вычисляемых функций, а платформа обучения обращается к ней во время обучения. Компонент вывода может также нуждаться в доступе только для чтения в зависимости от типа модели и конкретных требований.

Платформа обучения зависит от хранилища компонентов и агрегированных данных, созданных при обработке. Он записывает обученные модели в реестр моделей, который становится зависимостью для вывода.

Реестр моделей уникален, так как он требует внутреннего доступа (для обучения для записи моделей) и внешнего доступа (для приложений ИИ для развертывания моделей в средах вывода). Используйте модели принудительного развертывания, чтобы свести к минимуму внешний охват конфиденциальных компонентов.

Доступность и масштабируемость

Компоненты обучения должны расти с данными и оставаться доступными при необходимости. Хранилища данных, такие как хранилище агрегирования данных, хранилище компонентов и реестр моделей, масштабируются с помощью секционирования, репликации и эффективного индексирования, так как больше данных, функций и моделей добавляются со временем. Обеспечьте высокую доступность этих компонентов с помощью стратегий избыточности, резервного копирования и механизмов отказоустойчивости, чтобы ваши данные и модели были доступны всякий раз, когда это необходимо платформе для обучения или вывода.

Вычислительные платформы, такие как платформы для обработки данных и обучения, масштабируются по-разному. Они добавляют дополнительные ресурсы по запросу, когда это необходимо для ваших процессов обработки и обучения. Используйте IaC для автоматизации восстановления среды во время аварийного восстановления и добавления дополнительных вычислительных ресурсов, таких как узлы GPU по мере увеличения спроса.

Слой вывода обычно обрабатывает пакетную обработку в этом контексте, поэтому оптимизируйте его для пропускной способности, а не для низкой задержки. Вы можете горизонтально масштабироваться с меньшими затратами вычислительных ресурсов, так как вы обрабатываете большие объемы данных без необходимости реагирования в режиме реального времени.

Безопасность и ответственный ИИ

Решение вопросов безопасности и ответственного ИИ на каждом уровне. Используйте глубинную защиту с элементами управления доступом, шифрованием и аудитом. Следуйте принципу наименьших привилегий последовательно: ETL получает доступ только для чтения к источникам, обучение записывает только в реестр моделей, а инференс только читает. Сопоставляйте потоки данных, чтобы сохранить регулируемые данные в обязательных регионах и отслеживать, кто обращается к тому, что, когда и почему.

Источники данных — это самая важная контрольная точка для предотвращения предвзятости. Убедитесь, что импортированные данные представляют все типы субъектов справедливо. Если данные не могут покинуть свой регион, запустите конвейер ETL там, чтобы обеспечить соответствие требованиям.

Хранилище агрегатов данных и хранилище компонентов содержат конфиденциальную информацию. Контролируйте, кто может получить доступ к каким подмножествам данных, и соблюдайте правила размещения данных на протяжении всего жизненного цикла. Отслеживание происхождения данных для каждого вычисляемого атрибута. Это ваша основа для объяснимости и позволяет отслеживать прогнозы модели обратно в исходные данные.

Платформа обработки данных — это место, где активно предотвращается предвзятость. Ограничить исходящие подключения к одобренным хранилищам данных и службам. Здесь вы проверяете качество данных, фильтруете нецензурную лексику, скрываете конфиденциальную информацию и балансируете распределение данных путем снижения представления чрезмерно представленных групп или увеличения репрезентации недопредставленных групп.

Платформа обучения нуждается в изоляции, чтобы сохранить ее отдельно от рабочей среды. Регистрируйте каждый прогон обучения с помощью таких платформ, как MLFlow, записывая используемые данные, пробованные гиперпараметры и полученные результаты. Проводите проверки на предвзятость, справедливость и объяснимость всякий раз, чтобы выявить проблемы до развертывания.

Реестр моделей — это шлюз управления. Используйте учетные записи служб и публикуйте контрольные суммы для проверки моделей. Присоединяйте метаданные о обучающих данных, оценках и происхождении в каждую модель для прозрачности. Производственное развертывание через этапы проверок безопасности и применения ответственного ИИ.

Слой вывода должен выполнять только утвержденные модели. Изолируйте его в среде аналитики и отслеживайте все выходные данные для предвзятости, токсики и других вредных шаблонов.