Оповещения для служб ИИ

В этой статье перечислены оповещения системы безопасности, которые вы можете получить для ИИ из Microsoft Defender для облака и любых Microsoft Defender планов, которые вы включили. Оповещения, отображаемые в вашей среде, зависят от защищаемых ресурсов, служб и настроенной конфигурации.

Некоторые сигналы риска рабочей нагрузки ИИ также могут поступать из планов защиты инфраструктуры, таких как Defender для контейнеров, когда приложения ИИ выполняются в Kubernetes.

Узнайте, как реагировать на эти оповещения.

Узнайте, как экспортировать оповещения.

Note

Время, требуемое для отображения оповещений из разных источников, может отличаться. Например, для отображения оповещений, требующих анализа сетевого трафика, может потребоваться больше времени, чем для оповещений, связанных с выполнением подозрительных процессов на виртуальных машинах.

Note

Для предварительных версий оповещений: предварительная версия дополнительных условий использования Azure включает дополнительные юридические условия, применимые к функциям Azure, которые находятся в бета-версии, предварительной версии или еще не являются общедоступными по другим причинам.

Оповещения для приложений ИИ

Обнаружена служба Kubernetes (приложения ИИ в Kubernetes)

Имя оповещения: обнаружена служба Kubernetes.

Описание. Это оповещение указывает, что служба Kubernetes типа LoadBalancer была создана или обновлена таким образом, что она может публично предоставлять рабочие нагрузки. Для приложений искусственного интеллекта, работающих в Kubernetes, это может повысить риск, особенно если внешние доступные конечные точки используют слабую проверку подлинности или отсутствуют элементы управления проверкой подлинности.

Серьезность: Средняя

Обнаружена попытка кражи учетных данных при развертывании модели искусственного интеллекта Azure

(ИИ. Azure_CredentialTheftAttempt)

Описание. Оповещение о краже учетных данных предназначено для уведомления центра операций безопасности (SOC) при обнаружении учетных данных в ответе модели GenAI на запрос пользователя, указывающее на потенциальное нарушение. Это оповещение имеет решающее значение для обнаружения случаев утечки учетных данных или кражи, которые являются уникальными для создания искусственного интеллекта и могут иметь серьезные последствия при успешном выполнении.

Тактика MITRE: доступ к учетным данным, боковое движение, эксфильтрация

Серьезность: Средняя

Попытка взлома модели Azure ИИ была заблокирована Безопасность содержимого ИИ Azure экранами запросов

(ИИ. Azure_Jailbreak.ContentFiltering.BlockedAttempt)

Описание. Оповещение о тюрьме, выполняемое с помощью метода прямого внедрения запросов, предназначено для уведомления SOC о попытке управлять системным запросом для обхода гарантий генерированного ИИ, потенциально доступ к конфиденциальным данным или привилегированным функциям. Он указал, что такие попытки были заблокированы Azure ответственной безопасности содержимого ИИ (также известный как экраны запросов), обеспечивая целостность ресурсов ИИ и безопасность данных.

Тактика MITRE: Эскалация привилегий, Оборона Evasion

Серьезность: Средняя

Обнаружена попытка взлома модели Azure ИИ, обнаружена Безопасность содержимого ИИ Azure экранов запросов

(ИИ. Azure_Jailbreak.ContentFiltering.DetectedAttempt)

Описание. Оповещение о тюрьме, выполняемое с помощью метода прямого внедрения запросов, предназначено для уведомления SOC о попытке управлять системным запросом для обхода гарантий генерированного ИИ, потенциально доступ к конфиденциальным данным или привилегированным функциям. Он указал, что такие попытки были обнаружены Azure ответственной безопасности содержимого искусственного интеллекта (также известный как экраны запросов), но не были заблокированы из-за параметров фильтрации содержимого или из-за низкой достоверности.

Тактика MITRE: Эскалация привилегий, Оборона Evasion

Серьезность: Средняя

Поврежденное приложение ИИ\model\data направило фишинговую атаку на пользователя

(ИИ. Azure_MaliciousUrl.ModelResponse)

Описание. Это оповещение указывает на повреждение приложения ИИ, разработанного организацией, так как он активно предоставил известный вредоносный URL-адрес, используемый для фишинга с пользователем. URL-адрес, связанный с приложением, моделью ИИ или данными, к которой может получить доступ приложение.

Тактика MITRE: Влияние (размыкание)

Уровень серьезности: Высокий

Фишинговый URL, распространенный в приложении ИИ

(ИИ. Azure_MaliciousUrl.UnknownSource)

Описание. Это оповещение указывает на потенциальное повреждение приложения ИИ или попытку фишинга одним из конечных пользователей. Оповещение определяет, что вредоносный URL-адрес, используемый для фишинга, был передан во время беседы через приложение ИИ, однако происхождение URL-адреса (пользователя или приложения) неясно.

Тактика MITRE: влияние (разложение), коллекция

Уровень серьезности: Высокий

Попытка фишинга, обнаруженная в приложении ИИ

(ИИ. Azure_MaliciousUrl.UserPrompt)

Описание. Это оповещение указывает URL-адрес, используемый для фишинга, отправлен пользователем в приложение ИИ. Содержимое, как правило, вынуждает посетителей вводить свои корпоративные учетные данные или финансовую информацию на поддельном веб-сайте. Отправка этого в приложение ИИ может быть целью повреждения, отравлением источников данных, к которому он имеет доступ, или получением доступа к сотрудникам или другим клиентам с помощью средств приложения.

Тактика MITRE: Коллекция

Уровень серьезности: Высокий

Обнаружен подозрительный агент пользователя

(ИИ. Azure_AccessFromSuspiciousUserAgent)

Description: агент пользователя запроса, обращающемся к одному из Azure ресурсов ИИ, содержит аномальные значения, указывающие на попытку злоупотребления или управления ресурсом. Подозрительный агент пользователя, который под вопросом, сопоставлен с Microsoft аналитикой угроз, как подозреваемый в злонамеренном намерении, поэтому ваши ресурсы, скорее всего, были скомпрометированы.

Тактика MITRE: Выполнение, разведка, начальный доступ

Серьезность: Средняя

Обнаружено внедрение управляющей команды в рамках ASCII Smuggling

(ИИ. Azure_ASCIISmuggling)

Описание: метод контрабанды ASCII позволяет злоумышленнику отправлять невидимые инструкции в модель ИИ. Эти атаки обычно относятся к непрямым внедрениям запросов, где злоумышленник передает скрытые инструкции по обходу приложений и моделей guardrail. Эти атаки обычно применяются без знаний пользователя, учитывая отсутствие видимости в тексте и может скомпрометирует средства приложения или подключенные наборы данных.

Тактика MITRE: влияние

Уровень серьезности: Высокий

Доступ из IP-адреса tor

(ИИ. Azure_AccessFromAnonymizedIP)

Описание: IP-адрес из сети Tor обращается к одному из ресурсов ИИ. Tor — это сеть, которая позволяет людям получать доступ к Интернету, сохраняя их реальный IP-адрес скрытым. Хотя существует законное использование, он часто используется злоумышленниками, чтобы скрыть свое удостоверение, когда они нацелены на системы людей в Интернете.

Тактика MITRE: Выполнение

Уровень серьезности: Высокий

Доступ из подозрительного IP-адреса

(ИИ. Azure_AccessFromSuspiciousIP)

Description: IP-адрес, обращаюющийся к одной из служб ИИ, был определен Microsoft аналитикой угроз как с высокой вероятностью возникновения угрозы. Наблюдая за вредоносным интернет-трафиком, этот IP-адрес появился как участвующий в атаке других целевых объектов в Интернете.

Тактика MITRE: Выполнение

Уровень серьезности: Высокий

Подозреваемая атака кошелька — повторяющиеся запросы

(ИИ. Azure_DOWDuplicateRequests)

Описание. Атаки на кошельки являются семейством атак, распространенных для ресурсов ИИ, которые состоят из субъектов угроз чрезмерно взаимодействуют с ресурсом искусственного интеллекта напрямую или через приложение в надежде на причинение организации большого финансового ущерба. Это обнаружение отслеживает большие объемы идентичных запросов, предназначенных для того же ресурса ИИ, который может быть вызван из-за текущей атаки.

Тактика MITRE: влияние

Серьезность: Средняя

Подозреваемая атака кошелька - аномалия тома

(ИИ. Azure_DOWVolumeAnomaly)

Описание. Атаки на кошельки являются семейством атак, распространенных для ресурсов ИИ, которые состоят из субъектов угроз чрезмерно взаимодействуют с ресурсом искусственного интеллекта напрямую или через приложение в надежде на причинение организации большого финансового ущерба. Это обнаружение отслеживает большие объемы запросов и ответов ресурсом, которые не соответствуют его историческим значениям использования.

Тактика MITRE: влияние

Серьезность: Средняя

Доступ к аномалиям в ресурсе ИИ

(ИИ. Azure_AccessAnomaly)

Описание. Это оповещение отслеживает аномалии в шаблонах доступа к ресурсу ИИ. Изменения параметров запроса пользователями или приложениями, такими как агенты пользователей, диапазоны IP-адресов, методы проверки подлинности и т. д. могут указывать на скомпрометированный ресурс, к которому теперь обращаются злоумышленники. Это оповещение может активироваться, если запросы действительны, если они представляют значительные изменения в шаблоне предыдущего доступа к определенному ресурсу.

Тактика MITRE: Выполнение, разведка, начальный доступ

Серьезность: Средняя

Подозрительное вызов операции с высоким уровнем риска "Первоначальный доступ" обнаружен субъектом-службой (ресурсы ИИ)

(ИИ. Azure_AnomalousOperation.InitialAccess)

Описание. Это оповещение обнаруживает подозрительное вызов операции с высоким риском в подписке, что может указывать на попытку доступа к ограниченным ресурсам. Определяемые операции, связанные с ресурсами ИИ, предназначены для эффективного доступа администраторов к своим средам. Хотя это действие может быть законным, субъект угроз может использовать такие операции, чтобы получить первоначальный доступ к ограниченным ресурсам ИИ в вашей среде. Это может указывать на то, что субъект-служба скомпрометирован и используется с вредоносным намерением.

Тактика MITRE: начальный доступ

Серьезность: Средняя

Вызов аномального средства

(ИИ. Azure_AnomalousToolInvocation)

Description: Это оповещение анализирует аномальные действия из приложения ИИ, подключенного к развертыванию модели OpenAI Azure. Приложение попыталось вызвать средство таким образом, чтобы отклониться от ожидаемого поведения. Это поведение может указывать на потенциальное неправильное использование или попытку атаки с помощью одного из средств, доступных приложению.

Тактика MITRE: Выполнение

Серьезность: низкая

(предварительная версия) Обнаружена попытка разведки LLM

(ИИ. Azure_LLMReconnaissance)

Описание: Субъект угроз взаимодействует с приложением ИИ таким образом, как поведение разведки, включая попытки извлечения системных инструкций, возможностей модели или обхода предохранителей безопасности. Эти запросы могут предшествовать попыткам внедрения запроса или атак в тюрьму. 

Тактика MITRE: Разведка

Серьезность: низкая

Оповещения для моделей искусственного интеллекта

(предварительная версия) Вредоносное содержимое, обнаруженное в отправленной модели искусственного интеллекта

(ИИ. AIModelScan_MalwareDetected)

Описание: Модель машинного обучения, отправленная пользователем, была проверена и найдена, чтобы содержать вредоносные программы. Обнаружение указывает, что файл может выполнять вредоносный код при загрузке, что представляет угрозу целостности учетной записи, конфиденциальности данных и вычислительной среды.

Критичность: Высокая

Дальнейшие действия

  • Last updated on