Злоумышленники могут использовать доверие между ИИ-агентами, чтобы распространять вредоносные инструкции и заставлять системы обращаться к закрытым сервисам. Об этом сообщает портал Qazaqyia.kz со ссылкой на издание Kursiv Media.

Такой сценарий описал независимый исследователь безопасности Сайед Анас Мохиуддин, сообщает Ars Technica.

Что такое ИИ-агенты?

ИИ-агенты — это программы, которые могут выполнять задачи с помощью внешних инструментов: например, искать информацию или работать с базами данных. Для подключения таких инструментов используют протокол MCP.

Как начинается атака?

Атака может начаться с вредоносной инструкции, спрятанной в документе или другом материале. Один агент читает ее и передает другому как обычное рабочее задание. Второй доверяет первому и выполняет команду злоумышленника.

Если подключенный инструмент плохо защищен, это может заставить сервер обратиться к закрытым ресурсам компании. В результате возникает риск доступа к внутренним сервисам и конфиденциальным данным.

В каких проектах нашли уязвимости?

По словам Мохиуддина, похожие уязвимости подтвердили и исправили в проектах Google, JPMorgan Chase, Weaviate, французской цифровой службы DINUM и администрации индонезийского города Тангеранг.

Исследователь также сообщил о возможных проблемах в пяти системах для федеральных ведомств США. На момент публикации его отчета эти сообщения еще проверялись.

Самая серьезная ошибка

Одну из наиболее серьезных ошибок нашли в инструменте Google для работы с базами данных. Ее опасность оценили в 8 из 10. Сервер мог переходить по подставленным адресам и отправлять запросы к внутренним ресурсам. Google исправила проблему, добавив проверки адресов и ограничения доступа.

В инструменте компании Rapid7 обнаружили другую ошибку: непроверенные данные позволяли менять запросы к сервису. Ее оценили в 2,7 из 10 и также исправили. При этом ошибка не давала доступа за пределами прав используемого аккаунта.

Рекомендации исследователя

Исследователь рекомендует проверять запросы ИИ-агентов и ограничивать доступ инструментов к внутренним ресурсам. Даже если команду передает другая программа внутри компании, это еще не означает, что она безопасна.