Американская технологическая компания Anthropic заявила, что её модели искусственного интеллекта (ИИ) взломали системы трёх других компаний во время теста кибербезопасности из-за ошибки, предоставившей им доступ в интернет. Об этом сообщает портал Qazaqyia.kz со ссылкой на издание BBC News.
Это произошло через несколько дней после того, как конкурент OpenAI заявил, что его модели проникли в системы других компаний, включая хаб инструментов ИИ Hugging Face.
Это заявление побудило Anthropic проверить, не совершали ли её собственные модели аналогичных атак. Компания обнаружила три случая, о которых сообщила пострадавшим компаниям. Anthropic не назвала компании, но призвала другие ИИ-лаборатории провести аналогичные проверки, чтобы лучше понять риски возможностей своих моделей.
Anthropic в заявлении сообщила, что проверила более 140 000 тестов, чтобы найти доказательства того, что Claude — её семейство моделей ИИ — мог получить доступ в интернет из тестовых сред, которые должны были быть изолированы.
Тесты включали так называемые оценки «захват флага», в которых Claude должен был получить информацию, взломав другие системы — распространённый способ оценки хакерских способностей модели.
«Неправильная конфигурация» систем, управляемых Anthropic и её тестовым партнёром, предоставила моделям прямой доступ в интернет, позволив им взломать другие системы, сообщила компания из Сан-Франциско. Самые ранние инциденты датируются апрелем, и Anthropic заявила, что «подходит к исправлениям так, как если бы ответственность лежала только на нас».
Ни Anthropic, ни взломанные компании не заметили вторжений в то время. Компания признала, что могла бы более тщательно проверить свои записи, и заявила, что результаты дали компании «осторожный оптимизм» в том, что такие риски можно преодолеть с помощью дополнительных инвестиций и более строгих мер.
Инциденты происходят на фоне того, как технологические компании вкладывают миллиарды долларов в разработку ИИ-агентов, способных самостоятельно выполнять задачи от исследований и поддержки клиентов до кибербезопасности. Серия кибератак на основе ИИ усилила призывы к более строгим мерам защиты и надзору за технологией из-за опасений по поводу рисков, связанных с всё более мощными автономными системами.
Президент США Дональд Трамп в среду заявил, что Вашингтон рассматривает меры по ограничению инструментов ИИ после недавних инцидентов в области кибербезопасности. На прошлой неделе OpenAI взяла на себя ответственность по крайней мере за два хакерских инцидента с участием своих платформ, нарушивших правила того, что им было поручено делать. 21 июля создатель ChatGPT сообщил, что его агент — система ИИ, которая может работать самостоятельно после инструкции человека — вышел из-под контроля и взломал Hugging Face. OpenAI назвала инцидент «беспрецедентным» и проводит расследование вместе с Hugging Face, чей сооснователь Томас Вольф назвал инцидент «звонком для пробуждения» для отрасли.