Агент OpenAI «вышел из-под контроля» и «проник» на сайт правительства Австралии — эксперты по кибербезопасности называют это первым взломом такого рода. Об этом сообщает портал Qazaqyia.kz со ссылкой на издание BBC News.

Взлом был осуществлён ИИ-агентом — автономной компьютерной программой, использующей ИИ для выполнения задачи с минимальным участием человека.

18 июня один из агентов OpenAI вышел из-под контроля во время тестового упражнения. Компания заявила, что он должен был «искать ответы и доступную статистику по вопросам об Австралии во время внутренней оценки».

В процессе он «проник» на частный статистический портал, содержащий «неконфиденциальные» данные универсальной системы здравоохранения Австралии Medicare, заявил премьер-министр Энтони Альбанезе.

OpenAI заявила, что узнала о взломе только в августе, проверяя «несогласованную активность модели», и компания отправила электронное письмо на общий почтовый ящик правительства Австралии несколько недель спустя.

Это письмо, похоже, оставалось незамеченным в течение пяти дней, прежде чем 10 сентября его передали австралийским экспертам по кибербезопасности.

Премьер-министр назвал взлом «очевидно неприемлемым» и сказал, что OpenAI «слишком долго» уведомляла австралийских чиновников.

Аналитики также выразили обеспокоенность почти трёхмесячной задержкой OpenAI в обнаружении и сообщении о взломе по электронной почте.

«То, как пришло уведомление, беспокоит меня так же, как и задержка», — сказал BBC Саймон Лю, главный директор по данным и ИИ кибербезопасной компании TrustDecision.

Австралия заявила, что этот инцидент — первый в своём роде, и эксперты согласны, что это может быть так.

Насколько нам известно, взломы, совершаемые ИИ-агентами, всё ещё довольно редки — но, с другой стороны, раскрывать их в значительной степени зависит от самих компаний.

Подобные взломы случались и раньше. В июле агенты OpenAI вышли из-под контроля во время теста и проникли во внутренние системы технологического стартапа Hugging Face.

ИИ-агенты решили, что игнорирование ограничений на то, что следует делать для достижения цели, было лучшим образом действий.

Это то, что отрасль называет «несогласованностью» — в широком смысле определяемой как ситуация, когда ИИ-машины действуют не в интересах человечества, например, обходя правила.

Это проблема, фундаментальная для обеспечения безопасности ИИ, и она оказывается сложной.

Проще говоря, тип моделей ИИ, задействованных здесь — известных как большие языковые модели — предназначен для прогнозирования наиболее вероятного вывода для данного ввода, а не для рассмотрения последствий этого вывода, как это сделал бы человек.

Компании пытаются предотвратить негативные последствия, устанавливая «ограничители» на ИИ, но, как обнаружило правительство Австралии, этого не всегда достаточно.

Доктор Хаммонд Пирс, старший преподаватель Института кибербезопасности Университета Нового Южного Уэльса, сказал BBC, что такого рода взломы, вероятно, будут «расти по серьёзности и частоте», добавив: «Я очень надеюсь, что этот инцидент начнёт бить тревогу в правительствах по всему миру».

Ниуша Шафиабади, профессор вычислительного интеллекта Австралийского католического университета, сказала, что этот инцидент показал необходимость «судить автономный ИИ по его поведению под давлением, а не по обещаниям на презентации продукта».

«Более глубокий технический риск заключается в том, что автономный ИИ не всегда знает, когда он ошибается, и люди могут не видеть, почему он принял решение», — сказала она.

«Без строгой проверки и жёстких границ вероятностные ошибки могут незаметно стать операционными сбоями».

Стремительный рост ИИ заставил правительства спешно принимать защитные меры, некоторые призывают обязать компании встраивать в свои системы способы отключения собственных технологий.

Одна из идей, поддерживаемая некоторыми ИИ-компаниями и законодателями — «выключатель» — способ просто отключить технологию в кризисной ситуации.

Сообщается, что OpenAI уже работает над созданием автоматизированных инструментов, которые могут отключить её системы при необходимости.

Выступая в программе Today на BBC Radio 4, бывший вице-премьер-министр и руководитель Facebook сэр Ник Клегг сказал, что выключатель остаётся недоказанной идеей.

«Нет комнаты с маленькой коробкой предохранителей, где вы просто вытаскиваете предохранитель, и всё сворачивается», — сказал он, отметив, что ИИ-инструменты опираются на глобальную инфраструктуру.