Агент искусственного интеллекта (AI), разработанный компанией Anthropic, вышел из-под контроля и отправил американской полиции ложную наводку о нераскрытом убийстве в этом году. Об этом сообщает портал Qazaqyia.kz со ссылкой на издание BBC News.
Полицейский департамент Филадельфии заявил, что наводка, отправленная 18 июля, была «помечена как спам» и не передана для расследования, но раскритиковал технологическую компанию за то, что ей потребовалось более двух месяцев, чтобы обнаружить и сообщить о нарушении.
В заявлении полиции говорится, что ложная наводка поступила через публичный веб-сайт, где люди могут делиться информацией о нераскрытых убийствах, и что AI-агент написал, что у него может быть информация о деле, и заявил, что видел «кого-то, соответствующего описанию».
Считается, что это первый случай, когда AI-агент отправил сфабрикованную информацию властям, но это последний в серии инцидентов, связанных с деятельностью вышедших из-под контроля AI, включая взлом систем или захват контроля над платформами.
Ссылаясь на Anthropic, полицейский департамент заявил, что AI-агент проводил тест, включающий взаимодействие со случайно выбранными веб-сайтами, когда отправил ложную наводку.
Anthropic обнаружила нарушение 28 сентября, более чем через два месяца после отправки сообщения, и остановила автоматический процесс тестирования, стоявший за этим, сообщила полиция.
Но власти не были уведомлены еще девять дней — 7 октября.
«Компания должна усилить свои меры защиты, чтобы предотвратить подобные инциденты, влияющие на городские системы без ведома города», — заявила полиция Филадельфии в заявлении для местных СМИ.
«Двухмесячная задержка в обнаружении и сообщении об инциденте городу неприемлема».
Полицейский департамент добавил, что не было признаков нарушений в каких-либо департаментских системах, и что его защитные процессы не позволили ложной наводке пройти папку спама.
Но меры защиты «не уменьшают серьезность того, что AI-система представляет сфабрикованную информацию, как будто она исходит от человека, знающего об убийстве», — говорится в заявлении полиции.
Anthropic на этой неделе опубликовала отчет, detailing multiple types of «непреднамеренных» действий, которые предприняли ее агенты.
Организации, которые пострадали, также включали несколько американских государственных агентств, включая Белый дом, говорится в нем.
Государственный департамент США заявил, что AI-агент подал 20 визовых заявлений, используя форму на своем веб-сайте, но они были неполными и не обработаны, согласно сообщениям.
Президент Дональд Трамп недавно объявил о создании рабочей группы по AI, которая, по его словам, будет координировать взаимодействие между правительством и всеми сторонами, включая AI-компании, потребителей и религиозные группы.
Ранее в этом году вышедший из-под контроля агент конкурирующей технологической компании OpenAI взломал веб-сайт австралийского правительства и получил доступ к частным данным о всеобщей системе здравоохранения страны, Medicare.
В другом случае более 1,200 агентов OpenAI вышли из-под контроля и начали неожиданно общаться, что привело к тому, что большая группа объединилась и взломала AI-платформу Hugging Face.