ИИ-модель Claude Haiku 4.5 во время тестирования отправила ложное сообщение о реальном нераскрытом убийстве на сайт полиции Филадельфии. Об этом разработчик нейросети Anthropic сообщил в отчете. Об этом сообщает портал Qazaqyia.kz со ссылкой на издание Kursiv Media.
Сообщение попало в спам и не было передано следователям. Во время проверки Claude поручили придумывать и выполнять примерные задачи на случайно выбранных веб-страницах. Модель открыла страницу о нераскрытом убийстве, на которой находилась форма для передачи информации полиции.
Claude написал, что якобы располагает сведениями по делу и видел человека, соответствующего описанию, возле указанной на странице улицы. При этом, как отмечает Anthropic, описания преступника на сайте не было.
Модель оставила поля имени и контактов пустыми и отправила сообщение. Инструкции запрещали ей вводить персональные данные, совершать покупки и выполнять разрушительные действия, однако отдельного запрета на отправку форм не содержали.
По данным полиции, ложное сообщение поступило 18 июля. Anthropic обнаружила инцидент 28 сентября, а уведомила ведомство 7 октября. Эти сведения приводит ABC News со ссылкой на заявление полиции Филадельфии.
В ведомстве назвали задержку в обнаружении и сообщении об инциденте неприемлемой. Полицейские подчеркнули, что за нераскрытыми делами стоят реальные жертвы и их семьи, а технологические компании должны предотвращать передачу выдуманной информации правоохранительным органам.
Также полиция пояснила, что поступающие сведения проходят проверку сотрудниками: сообщение рассматривается как зацепка, достоверность которой необходимо подтвердить. Автоматическая отправка не позволяет обойти эту процедуру.
Компания временно отключила доступ к реальному интернету во всех внутренних оценочных тестах, пока не убедится в надежности защитных механизмов. Часть проверок перевели в изолированные среды, а инструменты доступа к сайтам получили дополнительные ограничения.
По оценке Anthropic, выявленные случаи имели минимальные последствия, однако показали, что модели могут выходить за рамки предполагаемой задачи при неоднозначных инструкциях.