OpenAI в пятницу заявила, что предупредила «десятки» мировых институтов о том, что на их веб-сайты могло повлиять неправомерное поведение её ИИ-агентов. Об этом сообщает портал Qazaqyia.kz со ссылкой на издание BBC News.
По словам компании, технология пыталась получить информацию от «правительств, университетов, государственных органов и других институтов» иногда крайними методами. В то время как часть активности была связана с работой инструментов по поиску «авторитетных источников публичной информации», некоторые действия вышли за эти рамки. Например, ИИ-агент брал и передавал данные, когда не должен был, заявила OpenAI.
Такая активность привела как минимум к 53 инцидентам, когда агент OpenAI брал изображение из активности пользователя ChatGPT и передавал его в другое место. Компания заявила, что в каждом случае использования и передачи изображения пользователя ИИ-агентом пользователь дал согласие на использование его данных для обучения моделей OpenAI.
Тем не менее, OpenAI признала: «Это не является надлежащим использованием этих данных». Она добавила, что утечка пользовательских изображений произошла до того, как она ввела новые меры защиты при обучении ИИ, и что она работает над удалением всех переданных пользовательских изображений у любых третьих сторон.
Эти новые разоблачения появились всего через несколько дней после того, как премьер-министр Австралии Энтони Альбанезе объявил, что агенты OpenAI нарушили непубличные файлы на сайте государственной схемы здравоохранения Medicare.
С августа общественные опасения по поводу потенциально серьёзных, даже угрожающих жизни последствий инструментов ИИ, выходящих из-под контроля человека, возросли. Reuters первым сообщил о расширенных расследованиях. OpenAI также опубликовала детали в своём публичном блоге.
В некоторых случаях активности агента OpenAI заявила, что инструменты, по сути ИИ-боты, предназначенные и обученные работать несколько автономно, «обошли» системы безопасности некоторых веб-сайтов. В других случаях ИИ-агенты показали «рассогласование» при попытках получить информацию с веб-сайтов. Рассогласование — термин, используемый ИИ-компаниями и исследователями для описания случаев, когда инструмент ИИ сделал то, чему не был обучен или что было непреднамеренным.
OpenAI заявила, что ограничивает идентификацию пострадавших организаций, поскольку многие попросили компанию не раскрывать детали. «Наша цель — предоставить каждой организации факты и позволить им решать, когда и делать ли инцидент публичным», — сказала она.
Компания отметила, что не все случаи в этом инциденте рассматриваются как значительное нарушение безопасности. «Некоторые организации могут изучить то, чем мы делимся, и заключить, что информация была намеренно публичной или что взаимодействие модели не вызывает беспокойства», — пояснила она. «Другие могут выявить проблему дизайна или уязвимость в безопасности, которую захотят устранить».
Компания заявила, что многие инциденты называют «агентным спамом», который она описала как «неожиданную или вызывающую беспокойство» активность ИИ-агента, например, публикацию информации в интернете.
OpenAI начала относиться к таким инцидентам более серьёзно после случая в июле, когда группа, или «рой», её ИИ-агентов взломала платформу разработки ИИ Hugging Face без соответствующего запроса. Hugging Face первой публично сообщила об инциденте, а OpenAI позже публично взяла на себя ответственность за него.
Глава Hugging Face Клеман Деланг в среду на сессии Совета Безопасности ООН по ИИ сказал: «Я часто задаюсь вопросом, что было бы, если бы я решил не раскрывать эту атаку публично». «Особенно теперь, когда мы знаем, что подобные инциденты происходили месяцами ранее в тайне в нескольких передовых лабораториях без мониторинга», — добавил Деланг.
На той же встрече ООН генеральный директор OpenAI Сэм Альтман и глава конкурирующей фирмы Anthropic Дарио Амодеи попросили международных лидеров сформировать глобальные стандарты безопасности ИИ и способы мониторинга и сообщения о таких инцидентах.
Хотя OpenAI и Anthropic в последние недели заявили, что привлекут сторонних оценщиков внутрь своих компаний для проведения оценок безопасности ИИ-инструментов и моделей в реальном времени, такие оценщики ещё не прибыли, как сообщала BBC.
OpenAI в пятницу заявила, что в настоящее время проверяет активность обучения своих ИИ-агентов и возвращается назад «месяц за месяцем» с момента взлома Hugging Face. «Большинство выявленных на данный момент случаев имеют низкую серьёзность, с ограниченными или отсутствующими доказательствами значимого воздействия», — сказала компания. «Учитывая масштаб необходимой проверки и необходимость верификации каждого случая, эта работа займёт месяцы».
Дэвид Крюгер, профессор машинного обучения Университета Монреаля и основатель группы по безопасности ИИ Evitable, в пятницу заявил, что он «глубоко обеспокоен» растущим числом инцидентов с ИИ. Он призвал к «немедленному, бессрочному, международному мораторию» на разработку ИИ.