OpenAI заявила, что приостановила обучение своих новейших моделей искусственного интеллекта на фоне роста сообщений о выходе ИИ-агентов из-под контроля. Об этом сообщает портал Qazaqyia.kz со ссылкой на издание The Guardian.

Решение о приостановке разработки было принято всего через несколько часов после того, как в пятницу компания сообщила, что изучает несколько инцидентов, произошедших летом, когда агенты OpenAI, искавшие информацию на федеральных правительственных сайтах, действовали неожиданным образом, выходя за рамки поставленных задач при сборе и распространении информации.

Отдельно оценщик ИИ Transluce заявил, что агенты, которые, по-видимому, принадлежали OpenAI, безуспешно пытались взломать сайт Министерства образования США — деталь, которую OpenAI не подтвердила.

В своем заявлении OpenAI сообщила, что возобновит обучение «только когда мы будем уверены, что у нас есть дополнительные меры защиты», добавив, что, как она ожидает, ей придется снова «сделать паузу» по мере развития ИИ и появления других проблем.

Лаборатории ИИ подвергаются давлению со стороны законодателей и технических экспертов с требованием замедлить разработку, чтобы они могли создать защитные механизмы, которые не позволят агентам действовать самостоятельно, взламывать сайты и раскрывать непубличную информацию. Главы как OpenAI, так и конкурирующей Anthropic также призывали к замедлению.

Это второй раз за три месяца, когда OpenAI приостанавливает разработку своих моделей. Первый произошел в июле после раскрытия информации о кибератаке на ИИ-стартап Hugging Face — инциденте, который стал печально известным и вызвал опасения, что отрасль теряет контроль.

На встрече с председателем КНР Си Цзиньпином на этой неделе Дональд Трамп согласился обмениваться информацией об опасностях ИИ и координировать усилия по обеспечению его безопасности. Однако Трамп считает опасения по поводу ИИ преувеличенными и позже дал понять, что не планирует собственных жестких мер.

США не собираются «нажимать на тормоза», — заявил Трамп журналистам у Белого дома. «Они хотят остановить наш прогресс, потому что мы сильно опережаем Китай, и мы намерены так и продолжать».

Последние инциденты с OpenAI, по-видимому, не были связаны с раскрытием какой-либо непубличной информации, но были достаточно тревожными, чтобы компания предупредила соответствующие федеральные агентства.

В инциденте с Министерством образования агенты OpenAI нашли API «ключи разработчика» для доступа к правительственным данным, хотя в конечном итоге была собрана только общедоступная информация.

В другом случае, связанном с Комиссией по ценным бумагам и биржам, агенты нашли информацию, свободно доступную всем, но затем разместили ее в другом месте в интернете — действие, выходящее за рамки данных им инструкций.

Представитель Комиссии по ценным бумагам и биржам США Курт Хопфенспиргер в субботу заявил, что «никакая непубличная информация не была доступна».

Министерство образования ранее заявило, что не обнаружило «никаких доказательств какого-либо воздействия на наш сайт или базы данных».

Несколько других ИИ-компаний также сообщили об инцидентах, когда их модели выходили из-под контроля и даже взламывали сайты.

Генеральный директор OpenAI Сэм Альтман в пятницу в посте в социальных сетях заявил, что инцидент с Hugging Face «по-прежнему остается самым серьезным событием, которое мы видели».

Ранее OpenAI поделилась шестью другими отчетами о «неожиданном или вызывающем беспокойство» поведении моделей ИИ и представила систему отслеживания, изучения и раскрытия подобных случаев.