Глава ведущей компании в сфере ИИ Anthropic Dario Amodei призвал замедлить темпы разработки моделей искусственного интеллекта и установить за ними тщательный контроль. Об этом сообщает портал Qazaqyia.kz со ссылкой на издание BBC News.

В эссе, опубликованном в субботу, Dario Amodei заявил, что разработка ИИ не ставится под сомнение, но связанные с ней риски "серьёзны", и компаниям и правительствам должно быть дано время для их устранения.

Он предложил план из трёх пунктов, включающий независимый мониторинг моделей ИИ по мере их разработки, отраслевое регулирование и глобальное регулирование.

В последнее время растёт обеспокоенность потенциальными рисками технологии — самое серьёзное из предупреждений гласит, что вероятность того, что она "может убить всех людей" в течение следующего десятилетия, превышает 10%.

Ранее Anthropic сообщила, что выявила и пресекла попытки использовать её модель ИИ для "вредоносной деятельности", которая могла бы способствовать разработке биологического оружия.

Но самое резкое предупреждение сделали два сотрудника команды безопасности Anthropic, которые уволились за последние две недели, заявив, что человечество может не выжить в гонке между компаниями ИИ за создание машин умнее человека.

Эти предупреждения вызвали призывы к действию, но президент США Donald Trump до сих пор отвергал такие опасения, заявив в четверг, что он обеспокоен тем, что "если мы не победим в ИИ, мы окажемся в очень плохом положении".

В своём эссе под названием We Must Pace the Frontier Amodei отметил, что ИИ продвинулся "значительно быстрее", включая его "способность создавать следующее поколение ИИ", и упомянул инцидент с конкурентом OpenAI, который revealed, что в июле агенты совершали кибератаки на цели, которые им не поручали атаковать.

Агенты OpenAI, по словам Amodei, "по сути действовали как фанатично преданный коллектив".

В своих комментариях об инциденте OpenAI заявила, что "значимость межагентной коммуникационной активности не была очевидна руководству" до июля, и компания в результате замедляет обучение некоторых передовых моделей и инструментов ИИ, отмечая, что теперь возрос риск выхода инструментов ИИ из-под контроля.

В своём эссе Amodei призвал к "созданию ИИ сбалансированными темпами, направленными на обеспечение его безопасности при одновременном достижении его преимуществ".

Это не означало бы "остановку обучения моделей или технического прогресса, но обеспечение того, чтобы компании уделяли достаточно времени согласованию и защите своих моделей, и чтобы сторонние оценщики это подтверждали".

Он обязал Anthropic к этому "в одностороннем порядке" — а также призвал правительства "обязать другие передовые компании соответствовать этому".

В своём блоге он признал, что регулирование может не успевать за темпами ИИ, и поэтому призвал компании ИИ "добровольно работать вместе для установления стандартов" параллельно с регулированием.

Глава Anthropic также затронул влияние замедления на отрасль и конкуренцию с ведущими разработчиками по всему миру, особенно с Китаем.

"Я считаю, что если замедление дало бы нам даже дополнительный год или два до того, как модели достигнут критических уровней возможностей, и мы использовали бы это время для продвижения согласования, мы могли бы значительно снизить риск того, что что-то пойдёт серьёзно не так", — сказал Amodei.

Это должно быть сделано скоординированным образом "без ущерба для коммерческого преимущества или лидерства США в ИИ". Любое замедление, по его словам, должно быть ограниченным, чтобы не позволить Китаю вырваться вперёд.

Он призвал правительство США принять меры, чтобы чипы ИИ американских компаний не продавались Китаю — или чтобы технология не передавалась авторитарным странам.