Генеральный директор компании по разработке искусственного интеллекта Anthropic Дарио Амодеи в субботу выступил с новым призывом к индустрии ИИ «замедлиться» и предложил трёхэтапный план для этого, заявив, что его компания «в одностороннем порядке» обязуется выполнить первый из шагов. Об этом сообщает портал Qazaqyia.kz со ссылкой на издание The Guardian.

В посте в социальных сетях Амодеи поделился ссылкой на эссе под названием «We Must Pace the Frontier» («Мы должны замедлить рубеж»), в котором он излагает, как Anthropic предоставит «сторонним оценщикам постоянный доступ к нашим системам на уровне сотрудников, чтобы они могли проверять соблюдение наших мер безопасности, сообщать об инцидентах и оценивать соответствие моделей во время обучения».

Этот шаг последовал после того, как бывший исследователь Anthropic в среду предупредил, что ИИ может привести к вымиранию человечества к 2030 году. Исследователь Джейкоб Коксон в серии постов заявил, что уволился с работы, поскольку Anthropic и его предыдущий работодатель OpenAI игнорируют или неправильно обрабатывают угрозу, которую представляет ИИ.

«Ни одна из компаний не действует ответственно. Они мчатся прямо к самоулучшающемуся сверхинтеллекту и играют с нашими жизнями», — написал Коксон. «Люди, создающие ИИ, искренне верят, что он может убить нас всех к концу десятилетия... Никакая другая деятельность человека не представляет такой уровень опасности».

Представитель Anthropic в заявлении для The Guardian сказал, что компания «всегда была прозрачна в том, что ИИ принесёт как огромные преимущества, так и беспрецедентные риски», и что она создаёт «модели с одними из самых сильных защитных механизмов в отрасли».

Ранее в этом году Амодеи опубликовал объёмное эссе под названием «The Adolescence of Technology» («Отрочество технологий»), в котором затронул некоторые опасения, связанные с ускоряющейся технологией.

В своём последнем эссе он заявил, что «при осторожном использовании ИИ может стать последним в длинной череде технологических чудес, которые возвышали и облагораживали человечество».

«Но, как и многие технологии до него, ИИ несёт риски, и поскольку это настолько мощная технология, эти риски серьёзны... Гонка ко дну, подстёгиваемая коммерческими стимулами, может сделать эти риски более острыми», — написал он.

Но, продолжил Амодеи, «за последние несколько месяцев я убедился, что полное решение рисков требует ещё большей осмотрительности — не только инвестиций в предотвращение рисков, но и замедления темпов развития возможностей, чтобы предотвращение рисков успевало за ними».

«Мы должны замедлить темпы, с которыми мы улучшаем возможности моделей ИИ. Прогресс всё равно будет казаться быстрым, и мы должны мудро использовать выигранное время», — добавил он, выделив это жирным шрифтом.

Амодеи также написал, что за лето он наблюдал, как ИИ «развивается значительно быстрее» — динамика, называемая рекурсивным самоулучшением.

«Если оставить без контроля, это может обогнать нашу способность понимать и контролировать эти системы, поэтому к этому нужно стремиться очень осторожно, если вообще стремиться», — сказал он.

Руководитель также затронул недавний инцидент с Hugging Face, в котором рой ИИ-агентов, созданных OpenAI, действовал как «фанатично преданный коллектив, проводящий кибератаки на цели, которые его не просили атаковать».

Клеман Деланг, генеральный директор Hugging Face, в ответ на субботнее письмо Амодеи написал, что «теперь ясно, что согласование критически важно и не будет решено за закрытыми дверями нескольких передовых лабораторий». Деланг сказал, что Hugging Face попросила включить её в программу «встроенных оценщиков» Anthropic.

Он добавил: «Давайте сделаем ИИ безопаснее, сделав его более прозрачным!»

Трёхэтапный план, предложенный Амодеи, включает создание ИИ «сбалансированными темпами, направленными на обеспечение его безопасности» путём «обеспечения того, чтобы компании уделяли достаточно времени согласованию и защите своих моделей, а сторонние оценщики могли это подтвердить».

Второй шаг, который он предлагает, — требовать координации в масштабах всей отрасли, а третий — обеспечить глобальную координацию. «Шаги не обязательно должны выполняться строго по порядку, и некоторые из них могут быть гораздо сложнее для достижения, чем другие», — написал он.

Амодеи сказал, что продолжает «верить, что ИИ может значительно улучшить качество человеческой жизни». Но он предупредил, что «меры, которые я предлагаю для продвижения рубежа безопасными темпами, не будут лёгкими. Но я считаю, что мы обязаны человечеству попытаться».

Реакция на пост Амодеи в социальных сетях была неоднозначной: значительную поддержку выразили такие фигуры, как исследователь OpenAI Эйдан Маклафлин, назвавший пост «превосходным» и согласившийся «практически с каждым словом», и Илон Маск, который просто сказал: «Дарио прав».