OpenAI использовала искусственный интеллект для написания электронного письма правительству Австралии, в котором сообщалось, что её ИИ-агент взломал ключевые сайты департаментов. Об этом сообщает портал Qazaqyia.kz со ссылкой на издание The Guardian.

Как стало известно Guardian Australia, юридическая и служба безопасности OpenAI использовали ИИ для генерации частей текста письма, включая подбор слов и форматирование сообщения. Однако источник, знакомый с инцидентом, сообщил, что люди проверяли финальное письмо, и именно люди несли ответственность за фактическую отправку сообщения на почтовый ящик Services Australia.

Во вторник один из руководителей компании заявил на парламентском расследовании, что не верит, что её собственная технология использовалась для создания письма, но добавил, что компании необходимо это подтвердить.

ИИ-агент, разработанный OpenAI, в июне получил доступ к данным Services Australia и ещё трём системам. Компания уведомила Австралию 10 сентября, хотя узнала об инциденте в августе.

Первое уведомление компании в адрес Австралии пришло в виде электронного письма из пяти абзацев на почтовый ящик Services Australia, [email protected], который проверяется только раз в день.

OpenAI подверглась критике за то, что не подняла вопрос более формальным или прямым способом, в том числе во время личной встречи генерального директора компании Сэма Альтмана и вице-премьера Австралии Ричарда Марлза 1 сентября — за девять дней до того, как компания отправила письмо в Services Australia, но почти через месяц после того, как впервые узнала о вторжении 18 июня.

Джейсон Квон, главный директор по стратегии OpenAI, признал на парламентских слушаниях во вторник, что «ответ компании был недостаточно хорошим, и нам следовало уведомить пострадавшие стороны гораздо раньше».

Во время слушаний депутат от Либеральной партии Аарон Виоли — теневой министр по технологиям — спросил Квона конкретно об этом письме и о том, был ли ИИ вовлечён в его создание.

«Я понимаю, что для получения данных и проведения проверки нужно использовать ИИ-агентов, и, очевидно, ваш бизнес использует ИИ. Когда вы уведомляли Services Australia по электронной почте, использовали ли ваши сотрудники ИИ для составления этого письма?» — спросил Виоли.

Квон ответил: «Я так не думаю, но мы готовы пойти и подтвердить».

Квон указал во время слушаний, что OpenAI предоставит конкретные ответы на более технические запросы в ответах на вопросы, представленные на уведомление. Ожидается, что OpenAI предоставит больше информации о письме после завершения собственного расследования.

В письме, полученном Guardian Australia в сентябре, Services Australia уведомлялась: «Мы уведомляем вас об уязвимости безопасности, выявленной в ходе нашего анализа активности модели OpenAI, связанной со службой Medicare Statistics Services Australia по адресу medicarestatistics.humanservices.gov.au.

Модель OpenAI выявила способ заставить сервер выполнять инструкции, отправленные через публичный интерфейс отчётности, без частной учётной записи или пароля. Она смогла получить доступ к этому, чтобы прочитать части внутренних программных файлов и настроек, получить список файлов, а также создать и прочитать обратно небольшой тестовый файл на сервере».

В письме сообщалось, что проверка OpenAI «не нашла доказательств того, что модель получила доступ к записям уровня пациентов, личной информации или учётным данным; удалила данные; или установила постоянный доступ», и была отправлена информация о «затронутом URL» и «затронутом отчёте».

«Мы рекомендуем команде, ответственной за службу, исследовать уязвимость и оценить необходимые изменения для её предотвращения. Мы будем рады проинформировать вашу службу безопасности и предоставить подтверждающие доказательства по мере возможности», — говорилось в письме.

Эндрю Чарлтон, помощник министра по науке и технологиям, выступил с речью в Сиднее в четверг, рассказав об инциденте с OpenAI и описав агент компании как «взломавший австралийскую правительственную систему».

«В качестве отправной точки ни одна компания не должна выпускать передовую модель ИИ, которая не является безопасной», — сказал он.

«Тем не менее тот факт, что это произошло, и тот факт, что лаборатории не обнаружили и не предотвратили это, поднимает важные вопросы о роли нового регулирования в Национальных стандартах ИИ».

Чарлтон сказал, что передовой ИИ «раздвигает пределы» существующих правительственных конвенций и протоколов по оценке рисков безопасности и выходит за рамки «традиционных» подходов.

Помощник министра заявил, что «рынок не исправит» проблемы с разработкой ИИ, в отличие от подхода США, позволяющего компаниям работать с определённой степенью саморегулирования. Чарлтон выразил обеспокоенность тем, что «передовые лаборатории ставят возможности выше безопасности», предположив, что Австралия может оказать наибольшее влияние на развитие ИИ, размещая у себя передовые лаборатории и влияя на них.

«ИИ нуждается в регулировании, потому что его вред серьёзен, трудно обратим, его несут люди, которые никогда его не выбирали, и иногда он невидим, пока не наступит», — сказал он.

«Рынок не исправит это в одиночку, потому что стимулы вознаграждают скорость и возможности, и даже люди на вершине индустрии не могут замедлиться сами по себе».