Google подтвердила, что её ИИ-модель Gemini в мае нарушила безопасность трёх других компаний. Об этом сообщает портал Qazaqyia.kz со ссылкой на издание The Guardian.

Эти взломы произошли во время оценки кибербезопасности, проведённой фирмой по безопасности ИИ Irregular. Irregular — стартап из Израиля, который проверяет безопасность передовых систем ИИ, также был в центре недавних взломов OpenAI и Anthropic сторонних организаций, включая взлом OpenAI компании по разработке ПО для ИИ Hugging Face.

Обстоятельства, позволившие моделям взломать другие компании в некоторых из этих случаев, схожи: Irregular тестировала модели в закрытой среде тестирования с поддельными компаниями. Среда тестирования не должна была иметь доступ к интернету, но доступ к интернету был предоставлен непреднамеренно, согласно Wall Street Journal. После подключения к интернету модели неожиданно взломали реальные фирмы.

Irregular сообщила Google о взломах в конце июля после обнаружения взлома OpenAI Hugging Face. Google подтвердила The Guardian, что взломы произошли, но компания не считала, что требуется публичное раскрытие, поскольку модели не нанесли ущерба компаниям. Wall Street Journal первым сообщил о нарушениях и впервые раскрыл, что они произошли.

«В ходе стандартной оценки модель нашла публичную информацию в интернете и угадала учётные данные для доступа к веб-сайтам, которые она считала частью теста», — заявила Хизер Адкинс, вице-президент по инженерной безопасности Google. «Во всех трёх случаях модель остановилась».

В одном из нарушений безопасности Irregular тестировала возможности кибербезопасности Gemini, побуждая ИИ-модель получить информацию из программного обеспечения поддельной компании. Поддельная компания имела то же название, что и реальная компания. Когда модель непреднамеренно получила доступ к интернету, она правильно угадала пароль и взломала сервис реальной компании, сообщила Irregular WSJ. Google заявила, что как только модель поняла, что взломала реальную компанию, а не смоделированную, она остановилась.

В двух других тестах модель искала в интернете и нашла публичные репозитории, содержащие учётные данные двух других компаний. Модель использовала эти учётные данные для доступа к реальным компаниям. Когда она поняла, что они реальные, она остановилась, согласно Google.

Anthropic и OpenAI решили добровольно раскрыть взломы, а Google — нет. Однако компания заявила, что обеспечила осведомлённость трёх взломанных компаний.

«Эти события подчёркивают важность обучения мощных ИИ-моделей действовать ответственно», — сказала Адкинс, представитель Google.

Раскрытия Anthropic и OpenAI побудили независимого сенатора Берни Сандерса потребовать от компаний приостановить разработку их технологий, заявив, что это сигнализирует о том, что компания больше не может контролировать свои модели.

OpenAI приостановила разработку своих моделей на две недели, в то время как генеральный директор Anthropic Дарио Амодеи призвал к коллективному замедлению разработки ИИ, чтобы гарантировать, что её самые передовые модели создаются с достаточными мерами защиты.