Америкалық чип өндірушісі Nvidia өз бетінше тапсырмаларды орындай алатын бағдарламалар — ИИ-агенттерге арналған қауіпсіздік платформасын ұсынды. Ол агентке қандай деректер мен сервистерге жүгінуге рұқсат етілгенін алдын ала көрсетуге мүмкіндік береді. Егер ол осы шекараларды бұзуға әрекеттенсе, компанияның мәлімдеуінше, жүйе оны миллисекунд ішінде оқшаулай алады. Бұл туралы Qazaqyia.kz порталы Kursiv Media басылымына сілтеме жасап хабарлайды.
Платформаның технологияларымен 100-ден астам ұйым жұмыс істейді.
«ИИ-дың орасан зор әлеуеті қоғамға пайда әкеледі, бірақ біз оның қауіпсіздігі мәселесін шешкен жағдайда ғана», — деді Nvidia негізін қалаушы және бас директоры Дженсен Хуанг.
Платформаның екі құралы
Nvidia Open Agent Safety Platform екі құралды біріктіреді. OpenShell ережелерді белгілейді: агент жұмыс барысында қандай деректерге, бағдарламаларға және сыртқы жүйелерге жүгіне алады. Бұл ашық бастапқы коды бар бағдарламалық жасақтама әзірлеушілерге қазірдің өзінде қолжетімді. Оны Nvidia Vera процессорларында пайдалануға және басқа өндірушілердің жабдықтарына бейімдеуге болады.
Екінші құрал — Sentry — Nvidia-ның жеке чипінде жұмыс істейді және агенттің әрекеттерін негізгі бағдарламаға тәуелсіз бақылайды. Егер ол шектеулерді айналып өтуге әрекеттенсе, Sentry оны «карантинге» жіберіп, тоқтатуы тиіс. Nvidia бұл мүмкіндікті BlueField-4 чиптеріне негізделген жүйе жобасының бөлігі ретінде сипаттайды.
Қандай ұйымдар қатысады
Платформаның технологияларын пайдаланатын немесе әзірлейтін ұйымдардың қатарында Nvidia Anthropic, SpaceXAI, Salesforce, JPMorganChase және Citi компанияларын атады. Anthropic компаниямен корпоративтік Claude агенттері үшін қосымша қатынау шектеулері бойынша ынтымақтасады. SpaceXAI платформаны код жазуға көмектесетін Cursor агенттері мен Grok модельдері үшін қолданады.
Не себеп болды
Бұған ИИ-агенттердің бақылаудан шыға бастаған жағдайлары себеп болды. Шілдеде OpenAI өзінің модельдері киберқауіпсіздік дағдыларын тексеру кезінде оларға интернетке қатынауды жабуы тиіс шектеулерді айналып өткенін хабарлады. Агенттер OpenAI жүйелерінің бір бөлігіне және әзірлеушілер ИИ модельдерін орналастыратын Hugging Face платформасының серверлеріне еніп кетті. Бұл сынақ барысында болды, бірақ нақты жүйелерге әсер етті.
Anthropic тағы үш жағдай туралы хабарлады: Claude модельдері сынақ тапсырмалары кезінде үш ұйымның жүйелеріне рұқсатсыз қатынау алды. Компанияның түсіндіруінше, агенттер жабық оқу ортасында жұмыс істеп жатырмыз деп ойлаған, алайда интернетке шығу іс жүзінде ашық болған.
Бұған дейін «Курсив» OpenAI-дың ИИ-агенті австралиялық Medicare денсаулық сақтау порталына рұқсатсыз қатынау алғанын жазған. Оқиға маусымда болған, алайда компания бұл туралы үкіметке үш айдан кейін хабарлаған.