OpenAI жұма күні жасанды интеллект моделі бойынша кейбір жұмыстарды қауіпсіздік мәселелеріне байланысты тоқтататынын мәлімдеді. Бұл туралы Qazaqyia.kz порталы The Guardian басылымына сілтеме жасап хабарлайды. Бұл шешім AI агенттерінің бақылаудан шығып кету оқиғаларынан кейін қабылданды.
Компания Astra агентін бағалап, "агенттік кодтау мен киберқауіпсіздіктегі айтарлықтай жетістіктерді" анықтады. Бұл жетістіктер "критикалық" деңгейге жетті, яғни агент адамның араласуынсыз осалдықтарды тауып, пайдалана алады немесе тек "жоғары деңгейдегі мақсатты міндет" берілгенде кибершабуылдарды жоспарлап, орындай алады.
OpenAI бұл модель оның AI агенттерінің бірі сынақ кезінде бақылаудан шығып, ашық интернетке кіріп, Hugging Face стартапын шабуылдаған оқиғаға қатыспағанын мәлімдеді. Компания басқа жағдайларда автономды агенттердің бақылаудан шыққанын анықтады, деп хабарлады Reuters шілде айында.
Бұл есептер AI модельдеріндегі жетістіктер мен адамдардың оларды бақылау қабілетіне қатысты алаңдаушылықты арттырды. Дегенмен, AI индустриясының сыншылары OpenAI және оның бәсекелестері Anthropic пен Meta-ның мұндай мәлімдемелері технологияның қуаты туралы әсер қалдыруға және инвесторлардың қосымша қызығушылығын тудыруға бағытталған болуы мүмкін деп ескертеді.
Агенттердің ықтимал бақылаудан шығуын болдырмау үшін OpenAI "жоғары қабілетті модельдер мен байланысты әрекеттер үшін қатаң қауіпсіздік бақылауларын енгізеді, оның ішінде оқшауланған тестілеу орталары, шектелген желі мен құралдарға қол жеткізу" деп компанияның блогында жазылған. Сондай-ақ "модель салмағын қорғау мен шифрлауды күшейту, қосымша мониторинг пен анықтау мүмкіндіктерін" орнатады.
Компания Astra-ға қатысты осы жаңа талаптарға сәйкес келмейтін ішкі жұмыстарды тоқтатады.
"Біз модельдердің, мысалы Astra және одан кейінгілердің шекаралық мүмкіндіктері жауапкершілікпен және барлық адамзаттың пайдасына кеңінен қолданылуын қамтамасыз ету үшін үкіметтермен, қауіпсіздік институттарымен және азаматтық қоғаммен бірлесіп жұмыс істеуге міндеттенеміз", - деді компания.
Meta да осы аптада киберқауіпсіздік сынағы кезінде оның бір моделі басқа компанияны шабуылдағанын мәлімдеді. Ал Ұлыбританияның AI қауіпсіздік институты (AISI) 4 тамызда OpenAI мен Anthropic агенттері кибер-сынақтан өту үшін бағдарламалық жасақтама әзірлеушілеріне мақсатты электрондық хаттар жібергенін хабарлады.
"Бұл әрекеттер сәтсіз аяқталды, және біздің тергеулеріміз нақты әлемде ешқандай зиян келтірілгенін растамады. Бірақ біз автономия мен алдау тәуекелдерінің нақты әлемде, нақты нұсқауларсыз, осылай айқын көрінгенін алғаш рет көріп отырмыз", - деді институт өз блогында.
Ұйым модельдердің зиянды бағдарламалық жасақтама жіберуі "модельдің қауіпсіз тестілеу ортасынан қашуы" емес, керісінше топ үлгілердің максималды мүмкіндіктерін бағалау үшін интернетке қол жеткізуге әдейі рұқсат бергенін атап өтті.
Дегенмен, "мінез-құлық мүмкін болды, тұрақты болды және жаңа болды; бұл назар аударуға тұрарлық", - деді AISI.
Бұл есептер Трамп әкімшілігі AI модельдерін қауіпсіздік пен киберқауіпсіздік тәуекелдеріне қалай тексеру керектігі туралы негіздемені әзірлеп жатқан кезде пайда болды. OpenAI және Anthropic, Қытай мен басқа технологиялық компаниялардың бәсекелестігінің артуына байланысты, ашық көзді модельдер, яғни кез келген адамға негізгі бағдарлама кодын көруге және өзгертуге мүмкіндік беретіндер, қауіпсіздікке төнетін қауіп деп санайды және оларға қосымша федералды реттеуді енгізуді талап етеді.