Қытайлық AI әзірлеушісі Moonshot өзінің танымал Kimi модельдерінің екеуі зерттеушілерді биологиялық қару жасауға және қастандық ұйымдастыруға үйреткені анықталған соң ішкі тексеру жүргізіп жатыр. Бұл туралы Qazaqyia.kz порталы BBC News басылымына сілтеме жасап хабарлайды.
AI жүйелерінің қауіпсіздігін тексеретін Mindgard компаниясы BBC-ге шілде айында Kimi K2.6 және K3 Swarm әзірлеушілер қойған қауіпсіздік шектеулерін айналып өте алатынын анықтағанын хабарлады. Бұл «jailbreaking» деп аталатын процесс барысында орын алды — зерттеушілер AI құралдарының қорғаныс шектеулерін елемейтінін тексеру үшін күрделі нұсқаулар тізбегін қолданады. Mindgard-тың айтуынша, бұл шектеулер Kimi-ге алаңдатарлық тақырыптарды талқылауға жол бермеуі тиіс еді.
Moonshot BBC-ге үшінші тараптың пікірін «жақсырақ және қауіпсіз AI құрудың негізгі тірегі» ретінде құптайтынын мәлімдеді. Компания сондай-ақ Mindgard-пен оның тұжырымдары туралы келіссөз жүргізіп жатқанын айтты.
Mindgard негізін қалаушы Питер Гарраган BBC World Service-тің Tech Life бағдарламасына Kimi K2.6 және K3 Swarm туралы тұжырымдардың алаңдатарлық екенін айтты. «Jailbreak іске асқан соң ол кез келген тақырыпты талқылайды, тіпті басқа да зиянды тақырыптар бойынша ұсыныстарды еркін бере бастайды, ол өнертапқыш және шығармашыл болады», — деді ол.
Jailbreak-тер жақында болған жоғары деңгейдегі AI оқиғаларынан өзгеше қауіп түрін тудырады. Ол оқиғаларда OpenAI, Meta және Anthropic сияқты америкалық компаниялар әзірлеген агент деп аталатын автономды AI құралдары кейбір онлайн қызметтерді бұзған болатын.
Jailbreak-тер көп уақыт пен табандылықты қажет ететін күрделі процесс болғанымен, кейбір сарапшылар хакерлер мен басқа да зиянды әрекет етушілер оларды зиян келтіру үшін пайдалануға тырысуы мүмкін деп қорқады. Anthropic жақында өзінің AI моделін биологиялық қару жасауды қолдауы мүмкін «зиянды әрекет» үшін пайдалану әрекеттерін анықтап, тоқтатқанын мәлімдеді.
Mindgard Kimi-дің алаңдатарлық тақырыптар бойынша берген жауаптары жұмыс істейтінін дәлелдеген жоқ. Бірақ ол қорғаныс шектеулері аталған модельдердің пайдаланушылармен осындай тақырыптарда сөйлесуіне жол бермеуі тиіс еді деп дәлелдейді. Компания сондай-ақ jailbreak жасалған Kimi 2.6 хакерлерге оның есептеу ресурстарында код іске қосуға және интернетке қосылуға мүмкіндік беруі мүмкін екеніне сенімді — бұл оны кибершабуылдар үшін ықтимал бастау алаңына айналдырады.
Гарраган Mindgard-тың Moonshot жүйелерінің jailbreak-і туралы жария түрде айту шешімін қорғап, компания әзірлеушіге хабарлағанын және фирманың модельдерін қорғаныс шектеулерін елемеуге қалай мәжбүрлегені туралы негізгі мәліметтерді ашпағанын айтты.
Mindgard Moonshot-қа jailbreak туралы 27 шілдеде электрондық хатпен хабарлап, шамамен бір аптадан кейін қайта хабарласқан. Содан кейін 12 қыркүйекте осы мәселе туралы блог жариялаған. Алайда компания Moonshot-тың BBC-ге түсініктеме сұрағанынан кейін ғана жақында байланысқанын мәлімдеді.
Moonshot BBC-ге берген электрондық хатының бір бөлігінде Mindgard-тан қосымша мәлімет сұрап, ішкі бағалауларда оның моделі әдетте «мұндай сұраныстарға жоғары бас тарту деңгейін көрсеткенін» айтқан.
Бұл тұжырымдар AI индустриясы жабық, меншікті модельдер — ChatGPT пен Anthropic-тің Claude жүйелерін қуаттайтындар сияқты — немесе ашық бастапқы құралдар қайсысы жақсы немесе қауіпсіз деген мәселеде бөлініп жатқан кезде пайда болды. Kimi — ашық салмақты модель, яғни теориялық тұрғыдан біреу модельді алып, оны өз есептеу инфрақұрылымында іске қоса алады.
Суррей университетінің профессоры Алан Вудворд BBC-ге ашық бастапқы модельдердің қате қолдарға түсу қаупі бар екенін, бірақ оларды киберқорғаныс үшін де пайдалануға болатынын айтты. Ол AI компаниясы Hugging Face кейінірек OpenAI агенттері жасағаны анықталған хакерлік шабуылды түсіну үшін қытайлық ашық бастапқы модельді пайдаланғанын атап өтті.
Профессор Вудворд халықаралық реттеу AI дамуының қарқынына ілесуі екіталай екенін айтып: «Телефон нөмірлерінің форматы туралы келісуге ондаған жыл кетті», — деді. Mindgard негізін қалаушы Гарраган сияқты, профессор Вудворд та AI-ды теріс пайдаланатын адамдарды анықтауға және қудалауға көбірек көңіл бөлу керек деп санайды.