Американдық зерттеу ұйымы Just Facts саяси тұжырымдарды тексеру кезінде төрт танымал AI чат-боттың үшеуі солшыл көзқарастарға қатысты мәлімдемелерді тексеруде жиі қателесетінін анықтады. Бұл туралы Qazaqyia.kz порталы Fox News басылымына сілтеме жасап хабарлайды.
Зерттеушілер ChatGPT, Gemini, Grok және Claude сервистерінің ақылы нұсқаларын сынақтан өткізді. Әр жүйеге иммиграция, аборт, климат, сайлау, қылмыс, қаруды бақылау, COVID-19 және басқа да қоғамдық-саяси тақырыптар бойынша 100 сұрақ қойылды.
Зерттеу нәтижелері
Just Facts деректері бойынша, ChatGPT оңшыл жалған мәлімдемелерді анықтауға бағытталған сұрақтардың 94%-ына дұрыс жауап берді, ал солшыл мәлімдемелерге қатысты сұрақтардың 75%-ына ғана дұрыс жауап берді. Gemini көрсеткіштері тиісінше 91% және 76%, Claude — 91% және 81% болды.
Grok кері нәтиже көрсетті: оңшыл мәлімдемелер туралы сұрақтарға 73% дұрыс жауап берсе, солшылдарға — 84%.
Зерттеу авторлары тек ChatGPT-те ғана екі топ сұрақтары арасындағы айырмашылық 95% сенімділік деңгейінде статистикалық маңызды екенін атап өтті.
«Зерттеудің мақсаты — бұл AI жүйелерінің дезинформацияны қаншалықты жиі тарататынын көрсету. Адам біржақты болуы мүмкін, бірақ бұл оның жалған ақпарат тарататынын білдірмейді. Сондықтан мен олардың дұрыс па, әлде қате ме екенін анықтағым келді», — деді Just Facts президенті Джим Агрести.
Дереккөздердің сенімділігі
Зерттеу авторлары чат-боттардың жауаптарын растау үшін келтірген сілтемелеріне ерекше назар аударды. Төрт жүйе 400 жауапта барлығы 419 дереккөзге сілтеме жасады.
Just Facts мәліметінше, олардың ішінен 104 жоқ веб-парақша және 77 дереккөз табылды, олардың мазмұны чат-боттар келтірген мәлімдемелерді растамады.
Нәтижесінде зерттеушілер барлық келтірілген дереккөздердің 46%-ын сенімді деп таныды. Ең жақсы нәтижені ChatGPT көрсетті — 57%. Gemini көрсеткіші 49%, Claude — 44%, Grok — 32% болды.
«Олар ұсынған дереккөздерді зерттей бастағанда, мені әсіресе олардың шамамен жартысының сенімсіз болуы таң қалдырды», — деді Агрести.
Оның айтуынша, бұл мәселе, әсіресе пайдаланушылар медицина немесе мемлекеттік саясат саласындағы ақпарат алу үшін AI-ге жүгінгенде, елеулі салдарға әкелуі мүмкін.
Қосымша ескертулер
Зерттеу авторлары сондай-ақ чат-боттардың пайдаланушының ұстанымымен келісуге бейімділігі туралы ескертті. Алдыңғы диалогтардың әсерін азайту үшін тестілеу жаңа есептік жазбалар мен жаңа орнатылған браузер арқылы жүргізілді.
Агрести пайдаланушыларға AI жауаптарын қатесіз сараптамалық пікір ретінде қабылдамауға кеңес беріп, ақпарат пен бастапқы дереккөздерді қайта тексеруді ұсынды.
Сонымен қатар, Just Facts қорытындылары ұйымның өзі әзірлеген әдіснамаға және мәлімдемелерді саяси солшыл немесе оңшыл деп жіктеуге негізделгенін ескеру қажет, сондықтан зерттеу нәтижелерін осы шектеуді ескере отырып қарастырған жөн.