Koliko možemo vjerovati AI chatbotovima kada provjeravamo činjenice? Test je pokazao – ne previše!
Koliko su pouzdani AI chatbotovi temeljeni na velikim jezičnim modelima (LLM-i) kada ih pitamo je li neka tvrdnja koja kruži internetom točna? Britanska organizacija za provjeru činjenica Full Fact tijekom pet mjeseci testirala je kako na takve upite odgovaraju tri popularna chatbota – ChatGPT, Grok i Gemini.
Rezultat je prilično jasan: chatbotovi su u desetinama slučajeva samouvjereno davali pogrešne odgovore, a neke su tvrdnje nastavili netočno prenositi čak i nakon što su kolege iz Full Facta objavile činjeničnu provjeru.
„U nekim su se slučajevima LLM-ovi nekoliko dana kasnije sami ispravili, često pritom navodeći naše članke za provjeru činjenica. No, zabilježili smo i niz slučajeva u kojima su chatbotovi nastavili davati netočne informacije“, objašnjavaju iz Full Facta.
Naime, u prvih pet mjeseci ovog testiranja kolege su identificirale 39 velikih pogrešaka u kojima su LLM-ovi pogrešno odgovorili na neku tvrdnju. Ukupno su zabilježili 67 pojedinačnih netočnih odgovora povezanih s tim pogreškama među različitim modelima.
Među njima je većina modela koje su ispitali pogrešno tvrdila da je slika prozora koju je generirala umjetna inteligencija da predstavlja fotografiju snimljenu na letu zrakoplova Ryanaira, tijekom kojeg je putnik gotovo ispao kroz prozor, stvarna. Drugi modeli tvrdili su da neke fotografije i snimke potječu iz Irana ili Izraela, iako su nastale drugdje, kao i da su prezentirani im politički transparenti generirani umjetnom inteligencijom stvarni te da je lažni plakat jednog gradskog vijeća – službeni plakat.
„Naš je eksperiment pokazao da se na LLM-ove ne može osloniti kao na nepogrešiv način provjere činjenica, osobito u situacijama s najnovijim vijestima, poput rata između SAD-a i Izraela s Iranom“, navode u Full Factu dajući i primjer iz veljače kada su njihovi fact-checkeri redovito počeli vodećim LLM-ovima pitanja o tvrdnjama koje su provjeravali neposredno prije objave njihovih članaka.
Cilj je, kažu, bio vidjeti kako LLM-ovi reagiraju na dezinformacije te kako njihove činjenične provjere utječu na odgovore koje korisnici dobivaju. Kao dio tog procesa, novinari su prije provjere sastavili neutralno formulirano pitanje o nekoj tvrdnji koju su provjeravali, nastojeći da njihovo pitanje izgleda tipično onakvo kakvo bi korisnik mogao postaviti chatbotovima. Zatim su odgovor na isto pitanje tražili od nekoliko modela Geminija, Groka i ChatGPT-a te odmah procjenjivali točnost njihovih odgovora.
„Bilo je više pogrešaka. Grok je netočno tvrdio da slika zapaljenih vozila židovske humanitarne organizacije koju je generirala umjetna inteligencija prikazuje stvarni prizor iz požara podmetnutog u ožujku u Golders Greenu, a jedan je model Geminija lažno tvrdio da je politička komentatorica Katie Hopkins 'izazvala totalni kaos' u britanskom parlamentu tako što se sukobila s muslimanskim zastupnicima. Također smo zabilježili da su dva modela Geminija, kao i Grok i ChatGPT, tvrdili da je slika Zemlje generirana umjetnom inteligencijom tijekom misije 'Artemis II' stvarna. Jedan od testiranih modela Geminija i Grok također su bengalski video kampanje Zelene stranke pogrešno protumačili kao snimku slavlja zbog izborne pobjede. I Grok i jedan model Geminija netočno su tvrdili da lažna fotografija iranskog sprovoda djece prikazuje stvarnu fotografiju povezanu sa sprovodom. Grok je također netočno tvrdio da snimka požara u Saudijskoj Arabiji iz 2022. godine prikazuje požar u Tel Avivu tijekom iranskih raketnih napada na Izrael. I isječak požara u blizini Glavnog kolodvora u Glasgowu Grok je pogrešno identificirao kao iranski raketni napad na Tel Aviv. ChatGPT je netočno tvrdio da se isti video iz Glasgowa 'podudara sa snimkom koju je prvi objavio izraelski medij N12 26. listopada 2024. godine, a koja prikazuje požar u stambenoj zgradi u ulici Corkidi u Tel Avivu'. Jedan je model Geminija također pogrešno tvrdio da je riječ o staroj snimci iz listopada 2024. godine“, sumiraju u Full Factu.
Kolege su zabilježile i pogreške neizravno povezane s nekim tvrdnjama. Primjerice, kada su LLM-ove pitali je li britanski princ William izazvao londonskog gradonačelnika Sadiqa Khana zbog postavljanja prioriteta za London, jedan je model Geminija točno odgovorio da nema takvih izvještaja, ali je zatim netočno ustvrdio da je bilo slučajeva u kojima je kralj Charles III intervenirao u pitanja Londona i izrazio zabrinutost zbog Khanovih politika. Pri tom je isti model Geminija „izbacio“ i nekoliko poveznica kao dokaze. Ti su linkovi vodili upravo na tip lažnih vijesti koje fact-checkeri često razotkrivaju.
I Lupa je također u svom radu nailazila na netočne i zavaravajuće informacije koje su integrirani chatbotovi davali na upite o nekim tvrdnjama. Primjerice, Grok je viralni video iz ruskog Jaroslavlja pogrešno prikazivao kao snimku kanadskih bolničara koji napadaju pacijenticu zbog nenošenja zaštitne maske u vrijeme pandemije koronavirusa. Lani smo i sami testirali Grok, nakon što je veličao Adolfa Hitlera, koji je kao izvore često uzimao objave s X-a i davao im jednaku težinu kao službenim podacima, znanstvenim studijama i provjerenim medijima, što je moglo dovesti do odgovora temeljenih na nepouzdanim informacijama. Pisali smo i kako je AI pregled na tražilici Google jesenas, nakon smrti glumca Roberta Redforda, preuzeo izmišljenu priču o navodnoj poruci koju je glumac poslao Luki Modriću i prikazao je kao stvarnu, tvrdeći da je Modrić rekao da mu je Redfordova poruka pomogla u teškim životnim trenucima što je izazvalo lavinu reakcija korisnika društvenih mreža.
Zabilježili smo i slučaj kada je Grok netočno tvrdio da je Ahmed al-Ahmed, muškarac koji je razoružao napadača na australskoj Bondi plaži, maronitski kršćanin, iako su dostupni vjerodostojni izvori potvrđivali da je musliman. Također, u vrijeme ovogodišnje pojave hantavirusa, Grok je netočno tvrdio da hebrejska riječ „hanta” znači prevaru, obmanu ili laž, šireći dezinformaciju koju su korisnici upakirali u antisemitsku propagandu.
Međutim, postavljanje neutralnih pitanja bilo je tek prvi korak u Full Factovom istraživanju, dok je drugi bilo da ponovno postave isto pitanje chatbotovima nakon što su na svom portalu objavili članke kojim su razotkrili dezinformaciju.
„Nadali smo se da će LLM-ovi, ako to već nisu učinili u prvom pokušaju, iskoristiti te informacije i dati točnije odgovore. Ipak, pogreške su se ponekad nastavile pojavljivati. Jedan model Geminija i Grok naknadno su dali točne odgovore, navodeći da slike Zemlje generirane umjetnom inteligencijom nisu stvarne, pritom koristeći naše činjenične provjere. No druga dva modela Geminija nastavila su davati netočne informacije. Iako je Grok točno odgovorio da donedavni britanski premijer Keir Starmer nije zabranio gradonačelniku New Yorka Zohranu Mamdaniju ulazak u Ujedinjeno Kraljevstvo, kada smo ga prvi put pitali netočno je tvrdio da je Mamdani rekao kako je Ujedinjeno Kraljevstvo 'izgubilo moralni kompas'. Nakon objave našeg teksta Grok je ispravio tu pogrešku, ali je potom napravio novu, tvrdeći da Mamdani nije gradonačelnik New Yorka“, navode britanske kolege.
Ističu kako su u nekim slučajevima LLM-ovi svoje odgovore promijenili nabolje. Tako su svi LLM-ovi koji su u početku pogriješili naknadno ispravili svoje odgovore nakon što je objavljena činjenična provjere o lažnoj fotografiji s leta Ryanaira. Ista stvar dogodila se i sa spomenutim slučajem pogrešno opisanog videa kampanje bengalske Zelene stranke.
„Grok i jedan model Geminija također su nakon objave naših članaka dali točne odgovore kojima su razotkrili tvrdnje o slikama zapaljenih vozila židovske humanitarne organizacije i o Katie Hopkins, pozivajući se pritom na naše članke. Iz OpenAI-ja su nam poručili da naše primjere shvaćaju ozbiljno te da poboljšanje činjenične točnosti ostaje važan fokus. Naveli su da Full Fact, testirajući modele putem Application Programming Interfacea (API-ja), skupa pravila odnosno protokola koji softverskim aplikacijama omogućuju međusobnu komunikaciju, nije testirao uobičajeno korisničko iskustvo ChatGPT-a. Također su istaknuli da je za tumačenje rezultata bilo važno to što smo u upitima koristili poveznice na objave trećih strana na društvenim mrežama, umjesto izvornih datoteka fotografija ili videa. X nije odgovorio na zahtjev za komentar o Grokovim pogreškama, a glasnogovornik Googlea rekao je da je ovo istraživanje koristilo zastarjele modele Geminija putem kanala za razvojne programere koji nije reprezentativan za način na koji većina ljudi koristi umjetnu inteligenciju. Dodao je da su, kada je kompanija nakon našeg upita ponovno testirala iste tvrdnje na internetskoj stranici Geminija, 'one dosljedno bile razotkrivene kao netočne'“, otkrivaju u Full Factu.
U zaključku ovog svog istraživanja upozoravaju da ljudi sve više koriste LLM-ove kao tražilice i koriste ih za provjeru informacija te da, iako ih neki mogu smatrati korisnom početnom točkom, oni ipak ne mogu zamijeniti ulogu fact-checkera niti ljudsku prosudbu općenito.
„Svima koji pokušavaju istražiti i provjeriti neku informaciju – bilo da je riječ o fotografijama, videima ili statistikama – preporučujemo da ne ostanu samo na LLM-ovima, već potraže vjerodostojne primarne izvore informacija koje mogu međusobno usporediti kako bi dobili širu i točniju sliku. Kako se ovi AI alati sve više ugrađuju u svakodnevni život, kvaliteta i pouzdanost sadržaja kojeg proizvode postaju pitanje od temeljnog javnog interesa. Ipak, trenutačno ne postoji neovisan mehanizam od javnog interesa kojim bi se sustavno procjenjivalo jesu li te AI usluge točne, transparentne, pravodobne, dosljedne i odgovorne u informacijama koje pružaju. Zato Full Fact razvija referentni test za procjenu učinkovitosti LLM-ova. Više o tom projektu možete pronaći ovdje“, zaključuju britanske kolege.
