Veliki jezični modeli poput GPT-a, Geminija ili Llame (skraćeno LLMs odnosno Large Language Models) – napredni sustavi umjetne inteligencije trenirani na ogromnim količinama podataka, sve više postaju dio ljudske svakodnevice.

Prema najnovijim podacima Eurostata, objavljenim sredinom prosinca, više od trećine Europljana koristilo je AI aplikacije u prošloj godini, najčešće u privatne svrhe.

Jedna prošlogodišnja anketa pokazala je da više od 50 posto Amerikanaca koristi AI jezične modele, dok je druga pokazala da 54 posto američkih ispitanika koristi ChatGPT da bi dobilo preporuku za neke financijske odluke, poput odabira kreditnih kartica, osiguranja ili brokera. Štoviše, veliki broj ljudi sve češće ih koristi kao pomoć pri donošenju razne vrste odluka, postavljajući pitanja čiji odgovori ne zahtijevaju samo deklarativno nabrajanje informacija, već i prosudbu. Jezični modeli sve češće klasificiraju sadržaj, procjenjuju njegov kredibilitet i preporučuju akcije te općenito mijenjaju način na koji pretražujemo podatke na internetu i vrednujemo njihovu pouzdanost.

No, dok postoji veliki broj istraživanja koja uspoređuju koliko su modeli efikasniji u odnosu na ljude u određenim informacijskim zadacima, manje je poznato na koji način jezični modeli evaluiraju, odnosno donose prosudbe.

Rezultati istraživanja

S tim na umu, grupa talijanskih psihologa i računalnih znanstvenika sa Sapienza Sveučilišta u Rimu, predvođena Walterom Quattrociocchijem, analizirala je pomoću više eksperimenata na koji način modeli generiraju svoje prosudbe o pouzdanosti i političkoj pristranosti u usporedbi s ljudima. Rezultati su više nego zabrinjavajući – jezični modeli ne donose sud na temelju analitičke evaluacije dokaza, konteksta ili pozadine kao što je to svojstveno ljudima, već nude rješenje koje je statistički najvjerojatnije i zadovoljava lingvističku plauzibilnost.

Prof. Walter Quattrociocchi, voditelj laboratorija za podatkovnu znanost i složenost (Data Science and Complexity Lab) Sapienza Sveučilišta u Rimu i jedan od najcitiranijih svjetskih znanstvenika u istraživanjima o online širenju dezinformacija i eho-komorama (echo chambers) pojasnio je za Faktograf kako ove spoznaje doprinose onome što naziva iskrivljavanjem znanja od strane digitalnih ekosustava.

Autori istraživanja objavljenog u listopadu analizirali su rezultate šest velikih jezičnih modela –  Deepseek V3, Gemini 1.5, Flash, GPT-4o mini, Llama 3.1, Llama 4 Maverick i Mistral Large 2 – kojima su dali u zadatak da procjenjuju vjerodostojnost, odnosno pouzdanost velikog broja medija – njih više od 2200. Rezultate su uspoređivali s ocjenama vjerodostojnosti koje su medijima dodijelile specijalizirane organizacije NewsGuard i MBFC, te s procjenama profesionalnih fact-checkera. Eksperiment je u obzir uzeo i varijablu političke orijentacije medija, također procijenjenu od strane organizacija i stručnjaka.

Istraživanje je pokazalo da se jezični modeli, pojašnjava Quattrociocchi, oslanjaju na naučene statističke obrasce i kao prosudbu simuliraju najvjerojatniji statistički odgovor. Drugim riječima, za razliku od ljudi koji se u prosudbi uglavnom oslanjanju na iskustvo i razmatraju više različitih faktora, modeli naprosto vrše prepoznavanje obrasca i daju najvjerojatniji lingvistički odgovor.

Manje prepoznavanja kod granično pouzdanih medija

To je rezultiralo, primjerice, time da su jezični modeli dobro identificirali posve nepouzdane medije, odnosno poklapali su se međusobno i s procjenama ljudskih eksperata u slučajevima medija koji su i inače procjenjivani kao izrazito nisko vjerodostojni. No manju efikasnost pokazivali su u procjeni granično pouzdanih medija, pogotovo kad su signali bili dvosmisleni.

Desno orijentirane medije koji su proglašavani pouzdanima od strane stručnjaka (poput NewsGuarda) modeli su češće proglašavali nepouzdanima, dok su kod centrističkih i lijevo orijentiranih medija češće precjenjivali pouzdanost u odnosu na stručnjake. Autori pojašnjavaju da to ne znači da su modeli pristrani, već da je to najvjerojatnije rezultat reflektiranja korelacija iz setova podataka na kojima su modeli trenirani, gdje su nerijetko u realnoj korelaciji ekstremistička retorika i dezinformacije.

„Ključni mehanizam su lingvističke asocijacije, ne ideološka namjera. Određene ključne riječi i teme, primjerice političke figure poput Trumpa ili termini koji se i inače često pojavljuju u sadržaju fokusiranom na teorije zavjere i senzacionalizam su naprosto statistički povezaniji s dezinformacijama i nižim kredibilitetom. Kad se te riječi pojave, čak i unutar legitimnog novinarskog teksta, one za model stoga predstavljaju negativni signal“, pojašnjavaju autori.

Pouzdani i nepouzdani mediji često pokrivaju slične teme, no razlika je u kontekstu, stilu i načinu obrade sadržaja. Dok iskusni fact-checking stručnjaci mogu prepoznati ove odrednice i sagledati širu sliku, modeli isključivo koriste lingvističke značajke poput senzacionalizma, razine neutralnosti i tehničkog jezika da bi procijenili pouzdanost medija.

Što je lingvistička plauzibilnost

Što u ovom slučaju zapravo znači lingvistička plauzibilnost koju spominje Quattrociocchi? Pojednostavljeno, veliki jezični modeli trenirani su na ogromnim setovima podataka u kojima se pojavljuju određene sekvence pa modeli funkcioniraju na način da na zadani pojam, znak ili kontekst kreiraju sekvencu koja je najvjerojatnija sukladno tome što su naučili na „treningu“. To bi primjerice značilo da će uz pojam „mačka“ s puno više vjerojatnosti biti uparen pojam „miš“, a s puno manje vjerojatnosti „školjka“. Drugim riječima, model će upariti riječi prema tome koliko su često bile uparivane u tekstovima na kojima je model treniran. To je mehanizam koji modeli primjenjuju i kod evaluacije i prosuđivanja, pojašnjava talijanski znanstvenik.

„To je zapravo prosuđivanje na vrlo površan način, generiranjem statistički najvjerojatnijeg odgovora. To nije prosuđivanje, već simulacija prosuđivanja, odnosno simulacija znanja“, kaže Quattrociocchi.

Rezultati su uznemirujući, smatra on, jer to znači da će ljudi, oslanjajući se sve više na ove modele, delegirati evaluaciju i donošenje odluka nečemu što naprosto simulira prosuđivanje fokusiranjem na lingvističku vjerojatnost.

Način na koji su tražilice inače funkcionirale omogućavao je korisnicima da nakon osnovnog filtriranja izvora informacija sami vrše selektiranje i razumijevanje izvora. S uvođenjem jezičnih modela u taj proces, preskače se taj verifikacijski proces, tvrdi on.

„Već sad vidim da veliki broj mojih studenata tretira jezične modele kao da su sustavi kognitivnog osnaživanja, dok je istina puno drugačija. Nema u tome kognitivnog procesa. No pravi problem nastaje kada korisnik nije u stanju zamijetiti greške koje model radi“, smatra Quattrociocchi.

Autori istraživanja imali su potrebu smisliti ime za ovaj fenomen, nazvavši ga „epistemijom“ i definiravši ga kao nastajanje iluzije znanja u trenutku kad formalna plauzibilnost zamjenjuje sadržajnu verifikaciju. Ako slijepo delegiramo prosuđivanje sistemima utreniranima da maksimiziraju plauzibilnost, riskiramo prihvatiti da su neki zaključci istina samo zato što zvuče kao istina, upozoravaju autori.

Informacijski ekosustav vođen preferencijama korisnika

Quattrociocchi i kolege već godinama istražuju kako digitalni ekosustavi – poput društvenih mreža i u novije vrijeme aplikacija pogonjenih jezičnim modelima – iskrivljuju znanje.

U iznimno citiranom istraživanju iz 2016. godine pod nazivom „Online širenje dezinformacija“ pokazali su da se teorije zavjere šire dramatično brže od znanstvenih informacija te dokazali da je vodeći razlog tome veća sklonost „konzumenata“ teorija zavjere selektivnom izlaganju, a potom i širenju sadržaja koji odgovara njihovim uvjerenjima. Ovaj fenomen ujedno rezultira i formacijom grupa na društvenim mrežama koje međusobno neprekidno dijele istovjetni sadržaj (tzv. eko komore), što pojačava dojam korisnika da je to jedini ispravni narativ.

Algoritmi društvenih mreža koji nam potom nameću sadržaje koji su u skladu s našim uvjerenjima i preferencijama i često u pozadini imaju motiv zarade drugi su važni mehanizam manipuliranja znanjem. Cijeli je informacijski ekosistem u digitalnom prostoru, upozorava Quattrociocchi, već sad vođen preferencijama korisnika.

S popularizacijom velikih jezičnih modela i njihovim površnim načinom evaluacije, sada imamo i treću razinu iskrivljavanja znanja u digitalnim sustavima – ne više samo kroz to što korisnici vide, nego i kroz način na koji su prezentirani zaključci formirani, tvrdi on. Naime, na online platformama, gdje se informacije šire iznimno brzo, a korisnici su polarizirani, procjena vjerodostojnosti podataka i njihove potencijalne pristranosti ključni je problem.

U budućnosti, smatra on, na društvenim mrežama će se pojavljivati sve više sadržaja koji proizvode veliki jezični modeli, što će dodatno voditi još većoj polarizaciji.

„Sada, s načinom na koji AI modeli generiraju sadržaj, trošak produkcije informacija praktički više ne postoji. Ljudi sve više pokušavaju riješiti svoje limite u znanju delegirajući taj zadatak jezičnim modelima. No, ono što dobiju je iluzija znanja“. Ako potpuno izbacimo verifikaciju, smatra on, svi ćemo živjeti u jednoj vrsti informacijskog delirija.

„Ono što mi želimo sad istražiti je kako se zaštititi protiv toga, odnosno kako naučiti korisnike da razlikuju plauzibilnost od utemeljenih zaključaka. Očekivao bih da se Europska komisija intenzivnije prihvati tog izazova, no nisam siguran da je ovaj problem posve jasan niti prioritetan. Trenutačno je sva pažnja usmjerena k tome kako AI modele integrirati u procese proizvodnje i svakodnevni život“, zaključuje.

---

Vedrana Simičević, Faktograf