Zašto za usporedbu uspješnosti dvojice znanstvenika nije dovoljno samo površno konzultirati Google Scholar?

Koji je znanstveni uspjeh i doseg pojedinog znanstvenika, odnosno njegovog rada – pitanje donedavno rezervirano isključivo za akademske krugove - posljednjih se godina sve više zna postavljati i u mainstream medijima. Pri tome je glavna referenca na koju se mnogi pozivaju Google Scholar – Googleova specijalizirana tražilica koja indeksira znanstvenu literaturu i istovremeno služi kao baza znanstvenih publikacija, a koja je lako dostupna i besplatna.

Jedan od recentnijih primjera su i tekstovi u medijima iz regije koji su popratili ili komentirali prozivanje novinara i doktora matematike Franje Šarčevića od strane političara i doktora političkih znanosti Emira Suljagića. Tema prozivanja bila je usporedba citiranosti na Google Scholaru, koja bi po Suljagiću trebala biti glavni pokazatelj nečije znanstvene uspješnosti. Po toj usporedbi s Google Scholara, Suljagić, koji je diplomirao 2000. godine ima 158 citata, dok Šarčević koji je diplomirao 2014. godine ima 9 citata. 

Međutim, upravo ovaj primjer gdje se citiranost s Google Scholara koristi za javni obračun dobro ilustrira zašto su usporedbe nečije znanstvene uspješnosti na ovaj način i bez dubljeg konteksta često potpuno pogrešne.

Za početak, ukupni broj citata već odavno nije glavna mjera procjene u akademskoj zajednici. Vođen upravo idejom da se znanstvena uspješnost ne bi trebala dokazivati samo jednim brojem – primjerice brojem objavljenih radova ili brojem citata – fizičar Jorge E. Hirsch osmislio je 2005. godine danas uvriježenu mjeru poznatu kao h-indeks. Njome je doveo u vezu podatke o broju objavljenih radova i podatke o tome koliko su puta pojedini radovi citirani. Pojednostavljeno, ako nečiji h-indeks iznosi primjerice 7, to bi značilo da ta osoba ima 7 objavljenih znanstvenih radova koji su citirani najmanje 7 puta. 

Hirsch je smatrao da nakon 20 godina nečije znanstvene karijere h-indeks koji iznosi 20 ukazuje na uspješnog znanstvenika, h-indeks od 40 na odličnog znanstvenika, a h-indeks od najmanje 60 označava vrhunske, vanserijske znanstvenike. No, kao i mnoge mjere koje pokušavaju izmjeriti iznimno kompleksne stvari, h-indeks ima i dosta nedostataka zbog kojih ga akademske institucije nikad ne uzimaju kao jedini kriterij pri procjeni nečijeg znanstvenog dosega. Za početak, ne treba ga uzimati sasvim doslovno jer se, primjerice, može dogoditi da dvije osobe imaju isti h-indeks iako je razlika u ukupnom broju citata pojedinih radova dramatično različita. Nije isto ni gdje su citirani radovi objavljeni – jer znanstvena istraživanja objavljena u časopisima najviših faktora odjeka koja su samim time prošla i rigorozniju provjeru od strane najboljih stručnjaka za tu određenu temu, mogu imati puno veći znanstveni značaj od nekih drugih radova. 

Ipak, jedan od najvećih problema s h-indeksom i općenito brojem citata je kontekst koji mu daje platforma, odnosno baza podataka pomoću koje se citiranost „mjeri“, pri čemu je najproblematičnija upravo ona koja je i jedina dostupna široj javnosti – Google Scholar. 

Naime, do prije dvadeset godina jedina baza publiciranih znanstvenih radova koja je davala informacije o citiranosti bila je Web of Science (WoS), sve dok se 2004. godine nisu pojavili Scopus – baza koju je lansirao najveći svjetski „znanstveni“ izdavač Elsevier, te Google Scholar. Sve tri baze danas indeksiraju znanstvene radove, odnosno mogu „izbaciti“ broj citata i h-indeks za pojedinog autora, no taj se podatak često razlikuje ovisno o samoj bazi. 

Dok su WoS i Scopus zadržali strože kriterije o tome koji izvori publikacija mogu ući u bazu, te nisu dostupni besplatno, Google Scholar – kojem bilo tko može pristupiti pukim guglanjem – ima puno „opušteniji“ i posve automatizirani kriterij što se sve može smatrati znanstvenom publikacijom. 

„Najuža baza je Web of Science koja pokriva tek određeni broj radova i onda se prati koji radovi iz te baze citiraju druge radove, ponovo, isključivo iz te baze. Zbog toga je broj citata tamo i najmanji“, pojašnjava dr. sc. Kristian Vlahoviček, profesor biologije sa zagrebačkog PMF-a koji je već godinama angažiran na raznim projektima iz područja scijentometrije – znanosti koja analizom znanstvenih publikacija mjeri značaj pojedinih institucija i autora. 

Scopus, pojašnjava on dalje, uključuje malo širu bazu znanstvenih časopisa, a time i veći broj radova, no i dalje su to isključivo tzv. peer-review časopisi i publikacije određenog utjecaja u kojima su objavljeni znanstveni radovi prošli rigoroznu provjeru od strane neovisnih stručnjaka. Tu je potom i Google Scholar koji publikacije indeksira automatskom pretragom weba, uključujući pritom i razne izvore publikacija koji ne bi prošli stroge kriterije WoS-a i Scopusa. 

„Google Scholar praktički 'zagrebe' sve što liči na publikaciju gdje se navodi neki određeni rad i onda to pribraja u citate tog autora. To, dakle, ne moraju nužno biti referentni znanstveni citati već mogu biti, primjerice, i članci u medijima u kojima je određeni autor spomenut“, pojašnjava Vlahoviček. 

Za razliku od WoS-a i Scopusa, Google Scholar ne nudi jednostavan način za isključivanje auto-citata, ni istih citata koji su pribrojeni više puta. U usporedbi s WoS i Scopus bazama, ukupni broj citata i vrijednosti h-indeksa s Google Scholara nerijetko su puno viši. S obzirom da je ova baza jedina javno dostupna, sve se češće u mainstream medijima upravo Googleov h-indeks navodi kao mjerilo znanstvene uspješnosti i dosega. No, u akademskoj zajednici, h-indeks s Google Scholara je i dalje manje cijenjen nego onaj s WoS-a ili Scopusa. 

„S obzirom na to što sve ulazi u citate s Google Scholara, kad vas netko spomene u kontekstu nekog video uratka, objave u medijima ili u nekoj knjizi, trebalo bi analizirati da li je to uistinu bilo u znanstvenom kontekstu“, kaže Vlahoviček. 

Uvriježeno je stoga da se vrijednost h-indeksa pri procjeni nečijeg znanstvenog dosega ne uzima zdravo za gotovo, već da se pomnije gleda što je sve objavljeno. U svakoj od tri baze može se vidjeti gdje su točno najcitiraniji radovi pojedinog autora objavljeni, koja je znanstvena vrijednost tih časopisa i tko je radove citirao. Ovakvo „manualno“ pregledavanje potrebno je, primjerice, i da bi se uzeo u obzir efekt auto-citiranja, koji u slučaju Google Scholara nije automatski isključen. 

„Ukoliko objavljujete više radova u kojima svaki put citirate i sami sebe, na taj način također 'pumpate' svoju citiranost. Imali smo primjere i u hrvatskoj akademskoj zajednici da netko ima par tisuća citata, no kad maknete auto-citate ostane ih dvjestotinjak. Ili primjerice da h-indeks s auto-citatima iznosi 50, a kad ih maknete spusti se na 3“, tvrdi Vlahoviček. 

Važno je spomenuti i da Google Scholar neće prikazivati rezultate za autore koji nemaju registriran profil. 

Debata koja se u znanstvenim krugovima već duže vrijeme vodi po pitanju kvalitete baza podataka koje se koriste za indeksiranje radova uvelike se vrti i oko pitanja da li su WoS i Scopus diskriminatorne prema društvenim i humanističkim znanostima. Za razliku od automatiziranog Google Scholara koji algoritmom izvlači sve dostupno na internetu što iole nalikuje citatu, WoS i Scopus imaju pažljivo odabranu kolekciju izvora i dokumenata koji ponekad, međutim, isključuju relevantne časopise iz područja humanističkih i društvenih znanosti. To je, između ostalog, i jedan od razloga zbog kojeg se zadnjih godina u akademskoj zajednici sve tri baze gledaju kao relevantne u situacijama službenih procjena nečijeg znanstvenog dosega. 

No, upozoravajući na možda i najvažniji problem kad je riječ o usporedbi nečijeg znanstvenog dosega, Vlahoviček ističe da je pogrešno pomoću mjera kao što su h-indeks ili ukupna citiranost uspoređivati znanstvenike iz različitih područja znanosti, primjerice matematičara i sociologa. U društvenim i humanističkim znanostima časopisi uglavnom nemaju tako visoke faktore odjeka kao u prirodnim znanostima, no može se raspravljati da je onda u prirodnim znanostima često i teže objaviti znanstveni rad. Na primjer više od polovice Suljagićevih citata prema Google Scholaru odnosi se na njegovu autobiografsku prozu "Razglednica iz groba". Problematična je čak i usporedba među znanstvenicima iz različitih znanstvenih polja, primjerice između matematičara i fizičara. 

„To je u oba slučaja kao da uspoređujete kruške i jabuke. Uobičajeno je da, na primjer, medicinari imaju više citata od biologa, a da i jedni i drugi imaju više citata od znanstvenika iz društvenih znanosti. Te usporedbe imaju smisla samo kad bi uspoređivali dvoje znanstvenika iz istog uskog područja rada, recimo fizike čestica, i onda vam h-indeks i broj citata mogu nešto reći o tome čiji je doprinos veći“, zaključuje Vlahoviček.