(K+F+I pillanatképek: N^o17)

            Hogyan számszerűsíthető és mérhető a tudományos teljesítmény? Kivált az elméleti kutatások terén, ahol a legerőteljesebb értékmérő, a pénzügyi haszon nem vagy csak nagy késéssel jelenik meg. És vajon létrehozható-e általános, tudományterületektől független mérőskála e célra? Sokan és sokféleképpen nekifutottak már a címben megjelölt kérdésnek. (Én is.) A vélemények egyik oldalán az áll, hogy az egyes tudományterületeken létrehozott teljesítményeket nem lehet egymáshoz viszonyítani, így fölösleges is bármiképpen próbálkozni; míg a másik oldalon, hogy a teljesítményértékelés szerint vannak fontos és kevésbé fontos kutatási területek, és ezzel szembe kell nézni. Akik nem szeretnének semmiféle értékmérést és összehasonlítást, azok a tagadás álláspontján vannak; a másik oldalon viszont növekedőben van az „elitista” szemlélet, gyakoribbá válik az időszaki föld felett való lebegés érzékcsalódása. Ez utóbbi mindaddig, míg a párszázas értékűek számára kiderül, hogy vannak párezres idézettek, vagy ez utóbbiak számára, hogy pártízezres citáltak is léteznek, sőt. Szóval relatív az egyedi értékítélet, vagyis attól függ, hogy kivel és persze milyen tudástérben mérjük össze magunkat. Próbáljunk meg ennek ismételt körüljárását.

79%

Év végéig még

21 125 027 forint

hiányzik a

költségvetésünkből.

Támogasd az Átlátszó

tényfeltáró munkáját!

atlatszo.hu/tamogatom

Azzal kapcsolatban, hogy egy tudós milyen ráhatással rendelkezett az utókorra, születnek különféle leltárok. Található olyan százas lista is, amelyben Isaac Newtont teszik az élre, és a századik helyen Archimedes található. E felsorolás 93. helyén Trofim Liszenkót leljük, aki a genetika alapjainak tagadásával írta be magát a „sötétség” történetébe, vagyis ebben a ráhatási értékskálában a negatív értelemben vett idézés is jelentős tényező. Ezen túlmenően majdnem egyéni ízlés kérdése, hogy egy ilyen – közel azonos kiválóságokat tartalmazó – lajstromban kit helyezünk előre és hátra. A svéd Carolus Linnaeus – aki fajok sokaságát írta le – például csak a 76. ebben a listában. A szubjektív vélemények elkerüléséért a tudományos eredmények statisztikájával (tudománymetria vagy scientometria) foglalkozók próbálkoztak azzal, hogy összemérjék a lényegileg különbözőt is. Erre a célra az egyik kiválasztott (és erősen félreértett) mutató a hatástényező (impaktfaktor), míg a másik a hivatkozás (citáció). Előbbi alapvetően a megjelenés helyére vonatkozó, tehát a szerzőre nézve személytelen, utóbbi a megjelenési helyre nézve – bizonyos határok között – semleges, a szerzőre nézve személyes értékű mérőszám. Épültek ezekre más mutatók is, elsősorban az ún. Hirsch-index (h-index), amely az idézettségnek a nagy idézettségű közlemények számával súlyozott formája. E mutatókat egyesek támogatják (lásd majd az MTA osztályainak eltérő doktori követelményrendszeréről szóló részben), mások a limitációikat emlegetik, legfőként annak kapcsán, hogy a mai publikációs útvonal egyre inkább az interneten nyilvánosan közzétett (open access) írások irányába halad, amely – amennyiben az elektronikus adatok stabil elérhetőségének kérdését sikerül megoldani – belátható időn belül a papíralapú publikálás végét jelenheti. Ami nincs az interneten, az talán nincs is – mondja már most a felnövekvő generáció. A világhálón való találati arány is lehet ma egyféle – minőségi érték szempontjából ellenőrzöttnek persze nem nevezhető – ismertségi mutató. Isaac Newton nevét ebben a pillanatban 3 millió, míg Archimedesét 2,5 millió találat jelzi. Liszenkót nagyjából 3,5 százezer, Pálinkás Józsefet 1,4 százezer, Lovász Lászlót egy százezer internetes dokumentum jelzi. Ezt persze csak azokat a forrásokat jelzi, amelyekben a név említésre kerül, vagyis a szóban forgó említés „súlyára” nem utal semmi.

A régóta emlegetett mutatók közül az impaktfaktor (IF) a folyóiratokat minősítő mutató, amely arról árulkodik, hogy mekkora a vizsgált lapban megjelent cikkek (tehát nem személyek) átlagos idézettsége (hatása) a tudományos folyóiratokban, illetve közülük azokban, amelyeket fontosnak tartunk (ezek meghatározóan nagy százaléka angol nyelvű), vagyis a teljes halmaz egy kiválasztott részében. Mindebből következik, hogy könyvekre és könyvfejezetekre ez a mutató nem vonatkozhat, bár a lényegi tudásunk – jó esetben – itt kerül tisztázásra. Nem is véletlen, hogy az ezekkel azonos célkitűzésű összefoglaló (review) cikkeket publikáló lapok IF-értékei igen magasak, hiszen a cikkírók számára technikai könnyebbségként egyetlen hivatkozás utalhat a korábbi eredményekre. Meghatározó tehát a szóban forgó mutatóban az összefüggés esetlegessége (vö. a lap és a benne publikáló konkrét személy minősége), amennyiben a lapra jellemző értéket egy kollektíva helyett konkrét személyre vetítjük. A lapok IF-értéke egyébként értelemszerűen évenként ingadozik.

Az IF-listák éllovasai a Nature és a Science folyóiratok is. Pályafutásom elején, az Egyesült Királyságban olyantól, aki mindkettőben több cikket jelentetett meg, azt hallottam, hogy ezekben a lapokban egyféle – igaz magas szintű – ismeretterjesztés folyik, vagyis hogy az eredeti eredményközlései sokkal kevésbé „patinás” lapokban található. Valóban így volt. Nem mellesleg a „csúcslapokat” nézegetve bizony az élettudományok kivételével kevés esélye van más tudományágaknak ezen a listán. A megkülönböztetett tudományágon belül is az immunológia, rákkutatás és a molekuláris biológia található az élen. Arra, hogy az első százba bekerülhessen, más tudományági folyóirat csak a kémiai (esetleg fizikai) lapoknak van némi esélye. Valóságos igény tehát a tudomány „közérdeklődésében” és perifériáján lévő tudományterületek szerinti elkülönítés. Citációs félidőről is olvashatunk, ami lényegében a cikkek hivatkozási „élettartamáról” szól, vagyis arról, hány évig tartja számon cikkeit a tudományterület, s a féléletidő ezen élettartam első, élénkülő szakasza, amíg emelkedik az éves idézetek száma. Ez fölöttébb rövid idő (két év) lehet egyes esetekben (pl. alkalmazott kémia), és persze meg is haladhatja a tíz évet (pl. mikrobiológia, szociológia stb.). Vannak felkapott tudományterületek, amelyeken a vezető laboratóriumok éppen dolgoznak, mert a pályázati rendszerek ezeken a területeken írnak ki pályázati hívószavakat. Ez a pénzügyi támogatás alapja a pályázatokra építő tudományterületeken. A hívószó-szerkesztés tehát a tudománypolitika érdemi tere. A pályázatirányítók szerint a gazdasági és társadalmi problémák jövőbeli megoldásához a pályázati hívószavakon keresztül vezet az út. A kiírt pályázatok értékelésénél a hívószavakhoz való illeszkedés – az arra adott plusz pont – elvileg eldönti a nyertest. Ronthat ezen a lobbizás, az elvtelen kedvezményezés, vagyis a pályázati korrupció, amiről egyre többet hallhatunk az OMFB pályázati örökségét illetően. Nem csekély feladatot kell majd megoldania a Nemzeti Kutatási, Fejlesztési és Innovációs Hivatallal az erre a területre kijelölt kormánybiztosnak, Pálinkás Józsefnek az MTA leköszönt elnökének.

Az IF-adatok alapján feltehető (ál)kérdés, hogy vajon csak molekuláris biológusokra, immunológusokra és rákkutatókra lesz szükség a jövőben? Nem szükségesek vajon a gyakorlati problémákat megoldó mérnöki tudományok? Aligha, viszont most éppen futó sikertudományokért lelkesedünk, illetve néhány, kevésbé „népszerű” formájukat felkarolja a versenyszféra, mert rövid időn belül pénzt lát benne. Ide sorolhatók a szabadalomképes termékfejlesztéssel foglalkozó ipari kutatások. Az ezen a területen dolgozók alig jelennek meg a tudományos statisztikában, miközben gyakorlati jelentőségük óriási. Volt a Science folyóiratban publikáló tengerentúli kollegám, aki azóta eltűnt a „látható” tudományból, amióta egy nagy vegyigyár termékfejlesztéssel foglalkozó kutatórészlegét vezeti. Nem a képességei változtak meg, hanem az eredményeinek hasznosulását fordították szabadalmi irányba. Ezt megoldandó, több scientometriával foglalkozó kutató annak a véleményének adott hangot, hogy az egyes tudományokra relatív mutatókat kellene meghatározni, vagyis az összemérés csak szűkebb tudományterületek sajátságainak ismeretében, jelentős korrekció után lehetséges. Az ipari kutatók teljesítményének mérését persze ez sem oldja meg.

Fentiek alapján miként is lehetne a lapok IF-értékét kutatók egymáshoz való viszonyítására használni? Szerintem közvetlenül sehogy, bár a hazai tudományos minősítésrendszere bizonyos MTA osztályok doktori minősítési rendszerében – számos kibúvót hagyva – ezt teszi, mikor ebbéli elvárásait megfogalmazza. Egyébként erőteljes távolodásban van tudományáganként a megítélés. Vannak MTA osztályok, amelyek az IF-értéket már nem használják minőségjelző mérőszámként, viszont az idézettség értékét részletesebben vizsgálják (lásd a következő részben).

19. ábra: Az egyes tudományterületek egymáshoz viszonyított idézettsége. Az 1-es érték az összes adatból számított hivatkozási átlag

Megjegyzések: A hátsó sorban egy 1998-2008 közötti, míg az első sorban egy 2000-2010-ben végzett elemzés adatai találhatóak (alapadatok a Thomson Reuters’ Essential Science Indicators (TRESI) alapján számítva); zöld – élettudományok, kék – műszaki és természettudományok, szürke – társadalom- és bölcsészettudományok; piros – átlag; a nyilak – ahol megjelennek – az idézettség jelentős változásának irányát jelzik

20. ábra: A 2012-es OTKA zsűri bizottsági tagok idézettsége a Magyar Tudományos Művek Tára (MTMT) adatbázisa alapján

Megjegyzések: A hátsó sorban az abszolút értékek, az első sorban a 19. ábra indexeivel (2000-2010) korrigált adatsor látható; zöld – élettudományok, kék – műszaki és természettudományok, szürke – társadalom- és bölcsészettudományok; a nyilak – ahol megjelennek – az idézettség nemzetközi átlagadatokhoz képest jelentős változásának irányát jelzik

Eddig még nem is említettem, hogy az összemérendő cikkeket általában nem egy személy, hanem több szerző írja, vagyis az IF-értékét és a citációt is könyveli (sokszorozza) majd minden szerző, függetlenül attól, hogy a munkában meghatározó szerepe volt-e, vagy csupán valamilyen körülhatárolt részfeladatot oldott meg. Erre a célra többen az IF és a hivatkozások értékeinek megosztását javasolják, hiszen másként erősen felfelé torzító összesített értékek születnek, ha egy intézet vagy egy ország tudományterületeinek teljesítményére vagyunk kíváncsiak. Mindez csak elkezdődő gyakorlat a teljesítményértékelésben, pedig elejét venné az egymást a „jó statisztikáért” segítő „íróközösségek“ kialakulásának és a PhD-vezetők/felső vezetők teljesítményének erős túlhangsúlyozottságának, hiszen a levelező helyen ma még – részben a kapcsolati tőke miatt – sokszor a vezetői hierarchia csúcsán lévő személy található.

Az IF-értéknél – szerintem – sokkal fontosabb és személyre szabottnak is tekinthető citáltság vagy idézettség/hivatkozás mutatója. Természetesen csak akkor, ha többnyire első, illetve levelező szerzők vagyunk, akik valóságosan egy cikk érdemi ügyeit intézik. Az idézés fajtáiból létezik annak szerzőtől független és függő változata. Ez utóbbi a szerző önidézése vagy társzerzői idézettségéből tevődik össze, amelyet komolyan vehető értékelések nem vesznek figyelembe. Létezik ezen túlmenően kézirati idézettség, amely nyilvánosan meg nem jelent írások (pl. BSc, MSc, PhD, DSc dolgozatok, jelentések) irodalomjegyzékében való megjelenésre vonatkozik. Ez sem tartozik abba a körbe, amit független idézettségnek tarthatunk, hiszen a témavezetők/tanárok/munkatársak idézettsége ezekben a munkákban általában túltengő. Az idézettség származhat nyilvántartó nagy adatbázisokból (döntően a Thomson Reuters Web of Science adatbázisa vagy nálunk a Magyar Tudományos Művek Tára, MTMT) és/vagy szorgalmas hangyamunkából, amikor a szerzők az adatbázisokban nem szereplő (általában IF-érték nélküli) újságokban és könyvekben megjelent idézettségeiket vadásszák össze. A fentiek különböző számokat és megítélést eredményezhetnek még a hazai nyilvántartásokban is, ahol az adatok csak személyes regisztráció után válnak elérhetővé.

Nézzük mi állítható nagyvonalakban az idézettségről. Nos, az első, hogy az egyes tudományterületek átlagos idézettségei között jelentős különbségek vannak. A 19. ábra két felmérés eredményét mutatja egy 1998-2008-as és egy 2000-2010-es Thomson Reuters’ Essential Science Indicators (TRESI) elemzés után. Az adatok azt mutatják, hogy az átlagos idézettséghez képes 2,5-3-szor jobban idézettek a molekuláris biológia, az immunológia, az idegtudomány és a biokémia. Ez az idézettség azonban még pár év viszonylatában is némileg változó tendenciát mutat. Valamennyi említett tudományterület idézettsége csökkent a későbbi felmérésben, különösen az idegtudományé és a biokémiáé. Igen kevés tudományterület idézettsége növekedett csupán, így mérsékelten az űrtudományé és a közgazdaságtané. A felmérés adatai szerint jelentős azoknak a tudományterületeknek a száma, ahol az átlag felével jellemezhető az idézettség értéke. Közülük a matematikáé a legmeglepőbb, míg a társadalom- és bölcsészettudományok alacsony értékei talán eddig is köztudottak voltak. Ezek az adatok alapot adnak arra, hogy egyes tudományterületek kutatóinak idézetségi értékeit korrigáljuk. Bizonyára e felismerésen alapul az MTA osztályainak eltérő doktori (DSc) követelményrendszere a hozzájuk tartozó tudományterületeken belül.

Tegyünk kísérletet arra, hogy a 19-es ábrából következő korrekciós indexet használjuk különböző tudományterületek kutatói teljesítményének összemérésére. Erre a célra a 2012-es OTKA zsűritagok adatait használtam fel, pontosabban a megkülönböztetett jelzéssel nem bíró személyek MTMT-ben tárolt adataiból az összes független idézés értékét. Úgy gondolom, hogy a hazai egyetlen átláthatóan megszervezett tudományos pályázati rendszerbe kerülő zsűritagok teljesítménye minden bizonnyal az illető tudományterületet valamelyest reprezentálják, még ha átlagának felső határát súrolhatják is, vagyis kedvezőbb képet festenek minden tudományterületről, mint az átlag. 336 adatból 9%-nál a név nem volt feltalálható az MTMT adatbázisában, míg 4% idézettségi értékeként nulla volt feltüntetve. A megmaradt 293 adatból zsűrinként – a döbbenetes szórás miatt – a legfelső és a legalsó adatot kizártam az értékelésből, s az így létrejövő átlagok találhatók a 20. ábrában. A hivatkozási szám egyébként elképesztő egyéni változatosságot mutatott még tudományterületen belül is: 1-től a 10000 fölötti érték is előfordult. Megállapítható, hogy a társadalom- és bölcsészettudományi zsűritagok átlagos idézettsége (137) a legcsekélyebb mértékű, míg az élettudományi zsűrik tagjainak hivatkozásértékei (1260) a legmagasabbak. E kettő között helyezkednek el a műszaki és természettudományi zsűritagok hivatkozásátlagai (603). Történik azonban valami rendkívüli, ha a 19. ábrából leolvasható, a nemzetközi tendenciákat rögzítő korrekciós értékeket használjuk (korrigált átlagok ekkor: 253; 814; 686). Ekkor az abszolút értelemben vett kiugróan idézett területek erősen visszaesnek (pl. bioinformatika/biofizika, idegtudomány, molekuláris biológia), míg pár terület javít a pozícióján (pl. matematika/számítástudomány, informatika/villamosmérnöki tudományok). A nemzetközi szinten jegyzett tudományterületi felosztás és az OTKA zsűri felosztása között nem is kevés ellentmondás feszül. Némely terület részletezett megosztása jelentős (pl. társadalom- és bölcsészettudományok), míg mások (pl. farmakológia, ökotoxikológia) kellő elkülönítése nem történik meg az OTKA zsűrik felosztásában. Átvizsgálása az OTKA Bizottság számára ajánlható.

Összefoglalóul az eddig tárgyaltak arra utalnak, hogy a hazai abszolút értelemben kiugróan idézett élettudományi területek lényeges elmaradásban vannak a nemzetközi versenyben, vagyis ilyesfajta összemérés számukra kedvezőtlen lenne. Korrekció után a molekuláris biológia, valamint a sejtbiológia/immunológia tudománymetriai értékei alatta maradnak, pl. az agrárzsűrik tagjainak idézettségének. Hab a tortán, hogy az egyik agrárbizottságban a molekuláris biológia/géntechnológia képviselői túlsúlyosak, vagyis jogos kérdés, hogy a név szerinti összehasonlítás milyen valós tudományterületi tartalmat takar, az interdiszciplináris területeken ugyanis mindenféle lehetséges. Egy ilyen típusú további korrekció jelentősen rontana a mezőgazdasági biotechnológia területén dolgozók megítélésén az általános biotechnológiával szemben. Mindezek ellenkezője mondható a matematika/számítástudományok, valamint az informatika/villamosmérnöki tudományokra, amelyek hazai képviselői kedvezőbb eredményeket mutatnak fel a nemzetközi átlagnál. A magyarázat talán az lehet, hogy a számottevő műszerezettséggel járó, jelentős idézetforgalmú tudományterületek nehezebben tartanak lépést a nemzetközi élvonallal, mint szerényebb infrastruktúrát igénylő társaik. A huszadik század Budapesten született – írta a Nature folyóiratban Vaclav Smil (Kanada) 2001 januárjában. Nem kell különösebb jóstehetség annak megállapítására, hogy a hazai tudománypolitika évtizedeken átívelő „eredményeként” a huszonegyedik századhoz sokkal kevesebb közünk lesz.

A fentebb tárgyaltak gyakorlati szempontból jelentős fordulataként 2013-ban a tudománymetriai adatok szakszerűtlen használatának következménye volt, hogy az OTKA Élettudományi Kollégiumának vezetője azt követően, hogy az agrárzsűrikben pályázatot nyert pályázatvezetők impaktfaktor- és idézettségi adatait ismertette Martonvásáron (MTA ATK Tudományos Napok, 2012. november 12), az agrárzsűrik számának csökkentését kezdeményezte az OTKA Bizottság felé. A jelenleg növénytermesztési, állattenyésztési és egyéb (egyikhez sem vagy mindkettőhöz tartozó mezőgazdasági tudományterületek) zsűrik közül egy tehát körültekintően kezelt indoklás nélkül megszüntetésre került volna (vö. 20. ábra). Az átalakításra végül – több kritikai hozzászólás után – nem került sor, de érdemes végiggondolni, milyen képtelen helyzethez vezethet az abszolút adatokra kihegyezett, a jellemző részletektől eltekintő, felszínes scientometriai „értékelés”.

Darvas Béla

A folytatás címe: Minősítési konfúzió – semennyire amennyi (K+F+I pillanatképek: N^o18)