Nevědecké hodnocení výkonnosti institucí české vědě nesvědčí

Nemohu se zbavit dojmu, že bodové hodnocení výsledků vědy a jeho využívání k porovnávání výkonnosti institucí, které mají vědu a výzkum v popisu práce, vymyslel někdo, kdo si nepřál, aby se české vědě a výzkumu dařilo. Nebo přinejmenším někdo, kdo potřeboval natolik komplikovaný, nepřehledný a nerozklíčovatelný systém hodnocení, aby se v něm mohlo schovat ledacos. O tom svědčí i článek profesora Aleksi Šeda, proděkana 1. LF UK, Výsledky vědecké práce na 1. LF UK, publikovaný v minulém čísle Medical Tribune.

Profesor Šedo navazuje na analýzu zveřejněnou Radou pro výzkum, vývoj a inovace na začátku tohoto roku a porovnává české instituce zabývající se biomedicínou. Z porovnání vyplývá, že 1. LF UK je s výraznou převahou v čele českých lékařských fakult a na srovnatelné úrovni jako přírodovědecké fakulty obou největších českých univerzit. Relativně špatně dopadly elitní ústavy Akademie věd České republiky, pro něž je věda související s biomedicínou hlavní pracovní náplní a jejichž výkon se podle analýzy pohybuje někde na úrovni spíše klinicky a pedagogicky zaměřených a ve vědě méně úspěšných lékařských fakult, než je 1. LF UK.

V článku rovněž profesor Šedo uvádí, že analýza může být použita ve strategických plánech vedení 1. LF UK. Zcela správně poukazuje na zdroje možných zkreslení takového bodového hodnocení, zahrnující rozdílné počty "plnovědců" nebo primární poslání institucí. Pocit po přečtení takového článku může být pro většinu z nás docela špatný - "jsem dvakrát horší než ten a ten" nebo "na vědu v Česku by stačila UK". Pokud mám ten pocit jenom já, je to v pořádku, a může mě to dokonce stimulovat ke zvýšení výkonu. Pokud ale budou mít stejný pocit lidé, kteří rozhodují o státních penězích, bude to katastrofa. Tím se dostávám zpět k prvním dvěma větám své úvahy.

Myslím si totiž, že kdybychom udělali skutečně spravedlivé hodnocení s využitím všeobecně respektované databáze ISI Web of Knowledge, došli bychom k závěru, že jsme v podstatě všichni stejně dobří (nebo špatní) a nejvíce citovaní autoři (= vědecké špičky) našich institucí, generující značnou část výkonu publikacemi v těch nejlepších časopisech, mnohdy ani na "svých" institucích nepůsobí, ale spojili již dávno svůj profesní život s nějakou dobře zavedenou institucí v zahraničí a pro svou rodnou zemi pracují jen na částečný úvazek a víceméně radou. To by však nebylo pro české poměry to pravé ořechové a nebylo by o čem se sáhodlouze dohadovat a využívat nebo zpochybňovat různé analýzy dle okamžité situace a potřeb, tak jako to právě nyní dělám já.

Odhlédnu od špatně nastavených bodových hodnot pro jednotlivé kategorie výsledků, ale proč není zohledňováno například to, ze které instituce je korespondující autor vědecké publikace? Jakou bodovou výhodu představuje pro univerzitní pracoviště blízkost nebo spíše propojenost s ústavy Akademie věd České republiky? Jinými slovy, kolik vědeckých výsledků dosažených v některém z ústavů Akademie věd si v rámci spolupráce vědců nebo vedení doktorandů částečně započítává Přírodovědecká fakulta v Ostravě a kolik v Brně nebo Praze? Podporuje současný způsob počítání vědecké výkonnosti spolupráce mezi institucemi, nebo je naopak brzdí?

Ať je to jakkoli, jsem bytostně přesvědčen, že na hlavu postavená česká verze institucionální scientometrie nás dopředu neposune, spíše naopak. Srovnání mezi roky 2008 a 2009, jak je uvádí profesor Šedo v tabulce, by svědčilo o opaku, ale dal si někdo práci a podíval se na to, zda za zdvojnásobením, nebo dokonce ztrojnásobením meziročního výkonu některých institucí (např. 3. LF UK) nestojí něco jiného, než je jenom zázračné zvýšení úsilí? Například větší zdatnost v zavádění výsledků do komplikovaných tabulek nebo skokové zvýšení počtu pracovníků generujících nějaký výkon?

Zkusil jsem se zamyslet nad tím, jak bych sice jen orientačně, ale určitě docela objektivně, zhodnotil vědeckou kvalitu biomedicínsky zaměřené instituce bez dnů pátrání v různých, pracně vytvořených předstupních RIV nebo v samotném RIV. Napadlo mě, že bych si otevřel ISI Web of Knowledge, zadal vyhledávání publikací dle adresy neboli zkratky názvu instituce (například pro Masarykovu univerzitu je to Masaryk univ), nabízenými nástroji omezil výběr na například pět let počínaje rokem 2003, vybral obory zjevně příslušející Lékařské fakultě a skutečné vědecké publikace bez abstrakt z konferencí nebo např. korekcí již otištěných publikací a nechal si seřadit výsledky dle počtu citací. Nakonec bych "ručně" odstranil ty publikace, na nichž jsou korespondující autoři z jiné instituce než "prověřované", omezil výběr na například sto nejcitovanějších publikací a "klikl" na zázračné tlačítko "create citation report".

Dostal bych nejen pohled na kvalitu časopisů, skrze které se instituce zviditelňuje, ale i celkový počet citací sta nejlepších publikací dané instituce, průměrný počet citací na publikaci a něco jako institucionální Hirschův faktor. Když bych totéž udělal pro jinou instituci, dostal bych tři čísla, která se dají, samozřejmě v rámci stejného zaměření, porovnávat. Běžně tak hodnotíme jednotlivce, proč ne instituce? Myslím, že takový způsob by nám nejen poskytl o mnoho objektivnější pohled na skutečnou kvalitu vědecké práce, ale výsledek by nebyl snadno zpochybnitelný a ušetřil by nám spoustu času pro skutečné bádání. Závěrem snad jenom jedno neskromné přání: dělejme evaluace kvality naší práce, ale tak, aby to nepoškozovalo českou vědu a předem neodrazovalo mladou generaci od vědecké kariéry.

Zdroj: Medical Tribune