Ranking uczelni POLITYKI mało obiektywny? Naukowcy krytykują, autor odpowiada
„Polityka” opublikowała drugi już ranking polskich uczelni opracowany przez zespół prof. Gila. Ranking ten w zamierzeniu autorów stanowić ma dopełnienie rankingu „Perspektyw” i „Rzeczpospolitej”, a może nawet dla niego alternatywę?
Polityka

„Polityka” (numer 22 z 2014 r.) opublikowała drugi już ranking polskich uczelni opracowany przez zespół prof. Gila. Ranking ten w zamierzeniu autorów stanowić ma dopełnienie rankingu „Perspektyw” i „Rzeczpospolitej”, a może nawet dla niego alternatywę?

Kilka lat temu („Forum Akademickie” 10/2011) jeden z nas szczegółowo omówił ranking „Perspektyw” i „Rzeczpospolitej” podkreślając szereg błędów metodologicznych przy jego konstruowaniu, nieumiejętne korzystanie z baz danych czy niewłaściwy wybór kryteriów oceny. Niestety, prosty, oparty na jednym kryterium (wskaźniku Hirscha) ranking „Polityki” nie daje lepszej oceny naukowych osiągnięć polskich uczelni.

Wskaźnik Hirscha, h, pierwotnie używany do określenia popularności publikacji pojedynczych naukowców, został później zastosowany do oceny potencjału naukowego różnych instytucji badawczych, a nawet uczelni, jak to zrobili autorzy rankingu „Polityki”. Wartość h=197, obliczona dla Uniwersytetu Warszawskiego (pierwszy w rankingu) oznacza, że naukowcy tej uczelni opublikowali 197 prac mających co najmniej 197 cytowań każda. Z kolei publikacje pracowników 51. na liście Uniwersytetu Przyrodniczego w Lublinie (h=30) są znacznie mniej popularne i w tym samym okresie zaledwie 30 z nich osiągnęło 30 lub więcej cytowań.

Wskaźnik Hirscha jest więc miarą popularności prac pochodzących z danej uczelni. Proponowany ranking oparty jest na założeniu, że popularność danego artykułu jest miarą jego wartości naukowej. Nawet gdyby tak było, to należy sobie zdawać sprawę, że w wersji użytej przez Gila i współpracowników h jest parametrem ekstensywnym i silnie zależy od liczby pracowników naukowych uczelni. Powoduje to, że mała uczelnia nie ma szans wygrania rankingu z dużą, nawet gdy średnia popularność ich prac jest większa. Np. mający znakomitych naukowców Gdański Uniwersytet Medyczny (GUM) nie może konkurować w UJ, bo jest od niego 3,5 raza mniejszy.

Rozpatrzmy ten problem na prostym przykładzie. W hipotetycznej instytucji badawczej A pracuje 5 naukowców o indywidualnych wartościach wskaźnika h = 51, 51, 46, 45 i 45 (dane wzięte z bazy ISI dla realnych naukowców o inicjałach B.J., R.L., A.P., S.L-G. i S.L.). Dwa razy większa, również hipotetyczna instytucja B zatrudnia dziesięciu naukowców, których osiągnięcia bibliometryczne są wyraźnie słabsze (h= 41, 41, 38, 37, 35, 35, 35, 33, 32 i 31, dane wzięte z bazy ISI dla realnych naukowców o inicjałach M.M., M.S., J.J., M.L., B.B.; J.N., M.T., R.M., K.G. i Z.G.). Wskaźnik h większej instytucji B wynosi 88 i jest wyższy niż instytucji A (h=87), mimo że publikacje "najsłabszego" pracownika A są popularniejsze niż "najlepszego" pracownika B. Absurdem jest więc np. porównywanie małego Centrum Medycznego Kształcenia Podyplomowego (34 miejsce) z dużym Uniwersytetem Warszawskim, tym bardziej, że UW nie może być alternatywą dla Centrum ani w dziedzinie badań naukowych, ani w nauczaniu. Przypomina to zastanawianie się, czy Jan Englert jest lepszym aktorem niż Jan Woleński filozofem.

Wróćmy jednak do pytania czy popularność danego artykułu naukowego jest zawsze miarą jego wartości naukowej? Oczywiście, że nie! W przypadku nauk przyrodniczych i ścisłych najpopularniejsze są publikacje, które nie są pracami naukowymi w ścisłym tego słowa znaczeniu. Najczęściej cytowane są bowiem artykuły przeglądowe, prace podsumowujące stan badań w danej dziedzinie wiedzy, a w przypadku medycyny także publikacje opisujące wyniki badań klinicznych prowadzonych równolegle w wielu szpitalach na całym świecie. Takie badania kliniczne tylko pośrednio wiążą się z odkryciem naukowym, stanowią jednak konieczną weryfikację kliniczną odkrycia już dokonanego.

Specyfiką tych publikacji jest bardzo duża liczba autorów, często sięgająca kilkuset i podobna liczba instytucji współpracujących. Polscy klinicyści stosunkowo niedawno włączyli się do światowych badań klinicznych, ale dzięki temu zanotowali największy wzrost liczby cytowań z wszystkich grup zawodowych zajmujących się nauką. Jeśli zasady rankingu „Polityki” nie zmienią się, to można łatwo przewidzieć, że w przyszłych rankingach przewodzić będą te uczelnie, w których pracuje największa liczba onkologów, hematologów, kardiologów i epidemiologów.

Wskaźnik h nie pokazuje rzeczywistego udziału naukowców z danej uczelni w tych wieloautorskich pracach. Czy koordynowali badania, czy byli tylko wykonawcami (a takich może być kilkuset)? Wysoko cytowane artykuły, w których polscy badacze koordynują międzynarodowe badania kliniczne lub są pierwszymi autorami są wielką rzadkością. Co więcej, publikacje, w których jest kilkudziesięciu lub kilkuset autorów łatwo generują cytowania poprzez autocytowania wszystkich współautorów. Autocytowania jeszcze bardziej niż cytowania obce nie mogą być uważane za właściwą miarę aprecjacji poziomu naukowego danego artykułu naukowego. W bazie ISI odjęcie autocytowań wszystkich autorów jest żmudne, dlatego lepiej używać bazy Scopus, w której operację taką można wykonać automatycznie.

Wskaźnik h polskich uczelni zależy prawie wyłącznie od aktywności naukowej przedstawicieli nauk przyrodniczych i medycznych. Wynika to z różnych zwyczajów publikowania i cytowania prac w różnych dyscyplinach naukowych. Pisał o tym wielokrotnie prof. Andrzej Kajetan Wróblewski. Przeciętny polski artykuł z dziedziny badań kosmosu, opublikowany w latach 2004 -2014, był cytowany 17 razy, artykuł z dziedziny chemii – 7 razy, a z dziedziny informatyki – niespełna 3 razy. Te różnice przekładają się na wkład poszczególnych dyscyplin naukowych do wskaźnika h klasyfikowanych uczelni.

Uniwersytet Adama Mickiewicza w Poznaniu, zajmujący 9 miejsce w rankingu „Polityki” można tutaj potraktować jako pouczający przykład. Spośród 92 publikacji składających się na wskaźnik h tej uczelni, 40 przypada na fizykę, a 36 na chemię. Przedstawiciele tych 2 dziedzin uzyskali łączny wskaźnik h =82 czyli  niewiele niższy niż cała uczelnia. UAM mógłby więc zamknąć większość wydziałów bez ryzyka znaczącej utraty swojej pozycji w rankingu „Polityki”. W pierwszej pięćdziesiątce rankingu znaleźliśmy też uczelnię, w której jedną trzecią prac, składających się na wskaźnik h, napisał jeden pracownik tej uczelni.

Ocena potencjału naukowego uczelni poprzez wielkość wskaźnika h budzi zrozumiały sprzeciw przedstawicieli nauk  humanistycznych, społecznych i ekonomicznych, a nawet matematycznych, gdyż ich wysiłki nie mają żadnego wpływu na ogólną ocenę uczelni. Słowo uniwersytet pochodzi od. łacińskiego „universitas”, co oznacza ogół (nauczycieli i uczniów). Nie można więc klasyfikować uczelni poprzez ocenę (na dodatek niewłaściwą) dokonań mniejszości jej pracowników, a pomijając dorobek większości. Przy takim podejściu uczelnie, w których nauki medyczne i przyrodnicze praktycznie nie są uprawiane, takie jak Szkoła Główna Handlowa czy Katolicki Uniwersytet Lubelski, nie mają żadnych szans na przyzwoite miejsce w rankingu. Protestować powinni też przedstawiciele nauk przyrodniczych. Wskaźnik h jest bardzo użyteczny jeśli stosuje się go umiejętnie. Bezkrytyczne stosowanie tego wskaźnika tam, gdzie stosować się go nie powinno, jest jego antyreklamą.

Uniwersytet Zielonogórski (UZ), którego prorektorem jest twórca rankingu „Polityki” zajmuje w tym rankingu wysokie 37 miejsce, wyprzedzając wspomniane już SGH i KUL, które znalazły się poza pierwszą pięćdziesiątką. W skrytykowanym przez jednego z nas rankingu „Perspektyw” i „Rzeczpospolitej” UZ zajął w 2013 roku 58 miejsce (pod względem efektywności naukowej 63 miejsce), podczas gdy SGH i KUL zajęły odpowiednio miejsca 10 i 28.

Trudno więc się oprzeć wrażeniu, że autorzy rankingu „Polityki” nie byli w pełni obiektywni i dobrali takie kryterium, które promuje ich uczelnię. Ścisłą czołówkę rankingu „Polityki” stanowią UW i UJ, a więc ma on pozory wiarygodności. Brak obiektywizmu jest powszechny wśród twórców różnych rankingów naukowych. Kilkanaście lat temu tygodnik „Wprost” opublikował artykuł pt. „Królowie nauki” i jak łatwo się domyślić, jednym z tych królów okazał się autor artykułu. Subiektywny charakter ma też ranking szanghajski, w którym uczelnie chińskie zajmują niezasłużenie wysokie miejsce. Nemo iudex in causa sua.

Autorzy obiecują coroczne publikowanie rankingu opartego na wskaźniku h. Wiemy, że nie zaniechają tego z powodu naszych uwag krytycznych. Podajemy więc kilka propozycji, które mogą spowodować, że ich przyszłe rankingi będą bardziej rzetelne. Absurdem jest wyrokowanie o obecnej kondycji naukowej uczelni poprzez liczenie cytowań prac z lat 70. ubiegłego stulecia, gdyż większość autorów tych prac już na tych uczelniach nie pracuje. Należy więc zaprzestać liczenia artykułów i ich cytowań od początku istnienia bazy (czy raczej od momentu, kiedy zaczęto konsekwentnie podawać afiliację). Lepiej skoncentrować się na publikacjach z ostatnich 10, a co najwyżej 15 lat, stosując bazę SCOPUS raczej niż ISI.

Baza ta jest pełniejsza oraz pozwala na odjęcie autocytowań wszystkich autorów publikacji. Daje więc bardziej rzetelną klasyfikację, szczególnie dla uczelni o mniejszej wartości h. Pragniemy także zwrócić uwagę, że istnieje wiele wskaźników bibliometrycznych, które bardziej niż h nadają się do oceny instytucji naukowych, np. indeks Schreibera (New J.Phys. 10:040201) pozwalający na ułamkowe zliczanie prac wieloautorskich, lub indeksy hierarchiczne (FA 11/2006), w których mniejszym uczelniom łatwiej jest konkurować z większymi. Żadne wskaźniki bibliometryczne nie zastąpią jednak merytorycznej oceny pracy naukowej, co możliwe jest w przypadku pojedynczego zespołu badawczego, ale nie całej uczelni.

Marek Kosmulski jest profesorem chemii w Politechnice Lubelskiej.

Adam Proń jest profesorem chemii w Politechnice Warszawskiej

[Tekst profesorów Marka Kosmulskiego i Adama Pronia ukazał się także w 258 numerze PAU-zy, tygodnika internetowego Polskiej Akademii Umiejętności]

Czytaj także

Aktualności, komentarze

W nowej POLITYCE

Zobacz pełny spis treści »

Poleć stronę

Zamknij
Facebook Twitter Google+ Wykop Poleć Skomentuj