Nauka

Ranking uczelni POLITYKI mało obiektywny? Naukowcy krytykują, autor odpowiada

Polityka
„Polityka” opublikowała drugi już ranking polskich uczelni opracowany przez zespół prof. Gila. Ranking ten w zamierzeniu autorów stanowić ma dopełnienie rankingu „Perspektyw” i „Rzeczpospolitej”, a może nawet dla niego alternatywę?

„Polityka” (numer 22 z 2014 r.) opublikowała drugi już ranking polskich uczelni opracowany przez zespół prof. Gila. Ranking ten w zamierzeniu autorów stanowić ma dopełnienie rankingu „Perspektyw” i „Rzeczpospolitej”, a może nawet dla niego alternatywę?

Kilka lat temu („Forum Akademickie” 10/2011) jeden z nas szczegółowo omówił ranking „Perspektyw” i „Rzeczpospolitej” podkreślając szereg błędów metodologicznych przy jego konstruowaniu, nieumiejętne korzystanie z baz danych czy niewłaściwy wybór kryteriów oceny. Niestety, prosty, oparty na jednym kryterium (wskaźniku Hirscha) ranking „Polityki” nie daje lepszej oceny naukowych osiągnięć polskich uczelni.

Wskaźnik Hirscha, h, pierwotnie używany do określenia popularności publikacji pojedynczych naukowców, został później zastosowany do oceny potencjału naukowego różnych instytucji badawczych, a nawet uczelni, jak to zrobili autorzy rankingu „Polityki”. Wartość h=197, obliczona dla Uniwersytetu Warszawskiego (pierwszy w rankingu) oznacza, że naukowcy tej uczelni opublikowali 197 prac mających co najmniej 197 cytowań każda. Z kolei publikacje pracowników 51. na liście Uniwersytetu Przyrodniczego w Lublinie (h=30) są znacznie mniej popularne i w tym samym okresie zaledwie 30 z nich osiągnęło 30 lub więcej cytowań.

Wskaźnik Hirscha jest więc miarą popularności prac pochodzących z danej uczelni. Proponowany ranking oparty jest na założeniu, że popularność danego artykułu jest miarą jego wartości naukowej. Nawet gdyby tak było, to należy sobie zdawać sprawę, że w wersji użytej przez Gila i współpracowników h jest parametrem ekstensywnym i silnie zależy od liczby pracowników naukowych uczelni. Powoduje to, że mała uczelnia nie ma szans wygrania rankingu z dużą, nawet gdy średnia popularność ich prac jest większa. Np. mający znakomitych naukowców Gdański Uniwersytet Medyczny (GUM) nie może konkurować w UJ, bo jest od niego 3,5 raza mniejszy.

Rozpatrzmy ten problem na prostym przykładzie. W hipotetycznej instytucji badawczej A pracuje 5 naukowców o indywidualnych wartościach wskaźnika h = 51, 51, 46, 45 i 45 (dane wzięte z bazy ISI dla realnych naukowców o inicjałach B.J., R.L., A.P., S.L-G. i S.L.). Dwa razy większa, również hipotetyczna instytucja B zatrudnia dziesięciu naukowców, których osiągnięcia bibliometryczne są wyraźnie słabsze (h= 41, 41, 38, 37, 35, 35, 35, 33, 32 i 31, dane wzięte z bazy ISI dla realnych naukowców o inicjałach M.M., M.S., J.J., M.L., B.B.; J.N., M.T., R.M., K.G. i Z.G.). Wskaźnik h większej instytucji B wynosi 88 i jest wyższy niż instytucji A (h=87), mimo że publikacje "najsłabszego" pracownika A są popularniejsze niż "najlepszego" pracownika B. Absurdem jest więc np. porównywanie małego Centrum Medycznego Kształcenia Podyplomowego (34 miejsce) z dużym Uniwersytetem Warszawskim, tym bardziej, że UW nie może być alternatywą dla Centrum ani w dziedzinie badań naukowych, ani w nauczaniu. Przypomina to zastanawianie się, czy Jan Englert jest lepszym aktorem niż Jan Woleński filozofem.

Wróćmy jednak do pytania czy popularność danego artykułu naukowego jest zawsze miarą jego wartości naukowej? Oczywiście, że nie! W przypadku nauk przyrodniczych i ścisłych najpopularniejsze są publikacje, które nie są pracami naukowymi w ścisłym tego słowa znaczeniu. Najczęściej cytowane są bowiem artykuły przeglądowe, prace podsumowujące stan badań w danej dziedzinie wiedzy, a w przypadku medycyny także publikacje opisujące wyniki badań klinicznych prowadzonych równolegle w wielu szpitalach na całym świecie. Takie badania kliniczne tylko pośrednio wiążą się z odkryciem naukowym, stanowią jednak konieczną weryfikację kliniczną odkrycia już dokonanego.

Specyfiką tych publikacji jest bardzo duża liczba autorów, często sięgająca kilkuset i podobna liczba instytucji współpracujących. Polscy klinicyści stosunkowo niedawno włączyli się do światowych badań klinicznych, ale dzięki temu zanotowali największy wzrost liczby cytowań z wszystkich grup zawodowych zajmujących się nauką. Jeśli zasady rankingu „Polityki” nie zmienią się, to można łatwo przewidzieć, że w przyszłych rankingach przewodzić będą te uczelnie, w których pracuje największa liczba onkologów, hematologów, kardiologów i epidemiologów.

Wskaźnik h nie pokazuje rzeczywistego udziału naukowców z danej uczelni w tych wieloautorskich pracach. Czy koordynowali badania, czy byli tylko wykonawcami (a takich może być kilkuset)? Wysoko cytowane artykuły, w których polscy badacze koordynują międzynarodowe badania kliniczne lub są pierwszymi autorami są wielką rzadkością. Co więcej, publikacje, w których jest kilkudziesięciu lub kilkuset autorów łatwo generują cytowania poprzez autocytowania wszystkich współautorów. Autocytowania jeszcze bardziej niż cytowania obce nie mogą być uważane za właściwą miarę aprecjacji poziomu naukowego danego artykułu naukowego. W bazie ISI odjęcie autocytowań wszystkich autorów jest żmudne, dlatego lepiej używać bazy Scopus, w której operację taką można wykonać automatycznie.

Wskaźnik h polskich uczelni zależy prawie wyłącznie od aktywności naukowej przedstawicieli nauk przyrodniczych i medycznych. Wynika to z różnych zwyczajów publikowania i cytowania prac w różnych dyscyplinach naukowych. Pisał o tym wielokrotnie prof. Andrzej Kajetan Wróblewski. Przeciętny polski artykuł z dziedziny badań kosmosu, opublikowany w latach 2004 -2014, był cytowany 17 razy, artykuł z dziedziny chemii – 7 razy, a z dziedziny informatyki – niespełna 3 razy. Te różnice przekładają się na wkład poszczególnych dyscyplin naukowych do wskaźnika h klasyfikowanych uczelni.

Uniwersytet Adama Mickiewicza w Poznaniu, zajmujący 9 miejsce w rankingu „Polityki” można tutaj potraktować jako pouczający przykład. Spośród 92 publikacji składających się na wskaźnik h tej uczelni, 40 przypada na fizykę, a 36 na chemię. Przedstawiciele tych 2 dziedzin uzyskali łączny wskaźnik h =82 czyli  niewiele niższy niż cała uczelnia. UAM mógłby więc zamknąć większość wydziałów bez ryzyka znaczącej utraty swojej pozycji w rankingu „Polityki”. W pierwszej pięćdziesiątce rankingu znaleźliśmy też uczelnię, w której jedną trzecią prac, składających się na wskaźnik h, napisał jeden pracownik tej uczelni.

Ocena potencjału naukowego uczelni poprzez wielkość wskaźnika h budzi zrozumiały sprzeciw przedstawicieli nauk  humanistycznych, społecznych i ekonomicznych, a nawet matematycznych, gdyż ich wysiłki nie mają żadnego wpływu na ogólną ocenę uczelni. Słowo uniwersytet pochodzi od. łacińskiego „universitas”, co oznacza ogół (nauczycieli i uczniów). Nie można więc klasyfikować uczelni poprzez ocenę (na dodatek niewłaściwą) dokonań mniejszości jej pracowników, a pomijając dorobek większości. Przy takim podejściu uczelnie, w których nauki medyczne i przyrodnicze praktycznie nie są uprawiane, takie jak Szkoła Główna Handlowa czy Katolicki Uniwersytet Lubelski, nie mają żadnych szans na przyzwoite miejsce w rankingu. Protestować powinni też przedstawiciele nauk przyrodniczych. Wskaźnik h jest bardzo użyteczny jeśli stosuje się go umiejętnie. Bezkrytyczne stosowanie tego wskaźnika tam, gdzie stosować się go nie powinno, jest jego antyreklamą.

Uniwersytet Zielonogórski (UZ), którego prorektorem jest twórca rankingu „Polityki” zajmuje w tym rankingu wysokie 37 miejsce, wyprzedzając wspomniane już SGH i KUL, które znalazły się poza pierwszą pięćdziesiątką. W skrytykowanym przez jednego z nas rankingu „Perspektyw” i „Rzeczpospolitej” UZ zajął w 2013 roku 58 miejsce (pod względem efektywności naukowej 63 miejsce), podczas gdy SGH i KUL zajęły odpowiednio miejsca 10 i 28.

Trudno więc się oprzeć wrażeniu, że autorzy rankingu „Polityki” nie byli w pełni obiektywni i dobrali takie kryterium, które promuje ich uczelnię. Ścisłą czołówkę rankingu „Polityki” stanowią UW i UJ, a więc ma on pozory wiarygodności. Brak obiektywizmu jest powszechny wśród twórców różnych rankingów naukowych. Kilkanaście lat temu tygodnik „Wprost” opublikował artykuł pt. „Królowie nauki” i jak łatwo się domyślić, jednym z tych królów okazał się autor artykułu. Subiektywny charakter ma też ranking szanghajski, w którym uczelnie chińskie zajmują niezasłużenie wysokie miejsce. Nemo iudex in causa sua.

Autorzy obiecują coroczne publikowanie rankingu opartego na wskaźniku h. Wiemy, że nie zaniechają tego z powodu naszych uwag krytycznych. Podajemy więc kilka propozycji, które mogą spowodować, że ich przyszłe rankingi będą bardziej rzetelne. Absurdem jest wyrokowanie o obecnej kondycji naukowej uczelni poprzez liczenie cytowań prac z lat 70. ubiegłego stulecia, gdyż większość autorów tych prac już na tych uczelniach nie pracuje. Należy więc zaprzestać liczenia artykułów i ich cytowań od początku istnienia bazy (czy raczej od momentu, kiedy zaczęto konsekwentnie podawać afiliację). Lepiej skoncentrować się na publikacjach z ostatnich 10, a co najwyżej 15 lat, stosując bazę SCOPUS raczej niż ISI.

Baza ta jest pełniejsza oraz pozwala na odjęcie autocytowań wszystkich autorów publikacji. Daje więc bardziej rzetelną klasyfikację, szczególnie dla uczelni o mniejszej wartości h. Pragniemy także zwrócić uwagę, że istnieje wiele wskaźników bibliometrycznych, które bardziej niż h nadają się do oceny instytucji naukowych, np. indeks Schreibera (New J.Phys. 10:040201) pozwalający na ułamkowe zliczanie prac wieloautorskich, lub indeksy hierarchiczne (FA 11/2006), w których mniejszym uczelniom łatwiej jest konkurować z większymi. Żadne wskaźniki bibliometryczne nie zastąpią jednak merytorycznej oceny pracy naukowej, co możliwe jest w przypadku pojedynczego zespołu badawczego, ale nie całej uczelni.

Marek Kosmulski jest profesorem chemii w Politechnice Lubelskiej.

Adam Proń jest profesorem chemii w Politechnice Warszawskiej

[Tekst profesorów Marka Kosmulskiego i Adama Pronia ukazał się także w 258 numerze PAU-zy, tygodnika internetowego Polskiej Akademii Umiejętności]

ODPOWIEDŹ JANUSZA GILA, AUTORA NAUKOWEGO RANKINGU UCZELNI AKADEMICKICH:

Profesorowie  Kosmulski i Proń są wybitnymi chemikami o światowej renomie. Prof. Kosmulski dał się również poznać jako ekspert w dziedzinie naukometrii, często prezentując swoje stanowisko w specjalistycznych czasopismach lub komentującym te zagadnienia w formie publicystycznej.

Prof. Kosmulski skomentował krytycznie pierwszą edycję naszego rankingu w ubiegłym roku na łamach Forum Akademickiego. Nie zawiódł i w tym roku, nadsyłając wraz z prof. Proniem polemikę do drugiej edycji naszego rankingu uczelni akademickich w Polsce.

Mam ogromny szacunek do fachowej wiedzy prof. Kosmulskiego w zakresie naukometrii/infometrii/bibliometrii itp. Nie zamierzam wchodzić z nim w spory polemiczne, bo też nie mamy się o co spierać. Zamierzam jednak wyjaśnić w jakich aspektach, jako konstruktor rankingu, zostałem źle przez niego zrozumiany, lub w jakich aspektach różnimy się w opiniach na ten sam temat. Dla ułatwienia dyskusji od tego miejsca będę używał formuły „autorzy”, mając na myśli obu profesorów Kosmulskiego i Pronia.

Po pierwsze, autorzy piszą, że nasz ranking ma stanowić dopełnienie, a może nawet alternatywę dla projektu „Perspektyw”. Tymczasem, nasz ranking miał stanowić dopełnienie dla innych rankingów naukowych, takich jak porównanie hiszpańskiego Ministerstwa Nauki CSIS czy Scimago Journal & Country Rank, dostępnych od kilku lat w Internecie. Ranking Perspektyw jest wybitnie nienaukowy, o czym autorzy z pewnością wiedzą. Jeśli dokonaliśmy w pierwszej edycji porównania między nim a naszą analizą, to tylko w celu wykazania skali różnic wynikających z kompletnie odmiennych metodologii.

Nie podzielam zdania autorów, że ranking oparty na indeksie Hirscha nie daje lepszej oceny naukowych osiągnięć uczelni niż badanie „Perspektyw”, bo ten ostatni nie daje żadnej oceny naukowej uczelni. Analizując strukturę wag przypisanych do różnych kryteriów rankingu „Perspektyw” łatwo pokazać, że uczelnie przewodzą w tym porównaniu nie z powodu ich (często niezaprzeczalnych) osiągnięć naukowych, tylko z powodu mniej lub bardziej zasłużonej popularności.

Autorzy polemiki najwyraźniej nie przepadają za indeksem Hirscha h, nazywając go lekceważąco wskaźnikiem popularności (publikacji, autora czy też instytucji naukowej). Indeks Hirscha został przyjęty przez świat naukowy jako wiarygodna miara zdolności do systematycznego publikowania prac naukowych zauważalnych i odbijających się echem w literaturze naukowej w postaci dużej liczny cytowań. Takie prace są rzeczywiście popularne, ale autorzy powątpiewają, czy są one ważne naukowo. W swoim stylu podają przykład artykułów przeglądowych, zwykle bardzo popularnych, ale tylko pośrednio związanych z konkretnym odkryciem naukowym. Mocno się z nimi różnię, gdyż uważam, że droga do odkryć naukowych wybrukowana jest (na ogół) wielkimi artykułami przeglądowymi. A te zwykle piszą na zamówienie redakcji wybitni i uznani specjaliści.

Nie będę się rozwodził na kolejnym przykładem prac opisujących wyniki badań klinicznych prowadzonych równolegle w wielu szpitalach na świecie, gdyż mam nadzieję, że prace te prowadzą do rozwoju medycyny. Tam, gdzie ona się rozwija, oczywiście pracuje najwięcej specjalistów klinicznych, i bardzo dobrze. Na zakończenie tego wątku pozwolę sobie wyrazić opinię, że lepszy jest dobry przeglądowy artykuł wskazujący na możliwe drogi rozwoju danej dyscypliny, który rozpęta autentyczna debatę w środowisku naukowym, niż  publikacja osiągnięcia naukowego, które przejdzie całkowicie bez echa, lub doczeka się co najwyżej kilku autocytowań. Autentyczne osiągnięcia i odkrycia naukowe zawsze są szeroko cytowane w literaturze światowej.  

Wartość indeksu Hirscha polega na tym, że jest parametrem zagregowanym. Jego wysoka wartość mówi, że wiele spośród publikacji autora jest wysokiej jakości, przynajmniej w sensie opinii międzynarodowego środowiska naukowego. Z kolei, jeśli jakaś uczelnia czy nawet kraj mają relatywnie wysokie wartości sumarycznego indeksu h, to znaczy że zatrudniają wielu wartościowych pod tym względem uczonych. I żadne egzotyczne przykłady hipotetycznych czy nawet istniejących instytucji, które wydają się świadczyć przeciwko, nie mogą zburzyć ogólnego obrazu użyteczności indeksu h do opisu stanu nauki reprezentowanej przez uczonych lub ich zbiorów.

Warto wspomnieć tak zwane multi-wieloautorskie publikacje. Realizacja niektórych wielkich, ponadnarodowych projektów naukowych wymaga zatrudnienia kilkuset pracowników, przy czym z góry wiadomo, że nie wszyscy wnoszą do nich taki sam wkład. Jednak konsorcja naukowe przyjęły, że lista współautorów obejmuje wszystkich współpracowników. Zakładają, moim zdaniem słusznie, że na ogół do tych zespołów nie trafia się przypadkowo. A jeśli publikowane w ich wyniku prace są często cytowane (a na ogół są), to niby dlaczego dana uczelnia miałaby się domagać aby przyznano jej tylko niewielką część splendoru wynikającego z konkretnego udziału jej pracownika w ważnym międzynarodowym przedsięwzięciu? To szlachetna skromność, ale nie uzasadniona, gdyż tak wielki eksperyment może się powieść tylko przy oddanym udziale wszystkich uczestników, od pomysłodawców do pracowników technicznych zapewniających sprawne funkcjonowanie aparatury.

Jest też oczywiste, że główny wkład do sumarycznego indeksu Hirscha wnoszą przedstawiciele nauk przyrodniczych i medycznych, i to nie tylko w Polsce ale na całym świecie. Przedstawiciele nauk humanistycznych, społecznych i ekonomicznych są pomijani z różnych powodów. Nie można mieć jednak pretensji do rankingu opartego wyłącznie na indeksie Hirscha, że nie bierze pod uwagę publikacji w nieindeksowanych czasopismach. Tym bardziej, że wiele z nich przy odrobinie wysiłku mogłoby się w tych czasopismach ukazać, a nawet doczekać reakcji w postaci cytowań.

Nie chodzi przecież o to, aby w każdej uczelni wszystkie wydziały wnosiły równy wkład do sumarycznego indeksu h. Chodzi raczej o to, aby na każdej uczelni akademickiej w Polsce były, choćby nieliczne, jednostki widoczne w międzynarodowych bazach danych. I temu głownie ma służyć nasz ranking, którego metodologia jest jasno określona (http://rankingi.ia.uz.zgora.pl/) i stosowana dokładnie tak samo do wszystkich uczelni akademickich w Polsce.

Autorzy polemiki zupełnie niepotrzebnie posunęli się do niczym nieuprawnionej insynuacji, że wybraliśmy metodę indeksu Hirscha, gdyż promuje on moją macierzystą uczelnię. Faktycznie, Uniwersytet Zielonogórski zajmuje wysokie (zdaniem autorów polemiki) 37 miejsce w tym rankingu (choć mniej więcej taka samą pozycję zajmuje w innych dostępnych naukowych rankingach). Ale absurdem jest sugerować, że wśród wielu możliwych kryteriów które przetestowaliśmy, wybraliśmy najbardziej nam odpowiadające.

Po pierwsze, wykonanie corocznego rankingu dla indeksu h jest wystarczająco wyczerpujące, aby stracić zainteresowanie do wykonania innych rankingów (do czego zresztą będę zachęcał autorów polemiki). Po drugie, wybraliśmy indeks h sugerując się pionierskimi dokonaniami w tym zakresie profesora Ryszarda Kierzka (Polska Nauka w indeksie Hirscha; Forum Akademickie Nr 6-7/137,2008; Publikowalność naukowa w Polsce; Forum Akademickie Nr 7-8, 2010). Wśród podnoszonych argumentów najbardziej zainspirowała mnie informacja, że znakomita większość polskich publikacji indeksowanych (nie mówiąc już o nieindeksowanych) przechodzi zupełnie bez echa w świecie naukowym. Uznałem, że kontunuowanie pomysłu prof. Kierzka ma sens, tym bardziej, że takie rankingi robi się na całym świecie. Najwyraźniej zalety tej metody są doceniane nie tylko przez ze mnie i prof. Kierzka. A jej wady są nam też doskonale znane, ale dopóki ranking pełni rolę informacyjno/monitorującą, niedoskonałości te nie wydają się szkodliwe.

Na koniec swojej polemiki autorzy wydają się być pogodzeni z tym, że nie zaniechamy corocznego publikowania rankingu i podsyłają nam kilka propozycji mogących ich zdaniem spowodować, że będą one bardziej rzetelne. Mogę jedynie powiedzieć, że nie zaniechamy robienia rankingu h, natomiast nie mamy żadnej pewności czy tygodnik „Polityka” zechce go dalej publikować, choć mamy taką nadzieję.

Co do dobrych rad, to po kolei. Nie jest prawdą, że odsiewanie autocytowań jest trudne w bazie ISI. Robimy to bez trudu (wystarczy zajrzeć na stronę: (http://rankingi.ia.uz.zgora.pl/), gdzie również publikujemy rankingi z podziałem na poszczególne lata a nawet dyscypliny nauki. Oczywiście, ze względu na brak miejsca nie da się wszystkiego opublikować w druku.

Jeśli chodzi o wybór bazy Web of Science (ISI), to po pierwsze, jest to najpopularniejsza baza danych indeksowanych publikacji i ich cytowań. Ponadto, jej wykorzystanie jest wymagane w Polsce przez największe instytucje przyznające granty naukowe (Narodowe Centrum Nauki, Narodowe Centrum Badań i Rozwoju oraz – chyba - Fundacja Nauki Polskiej). Poza tym, w bazie SCOPUS przeszkadza nam problem, że operuje ona dokumentami, z czego nie wszystkie są recenzowanymi indeksowanymi publikacjami (na pewno w moim rekordzie odnajduje nie recenzowane publikacje konferencyjne, których nie używamy w naszym rankingu).

Jeśli chodzi o sugestie, aby ograniczyć się do ostatnich 10-15 lat, to nie widzę dla niej istotnego uzasadnienia. Nasz ranking z założenia wyklucza możliwość skutecznej konkurencji Politechniki Lubelskiej z Politechniką Warszawską (żeby użyć pierwszego z brzegu przykładu) w dłuższej skali czasowej, ale dopuszcza dynamiczną konkurencję (z roku na rok). Nawiasem mówiąc, zarówno PW jak i PL podniosły wartość h o 6 w ciągu ostatniego roku, przy czym dla PW jest to wzrost o 5% natomiast dla PL aż o 20% (jestem pewien, że prof. Kosmulski ma w tym swój znaczący udział). Ponieważ „wybitne” prace zbierające kilkaset lub więcej cytatów (cudzysłów ze względu na konserwatywne poglądy prof. Kosmulskiego) zdarzają się jednak niezwykle rzadko, nie powinno się w tej materii stosować ram czasowych.

Autorzy polemiki pouczają nas, że istnieje wiele wskaźników bibliometrycznych bardziej nadających się do oceny instytucji naukowych. Oczywiście znamy te narzędzia i gorąco zachęcamy do ich wykorzystania  i stworzenia lepszego rankingu naukowego, niż nasze proste zestawienie oparte po prostu na sumarycznym indeksie Hirscha. Byłbym jednak bardzo zdziwiony, gdyby rezultaty tej heroicznej pracy znacząco odbiegały od naszych. Życzymy sukcesu i czekamy z niecierpliwością na wyniki.

Więcej na ten temat
Reklama

Czytaj także

Ludzie i style

Na północ od Madrytu – kastylijskim szlakiem zamków i wina

Niecałe trzy godziny lotu do hiszpańskiej stolicy i krótka jazda samochodem przenoszą nas w samo serce Krainy Zamków. Teraz jest najlepszy moment, bo tłumy turystów zniknęły, a winiarze z La Rioja czekają z poczęstunkiem.

Paweł Moskalewicz
25.11.2019
Reklama

Ta strona do poprawnego działania wymaga włączenia mechanizmu "ciasteczek" w przeglądarce.

Powrót na stronę główną