Nauka

Nie wierzcie w rankingi

Polemika z tekstem prof. Leszka Pacholskiego: „Naukowcy coraz częściej zamiast wiedzy tworzą rankingi”

Polityka
Tekst Leszka Pacholskiego wzbudził sporo kontrowersji: czy rzeczywiście nauka promuje raczej sztucznie tworzone rankingi zamiast wiedzy? Oto głosy w tej dyskusji.

Od pewnego czasu POLITYKA publikuje artykuły dotyczące roli współczynników bibliometrycznych w ocenie działalności naukowej, można tu wymienić artykuły profesorów Sławomira Tumańskiego, Leszka Pacholskiego czy rankingi uczelni opracowane przez profesora Janusza Gila ze współpracownikami. Artykuły te opisują środowisko naukowe w sposób niezwykle uproszczony i w niektórych przypadkach nieprawdziwy, siejąc zamęt w głowach czytelników. POLITYKA jest tygodnikiem opiniotwórczym, więc czujemy się w obowiązku zareagować.

POLITYKA (38/2014) opublikowała artykuł prof. Pacholskiego pt. „Kariery lewarowane”, w którym autor, posługując się trzema nietypowymi przykładami, zdecydowanie przecenia wpływ patologii publikacyjnych na pozycję naukową pojedynczych naukowców czy instytucji naukowych. Zaskakuje tutaj niespójność poglądów prof. Pacholskiego. Kilka miesięcy temu (POLITYKA 24/2014) wysoko ocenił on niepoprawny metodologicznie Naukowy Ranking Uczelni Akademickich, oparty wyłącznie na indeksie Hirscha, czyli de facto na liczeniu cytowań, zamieszczony w jednym z wcześniejszych numerów POLITYKI. Z kolei w „Karierach lewarowanych” ten sam autor nie zostawia suchej nitki na wskaźnikach bibliometrycznych (impact factor, indeks Hirscha) i zarzuca naukowcom, że zamiast rozwiązywać problemy naukowe gonią za punktami i indeksami, w dodatku stosując nieuczciwe praktyki.

Zacznijmy od opisywanego przez prof. Pacholskiego przypadku Uniwersytetu Aleksandryjskiego w Egipcie, który w rankingu Times Higher Education w 2010 r. został sklasyfikowany na 147. miejscu na świecie, czyli znacznie wyżej niż jakikolwiek uniwersytet polski. Cytujemy następujące stwierdzenie autora: „Jeszcze bardziej zaskoczyło jego [Uniwersytetu Aleksandryjskiego] czwarte miejsce – przed Uniwersytetami Harvarda i Stanforda – w kategorii »wpływ na badania«, czyli w liczbie odwołań w publikacjach naukowych do osiągnięć pracowników egipskiej uczelni”. Dokładniej mówiąc, cytowań jednego pracownika. Tak wysoka pozycja uniwersytetu była rezultatem przywołania ponad 320 publikacji tego samego autora – Mohameda El Naschiego – w czasopiśmie Chaos, Solitons, Fractals, którego El Naschie był redaktorem naczelnym.

Stwierdzenie, że autor 320 publikacji, na dodatek miernie cytowanych (średnio 10,8 cytowań obcych na artykuł), potrafi wywrócić światową hierarchię cytowań jest absurdalny i sprzeczny z dostępnymi danymi bibliograficznymi. Wymieniony tu Uniwersytet Harvarda publikuje ok. 16 tys. artykułów rocznie, na ogół bardzo często cytowanych; Uniwersytet Stanforda – 9 tys.; UJ – 1,6 tys.; PW – 1,4 tys. Uniwersytet Aleksandryjski publikuje ok. 450 prac rocznie, dosyć kiepsko cytowanych. Równie kiepsko cytowane artykuły El Naschiego, w okresie jego największej płodności publikacyjnej (lata 2005–2009), stanowiły zaledwie 10 proc. wszystkich publikacji tego uniwersytetu. Równie dobrze można twierdzić, że cztery jabłonki w ogrodzie stuletniej mamy jednego z nas mają istotny wpływ na polską produkcję jabłek. Umieszczenie Uniwersytetu Aleksandryjskiego na czwartym miejscu na świecie w liczbie cytowań dowodzi albo skandalicznego błędu 13-osobowej ekipy Times Higher Education”, zajmującej się opracowaniem rankingu, albo jej skrajnej niekompetencji. Oczywiście ani do błędu, ani do niekompetencji THU się nie przyzna i stąd powstał mit, że jednym dziecięcym wiaderkiem można zaspokoić zapotrzebowanie na wodę dla całej Warszawy.

Dziwi nas także, jak Uniwersytet Aleksandryjski mógł zająć wysokie miejsce w jakimkolwiek rozsądnie skonstruowanym rankingu uczelni światowych, bo np. w opartym na liczbie cytowań polskim Naukowym Rankingu Uczelni Akademickich, opublikowanym w POLITYCE, uczelnie o podobnych osiągnięciach (h=82) zajmują miejsca pod koniec drugiej dziesiątki. Uniwersytet Aleksandryjski ma co prawda pewne istotne osiągnięcie: jego absolwentem (na poziomie studiów magisterskich) jest bowiem Ahmed Zewail, laureat nagrody Nobla z 1999 r., ten jednak argument nie ma nic wspólnego z liczbą cytowań publikacji pochodzących z tego uniwersytetu.

Zgadzamy się z wieloma postulatami prof. Pacholskiego, np. nam również nie podoba się absurdalna miejscami ministerialna punktacja czasopism, a zwłaszcza uzależnienie punktacji za artykuł naukowy wyłącznie od czasopisma, w którym się ukazał, gdyż w praktycznie każdym czasopiśmie, niezależnie od jego wskaźnika wpływu, ukazują się artykuły bardzo słabe, a nawet błędne. Natomiast uważamy, że obraz nakreślony przez prof. Pacholskiego jest przerysowany i jest de facto projekcją wielu mitów funkcjonujących w polskim środowisku naukowym. Poniżej spróbujemy sprostować kilka z tych mitów.

Mit 1. Duża liczba cytowań pozwala na zrobienie błyskotliwej kariery w polskiej nauce.

Jeżeli jest jakaś korelacja, to raczej jest to korelacja ujemna, tzn. zbiór osób piastujących najwyższe stanowiska decyzyjne w nauce polskiej i zbiór osób, których prace mają największą liczbę cytowań, są zbiorami rozłącznymi. Nikt nie prowadził systematycznych badań w tym kierunku, dlatego możemy się posłużyć jedynie przykładami. Wśród trojga polskich chemików o najwyższej liczbie cytowań obcych żaden nie pełni funkcji kierowniczej, nawet kierownika zakładu, co po części wynika z ich braku zainteresowania karierą administracyjną. Są to prawdziwi szeregowcy w armii polskich naukowców. Z kolei obecni i byli rektorzy wyższych uczelni, w tym przedstawiciele nauk medycznych i przyrodniczych, mają, z nielicznymi wyjątkami, niskie wskaźniki bibliometryczne.

W tym miejscu chcemy podkreślić, że nie jest naszym celem kwestionowanie kompetencji naukowych naszych kolegów posiadających niewysoki współczynnik h, lecz wykazanie braku dodatniej korelacji między współczynnikiem h a przebiegiem karier naukowych. W kontekście przedstawionych wyników walka o podniesienie liczby cytowań wydaje się więc raczej mało szkodliwym hobby niż skuteczną metodą na ułatwienie sobie kariery naukowej.

Mit 2. Za pomocą nieuczciwych metod można uzyskać bardzo wysoki indeks h.

Wśród oszustw opisywanych przez prof. Pacholskiego rzeczywiście najłatwiejsze polega na sztucznym powiększeniu indywidualnego indeksu Hirscha i współczynnika wpływu (IF) czasopisma przez jego redaktora naczelnego. Możliwe jest to jednak tylko dla czasopism publikujących co najwyżej kilkaset artykułów rocznie i pod warunkiem skorumpowania redaktorów regionalnych. To przypadek czasopisma „Chaos, Solitons, Fractals”, które nie liczyło się nigdy ani w dziedzinie fizyki teoretycznej, ani fizyki matematycznej czy wreszcie mechaniki teoretycznej, a publikowanie w nim nie było powodem do wielkiej chwały.

Trudniej oszukiwać w czasopismach, które publikują kilka tysięcy artykułów rocznie (np. „Physical Review B” – 6 tys. artykułów), a których redaktorzy są nominowani przez towarzystwa naukowe. Opisane oszustwa mogą zwiększyć sławę danego naukowca, ale tylko czasowo i na ogół w skali lokalnej. Zresztą na ogół kończą się źle dla oszukującego, co widać nie tylko w przypadku El Naschiego, którego zmuszono do rezygnacji z pracy naukowej, ale także w przypadku bardziej sławnych afer, jak te Benveniste’a, Schoena i wielu innych. Skrupulatna analiza ogólnie dostępnych danych statystycznych, publikowanych dla każdego czasopisma z listy filadelfijskiej, pozwala na łatwe wykrycie tych naiwnych oszustw.

Afery te – nieuniknione, biorąc pod uwagę znaczną populację redaktorów czasopism indeksowanych (kilkadziesiąt tysięcy, z czego tylko w oficynie Elseviera ponad 7 tys.) – wynikają z niezależności redaktora naczelnego i redaktorów regionalnych, którzy mają prawo przyjmować do druku artykuły nierecenzowane, a nawet podejmować decyzję o druku wbrew negatywnym recenzjom. Wybuchające co jakiś czas afery świadczą o tym, że niektórzy redaktorzy nie potrafią sprostać ciążącej na nich odpowiedzialności. Niezależność redaktorów ma jednak więcej zalet niż wad. Opisane afery mają charakter marginalny i nie są największą bolączką współczesnej nauki. Większym problemem jest tzw. „salamizacja nauki“, czyli publikowanie kilku artykułów z cząstkowymi wynikami zamiast jednej całościowej pracy, co prowadzi do ogromnej inflacji publikacyjnej. To patologiczne zjawisko jest generowane stosowanymi przez instytucje kierujące badaniami wadliwymi kryteriami aprecjacji osiągnięć naukowych. W tej sprawie całkowicie się zgadzamy z prof. Pacholskim.

Prof. Pacholski podaje następujące liczby: nobliści z fizyki maja indeks h w zakresie 35–39, zaś Ji-Huan He (naukowiec stosujący nieuczciwe praktyki) ma indeks h=67. Ma to świadczyć o tym, że nieuczciwymi metodami można uzyskać bardzo wysoki indeks h. Dane podane przez prof. Pacholskiego są nierzetelne. Zacznijmy od tego, że naukowców nazywających się J.H.He, którzy opublikowali artykuły w czasopismach z listy filadelfijskiej, jest bardzo wielu i prawdopodobnie nie zmieściliby się oni wszyscy w jednym autobusie miejskim, nawet przegubowym. Podana liczba (h=67) nie jest zatem osobistym współczynnikiem h jednego konkretnego naukowca, lecz zbiorowym współczynnikiem h paru tuzinów różnych J.H.He zajmujących się różnymi dziedzinami nauki (w bazie danych nie odróżnia się naukowców o jednakowych inicjałach imion). Świadczy o tym uwaga prof. Pacholskiego, że informatyk i matematyk Ji-Huan He jest również często cytowany w technologii i inżynierii materiałowej. Natomiast pozostali naukowcy wymienieni przez prof. Pacholskiego z powodu nieuczciwych praktyk mają odpowiednio h=37 (Zavadskas) i 34 (El Naschie). Nie są to wyniki imponujące, nawet jeśli brać standardy polskie, np. w radzie Wydziału Chemii UW jest ponad pół tuzina naukowców o znacznie wyższych współczynnikach h.

Komitet noblowski nie kieruje się indeksem h przy przyznawaniu nagrody. Nagrodę otrzymali zarówno Roy J. Glauber (h=36) czy odkrywca quasi-kryształów Dan Shechtman (h=36), jak i Alan Heeger (h=150) czy Richard Schrock (h=115). Na ogół jednak doniosłe odkrycie naukowe generuje liczne cytowania, więc noblistów o h> 100 jest znacznie więcej niż takich, których h<40. W tych ostatnich przypadkach mała wartość h wynika zresztą z powściągliwości w publikowaniu, a nie z braku cytowań. W tym kontekście nawet współczynnik h całego autobusu pełnego J.H.He nie budzi zachwytu.

Mit 3. Stosowanie nieuczciwych metod jest powszechne.

Baza danych Web of Science (TM) gromadzi dane o ponad 2 milionach publikacji rocznie, napisanych przez parę milionów autorów. Liczby różnych autorów nie da się nawet w przybliżeniu określić z powodu wspomnianej wyżej homonimii. Kilkuset, kilka tysięcy, a nawet kilkadziesiąt tysięcy oszustów stanowi w tej liczbie niewiele znaczący margines. Zresztą każdy użytkownik bazy może łatwo sprawdzić, czy zaskakująco wysokie współczynniki obliczone dla danej osoby nie są wynikiem manipulacji opisanych przez prof. Pacholskiego, np. nadmiernych autocytowań lub spółdzielni cytowań. Cytowany w POLITYCE artykuł w „Nature” obnażający oszustwa El Naschiego raczej dobrze świadczy o zdolności środowiska naukowego do samooczyszczania się.

Aby zrównoważyć wszystkie nasze krytyczne komentarze, pragniemy podkreślić, że podobnie jak prof. Pacholski uważamy, że mechaniczne porównywanie współczynników bibliometrycznych jest szkodliwe i często prowadzi do fałszywych wniosków. Na szczęście jednak w Polsce nie brakuje bibliotekarzy i bibliotekoznawców, którzy potrafią się nimi wprawnie posługiwać. Nieco gorzej radzą sobie z tym sami naukowcy, o czym świadczą ekstremalne opinie pojawiające się wysokonakładowych tygodnikach.

Na końcu apel do studentów, doktorantów i młodych naukowców:

  1. Nie wierzcie w światowe i polskie rankingi uczelni, pełne są bowiem błędów metodologicznych.
  2. Nie liczcie na „karierę lewarowaną“, bo uzyskana w ten sposób pozycja pozostaje w równowadze chwiejnej, co kończy się bolesnym upadkiem.

Marek Kosmulski jest profesorem chemii w Politechnice Lubelskiej, Adam Proń jest profesorem chemii w Politechnice Warszawskiej.

Więcej na ten temat
Reklama

Czytaj także

Historia

Kobiety, które wstrząsnęły Rosją

W cesarstwie, w którym panowało przekonanie, że Bóg rządzi we wszechświecie, car w państwie, a mężczyzna w domu, na tronie zasiadały kolejno cztery kobiety.

Sylwia Frołow
16.04.2019
Reklama

Ta strona do poprawnego działania wymaga włączenia mechanizmu "ciasteczek" w przeglądarce.

Powrót na stronę główną