Nauka

Nie jest może tak źle, ale dobrze też nie

Kontrpolemika w sprawie tekstu „Naukowcy coraz częściej zamiast wiedzy tworzą rankingi”

Alexandre Duret-Lutz / Flickr CC by 2.0
Po co się spierać, jeśli panowie profesorowie wielokrotnie podkreślają, że w zasadzie się ze mną zgadzają, uważają tylko, że mocno przesadzam i ulegam mitom.
Tekst prof. Leszka Pacholskiego, który wywołał dyskusjęPolityka Tekst prof. Leszka Pacholskiego, który wywołał dyskusję
Zastanawiałem się, czy odpowiadać na polemikę profesorów Marka Kosmulskiego i Adama Pronia z moim tekstem o lewarowanych karierach. Bo po co się spierać, jeśli panowie profesorowie wielokrotnie podkreślają, że w zasadzie się ze mną zgadzają, uważają tylko, że mocno przesadzam i ulegam mitom.
 
Streszczając, zgodnie z moją skłonnością do przesady, różnice poglądów między nami – ja uważam, że na wyspie Słodowej we Wrocławiu kradną rowery, bo kilkorgu moich znajomych je tam skradziono, natomiast zdaniem moich adwersarzy przesadzam, bo przecież mają znajomych, którym rowerów nie skradziono, a ponadto większość rowerów pozostaje jednak przy prawowitych właścicielach.
 
Nigdzie nie napisałem, że wszędzie i wszystko jest złe, wspominałem wręcz, że są miejsca, gdzie ceni się jakość i kompetencje. Ponadto moja analiza nie dotyczyła nauki światowej, a wybór zagranicznych przykładów został podyktowany chęcią uniknięcia procesów o naruszenie dóbr osobistych, na które nie mam ani czasu, ani pieniędzy.
 
Zacznijmy od końca. W przedostatnim akapicie profesorowie Kosmulski i Proń piszą, że „w Polsce nie brakuje bibliotekarzy i bibliotekoznawców, którzy potrafią się nimi (współczynnikami bibliometrycznymi) sprawnie posługiwać. Nieco gorzej radzą sobie z tym sami naukowcy...” (to chyba o mnie). Gdyby współczynniki bibliometryczne były wykorzystywane tylko przez bibliotekarzy i autorów ekstremalnych opinii w wysokonakładowych tygodnikach, nie zawracałbym nimi głowy redaktorom i czytelnikom.
 
Niestety jest inaczej. Te współczynniki i oparte na nich punkty ministerialne są jednym z najważniejszych narzędzi oceny uczonych oraz instytucji badawczych. Kategoria przyznana jednostce badawczej zależy od liczby punktów zdobytych przez tę jednostkę. O przyznaniu grantu w ogromnym stopniu decydują indeksy h, w wielu instytucjach punkty ministerialne decydują o awansie. Niedawno usłyszałem rozmowę, w której adiunkt bardzo dobrego wydziału (kategoria A) bardzo dobrej uczelni, skarżył się, że brakuje mu 20 punktów do habilitacji. Sprawdziłem – dokumenty są dostępne w internecie – na tym wydziale do otwarcia przewodu habilitacyjnego potrzeba 200 punktów, a do wszczęcia postępowania o nadanie tytułu profesora aż 400.
 
Opieranie ocen badaczy na punktach powoduje, że osoby stawiające na międzynarodowy sukces mogą być niezbyt dobrze oceniane w Polsce. Znam zdobywców niezwykle prestiżowych grantów europejskich ERC dla młodych badaczy, którzy nie przeszliby (a co najmniej jeden z nich nie przeszedł) do drugiej tury znacznie mniej prestiżowego polskiego konkursu grantowego Juventus. Znam profesorów MIT, jednej z najlepszych uczelni na świecie, którzy nie mogliby w Polsce – zgodnie z nową ustawą – wszcząć przewodu doktorskiego. Oglądałem niedawno recenzje wniosku o grant NCN, w których jeden z wykonawców, autor osiągnięć znanych w wiodących ośrodkach za granicą, został oceniony znacznie niżej niż drugi, który nie ma praktycznie żadnych znanych osiągnięć, ale nazbierał więcej publikacji z IF oraz ma więcej mało wartościowych cytowań.
 
Z drugiej strony, analizowałem dorobek cenionego w Polsce naukowca, o imponującej liczbie cytowań, który nigdy nie został zacytowany przez żadnego uczonego z 50 najlepszych uniwersytetów na świecie. Można podać przykłady decyzji podjętych na podstawie danych bibliometrycznych, które nie zostałyby podjęte, gdyby dokonano starannej oceny osiągnięć przez kompetentnych recenzentów. Żeby nie było wątpliwości, ja sam nigdy nie czułem się pokrzywdzony przez wskaźniki i nie walczę o swój prywatny interes.
 
Po niemal każdym ogłoszeniu wyników konkursów o granty ERC polskie media pełne są lamentów nad brakiem sukcesów polskich badaczy. Jedną z kilku przyczyn tej sytuacji jest sposób oceny pracy badawczej w Polsce. Formularze wniosków o granty badawcze za granicą, w tym o granty ERC, dają wnioskodawcy możliwość pochwalenia się najważniejszymi osiągnięciami. W formularzu wniosku NCN jest miejsce na informacje liczbowe i listę 10 prac z ostatnich kilku lat wraz z informacją o IF czasopism i liczbie cytowań. Wymienione są najważniejsze prace, ale nie ma miejsca na to, by zachęcić opiniodawcę do obejrzenia którejkolwiek z nich. A z mojego doświadczenia wynika, że rzadko który recenzent wychodzi poza obejrzenie listy prac i policzenie cytowań. Gdyby wnioskodawca mógł się pochwalić, być może częściej recenzenci zaglądaliby to tych najciekawszych publikacji. (Trochę więcej możliwości pochwalenia się wynikami dają formularze grantów Maestro).
 
Oczywiście można zadać dwa naturalne pytania: czy wspomniane regulacje umożliwiają mimo wszystko podjęcie właściwych decyzji i czy takie przypadki są powszechne. Na drugie pytanie odpowiem później. Jeśli chodzi o pierwsze, to w przypadku grantu Juventus punkty ministerialne liczy się na etapie weryfikacji formalnej i jeśli nie ma odpowiedniej liczby punktów, żaden uczony się nad wnioskiem nie pochyli. Czasem, jak w przypadku grantów NCN, można sprawdzić jakość cytowań. Można odróżnić istotne cytowanie wyników lub wprowadzonych przez autora metod od cytowań typu „badania na pokrewne tematy prowadzili także...”. Niestety, recenzenci rzadko to robią, a poza tym jeśli tak zrobią, mogą narazić NCN na protesty, jeśli na przykład zakwestionują jakość publikacji z „listy filadelfijskiej”.
 
Profesorowie Kosmulski i Proń argumentują, że nieuczciwe manipulacje, takie jak te, które przedstawiłem, nie mogą w istotny sposób wpłynąć na rankingi i oceny nauki na świecie. Zgadzam się z tym, mimo że w rankingu US News and World Report sprzed kilku dni King Abdulaziz University został sklasyfikowany jako siódmy na świecie w dziedzinie matematyki, a MIT zajął dopiero 11. miejsce. Profesorowie piszą, że „baza danych Web of Science gromadzi dane o ponad 2 milionach publikacji” i kilkaset publikacji oszustów stanowi w tej bazie niewiele znaczący margines. Niestety, graf cytowań jest bardzo niespójny i publikacje oraz autorzy w różnych dziedzinach, a czasem nawet w różnych regionach świata, nawzajem się nie widzą. Dlatego manipulacje naukowców z peryferii są bezpieczne i nie mają wpływu na ocenę badań w naukowych centrach. Osoby, które w jednym z dziewiętnastu czasopism wydawanych przez Seventh Sense Research Group skopiowały artykuł z czasopisma wydawanego przez Brown University, mogły być zaskoczone tym, że ich plagiat został odkryty, bo przecież kręgi czytelników tych dwóch wydawnictw są rozłączne.
 
I tu dotykamy problemu, gdzie w tej dychotomii centrum – peryferia znajduje się Polska. Czy jesteśmy blisko centrum i metody stosowane przez Zavadskasa nas nie dotyczą, czy też jednak jesteśmy bliżej peryferii. Web of Science daje możliwość sprawdzenia, gdzie publikują polscy uczeni. Obejrzałem listę 500 czasopism, w których najczęściej publikowane są artykuły polskich naukowców. Rekordy z lat 2009–2012 wskazują, że w czołówce są: „Przegląd Elektrotechniczny” z 2980 rekordami (2,79 proc. wszystkich rekordów), „Acta Physica Polonica A” 1245 rekordów (1,166 proc.), „Przemysł Chemiczny” 1155 (1,081 proc.), „Kardiologia Polska” 1048 (0,981 proc.), „Lecture Notes in Computer Science” 1044 (0,978 proc.), „Lecture Notes in Artificial Intelligence” 824 (0,772 proc.). Razem sześć najpopularniejszych czasopism dotyczy 7,768 proc. rekordów.
 
W pierwszej szóstce najpopularniejszych wydawnictw mamy 1,75 proc. rekordów związanych z informatyką, a w pierwszej pięćsetce ani jednego związanego z czasopismami wydawanymi przez prestiżowe Association for Computing Machinery i tylko jedno czasopismo w „polskiej specjalności” z 88 rekordami związane z IEEE – liczącym około pół miliona członków stowarzyszeniem inżynierów różnych specjalności. Chemików jest w Polsce bardzo wielu, co pewnie wpływa na trzecie miejsce „Przemysłu Chemicznego”, ale jest zaledwie 60 rekordów dotyczących „Journal of American Chemical Society” (czyli 0,066 proc. wszystkich rekordów związanych z Polską), a rekordów dotyczących „Angewandte Chemie” na tej liście 500 czasopism nie ma wcale. To chyba daje dość jasną odpowiedź na pytanie, gdzie na mapie świata nauki leży Polska. Na pewno nie ma nas w centrum. Jest oczywiście niewielka liczna wybitnych uczonych, czasem o wysokich indeksach, takich jak wspomniani przez profesorów chemicy z Uniwersytetu Warszawskiego, ale jest też bardzo wielu naukowców publikujących w czasopismach o niskim prestiżu, i wielu korzystających z tego, że są nierzetelne czasopisma o napompowanym IF.
Nierzadko się zdarza, że kategoria A przyznana instytucji nie jest rezultatem wysokiego poziomu badań, lecz wynika z tego, że zatrudnieni w niej naukowcy znają adresy czasopism z dobrze napompowanym IF. Czasem zresztą biorą w tym pompowaniu udział. Widziałem niedawno kopie listów pracownika instytucji kategorii A, informujących redaktorów, że zgodnie z ich sugestią autor uzupełnił bibliografię o cytowania kilku artykułów z ich czasopism. Bywa też, że w instytucjach które są bliskie naukowemu centrum – z kategorią A+ i nazwiskami na światowym poziomie – toleruje się uczonych pompujących wskaźniki w sposób nie zawsze uczciwy. Bo nie zawsze jest oczywiste, że bez bibliometrycznych wskaźników tych uczonych udałoby się ten plus uzyskać. Punkty się liczą, nieważne czy uczciwe, czy nie.
 
Tekst profesorów Kosmulskiego i Pronia kończy się apelem do młodych adeptów nauki, pod którym sam się chętnie podpiszę. Problem jednak polega na tym, że takie apele nie mają żadnego znaczenia. Młodzi ludzie mają swoich opiekunów i mentorów. I jeśli mentorzy wyrabiają punkty, to z dużym prawdopodobieństwem będą to robić ich uczniowie.
 
Wypada, żebym ustosunkował się do mitów, którym podobno hołduję. Mit 1. Duża liczba cytowań pozwala na zrobienie błyskotliwej kariery w polskiej nauce. Z niczego, co napisałem, nie wynika, że tak uważam. Uważam natomiast, że jeśli liczba cytowań przekroczy pewien poziom – wcale nie musi być najwyższa – dostęp do grantów, często wielomilionowych, staje się dużo łatwiejszy. Przeciętny recenzent nie odważy się zakwestionować dorobku osoby o ponadprzeciętnym indeksie h i sporej liczbie cytowań. Osoby o indeksie h, takie jak Kazimieras Zavadskas, prawie na pewno w konkursach grantowych dostaną maksymalną liczbę punktów za dorobek, a do tego wielu opiniodawców nie ośmieli się nisko ocenić innych elementów wniosku takiego naukowca. A po drugie, piastowanie funkcji rektorskich nie jest jedyną formą robienia kariery.
 
Mit 2. Za pomocą nieuczciwych metod można uzyskać bardzo wysoki indeks h. Nie twierdziłem, że nieuczciwe metody pozwalają uzyskać bardzo wysoki indeks h, jak również nie napisałem, że indeks h ma wpływ na przyznanie nagrody Nobla. Napisałem, i dalej tak uważam, że za pomocą nieuczciwych metod można zwiększyć indeks h, jak również można zwiększyć współczynnik IF. I nie trzeba tego współczynnika zwiększać do poziomu Cell lub Nature. Wystarczy, żeby ten współczynnik znalazł się wśród kilku lub kilkunastu najwyższych w danej dyscyplinie, aby słabe czasopismo, być może z lekkim wsparciem lobbingu, zostało ocenione na 40 lub 45 punktów, czyli tyle co „Angewandte Chemie”.
 
Mit 3. Stosowanie nieuczciwych metod jest powszechne. Też chyba tego nie napisałem. Znam środowiska, w których nieuczciwe metody na ogół spotykają się z potępieniem, i takie, gdzie ich stosowanie jest tolerowane. W dyscyplinach, gdzie od dawna kontakt z Zachodem był bardzo intensywny, jest na ogół dobrze. Natomiast tam, gdzie nauka rozwijała się, a często dalej się rozwija, w izolacji od głównych centrów, bywa źle, czasem nawet bardzo źle.
 
A na koniec kilka słów na temat tego, że być może czasem przesadzam. Zacznijmy od przypadku Uniwersytetu Aleksandryjskiego, o którym napisałem, że dzięki nieuczciwym praktykom Mohameda El Naschiego zdobył kilka lat temu bardzo wysoką pozycję w rankingu Times Higher Education (THE).
 
Zdaniem profesorów Kosmulskiego i Pronia dowodzi to skandalicznego błędu lub skrajnej niekompetencji ekipy THE zajmującej się opracowaniem tego rankingu. Prześledziłem opinie mediów i dostępne wypowiedzi ekspertów w dziedzinie bibliometrii z tego okresu i nie odnotowałem głosów podważających wyniki tego rankingu i zacytowane przeze mnie opinie, jednak gotów jestem przyjąć, że zaskakująco wysoka pozycja Uniwersytetu Aleksandryjskiego była, zgodnie z tym, co piszą moi adwersarze, wynikiem błędu ekspertów.
 
Moim zdaniem dobrze się jednak stało, że się – być może – pomylili. Gdyby bowiem praktyki Mohameda El Naschiego doprowadziły do mało znaczących konsekwencji, wysokonakładowe media nie zwróciłyby na nie uwagi. Mniej więcej w tym samym czasie w „Notices of American Mathematical Society” ukazał się artykuł „Nefarious Numbers” Douglasa N. Arnolda i Kristiny K. Fowler, wskazujący na przekręty innego mojego bohatera He-Huana He. Artykuł akademicki, z dobrze naukowo udokumentowanymi tezami, bez emocji i przerysowań. I prawie nikt na ten artykuł nie zwrócił uwagi.
 
Gdy w tym samym czasie na stronie Ministerstwa Nauki i Szkolnictwa Wyższego ukazały się entuzjastyczne gratulacje ministerstwa z okazji nadzwyczajnego wzrostu IF jednego z polskich czasopism, e-mailem poinformowałem ministerstwo, że sukces ten jest wynikiem opisanej w „Nefarious Numbers” współpracy z profesorem He. Niestety, nikt na mój sygnał nie zareagował. Gdyby zamiast głębokiego tekstu w „Nefarious Numbers” ukazał się skandalizujący tekst w wysoko nakładowym tygodniku, pani minister musiałaby zareagować, tak jak teraz zareagowała na nagłaśniany przez media problem doktoratu pana Goliszewskiego. Czasem lekka przesada i nacisk mediów jest niezbędny, aby zmusić wysokie gremia do reakcji.
 
Leszek Pacholski jest dyrektorem Instytutu Informatyki Uniwersytetu Wrocławskiego, w latach 2005–08 był rektorem tej uczelni.
Więcej na ten temat
Reklama

Czytaj także

Ja My Oni

Uroda przynosi w życiu profity. Ale nie jest źródłem szczęścia

Już trzymiesięczne niemowlęta przyglądają się ładnym twarzom istotnie dłużej niż nieładnym. I niezależnie od wieku, płci i rasy pochylającej się nad nimi osoby.

Grzegorz Gustaw
26.11.2019
Reklama

Ta strona do poprawnego działania wymaga włączenia mechanizmu "ciasteczek" w przeglądarce.

Powrót na stronę główną