Naukowy czy bibliometryczny?
W nawiązaniu do Państwa publikacji z dnia 24 maja 2013 roku dotyczącej rankingu osiągnięć naukowych uczelni polskich chciałbym podzielić się kilkoma uwagami w trzech zasadniczych aspektach wspomnianego rankingu.
Pierwsza i najważniejsza uwaga dotyczy samej nazwy ranking i tytułu Państwa materiału; śmiem twierdzić, że jest to ranking nie naukowy ale bibliometryczny. Różnica jest zasadnicza, otóż ów ranking, bardzo starannie przygotowany przez zespół prof. Janusza Gila, byłby rankingiem naukowym, gdyby obejmował wszystkie opublikowane, bądź w inny sposób udostępnione, efekty pracy naukowej prowadzonej w jednostkach badawczych (uczelniach wyższych) na terenie kraju (świata). Jednak tak nie jest, albowiem ranking oparty jest jedynie na danych o publikacjach dostępnych w bazie naukowej Web of Knowledge/Web of Science, która, mimo imponującej liczby rekordów, jest w pewien sposób ułomna, o czym bezpośrednio świadczy końcowy fragment artykułu odnoszący się do niewielkiego stopnia uwzględnienia w bazie dorobku „nauk humanistycznych i humanistycznych i społecznych tego typu publikacja jest podstawowym nośnikiem wiedzy i elementem dyskursu naukowego. Jestem przekonany, że celem autora opracowania i jego zespołu nie jest stawianie poza nawiasem nauki prac z zakresu chociażby historii, archeologii, socjologii, politologii, językoznawstwa, nauk prawnych, itp. Proszę zauważyć, że nie chodzi tu o to, że czasopisma z tych dziedzin są dostępne w bazie Web of Knowledge/Web of Sciencei polscy badacze w nich publikują (niestety, nadal zbyt rzadko), ale o to, że monografie książkowe są tutaj równoprawnym medium komunikacji naukowej (w odróżnieniu od nauk ścisłych, technicznych i przyrodniczych).
Reasumując, wspomniana baza danych raportuje część wyniku z procesu badawczego komunikowanego światu, a tym samym wnioski dotyczące wyniku naukowego oparte o częściową bazę są też jedynie częściowe. Stąd bardziej adekwatna nazwa to ranking bibliometryczny, oparty o te dane, które są dostępne w bazie Web of Knowledge/Web of Science, a siłą rzeczy są to dane niezawodne dla dziedzin takich jak: medycyna, fizyka, astronomia, chemia, nauki matematyczne, ścisłe, techniczne, biologiczne, ekonomiczne, itp. Sprostowanie to jest o tyle istotne, że bez niego natychmiast prowokuje się przedstawicieli nauk humanistycznych i społecznych do obrażania się na jakiekolwiek próby kwantyfikacji oraz gremialnego i niesłusznego atakowania idei rankingów w ogóle. Rozumiem, że sformułowanie ranking naukowy stanowi swego rodzaju skrót myślowy, wymagający jednak korekty lub rozwinięcia.
Jak przystoi na polemikę dotyczącą kwestii naukowych, istnieje też empiryczny dowód na tezę sformułowaną powyżej. Otóż w Państwa publikacji zespół prof. Gila często odnosi swoje badanie do wieloaspektowego rankingu Perspektyw i wskazuje na różnice w pozycjach poszczególnych uczelni zauważając, że najbardziej miarodajny i obiektywny w ocenie wydajności naukowej (a tym samym jakości) poszczególnych szkół wyższych jest jednak indeks Hirscha. Implicite, Państwa ranking jest bardziej obiektywny (lepszy?) niż ranking Perspektyw. Nic bardziej mylnego. W istocie oba rankingi niewiele się różnią; Państwa ranking „naukowy” daje identyczne wyniki jak agregacja kilku cząstkowych rankingów Perspektyw dotyczących liczby publikacji, cytowań oraz indeksu Hirscha dla kierunków ścisłych, technicznych, medycznych oraz nauk o życiu (Perspektywy 5/135 Maj 2013; str. 72-80). Nawet pobieżne porównanie wyników w tych kategoriach wykazuje uszeregowanie uczelni w niemal identycznym szyku, jak u Państwa. Liderami są Uniwersytet Warszawski, Jagielloński, Wrocławski, Politechnika Warszawska, Wrocławska, Uniwersytet Mikołaja Kopernika, czy Warszawski Uniwersytet Medyczny. Występują tylko drobne różnice oraz trudności metodologiczne przy porównaniu obu rankingów, bowiem w odróżnieniu od Państwa, Perspektywy opierają się na bazie Scopus i nie podają danych bezwzględnych, ale porównawcze (lider danej kategorii otrzymuje wskaźnik 100). Co najważniejsze, podstawowym warunkiem otrzymania niemal identycznego wyniku w obu rankingach jest pominięcie danych z zakresu nauk humanistycznych i społecznych. Nota bene, w okresie 2009-2012 na 17048 wszystkich publikacji na wydziałach reprezentujących nauki humanistyczne i społeczne UAM w Poznaniu, jedynie około 0,5% znajduje się w bazie Web of Knowledge/Web of Science (sic!). Przy czym nie jest to wskaźnik dyskwalifikujący na tle innych uczelni, bowiem na 7 zakresów nauk humanistycznych wyróżnianych przez Perspektywy, UAM zajmuje czterokrotnie 1 miejsce w kraju w kategorii indeks Hirscha (poza tym dwa razy miejsce 3 i raz 4).
Uwaga trzecia dotyczy dalszej części tytułu Państwa artykułu, a mianowicie terminu „uczelni”. Jeżeli bowiem porównamy dwie uczelnie tego samego typu, np. uniwersytety, z których jeden ma w swoim składzie cztery wydziały z dziedziny nauk o życiu (tj. medycyna, biologia) oraz ścisłe i techniczne oraz cztery humanistyczno-społeczne, a jego konkurent ma więcej wydziałów w tej drugiej kategorii, to oczywiście ta pierwsza uczelnia ma duże szanse zdystansować rywala z powodu natury procesu publikowania wyniku badawczego opisanej powyżej. Czy w lepszy sposób uprawia naukę? Niekoniecznie, ma za to lepszy wynik bibliometryczny. Najzręczniej zatem i najbardziej adekwatnie byłoby przy okazji sporządzania rankingów afiliować autorów publikacji nie do ich macierzystych uczelni, ale do wydziałów, jako bardziej jednorodnych i tematycznie zdefiniowanych jednostek (chociaż i tu mamy do czynienia jedynie z bardziej przybliżoną jednorodnością). Wówczas w sposób bardziej miarodajny moglibyśmy porównać poszczególne jednostki (na kształt wzajemnego porównania w ramach jednorodnych grup wspólnej oceny Komitetu Ewaluacji Jednostek Naukowych). Oczywiście takie określenie afiliacji wymaga wielkiego wysiłku, a sami autorzy Państwa opracowania podają przykłady trudności napotkanych już przy ujednolicaniu nazw poszczególnych uczelni w bazie.
Powyższe uwagi polemiczne nie mają absolutnie na celu krytykowanie zaproponowanego podejścia do kwantyfikacji wyniku badawczego. W pełnej rozciągłości podzielam przekonanie prof. Gila i członków jego zespołu, że z dużym prawdopodobieństwem artykuł opublikowany w czasopiśmie wyżej punktowanym będzie szerzej cytowany i zakomunikuje wyniki bardziej istotne dla danej dziedziny. Potrzebujemy rankingów jako punktów odniesienia (tzw. benchmarking) i mierników wysiłku włożonego przez poszczególnych autorów, potrzebujemy ich jako środka dopingu dla zaznaczenia postępu (regresu?) i relacji pomiędzy wynikiem badawczym, a poniesionymi na niego nakładami. Do takich działań trzeba jednak przekonać przedstawicieli wszystkich dziedzin nauki (w tym nauk humanistycznych i społecznych), a przede wszystkim nikogo nie zniechęcać poprzez popełnianie, nawet niezamierzone, niestosowności terminologicznych. Poprawa jakości i międzynarodowej percepcji wyniku badawczego jednostek polskiego sektora nauki i szkolnictwa wyższego leży w naszym wspólnym interesie.
Prof. dr hab. Jacek Witkoś
Wydział Anglistyki
Prorektor Uniwersytetu im. Adama Mickiewicza w Poznaniu ds. Badań i Współpracy Międzynarodowej
Odpowiedź Autora
Prof. Witkoś przekazał trzy uwagi krytyczne dotyczące naszego rankingu. Pierwsza z nich odnosiła się do nazwy rankingu, w szczególności do przymiotnika „naukowy”. Pisze, że sformułowanie „ranking naukowy” stanowi skrót naukowy wymagający rozwinięcia. Korekta nazwy zaproponowana przez prof. Witkosia jest akceptowalna, choć osobiście wolałbym ranking naukometryczny niż bibliometryczny. Nasz ranking oprócz ilościowych danych statystycznych, będących domeną bibliometrii, używa również parametrów jakościowych, za jakie uznaję indeksy Hirscha (zwykły oraz parametry pochodne). Chociaż zdaję sobie sprawę z kontrowersyjności takiej opinii, uważam, że nasz ranking mierzy jakość nauki uprawianej w polskich uczelniach postrzeganej przez międzynarodowe gremia naukowe.
Faktycznie, monografie książkowe na razie nie są uwzględniane w bazie Web of Science, chociaż ISI zapowiada wprowadzenie indeksowania tej formy komunikacji naukowej w niedalekiej przyszłości (prawdopodobnie już w przyszłym roku). Z tego powodu spora część dorobku naukowego nauk humanistycznych i społecznych jest przez nasz ranking pominięta (w tym sensie baza WoS jest rzeczywiście ułomna, ale każda baza danych bibliometrycznych jest ułomna w jakimś sensie). Obawiam się jednak, że nawet gdyby wszystkie książki powstałe w polskich uczelniach były właściwie indeksowane, nie wpłynęłoby to w istotnym stopniu na postać naszego rankingi opartego na indeksach Hirscha. Książki są bowiem na ogół dużo rzadziej i mniej intensywnie cytowane niż publikacje w czasopismach specjalistycznych. Łatwo to sprawdzić posługując się np. narzędziem Google Scholar, który podaje cytowania i wzmianki wszystkich dokumentów związanych z autorem występujących w internecie (co moim zdaniem jest poważną ułomnością tej rozproszonej „bazy danych”). W najbliższych latach będzie to również widoczne w WoS, który zamierza sukcesywnie wprowadzać do swoich baz monografie naukowe. Zatem nasz ranking można uznać za kompletny i stwierdzenie prof. Witkosia, że nie można go uznać za naukowy gdyż nie uwzględnia ważnego medium komunikacji nauk humanistycznych i społecznych (monografie naukowe), nie jest, moim zdaniem, uzasadnione. Czym innym byłoby zakwestionowanie metody indeksów Hirscha do oceny naukowości, ale to zupełnie inna sprawa.
Prof. Witkoś twierdzi, że wieloaspektowy ranking „Perspektyw”jest równie obiektywny w ocenie wydajności naukowej, co nasz ranking, który daje identyczne wyniki jak agregacja kilku cząstkowych rankingów „Perspektyw” dotyczących parametrów bibliometrycznych. Twierdzi On, że, nawet pobieżne porównanie wyników w tych kategoriach wykazuje uszeregowanie uczelni w niemal identycznym szyku. Otóż „pobieżne” i „niemal” robią „dużą różnicę”! Ścisłe porównanie wykazuje faktycznie spore podobieństwa (co nie powinno dziwić), ale również spore różnice, poczynając od samego lidera (UJ w rankingach „Perspektyw”, UW w naszym rankingu). Może to wynikać zarówno z różnic metodologicznych (Scopus versus World of Science) jak również z problemów dotyczących afiliacji uczelni zdiagnozowanych w naszym rankingu. Jednak największym problemem są właśnie podobieństwa naukowe, które zacierają się w ostatecznym uszeregowaniu uczelni w rankingu „Perspektyw”. Wysokie pozycje zajmują „prestiżowe” uczelnie o zaniedbywalnym dorobku naukowym i odwrotnie - niskie pozycje zajmują „prowincjonalne” uczelnie o przyzwoitym dorobku naukowym. Wynika to z tego, że ranking „Perspektyw” jest zdominowany przez pozanaukowe parametry, w tym subiektywne preferencje pracodawców i kadry akademickiej. Te ostatnie związane są głównie z firmami warszawskimi lub ich stołecznymi przedstawicielstwami oraz największymi polskimi uczelniami.
Ten ewidentny mankament rankingu „Perspektyw” został ostatnio wyraźnie zilustrowany przez Ranking szkół wyższych „Wprost” (Nr 12/ 24 marca 2013), który uszeregował 50 szkół wyższych, których absolwenci są najbardziej poszukiwani przez pracodawców polskich. Jak wynika z metodologii rankingu „Wprost”, sondaż przeprowadzono wśród 500 największych polskich firm. Pozwoliło to uniknąć nadreprezentacji szkół warszawskich i na liście „Wprost” znalazły się uczelnie posiadające niski wskaźnik preferencji pracodawców w rankingu „Perspektyw”. Podsumowując, nawet „Perspektywy” nazywają swój ranking edukacyjnym, z czym należy się chyba zgodzić. Nasz ranking jest czysto naukowy i stąd jego nazwa. Być może dla dobra sprawy w przyszłym roku warto go przemianować na „Ranking naukometryczny uczelni akademickich w Polsce”, chociaż jego główny mankament wskazywany przez prof. Witkosia będzie już najprawdopodobniej usunięty w bazie WoS.
Prof. Witkoś zauważa, że nawet przy podziale uczelni na typy (uniwersytety, techniczne, przyrodnicze ...), wciąż pewne uczelnie w obrębie jednego typu będą miały przewagę, posiadając więcej wydziałów społeczno-humanistycznych niż przyrodniczo-ścisłych. Jak już wspomniałem, obecność wydziałów społeczno-humanistycznych nie będzie miał istotnego znaczenia dla pozycji uczelni w naszym rankingu opartym na parametrach Hirscha pozyskiwanych z bazy WoS. Z tego samego powodu sporządzanie rankingów dla wydziałów byłoby niekorzystne dla sfery społeczno-humanistycznej. Ponadto stopień trudności wynikający z omawianego już problemu afiliacji jest znacznie większy dla wydziałów niż całych uczelni. Najzręczniej byłoby sporządzić ranking dla dyscyplin naukowych (filologia, historia, matematyka, fizyka itd.) jednak żadna ze znanych mi baz danych nie daje takich możliwości. Po prostu, autorzy podają w afiliacji nie swoje specjalności naukowe (które wynikają z tekstu publikacji), tylko swoje jednostki macierzyste (instytuty, wydziały, uczelnie). Ranking wydziałów też nie ma sensu z powodu ogromnej niejednorodności tychże (jednostki tak jednorodne jak Wydział Anglistyki UAM są już niezwykle rzadko spotykane). Okazało się jednak, że przy użyciu WoS możliwe jest wykonanie jednorodnego rankingu dziedzin nauki: humanistycznych, społecznych, matematycznych, fizycznych, technicznych, medycznych itd. Zapowiadam więc, że przy okazji przyszłorocznej edycji rankingu uczelni ogłosimy gdzie w Polsce uprawia się (i publikuje) najlepsze badania w różnych dziedzinach nauki.
Janusz Gil
Co z czym porównywać?
Z zainteresowaniem zapoznałam się z wynikami prac nad stworzeniem pierwszego rankingu badawczego polskich uczelni („Naukowy Ranking Uczelni Akademickich”, opublikowany w nr. 22(2909), 27.05–4.06.2013 tygodnika „Polityka”). Ranking rzeczywiście wypełnia lukę w informacji o jakości polskiej nauki.
Analizując pozycję Akademii Leona Koźmińskiego, można dojść jednak do wniosku, że dane dotyczące Akademii, zebrane na potrzeby raportu, nie uwzględniają wszystkich publikacji umieszczonych w bazie Web of Science. Z przeprowadzonych przez nas zestawień publikacji indeksowanych w bazie WoS wynika, że artykułów z afiliacją na Akademię (Kozminski, lkaem, wspiz) jest 50 (według Państwa raportu – 30), natomiast liczba cytowań wynosi 80, indeks – H - 4 (według Państwa raportu 16; indeks h – 3). Co prawda nie zmienia to pozycji ALK w rankingu, ale pokazuje stan faktyczny dorobku publikacyjnego naszych pracowników naukowych. Tytułem uzupełnienia w załączeniu przesyłamy listę publikacji.
Chciałabym też zwrócić uwagę na fakt, że liczba cytowań i wskaźnik Hirscha mogą w różnych dziedzinach nauki osiągać skrajnie różne wyniki. Przykładowo, roczna średnia liczba cytowań przypadająca na pracownika naukowego w zakresie nauk medycznych wynosi 315,3, natomiast w przypadku nauk społecznych – 6,2 (Życzkowski, 20131). W związku z powyższym analizowanie w tożsamy sposób nauk ekonomicznych, biologii molekularnej oraz fizyki jest z założenia niewłaściwe. Warto byłoby się zatem zastanowić nad celowością porównywania uniwersytetów, które w swojej ofercie mają kierunki związane z naukami o życiu oraz kierunki techniczne z jednostkami o profilu społecznym. Bardziej uprawnione byłoby stworzenie rankingu analogicznych wydziałów.
Z poważaniem,
Dr hab. Dorota Dobija, prof. ALK
Prorektor ds. Badań Naukowych
Akademia Leona Koźmińskiego
Odpowiedź Autora
Dziękujemy za przesłanie nam kompletnej listy afiliacji Państwa uczelni. Po uwzględnieniu wszystkich używanych w przeszłości nazw uzyskaliśmy z WoS następujące wartości: liczba publikacji 49, liczba cytowań 81oraz indeks Hirscha 4. Nowe dane występują już w zaktualizowanej wersji rankingu (rankingi.ia.uz.zgora.pl). Niestety, faktycznie nie zmieniły one ogólnej pozycji AKL w rankingu. W przyszłym roku uwzględnimy AKL w grupie uczelni ekonomicznych.
To prawda, że różne dziedziny nauki mogą osiągać skrajnie różne wyniki pod względem liczby cytowań oraz indeksów Hirscha. Byliśmy tego świadomi przed rozpoczęciem prac nad rankingiem. Jednakże nie zdecydowaliśmy się na wprowadzanie żadnych wag, które można by oszacować z dostępnych opracowań naukometrycznych. Nasz ranking zawiera wyłącznie parametry pierwotne pozyskane z bazy WoS lub parametry wtórne uzyskane z pierwotnych. Jednakże zdecydowaliśmy się na niezależne przygotowanie rankingu dziedzin naukowych, który zamierzamy opublikować wraz z przyszłoroczną edycją rankingu uczelni.
Janusz Gil