Klęska urodzaju. Czy nauka sama zastawiła na siebie pułapkę?

Na świecie pracuje już prawie 9 mln naukowców, a wiedzy przybywa w zawrotnym, niespotykanym wcześniej tempie. Problem w tym, że ilość rzadko przechodzi w jakość, co grozi poważnym kryzysem.

Nowe odkrycia naukowe opisuje się w recenzowanych artykułach w specjalistycznych czasopismach. Obecne tempo badań oznacza, że co dziewięć lat liczba takich publikacji się podwaja. Gdyby tak szybko przybywało ludności Warszawy, to za sto lat mieszkałyby w stolicy 4 mld osób. Czy takie tempo badań jest korzystne? Optymista mógłby stwierdzić, że postęp nigdy nie był tak szybki. W końcu im więcej artykułów opisujących wyniki nowych obserwacji i eksperymentów, tym więcej akumuluje się wiedzy. Każdy z publikujących naukowców dokłada swoją cegiełkę do rosnącego gmachu wiedzy. A od czasu do czasu jedno z nowych badań przynosi przełom w danej dziedzinie i zburzenie dawnych, błędnych poglądów.

Efekt św. Mateusza

Obecny sposób oceniania pracy naukowców zdaje się odzwierciedlać taki optymistyczny pogląd i wzmaga pęd ku publikowaniu. Produktywność mierzona liczbą publikacji stała się podstawą oceny poszczególnych badaczy. W USA nastąpiło to w połowie lat 80., a w Polsce jakąś dekadę później. Teraz w podobny sposób ocenia się dorobek naukowy wydziałów, uniwersytetów i całych państw. Im więcej, tym lepiej – zwłaszcza w erze wszechobecnych rankingów. Czasem bierze się też pod uwagę jakość publikacji. Jej wskaźnikiem ma być to, jak często inni naukowcy powołują się na dany artykuł (tzn. liczba cytowań) albo prestiż czasopisma, w którym został opublikowany. Zresztą ostatnio prestiż czasopism również mierzy się cytowaniami, a do tego tworzy się różne miary mające łączyć ilość i jakość. Zasadniczo w tej grze trzeba publikować jak najwięcej i starać się umieszczać artykuły w jak najlepszych czasopismach.

Jednak w praktyce zalew nowych informacji generuje nowe problemy. Tempo publikowania sprawia, że coraz trudniej być na bieżąco w swojej dziedzinie wiedzy, co wymusza coraz węższą specjalizację. Na końcu tej drogi, jak już dawno zostało przepowiedziane, będziemy wiedzieć prawie wszystko o prawie niczym. W dodatku w powodzi wiedzy trudno oddzielić ziarna od plew, czyli wartościowe badania od mylących, przypadkowych lub błędnych wyników. Okazuje się, że wiele (a niektórzy twierdzą, że większość) nowych artykułów zawiera rezultaty, których inni naukowcy nie są w stanie powtórzyć. Problem ten doczekał się oficjalnego miana „kryzysu replikacji”. Wreszcie nowe odkrycia wymagają coraz większego nakładu pracy i pieniędzy.

Ale czy mimo wszystko ta fala nowych pomysłów nie przyspiesza rozwoju nauki? Nie jest to jasne. Są przesłanki, że może go wręcz hamować. Żeby to sprawdzić, naukowcy Johan Chu i James Evans przeanalizowali ponad 90 mln artykułów z różnych dziedzin, od fizyki po biologię molekularną, opublikowanych przez ostatnie 50 lat. Wyniki sugerują, że zalew publikacji dławi naukę i utrudnia nowe odkrycia. Gdy dana dziedzina gwałtownie się rozrasta i pojawia się coraz więcej artykułów, naukowcy mają coraz mniejsze szanse, by się z nimi zapoznać i krytycznie je ocenić. Kiedy czasu starcza tylko na przejrzenie tytułów i streszczeń, zaczyna działać tzw. efekt św. Mateusza („Albowiem wszelkiemu mającemu będzie dano, i obfitować będzie, a temu, który nie ma, i to, co się zda mieć, będzie wzięto od niego”). Klasyczne publikacje, badania słynnych uczonych albo badania „znane z tego, że są znane” zgarniają coraz więcej cytowań. Natomiast nowe, które kwestionują status quo i mogłyby doprowadzić do przewrotu, mają coraz mniejsze szanse na zauważenie. W efekcie, twierdzą Chu i Evans, wiedza kostnieje.

Dobór naturalny kiepskiej nauki

Co więcej, gdy liczba opublikowanych badań jest tak ważna dla kariery, do głosu dochodzi kolejne zjawisko: nieunikniony kompromis pomiędzy szybkością i dokładnością. W obliczu presji na liczbę publikacji spada solidność badań i pojawia się więcej niezamierzonych błędów. Co jeszcze ważniejsze, w takiej sytuacji nie opłaca się zbierać zbyt wielu danych, bo to zajmuje za dużo czasu. Oczywiście wyniki wielu tego rodzaju badań okażą się wypaczone i mylące (patrz: „kryzys replikacji”). Ale przy obecnym podejściu do oceniania naukowców ten model wciąż może stanowić zwycięską strategię.

Sugeruje to symulacja komputerowa stworzona przez dwóch naukowców: Paula E. Smaldino i Richarda McElreatha, o której kilka lat temu było głośno. O prestiż i pracę konkurowały w niej wirtualne zespoły naukowców o różnej strategii. Niektóre zbierały więcej danych i publikowały rzadziej, ale z pewniejszymi wynikami. Inne stawiały na szybkość, publikując rezultaty oparte na minimalnej liczbie danych i często błędne. Jeżeli do tego środowiska dodano sposób nagradzania, który symuluje obecny system zachęt, to wygrywały zespoły produkujące więcej publikacji i ten model pracy się rozprzestrzeniał – nawet jeśli większość ich badań przynosiła błędne konkluzje. Jak to określili Smaldino i McElreath – działał „dobór naturalny kiepskiej nauki”.

Ponadto w natłoku publikacji trzeba się jakoś wyróżnić. Dawniej język artykułów naukowych był stonowany i zwykle dość ostrożny. Z czasem autorzy pokochali superlatywy i coraz częściej piszą, że ich prace są „przełomowe”, „innowacyjne”, „fundamentalne” i „bezprecedensowe”. Kilka lat temu naukowcy z holenderskiego Utrechtu policzyli, że jeśli ten trend będzie trwał, to za sto lat już każde bez wyjątku badanie zostanie opisane jako „nowatorskie”. Można się pocieszać, że hojne wykorzystanie przymiotników sprawia, że lektura publikacji staje się nieco bardziej ekscytująca. Z drugiej strony coraz mniej z rosnącej liczby „rewolucyjnych” odkryć faktycznie zasługuje na to miano. Jeszcze innym skutkiem bywa gruba przesada w popularnonaukowych doniesieniach. „Podręczniki trzeba pisać na nowo!” – co chwila donoszą tytuły prasowe. Tymczasem nikt tak często nie pisze podręczników.

Być może nie jest przypadkiem, że szczególnie lubiana przez prasę popularną psychologia społeczna zmaga się z ciężkim kryzysem replikacji wyników eksperymentów. Wiele głośnych teorii z hukiem się zawaliło, a inne chwieją się w posadach. Stało się tak choćby z wieloma przypadkami „zagrożenia stereotypem” (np. kobiety miały słabiej radzić sobie z matematyką, jeśli przed rozwiązywaniem zadań zostały poinformowane, że płeć wpływa na zdolności matematyczne) oraz różnego rodzaju efektami „torowania” (np. myślenie o starości miało sprawiać, że chodzisz wolniej – jak staruszek). Mimo to wciąż są one bezkrytycznie powielane w kolejnych popularnonaukowych artykułach. Na marginesie można dodać, że sami naukowcy nie są bez winy. Ostatnie analizy wskazują, że badania, których nie udaje się powtórzyć, są cytowane częściej niż takie, których wyniki zostały potwierdzone przez kolejnych naukowców. Dlaczego? Bo takie badania często są bardziej zaskakujące i nagłośnione. Co prowadzi nas do kolejnego problemu – tym razem ze wskaźnikami jakości.

Zagoniona w kozi róg

W idealnym świecie najbardziej prestiżowe czasopisma naukowe publikowałyby rzetelne wyniki badań na ważne tematy. Jednak świat nie jest idealny i efekt zaskoczenia odgrywa ważniejszą rolę w przyjmowaniu artykułów do druku niż rzetelność. Jednak najprostszym wyjaśnieniem nieprawdopodobnych wyników jest błąd. Z tego powodu najbardziej zaskakujące prace powinny być też najbardziej skrupulatnie sprawdzane pod względem rzetelności.

Obecnie wcale nie jest to regułą. Dlatego publikacje w „Nature” i „Science”, najbardziej prestiżowych pismach naukowych, wyróżniają się oryginalnością i efektem zaskoczenia, ale niekoniecznie wyjątkowo rzetelnymi metodami lub liczbą zebranych danych. W konsekwencji badania, które się tam ukazały, mają takie samo ryzyko braku replikacji jak te dużo słabiej rozpropagowane z mniej prestiżowych czasopism, a w dodatku wyższe ryzyko wycofania z powodu fałszerstw (bo i to się naukowcom zdarza).

Zalew publikacji i wyolbrzymianie odkryć (które w dużym stopniu jest konsekwencją tego zalewu) powodują, że trudno się połapać, co jest prawdą w nauce, a co nie. Na szczęście ludzie słusznie obojętnieją na doniesienia o kolejnych odkryciach, które mają wywrócić świat do góry nogami. Choć efektem ubocznym może być utrata zaufania do naukowców – jak w bajce o chłopcu, który wciąż krzyczał „wilk”. A nauka wciąż działa, czego dobitnym dowodem było błyskawiczne tempo pracy nad szczepionkami przeciw covid-19. Ale może dałoby się to robić mądrzej, taniej i bez wpadania w ślepe uliczki?

Być może nauka zagoniła się w kozi róg, bo nie ma prostej recepty na poprawę sytuacji. Apele o niepublikowanie tylu badań nie przyniosą skutku. W końcu każdy naukowiec, który narzuci sobie takie ograniczenia, zmniejszy własne szanse awansu oraz utrudni sytuację swoich doktorantów – a to właśnie młodzi naukowcy najbardziej potrzebują wyróżnić się na tle rówieśników. Nie bez znaczenia są też pieniądze, które w wielu krajach stanowią nagrodę za publikacje – przyznaję to jako naukowiec kilkakrotnie nagradzany za „produktywność”. Pomysłów narzucenia odgórnych, np. rocznych limitów w liczbie publikacji również nikt nie bierze poważnie pod uwagę.

Na pomoc sztuczna inteligencja

Co więc zrobić? Kilka możliwych sposobów na poprawę sytuacji zarysowuje szkocki psycholog i popularyzator nauki Stuart Richie w opublikowanej w 2021 r. książce „Science Fictions”. Otóż moglibyśmy oceniać naukowców na podstawie tylko kilku najważniejszych, dobrze udokumentowanych i potwierdzonych w kolejnych badaniach odkryć. Albo wręcz skupić się na metodach („Czy badania tej osoby są rygorystyczne i dostarczają solidnych danych na ważne tematy?”), a nie wynikach („Czy badania tej osoby generują wiele ciekawych, zaskakujących wyników?”). Opierać ocenę rangi czasopism nie tylko na cytowaniach publikowanych tam artykułów, ale też na szansach replikacji zamieszczanych w nich wyników. Wszystko to miałoby skłonić naukowców do publikowania mniejszej liczby artykułów, ale rzetelniejszych i opartych na większej liczbie danych. Na razie jednak wcale nie zbliżamy się do tego typu rozwiązań. A dopóki jesteśmy redukowani do numerów i wskaźników, to zmniejszenie produkcji artykułów staje się działaniem na własną szkodę.

W polskiej nauce nadmiar publikacji wciąż uważany jest za problem dość egzotyczny. Nasi badacze dopiero od niedawna w miarę często publikują w najlepszych czasopismach. Nawet 20 lat temu było to sporadyczne, gdyż naukę tworzono wtedy głównie na użytek wewnętrzny. Polscy naukowcy czytali polskie badania publikowane w redagowanych przez Polaków czasopismach i tylko nieliczne osoby uczestniczyły w światowej nauce. Teraz mamy sporo osób, zwłaszcza młodego pokolenia, po stażach i wyjazdach zagranicznych, publikujących w najlepszych periodykach, zwykle jako część międzynarodowych zespołów. Wciąż stanowią one mniejszość, ale mniejszość bardzo energiczną i produktywną.

Ci badacze szybko przystosowali się do punktowych rankingów, dobrze w nich wypadają i boją się, że wprowadzenie bardziej subiektywnych albo po prostu innych miar zatrze różnice między dobrymi a kiepskimi naukowcami. Te obawy nie są bezpodstawne. Przez lata zmorą polskiej nauki była koteryjność i nepotyzm. Ocena oparta na punktach odegrała ważną rolę w walce z tymi patologiami. W konsekwencji wielu badaczy jest głęboko nieufnych wobec ocen innych niż oparte na prostych wskaźnikach. Mimo to proste punktowe oceny zachęcają do prób ogrania systemu, np. masową produkcją przyczynkarskich artykułów. A najnowszym osiągnięciem ministra edukacji i nauki jest próba połączenia wad subiektywnych ocen (tj. uznaniowości) oraz liczbowych wskaźników (tj. uprawiania nauki pod punkty), czyli ręczna manipulacja punktacją czasopism.

Nieprzemyślana ocena punktowa ma szczególnie negatywny wpływ na doktoraty. Na studiach doktoranckich niektórych wydziałów wprowadzono kombinację niskich stypendiów oraz wysokich dodatków dla tych, którzy uzbierają najwięcej punktów za „aktywność naukową”. Najwyżej nagradzane są publikacje. W efekcie zamiast wykorzystać cztery czy pięć lat doktoratu do przeprowadzenia jak najlepszych badań, doktoranci skupiają się na tym, żeby co roku opublikować cokolwiek. W ten sposób wpajamy młodym badaczom, że istotna jest liczba publikacji, a nie to, czy w ogóle udało się coś odkryć.

A wracając do szerszej perspektywy, obecne tempo wzrostu globalnej liczby badań i publikacji jest na dłuższą metę nie do utrzymania. Trudno przewidzieć, co stanie się później. Być może odejdziemy od kultu produkcji dla samej produkcji i wzrost spowolni. A może badaczy na coraz większą skalę będzie wspomagać sztuczna inteligencja, przekopująca się przez tysiące tekstów w poszukiwaniu wartościowych informacji i przygotowująca syntetyczne opracowania literatury. Pozwoliłoby to nieco dłużej utrzymać model, w którym naukowców rozlicza się z tempa generowania nowych wyników. Według tych scenariuszy zmiany w pracy naukowców byłyby stopniowe i raczej łagodne. Ale nie można też wykluczyć sytuacji, w której obecny system zawali się z hukiem pod ciężarem publikacji i zostanie zastąpiony przez zupełnie inny model nauki. Taki, który teraz trudno nam sobie nawet wyobrazić.

***

Autor jest doktorem habilitowanym, pracuje na stanowisku profesora na Wydziale Biologii Uniwersytetu im. A. Mickiewicza w Poznaniu. Inspiracją do napisania tego tekstu była książka Stuarta Ritchiego „Science Fictions: How Fraud, Bias, Negligence, and Hype Undermine the Search for Truth” i kilkanaście artykułów, których lista jest dostępna u autora.