Największy naukowy skandal czasów Covid-19? Zalew byle jakich publikacji

„Lancet” i „NEJM” opublikowały obarczone błędami prace, z których jedna wstrzymała planowane przez WHO badania kliniczne. Artykuły wycofano. Jak to się stało, że trafiły na łamy tak prestiżowych czasopism?

Trwają poszukiwania skutecznych leków na Covid-19. Wysiłki, oprócz prób wynalezienia zupełnie nowych farmaceutyków, koncentrują się na wykorzystaniu tych już dostępnych. Do oceny ich skuteczności i bezpieczeństwa potrzeba badań obserwacyjnych, ale też randomizowanych, zaślepionych badań klinicznych. By były miarodajne, powinny obejmować jak największe grupy pacjentów. Takich szerokich danych dostarczyły niedawno trzy prace: pierwsza ukazała się na łamach pisma „Lancet”, druga w „New England Journal of Medicine” (NEJM), a trzecia w formie preprintu w repozytorium SSRN. Wszystkie stały się źródłem szeregu wątpliwości – zarówno co do jakości wyników, jak i wiarygodności surowych danych. Publikacje zostały poddane retrakcji, a preprint usunięto. Biorąc pod uwagę okoliczności, zdarzenie można uznać za naukowe trzęsienie ziemi.

„Lancet” publikuje wątpliwą pracę, WHO wstrzymuje Solidarity Trial

Praca w piśmie „Lancet” oceniała ryzyko stosowania w leczeniu Covid-19 chlorochininy i jej analogu hydroksychlorochininy podawanych jako pojedynczy lek lub w skojarzeniu z antybiotykiem makrolidowym, który według wcześniejszych sugestii miał wzmagać ich działanie. Grupa badana obejmowała niemal 15 tys. osób, kontrolna – aż 81 tys. Szczegółowe dane miały zostać przekazane w formie elektronicznej z 671 szpitali zlokalizowanych na sześciu kontynentach. Jak stwierdzono, ryzyko śmierci w szpitalu z powodu Covid-19, po uwzględnieniu szeregu różnych parametrów opisujących pacjentów, wynosiło ok. 9 proc. w grupie kontrolnej i aż 24 proc. w grupie pacjentów otrzymujących hydroksychlorochininę z antybiotykiem. Tego typu terapia miała zwiększać ryzyko arytmii i zatrzymania akcji serca. W efekcie WHO wstrzymało rekrutację pacjentów, którzy mieli otrzymywać chlorochininę i hydroksychlorochininę w ramach międzynarodowego badania klinicznego Solidarity Trial. Bierze w nim udział ok. 400 szpitali z 35 krajów. Podobnie postąpił koncern Sanofi, producent opartego na hydroksychlorochininie preparatu Plaquenil.

Opublikowana 22 maja praca wzbudziła niemal natychmiast mnóstwo wątpliwości. Zdaniem wielu badaczy analiza nie uwzględniała w pełni możliwości, że pacjenci otrzymujący lek byli na bardziej zaawansowanym stadium choroby niż ci z grupy kontrolnej. Co więcej, dawki, które według badania mieli otrzymywać pacjenci w USA, niejednokrotnie przekraczały poziom ustalony przez Agencję Żywności i Leków (FDA). Wątpliwości budziły również dane o 4402 chorych z Afryki, spośród których 561 umarło. Czy afrykańskie szpitale naprawdę gromadziły w formie elektronicznej szczegółowe dane kliniczne i demograficzne na temat tak dużej grupy pacjentów? Do tego autorzy donosili o liczbie zgonów w australijskich szpitalach, która przewyższała oficjalne dane. Kilka dni później „Lancet” opublikował notę korekcyjną, z której wynikało, że w pierwotnej wersji artykułu błędnie przypisano jeden z azjatyckich szpitali do grupy australazjatyckiej. Przekonywano jednak, że nie miało to żadnego wpływu na wnioski.

Surgisphere i dane, których nie znali nawet… autorzy

Od początku największą wątpliwość budziło samo pozyskanie licznych i szczegółowych danych klinicznych o pacjentach z tak wielu rozlokowanych w różnych częściach świata szpitali. Stała za tym niemal nikomu nieznana amerykańska firma analityczna Surgisphere, założona przez Sapana Desai, jednego z autorów publikacji. W jaki sposób udało się jej uzyskać ogrom informacji? Wymagałoby to ugruntowanej współpracy z wieloma ośrodkami medycznymi z wykorzystaniem siatki kontaktów.

O upublicznienie surowych danych umożliwiających niezależne przeprowadzenie analiz, a także opublikowanie recenzji pracy otrzymanych przez „Lancet” zaapelowało w otwartym liście ponad 200 klinicystów i badaczy. Surgisphere odmówiło jakiejkolwiek współpracy, twierdząc, że naruszyłoby to umowy poufności. To bardzo pokrętne wytłumaczenie. W teorii wystarczyłoby usunąć z arkuszy dane osobowe czy informacje o konkretnych szpitalach. Pracę ostatecznie poddano retrakcji 5 czerwca. W opublikowanej przez „Lancet” nocie współautorzy Mandeep Mehra, Frank Ruschitzka i Amit Patel przyznali, że i oni nie byli w stanie uzyskać dostępu do danych, choć podpisali się pod opracowaniem (sic!). Cóż za popis kompletnego braku transparentności i nierzetelności naukowej.

Błędy i wątpliwości w publikacji „NEJM”

Podobny los spotkał publikację tej samej grupy autorów, która ukazała się na łamach „NEJM”. W tym przypadku w oparciu o dane obserwacyjne pozyskane przez Surgisphere ze 169 amerykańskich, azjatyckich i europejskich szpitali wskazywano, iż przyjmowanie inhibitorów konwertazy angiotensyny u pacjentów kardiologicznych chorych na Covid-19 nie wiąże się z wyższym ryzykiem zgonu. Tego typu leki są powszechnie wykorzystywane choćby przez osoby cierpiące na niewydolność serca i nadciśnienie tętnicze. Według niektórych hipotez, nieznajdujących jednak potwierdzenia w wynikach badań, leki te mogłyby mieć niekorzystny wpływ na przebieg Covid-19. A przecież wiadomo, że osoby z obciążeniami sercowo-naczyniowymi i tak stanowią szczególną grupę ryzyka. Opublikowane w „NEJM” wyniki wspierały zatem pogląd środowisk medycznych, że leków tych nie należy odstawiać, bo może to negatywnie odbić się na zdrowiu, a nawet życiu pacjenta.

Ponownie pojawiły się wątpliwości dotyczące jakości danych. W otwartym liście badacze z całego świata wskazywali na liczne nieprawidłowości związane z liczbą przypadków Covid-19 z poszczególnych krajów. Dla przykładu: w analizie ujęto 364 pacjentów przyjętych przed 15 marca do trzech tureckich szpitali. Jak to możliwe, skoro drugi przypadek Covid-19 odnotowano w tym kraju dopiero 16 marca, a według danych tureckiego ministerstwa zdrowia do 18 marca zakażenie SARS-CoV-2 zidentyfikowano przy pomocy testu PCR u ledwie 191 osób? Uwagę zwracały też niespójności w opisywanym wzroście ryzyka śmierci z powodu Covid-19 wraz z wiekiem uczestników poddanych obserwacji. Naukowcy wzywali Surgisphere o udostępnienie danych, by poddać je reanalizie. Jak wiemy, nie doczekali się odpowiedzi. Pracę wycofano 4 czerwca.

Surgisphere po raz trzeci. Tym razem o iwermektynie

Ta sama grupa autorów na początku kwietnia opublikowała preprint w repozytorium SSRN. W pierwszej wersji dokonano oceny danych klinicznych ok. 2 tys. krytycznie chorych na Covid-19, hospitalizowanych do 1 marca w 169 szpitalach w Azji, Europie, Afryce, Ameryce Północnej i Południowej. W grupie było 52 pacjentów leczonych iwermektyną, lekiem przeciwpasożytniczym. Trzech miało pochodzić z afrykańskich szpitali. Problem w tym, że do 1 marca w Afryce potwierdzono… dwa przypadki SARS-CoV-2. To nie wszystko: według niektórych badaczy zaprezentowany w preprincie wykres przeżywalności budził poważne wątpliwości metodologiczne, których nie udało się autorom rozwiać w prowadzonej z nimi prywatnej korespondencji mailowej.

W połowie kwietnia autorzy usunęli preprint i zamieścili nową wersję. Ujęto w niej wyniki ponad 1,4 tys. pacjentów hospitalizowanych w 169 szpitalach na trzech kontynentach. Połowa z nich miała być leczona wspomnianą iwermektyną. Po uwzględnieniu różnych parametrów opisujących pacjentów stwierdzono, że stosowanie leku powodowało dramatyczny, 65-procentowy spadek potrzeby stosowania wentylacji mechanicznej i ponad 80-procentowy spadek umieralności. To te obserwacje przyczyniły się do gwałtownego wzrostu zainteresowania lekiem i dopuszczenia go w terapii Covid-19 w kilku krajach Ameryki Łacińskiej.

Problem w tym, że wyniki znów budziły wątpliwości. Po pierwsze, odsetek pacjentów wymagających respiratora w grupie nieleczonej iwermektyną wydawał się bardzo wysoki – 21 proc. Dla porównania: w Hiszpanii według oficjalnych danych wymagało tego do 20 maja zaledwie 9 proc. chorych. Po drugie, dane o śmiertelności w poszczególnych grupach chorych nie zgadzały się z wynikami podanymi w tekście. Tę wersję preprintu autorzy również zdążyli usunąć.

Gdy redaktorzy i recenzenci tracą czujność, nauka traci sens

W całej historii nie chodzi o to, czy poczynione obserwacje dotyczące chlorochininy, inhibitorów konwertazy angiotensyny i iwermektyny są zasadniczo zgodne z innymi obserwacjami, czy nie. Sprawa dotyka bowiem podstawowych zasad, które powinny rządzić nauką: transparentności i rygorystycznej oceny wyników przed publikacją. Obu elementów tutaj zabrakło.

Czy powyższe sytuacje mogłyby się nie zdarzyć? „Lancet” i „NEJM” to niewątpliwie jedne z najbardziej prestiżowych czasopism medycznych na świecie. Wydawałoby się, że proces recenzji powinien być bez wyjątków rygorystyczny i skrupulatny. Redaktorów i recenzentów nie zaniepokoiło, że szczegółowe dane z ośrodków na świecie zdobyła malutka firma analityczna. Zastanawiające powinno być i to, że tak znaczące prace zgłosili autorzy bez historii współpracy. Jerome Kassirer, były redaktor „NEJM”, stwierdził, że to „kompletnie dziwaczne” i powinno już na wstępie budzić podejrzenia. Zastrzeżenia do opublikowanego przez tę samą grupę autorów preprintu też powinny być sygnałem alarmowym.

Wreszcie – wykrycie rozbieżności między oficjalną liczbą przypadków Covid-19 a wziętą pod uwagę w pracach było przecież dziecinnie proste. Jak mogło umknąć? Ile trwał proces recenzji w „Lancet” i „NEJM” i ile osób było w niego zaangażowanych, na razie nie wiadomo. Na obecnym etapie pandemii liczyć powinna się już wyłącznie jakość, skrupulatność i rygorystyczne wymagania. Lepiej, by proces recenzji trwał dłużej, ale był wnikliwy.

Szaleństwo szybkich publikacji

Gdy władze Chin pod koniec grudnia 2019 r. poinformowały o grupie przypadków zapalenia płuc o nieznanej etiologii, pewne poluzowanie w zakresie praktyk redakcyjnych było uzasadnione – należało jak najszybciej upowszechnić kluczowe informacje dotyczące charakterystyki klinicznej Covid-19, mechanizmów patogenezy i dróg szerzenia się SARS-CoV-2. To dzięki temu można było zainicjować prace nad szczepionką, rozpocząć badania kliniczne leków, ustalić metody walki w poszczególnych populacjach. Świat nauki działał w sposób bezprecedensowy, w ekspresowym tempie. Wiele manuskryptów poddawano znacznie przyspieszonemu procesowi recenzji. Do końca marca czasopisma naukowe opublikowały ponad 2 tys. prac poświęconych Covid-19, a do końca kwietnia ich liczba zwiększyła się o ponad 6 tys.! Niezwykle popularne stało się publikowanie prac w formie preprintów, co umożliwiało niemal natychmiastowe upowszechnianie wyników.

Prędzej czy później musiało to doprowadzić do publikacyjnego nadmiaru. Badacze zaczęli zalewać rozmaite czasopisma biomedyczne, w tym te z najwyższej półki, tysiącami prac, oryginalnych, przeglądowych, w formie komentarzy, opinii czy listów. Nic dziwnego, że doprowadziło to do swoistego przeciążenia systemu – redaktorzy i recenzenci mieli pełne ręce roboty, pracowali pod presją czasu. Z punktu widzenia interesu czasopisma opublikowanie nośnej pracy jest dość intratne: wpływa na jego promocję i poprawia wskaźniki cytowalności. A obecnie niemal każda praca dotycząca Covid-19 może się wydawać obiecująca, nośna.

W służbie nauki

O tym, z jakim publikacyjnym armagedonem zmaga się świat nauki, przekonałem się na wiele sposobów, chociażby służąc zagranicznym czasopismom jako recenzent manuskryptów dotyczących Covid-19. Od kwietnia przeprowadziłem ponad 50 takich recenzji. Ta liczba – również kolegom i koleżankom ze środowiska akademickiego – wydaje się nierealna. Dla porównania: w 2018 i 2019 r. wykonałem odpowiednio 43 i 57 recenzji manuskryptów. A ostatnio miałem wrażenie, że pracuję na trzy zmiany. Wyprzedzając złośliwe uwagi – recenzenci pracują pro publico bono. Na czym to polega? Wnikliwie czytamy i analizujemy manuskrypty, rekomendujemy poprawki, przedstawiamy krytyczne uwagi. To działania na rzecz poprawy jakości wyników, selekcyjne sito procesu publikacyjnego. W przypadku większości przedłożonych mi do oceny prac zmuszony byłem dość obszernie i najczęściej w zgodzie z pozostałymi recenzentami rekomendować ich odrzucenie. Na ogół taka również, na szczęście, była ostateczna decyzja redaktora. Brzmi surowo, ale nie chodzi o to, żeby poklepywać się po plecach.

Szczególnie trudno być przychylnym wobec prac napisanych w sposób zdradzający brak kwalifikacji, używających języka nienaukowego czy siejącego nieuzasadnioną panikę, stanowiących luźne, niepodparte dowodami przemyślenia, proponujących rozwiązania terapeutyczne, które stoją w opozycji do stanu wiedzy, a niekiedy wręcz są potencjalnie szkodliwe. Sprawiających wrażenie napisanych bezkrytycznie pod czyjeś polityczne lub instytucjonalne, propagandowe dyktando. Czasem odnosiłem wrażenie, że autorzy po prostu próbują wykorzystać sytuację pandemii, by opublikować cokolwiek na temat Covid-19 i poprawić swoje wskaźniki bibliometryczne.

A to zaledwie próbka problemu, z którym muszą mierzyć się redakcje czasopism, wprost zalewane manuskryptami dotyczącymi problematyki Covid-19. Nie mam też złudzeń: niektórzy autorzy odrzuconych z hukiem prac szukają nowego medium do skutku, licząc na łut szczęścia. Że gdzieś w pośpiechu ktoś coś przeoczy – i w końcu się uda. Najbardziej bezczelni autorzy, z których działalnością miałem wątpliwą przyjemność się spotkać, wysyłali do tego samego czasopisma tę samą, kwestionującą podstawy epidemiologii pracę, zmieniając za każdym razem tytuł i abstrakt. Liczyli zapewne, że przy nawale pracy redaktorzy i recenzenci po prostu się nie zorientują.

Pandemia to czas, by śrubować wymogi, a nie je luzować

Nie ukrywam, że wszystko to mną wstrząsnęło. Nie byłem w tym odosobniony, podobne obserwacje poczyniły koleżanki i koledzy zrzeszeni w sieci naukowej Universal Scientific Education and Research Network (USERN). Uznaliśmy, że sytuacja, w której czasopisma naukowe otrzymują tysiące prac dotyczących jednego tematu, a jednocześnie konkurują pod względem tego, które z nich pierwsze doniesie o przełomowym odkryciu, może – prędzej czy później – skończyć się katastrofą. Nie ma bowiem nic gorszego niż nowatorska, ale nietrzymająca standardów publikacja naukowa w samym sercu pandemii, bacznie śledzonej przez wypatrujące sensacji media i w zasięgu sił politycznych, które już udowodniły, że nie wahają się wykorzystać sytuacji do doraźnych celów. Nagłe przeciążenia redakcyjne prowadzą też do innych problemów; trudno pominąć choćby odraczanie recenzji prac naukowych poświęconych pozostałym, bardzo ważnym, ale dalekim od Covid-19 tematom.

Kilka tygodni temu napisaliśmy apel do środowiska naukowego o wstrzemięźliwość, powstrzymanie się przed zasypywaniem redakcji pracami, które nic nie wnoszą do dyskursu, oraz natychmiastowe przywrócenie rygorystycznych standardów redakcyjnych i recenzenckich. List, podpisany przez 18 autorów z pięciu kontynentów, nie został przyjęty ani przez „Lancet”, ani przez „NEJM”, mimo że ich redaktorzy co do zasady zgodzili się z postulatami. Nic dziwnego – to właśnie na w tych czasopismach ziścił się koszmarny scenariusz, przed którym przestrzegaliśmy: afera Surgisphere. Z postulatami – zebranymi pod tytułem „Quantity does not equal quality: Scientific principles cannot be sacrificed” – można więc zapoznać się na łamach „International Immunopharmacology”.

Nauka odgrywa fundamentalną rolę w tworzeniu strategii radzenia sobie z kryzysem – spoczywa więc na niej ogromna odpowiedzialność. To nie czas, by uprawiać ją w sposób pospieszny, publikować „cokolwiek”, dzielić się luźnymi sugestiami co do metod, konkurować o indeksy cytowalności czy ścigać się o to, kto opublikuje jako pierwszy najbardziej przełomowe badania. Ilość nie równa się jakość, a pośpiech jest zazwyczaj złym doradcą – te zasady znane z innych dziedzin życia w nauce są absolutnie niezbędne. Nie mam wątpliwości, że to nauka rozwiąże problem Covid-19. Ci, którzy na tym polu działają, potrzebują przywrócenia rygorystycznych zasad sprzed pandemii – zarówno dotyczących jakości prezentowania wyników, jak i procedur redakcyjnych i procesu recenzji. Najlepszy przykład powinni dawać ci, którzy chcą dalej dzierżyć tytuł najlepszych i najbardziej prestiżowych czasopism medycznych. Mam nadzieję, że „Lancet” i „NEJM” wyciągną właściwe wnioski z ostatnich doświadczeń.