Nauka

Nauka fryzowana

Kto i po co „podkręca” wyniki badań naukowych

W psychologii społecznej także istnieją czarne owce, które fałszują lub fabrykują dane i podkręcają statystyki. W psychologii społecznej także istnieją czarne owce, które fałszują lub fabrykują dane i podkręcają statystyki. Andriy Popov / PantherMedia
Co robić, jeśli wyniki badań – na przykład w psychologii społecznej – nie są ciekawe albo statystycznie istotne? Można sfabrykować lepsze wyniki, a statystyki – podkręcić.
Mirosław Gryń/Polityka

Nie każdy wie, czym dokładnie zajmuje się psychologia społeczna, choć potencjalnie każdego dotyczą jej wyniki. Wiadomo na przykład, że sytuacja na polskich drogach jest zła. Notujemy na nich najwyższą w Europie śmiertelność. Od lat głowimy się, jak przekonać kierowców, by jeździli wolniej. Jako remedium proponowane są np. szokujące reklamy społeczne (w myśl intuicji: im bardziej wystraszę, tym bardziej posłuchają). Badania psychologów społecznych prowadzą jednak do zupełnie odmiennych wniosków. Wystraszony reklamą kierowca... raczej przyspieszy, uciekając przed lękiem.

Psychologia społeczna znajduje również zastosowanie w projektowaniu leków. Jak powinny wyglądać, by w opinii pacjentów lepiej leczyły (np. dla biorących leki przeciwbólowe ma znaczenie, czy są one duże/małe, przezroczyste/białe/czerwone). Badania psychologów społecznych ujawniły też mechanizm działania reklamy podprogowej, a także pokazały, jak wpływa na ludzi oglądana w filmach i reklamach przemoc. W końcu psychologia społeczna wyjaśniła kwestię rozproszenia odpowiedzialności. Okazało się, wbrew zdrowemu rozsądkowi, że im więcej osób uczestniczy w wypadku, tym bardziej maleje szansa na udzielenie pomocy. Wyniki te umożliwiły zrewolucjonizowanie metod ratowania poszkodowanych.

Mimo tych sukcesów ostatnie lata były niezwykle trudne dla psychologii społecznej. Wyszło na jaw, że i w tej dyscyplinie nauki działają czarne owce, które fałszują lub fabrykują dane i podkręcają statystyki. Krótko mówiąc – fryzują. Oto lista podstawowych grzechów.

Naginanie danych

Psychologowie (nie tylko społeczni) umówili się na termin „różnice istotne statystycznie”. Oznacza on, że zbadana prawidłowość nie jest przypadkowa, a jesteśmy jej pewni w co najmniej 95 proc. Np. badamy skuteczność jakiejś terapii. Porównujemy grupę, która została jej poddana, z drugą, której terapia nie objęła. Jeśli otrzymamy „różnice statystycznie istotne” (większa wyleczalność w grupie, w której zastosowano terapię), to ma znaczyć, że terapia działa, i możemy się mylić zaledwie w 5 proc.

W głośnym artykule, opublikowanym w „Psychological Science” w 2011 r., grupa badaczy pod kierunkiem Josepha Simmonsa poddała analizie metody manipulowania parametrem istotności. Po pierwsze, może mieć to miejsce na poziomie zbierania danych: odrzuca się wyniki, które obniżają ową pożądaną istotność. Po drugie, na poziomie analiz statystycznych: włącza się lub wyklucza niektóre zmienne, które wpływają na istotność. Albo też wstrzymuje się badania, gdy „mamy już istotne wyniki”. Wreszcie naginanie danych odnajdziemy w korzystnym dla autorów zaokrąglaniu: mam niekoniecznie ekscytujący wynik 0,056 – napiszę, że mam pożądane, wspomniane już 0,05! W każdym z tych przypadków osiągnięcie istotności cieszy autora i zwiększa szansę na sukces zawodowy.

Problem wyszedł na jaw ze szczególną jaskrawością podczas próby powtórzenia badań Leroya Wolinsa z 1962 r., przeprowadzonej 44 lata później przez Jeltego Wichtersa i Judith Kate. W „American Psychologist” z 2006 r. relacjonują, jak napisali listy do autorów 141 artykułów, które ukazały się w najlepszych i najważniejszych czasopismach, skupionych wokół Amerykańskiego Stowarzyszenia Psychologicznego (najpotężniejsza organizacja na świecie dla tej dziedziny nauki), z prośbą o udostępnienie tzw. danych surowych, czyli tego wszystkiego, na czym oparte zostały publikacje.

Autorzy, składając pracę do druku, deklarują zachowanie standardów etycznych Towarzystwa. A więc i tego, że udostępnią swoje dane, by inni mogli z nich korzystać. Ponad dwie trzecie autorów ich jednak nie udostępniło. Jedni zachowali wyniosłe milczenie, inni po prostu odmówili, jeszcze inni złożyli skwapliwą obietnicę – i jej nie dotrzymali.

Deborah Kashy wraz z zespołem wykazała z kolei, jak wiele danych jest ukrywanych. Czytelnik publikacji ma zbyt mało informacji np. o tym, kim dokładnie byli badani. Albo nie do końca rozumie, jak badanie przebiegało. To utrudnia replikowanie badań (czyli możliwość ich powtórzenia, by móc sprawdzić postępowanie badawcze autora).

Smarowanie i autosmarowanie

Uprawiając psychologię społeczną – nauczając i prowadząc analizy naukowe – opieramy się często na wynikach badań, które odnaleźć można na łamach światowej klasy czasopism. Pracujący tam redaktorzy i recenzenci dbają, by publikowane treści były jak najwyższej klasy. Co świadczy o tej klasie?

Jednym z kryteriów może być tzw. linia badań zwana też – za wybitnym psychologiem społecznym Bogdanem Wojciszke – SMARem, czyli Systematycznie Modyfikowaną Autoreplikacją. W największym skrócie termin ten oznacza, że „jeżeli kilka razy wyszło to samo, to tak właśnie jest”. Jak „tylko” raz – niekoniecznie.

Często jednak się zdarza, że nikt poza autorem koncepcji nie prowadzi owej linii badań. Nie SMARuje. Autor sam weryfikuje swoje wcześniejsze wyniki. W wystąpieniu na dorocznym kongresie Polskiego Stowarzyszenia Psychologii Społecznej prof. Sławomir Śpiewak nazwał to „tendencją do publikowania wyników pozytywnych”.

Po drugie, jako recenzenci naukowcy mogą zbyt pochopnie odrzucać składane do redakcji prace, gdzie neguje się wcześniejsze badania. Gdy np. autor uzyskał wyniki odmienne niż ojciec teorii. Recenzenta korci, aby powiedzieć, że „praca stoi w sprzeczności z wcześniejszymi badaniami”. Czyli nie jest warta publikacji. Niekoniecznie. Przykładem może być praca z 2013 r., która ukazała się na łamach czasopisma „PloS One”. Badacze (Christine Harris, Noriko Cobum, Doug Rohrer i Harold Pashler) wzięli pod lupę słynne, cytowane ówcześnie w ponad tysiącu artykułów eksperymenty Johna Bargha z Yale University. Dotyczyły one tzw. torowania. Najkrócej mówiąc, procedura ta koncentruje, ustawia umysł osoby badanej na konkretnych treściach, przez co są one bardziej obecne w świadomości.

Barghowskie torowanie polegać miało na tym, że np. pokazywał (a więc torował) osobom badanym słowa związane ze starością albo z sukcesem. Skutkiem była zmiana zachowania osób badanych, które zaczynały wolniej chodzić (co jest oznaką starości), lub wypadały lepiej, gdy torowano im sukces. Zespół powtarzający te badania nie uzyskał wyniku, który potwierdziłby teorię Bargha. Kolejny zespół pod kierownictwem Stephane’a Doyena – również. Osoby badane poddawane sugestii słów związanych ze starością chodziły tak samo szybko albo nawet szybciej.

Ojciec recenzent

Podczas niedawno zorganizowanego okrągłego stołu w Amsterdamie spotkali się redaktorzy czołowych czasopism z zakresu psychologii społecznej, a spotkanie sygnowane było znakiem jakości Europejskiego Stowarzyszenia Psychologii Społecznej (EASP). Podzielili się kłopotem: gdy do redakcji wpływa artykuł, w którym replikuje się znane badania, to jako idealny kandydat do recenzowania tekstu jawi się autor oryginalnych badań. A więc człowiek, którego pracy inni autorzy najczęściej wytykają nieścisłości lub ograniczenia.

Redaktorzy czasopism zauważyli, że recenzje „ojców” są niezwykle jednorodne – odrzucające. Recenzenci „nie-ojcowie” (godne zaufania czasopisma tekst wysyłają do kilku autorytetów) są dużo bardziej przychylni. Przykładem takiego podejścia była reakcja przywołanego Johna Bargha, który publicznie, bardzo krytycznie i nie zawsze merytorycznie, odpowiedział na publikacje przeczące jego pracom. Zgromadzeni przy amsterdamskim stole redaktorzy postulowali rezygnację z wysyłania replikacji do twórców koncepcji.

Wydaje się, że najistotniejszym źródłem wymienionych grzechów jest niesłychana presja, jakiej poddani są dziś naukowcy: publikować! W czasach agresywnej konkurencji naukowej coraz więcej uczonych robi coraz więcej badań i składa teksty do najlepszych czasopism. Nie jest łatwo sprostać tym wymaganiom. Na przykład wybitny psycholog społeczny Philip Zimbardo ze smutkiem zauważył podczas jednej z konferencji, że jest pewien, iż gdyby był młodym naukowcem w obecnych czasach, nie sprostałby tej konkurencji.

Poniekąd ta presja jest zrozumiała. Liczba publikacji na łamach czołowych czasopism to najlepszy sposób oceny ośrodków badawczych i pracujących w nich naukowców.

Autor dobrych publikacji może się starać o zatrudnienie w lepszych ośrodkach, w których dołączy do jeszcze lepszych zespołów badawczych (i na ogół przy okazji więcej zarobi). Dobre publikacje otworzą drzwi do lepszych grantów, bez których nie da się szybko i skutecznie prowadzić badań na światowym poziomie. Po pierwszych publikacjach rusza koło zamachowe kariery.

Gorące tematy

Co to znaczy dobra publikacja? Wielu badaczy nie bez powodu jest przekonanych, że najważniejsze, by temat był hot – gorący. Hot to coś całkowicie nowego – nikt tego nie zbadał albo zbadał, ale nie zauważył, że jeszcze taki i taki czynnik należy uwzględnić. Hot na ogół rokuje cytowania (co winduje jakość czasopisma), czyli powoływanie się kolejnych autorów na pracę. Nie ma hot, gdy ktoś zaprzecza dobrze ugruntowanym badaniom. Autor w obawie, że to, co chce zaproponować wydawcy, może być czymś nie dość hot, pracuje zawzięcie nad wynikami, by były hot (np. manipuluje kryterium istotności).

• • •

Wyniki badań naukowych docierają do szerokiej publiczności. Czy doniesieniom tym można ufać? Jak ma radzić sobie ktoś, kto nie jest badaczem? Trzeba być krytycznym. Do „przełomowych wyników”, publikowanych na stronie domowej i w nierecenzowanych książkach samozwańczego „naukowca”, podchodzić sceptycznie. Słuchać ekspertów, którzy opierają opinię na wynikach badań opublikowanych w najlepszych czasopismach, a nie na swoich przeczuciach.

Łamy najlepszych czasopism – jak wspomniane „Psychological Science” czy „PloS One” – są otwarte na każdy przełom. Pod warunkiem że dowód jest metodologicznie i statystycznie poprawny, oparty na dobrej podstawie teoretycznej. Krótko mówiąc, porządny, solidny. Ufajmy właśnie im, a nie doniesieniom samozwańczych instytutów badania rynku czy też periodyków, gdzie uczciwe recenzowanie jest fikcją, a fryzowanie wysoce pożądane.

Autor dr Wojciech Kulesza jest psychologiem społecznym, pracuje w Szkole Wyższej Psychologii Społecznej w Poznaniu.

Polityka 12.2015 (3001) z dnia 17.03.2015; Nauka; s. 80
Oryginalny tytuł tekstu: "Nauka fryzowana"
Więcej na ten temat
Reklama

Codzienny newsletter „Polityki”. Tylko ważne tematy

Na podany adres wysłaliśmy wiadomość potwierdzającą.
By dokończyć proces sprawdź swoją skrzynkę pocztową i kliknij zawarty w niej link.

Informacja o RODO

Polityka RODO

  • Informujemy, że administratorem danych osobowych jest Polityka Sp. z o.o. SKA z siedzibą w Warszawie 02-309, przy ul. Słupeckiej 6. Przetwarzamy Twoje dane w celu wysyłki newslettera (podstawa przetwarzania danych to konieczność przetwarzania danych w celu realizacji umowy).
  • Twoje dane będą przetwarzane do chwili ew. rezygnacji z otrzymywania newslettera, a po tym czasie mogą być przetwarzane przez okres przedawnienia ewentualnych roszczeń.
  • Podanie przez Ciebie danych jest dobrowolne, ale konieczne do tego, żeby zamówić nasz newsletter.
  • Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, a także prawo wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia swoich danych oraz wniesienia skargi do organu nadzorczego.

Czytaj także

Świat

Dyplomaci jak hostessy – tak działa polskie MSZ

PiS w zasadzie nie prowadzi polityki zagranicznej. Nie potrzebuje więc doświadczonych ambasadorów. Chyba że do roli hostess.

Grzegorz Rzeczkowski
09.10.2019
Reklama

Ta strona do poprawnego działania wymaga włączenia mechanizmu "ciasteczek" w przeglądarce.

Powrót na stronę główną