Skąd się biorą błędy w badaniach opinii publicznej

Średni błąd ostatnich sondaży przed brytyjskim referendum unijnym (4,3 proc.), wykonanych przez siedem najpoważniejszych ośrodków, okazał się co prawda mniejszy niż w ubiegłorocznych badaniach przed wyborami do brytyjskiego parlamentu (6,6 proc.), ale powodów do niepokoju o jakość badań sondażowych i tak przybyło. Nie warto się pocieszać tym, że stało się to akurat w Anglii, bo doświadczenia polskich sondaży wyborczych, zwłaszcza przed I turą wyborów prezydenckich 2015 r., wpisują się w ten ciąg porażek. Nawet w Stanach Zjednoczonych, ojczyźnie George’a Gallupa, który stworzył i upowszechnił metodę reprezentacyjnych badań opinii społecznej, błędy w przewidywaniu wyniku ostatnich wyborów prezydenckich 2012 r. istotnie nadwerężyły zaufanie do sondaży. Według prognozy Gallupa wybory miał wygrać Mitt Romney (49 proc.), wyprzedzając o 1 pkt proc. Baracka Obamę. Tymczasem zwycięzcą okazał się Obama z wynikiem o 3,85 pkt proc. lepszym od rywala. Raporty sporządzone przez specjalnie powołane ciała eksperckie do zbadania przyczyn błędów sondażowych w USA (w 2012 r.) i w Wielkiej Brytanii (w 2015 r.) pokazują skalę wyzwań, przed jakimi stają badacze. Niepowodzenia sondaży w niewielkim stopniu dotknęły statystycznych podstaw badań reprezentacyjnych, a więc samej idei wnioskowania o dużych zbiorowościach na podstawie prób losowych. Tam bowiem, gdzie jasno jest określona populacja, np. ogółu wyborców, którzy wzięli udział w głosowaniu, a ponadto badanie dotyczy nie przyszłych intencji (oddania głosu na daną partię lub kandydata), lecz dokonanej przed chwilą czynności (zakreślenia na karcie do głosowania nazwiska preferowanego kandydata) – jak się to dzieje w exit poll – tam wnioskowanie obciążone jest wciąż niewielkimi błędami. Przypomnijmy, że w obu turach wyborów prezydenckich, a także w wyborach parlamentarnych w Polsce w 2015 r., wyniki badań exit poll różniły się od prawdziwego wyniku wyborczego o mniej niż 1,6 pkt proc. W wyborach 2010 r. błąd ten był jeszcze mniejszy i nie przekroczył 1 pkt proc. Podobnie jest w innych krajach. Źródła błędów badań sondażowych, które dały o sobie znać w ostatnich kilku latach, tkwią bowiem gdzie indziej, nie w metodyce badawczej, lecz w zmieniających się i coraz bardziej złożonych warunkach jej stosowania. Różni respondenci Wszystko zaczyna się od dobrego operatu losowania, czyli wykazu osób uprawnionych do udziału w wyborach. Kiedyś osoby te identyfikowano poprzez losowanie adresów domowych lub numerów telefonów stacjonarnych. Obecnie, wraz z upowszechnieniem telefonii mobilnej, coraz większa liczba ośrodków badawczych konstruuje swoje próby badawcze w taki sposób, aby połowę stanowili właściciele telefonów stacjonarnych, a drugą połowę ci, których zidentyfikowano w drodze losowania numerów telefonów komórkowych. Jednak każdy, kto posiada więcej niż jeden telefon komórkowy albo nie posiada go wcale, zwiększa lub zmniejsza swoje szanse na znalezienie się w próbie badawczej, co oczywiście skutkuje zniekształceniem reprezentatywności całej próby. Dodatkowo, co wykazał raport z amerykańskich wyborów 2012 r., struktura demograficzna obu tych zbiorowości respondentów bywa różna. Wylosowani posiadacze telefonów komórkowych okazali się młodsi, raczej sympatyzujący z Partią Demokratyczną, i w większym stopniu skłonni poprzeć Baracka Obamę niż osoby włączone do próby z racji wylosowania ich numeru telefonu stacjonarnego. Dobrego rozwiązania, przywracającego walor reprezentatywności próbom telefonicznym, wciąż brakuje. Z kolei losowanie adresów domowych w powiązaniu z wywiadem bezpośrednim „w cztery oczy” budzi więcej zastrzeżeń wśród respondentów. Wskazuje się przede wszystkim na utratę poczucia anonimowości przez badanego, a w konsekwencji na silniejsze niż przy innych technikach pomiaru dążenie do prezentacji opinii „poprawnej politycznie”. Zastrzeżenie to jest m.in. podnoszone w odniesieniu do wyników sondaży CBOS, stosującego taką technikę. O ile w Polsce nierozstrzygnięty pozostaje spór o to, czy bardziej wiarygodne są badania telefoniczne czy wywiad bezpośredni, o tyle w Anglii podobna dyskusja dotyczy ankietowania telefonicznego i komputerowego (online). Z dużym trudem badacze znajdują przyczyny, dla których wyniki badań telefonicznych różnią się od tych online. W portalu internetowym BBC opisano kilkunastoprocentową przewagę zwolenników pozostania Wielkiej Brytanii w Unii, jeżeli badanie wykonane było telefonicznie, oraz przewagę 5–6 pkt proc. zwolenników wystąpienia z UE, jeżeli odpowiedzi uzyskano online. British Polling Council, organizacja zrzeszająca firmy badawcze, wspomina w swoim oficjalnym komentarzu po referendum o dwóch sondażach BMG Research, w których za pozostaniem i przeciw pozostaniu Wielkiej Brytanii w UE uzyskano wyniki 53:47 w telefonicznym sondażu na próbie 1043 respondentów oraz 44:56 w badaniu online na próbie 1468 osób. Nie powiem, jak zagłosuję Jednym z powodów tego typu rozbieżności może być pokusa niedeklarowania przez część respondentów swojego przyszłego wyboru i zakreślenie wygodnej kategorii „nie wiem” w ankiecie internetowej. Niezdecydowanych osób jest często nawet dwukrotnie więcej w badaniach online niż w ankiecie telefonicznej. W tej drugiej ankieter może wywierać pewną presję na respondenta w celu uzyskania konkretnej odpowiedzi, ale wówczas niektóre z nich dostosowane zostają do wspomnianej już poprawności politycznej. Nie muszą wynikać z autentycznego przekonania respondenta. Kwestia zgodności wyników wywiadu telefonicznego lub internetowego z rzeczywistym wynikiem wyborów determinowana jest dodatkowo frekwencją wyborczą. Dość przekonująco w tym kontekście brzmi teza brytyjskich badaczy, iż zwiększa się odsetek osób starszych odmawiających udziału w ankietowaniu zarówno telefonicznym, jak i internetowym, przy jednocześnie powszechnym ich udziale w głosowaniu w wyborach. Odwrotnie jest z ludźmi młodymi. W grupie wiekowej 18–24 lata frekwencja wyborcza Brytyjczyków wynosi ok. 48 proc., podczas gdy w grupie osób powyżej 65. roku życia aż 78 proc. W stosunku do rzeczywistej zbiorowości głosujących w próbach sondażowych niedoreprezentowani są więc ludzie starsi – zwykle popierający Partię Konserwatywną (niedoszacowaną w wyborach parlamentarnych w 2015 r.) i w większości opowiadający się za Brexitem (niedoszacowana była frakcja głosujących przeciw członkostwu Wielkiej Brytanii w UE). Stosowanie wag, aby zapewnić strukturę ostatecznej próby jak najściślej odzwierciedlającą strukturę populacji, jest tylko doraźnym lekiem na chorobę, jaką stanowią odmowy respondentów, przyczyniające się do zwiększenia całkowitego błędu sondażu. W wywiadach telefonicznych lub w „cztery oczy” zaburzenia reprezentantywności dość często wynikają z trudności w skomunikowaniu się z wybranym respondentem. Pokusa, aby taką trudno dostępną osobę zastąpić inną, jest duża, z