Żaden zdrowo myślący człowiek nie sądzi, że sondaż powtórzony tego samego dnia przez to samo biuro badań opinii, ale na innej reprezentatywnej próbie dorosłych Polaków, dałby dokładnie taki sam wynik. Czujemy, że trochę by się różnił, ale o ile? Aby odpowiedzieć na to pytanie, przy interpretowaniu wyników sondaży powinniśmy uzbroić się nie w jedną, lecz w trzy miarki. Pierwsza posłuży do oceny precyzji pojedynczego wyniku dotyczącego konkretnego kandydata lub ugrupowania. Druga powie nam, czy wyniki dwóch kandydatów istotnie różnią się w tym samym sondażu. Trzecia miarka będzie potrzebna do oceny, czy wyniki uzyskane przez różne agencje różnią się istotnie albo czy ten sam kandydat w dwóch kolejnych sondażach uzyskał istotnie różne wyniki.
Wzór na margines
Czasami słyszymy, że margines błędu oszacowania poparcia dla danej partii lub kandydata w skali całej Polski to „plus minus parę procent”. Ale czy na pewno wiemy, jak tę informację interpretować? Każdy może sam obliczyć margines błędu wyników sondażu, jeśli znana jest wielkość próby. Wzór jest prosty: 100 dzielone przez pierwiastek kwadratowy z liczby osób ankietowanych. I już. Należy jednak pamiętać, że jest to tylko przybliżenie, często zawyżające prawidłową wartość tego marginesu. Tym niemniej dziennikarze, jeżeli w ogóle, to podają właśnie tak obliczoną dokładność. Dla próby liczącej 1110 ankietowanych osób margines błędu wynosi 3 proc. (bo 100/√1110=0,03), czyli nie za dużo i nie za mało, i dlatego większość sondaży opiera się właśnie na takich próbach. Czy są one reprezentatywne, a więc czy dobrze odzwierciedlają całą populację, to już inna kwestia.
Jeżeli 23 lutego 2011 r. w sondażu około 1000 osób Platforma Obywatelska uzyskała 44 proc., to oznacza, że obliczony przedział pomiędzy 41 a 47 proc. obejmie (prawie na pewno) rzeczywiste jej poparcie w skali całej Polski. Prawie na pewno, ponieważ w statystyce nigdy nie ma stuprocentowej pewności. Intuicyjnie czujemy, że większa próba ankietowanych osób przyniosłaby dokładniejszą informację o nastrojach panujących w narodzie, jednak poprawienie precyzji kosztuje: trzykrotne zmniejszenie marginesu błędu wymaga dziesięciokrotnie większej liczby ankietowanych. A to wymaga więcej czasu i pieniędzy.
Rózne marginesy
Jest jeszcze ważny szczegół związany z pojęciem marginesu błędu: jego wielkość zależy nie tylko od wielkości próby, ale również od poziomu poparcia. Przy sondażu na próbie około 1000-osobowej, dla wyników niższych od lub równych 6 proc. (także wyższych niż 94 proc.), ten margines wynosi 1 proc.; rośnie do 2 proc. przy poziomie poparcia 7–20 proc. (albo 80–93 proc.), a dla wyników 21–79 proc. wynosi już 3 proc. Tak więc jeżeli kandydat lub partia mają ekstremalnie niski lub wysoki wynik, margines błędu jest znacznie węższy niż przy poparciu bliskim połowie. Jeżeli ugrupowanie – tak jak PSL w sondażu 23 lutego – uzyskało 6 proc., to nie ma gwarancji, że przekroczyło próg wejścia do Sejmu. Przy próbie badanych 1000 osób powinno uzyskać co najmniej 7 proc., aby z 95-proc. ufnością liczyć na sukces wyborczy.
Komu wzrasta, komu spada
Jest to prawdopodobnie najważniejsze przesłanie przedstawianych w mediach rezultatów badań opinii publicznej. Co widać ze słupków popularności? Które ugrupowanie prowadzi? Komu wzrosło, a komu spadło poparcie? Czy przewaga jednego nad drugim jest większa niż margines błędu? Statystyka uczy, że można łatwo się zbłaźnić, rozgłaszając pochopne wnioski. Tutaj do porównywania rezultatów nie możemy używać miarki pierwszej, czyli marginesu błędu. Konieczne jest zastosowanie drugiej. Różnica między dwoma wynikami poparcia obciążona jest jeszcze większym błędem niż każdy z nich!
Aby stwierdzić, kto naprawdę wygrywa, czyli obliczyć minimalną przewagę, jaką powinien uzyskać nad konkurentem, musimy rozszerzyć margines błędu sondażowego. Jeżeli różnica pomiędzy dwoma kandydatami jest większa niż ten skorygowany margines, to można wyciągnąć wniosek, że któryś z kandydatów rzeczywiście ma większe poparcie.
Wybór właściwej miarki dla oceny różnicy jest następujący (dla próby 1000 osób): przy porównywaniu dwóch słabych kandydatów (którzy uzyskali wyniki ok. 10 proc. głosów) najmniejsza istotna różnica powinna wynosić co najmniej 3 proc.; dla kandydatów z wynikami ok. 20 proc. ta minimalna różnica to 4 proc.; przy poparciu 30–40 proc. wynosi ona 5 proc., a gdy jest tylko dwóch głównych kandydatów – najmniejsza istotna różnica między nimi to 6 proc., czyli dwa razy więcej niż margines błędu sondażu. Tak jest na przykład w drugiej turze wyborów prezydenckich – głosy zebrane przez obu kandydatów sumują się do 100 proc. Podwojenie marginesu błędu sondażu jest wtedy zrozumiałe, bo głos oddany na jednego jest jednocześnie odebrany drugiemu, a więc różnica między nimi rośnie dwukrotnie szybciej, niż przyrastają głosy na każdego z nich. Gdy kandydatów jest kilku, a więc na przykład w wyborach do Sejmu, ta minimalna różnica zależy od tego, czy porównywani kandydaci są słabi, czy mocni. Podane wyżej rekomendacje są przybliżone, ale dzięki nim nasza interpretacja różnic między kandydatami będzie znacznie bardziej sensowna.
W ogłoszonym 24 lutego sondażu dla „Faktów” TVN poparcie dla PO (36 proc.) było istotnie wyższe niż poparcie dla PiS (30 proc.), ponieważ 6-proc. różnica między nimi jest większa niż margines błędu różnicy dla tych partii, czyli 5 proc. Podobny wniosek płynie z sondażu 1100 osób przeprowadzonego dla Polskiego Radia przez Instytut Homo Homini, który przyniósł wyniki, odpowiednio, 34,5 i 29,2 proc. Natomiast gdy media ogłosiły 22 lutego, że w poziomie zaufania wyborców Grzegorz Napieralski uzyskał 51 proc. i przegonił Donalda Tuska (47 proc.), to wywołały niepotrzebną sensację. Różnica 4 punktów pomiędzy nimi nie była istotna (w sondażu 1002 osób), należało jedynie stwierdzić, że obaj zajmują w tym rankingu miejsce ex aequo. Oczywiście sensacja sprzedaje się lepiej niż wiadomości o remisie.
Wzrosty realne i nierealne
Jeżeli dwa sondaże przynoszą różne wyniki dla jednego kandydata lub partii, powstaje pytanie: zyskuje on czy traci popularność? Odpowiedź na nie wymaga użycia trzeciej miarki w sposób następujący (dla sondaży na próbach 1000 osób): przy porównywaniu dwóch wyników słabego kandydata (przy poparciu ok. 5–7 proc.) minimalna istotna różnica między sondażami to 2 proc. Przy poparciu ok. 10–20 proc. to 3 proc., a powyżej 20 proc. to 4 proc. Innymi słowy już różnica trochę ponad 2 proc. dla słabego kandydata może być istotną wskazówką zmiany jego popularności. Na przykład w ocenie wyników sondażu TNS OBOP dla „Gazety Wyborczej” z 23 lutego nieprawidłowo uznano, że dwupunktowy wzrost poparcia dla ugrupowania Janusza Palikota „mieści się... w granicach błędu pomiaru”. Jeżeli porównywane próby sondażowe liczyły około 1000 osób (czego nie podano), to zmiana z 2 na 4 proc. jest wzrostem istotnym statystycznie, czyli realnym.
Nie ma więc sensu podawanie wyników sondaży bez jasnej informacji o marginesie ich błędu oraz liczbie osób ankietowanych. Nie warto też epatować czytelników czy słuchaczy wynikami z dokładnością do dziesiętnych lub setnych części procenta, skoro każdy ma dokładność na ogół nie lepszą niż parę procent. Na grafikach i wykresach należałoby pokazywać również przedział, który z dużą dozą pewności obejmuje możliwe prawdziwe poparcie dla kandydata. Te rady powinni wziąć sobie do serca zwłaszcza komentatorzy emocjonujący się wynikami sondaży. A także politycy, którzy na podstawie 1-, 2-proc. różnic obwieszczają światu triumf swojej partii lub kandydata.
Michał Jasieński jest profesorem na Wydziale Przedsiębiorczości i Zarządzania w Wyższej Szkole Biznesu – National-Louis University w Nowym Sączu.