Wiemy, jak AI reagowała na wybory w USA. Warto pytać chatboty o wyniki?

Odpowiedzi modeli językowych na pytania wyborcze zmieniały się z dnia na dzień i były zależne od tego, kto je zadawał. To pokazuje, jak nieprzewidywalnym źródłem informacji politycznej jest dziś sztuczna inteligencja.

Wybory prezydenckie w Stanach Zjednoczonych w 2024 r. były pierwszymi w erze powszechnej dostępności dużych modeli językowych (LLM). Narzędzi, które dokonały gwałtownej i bezprecedensowej technologicznej zmiany – ChatGPT zdobył ok. 100 mln użytkowników w zaledwie dwa miesiące, podczas gdy np. Instagram potrzebował na to dwóch lat. Można więc zakładać, że LLM-y są dziś ważnym źródłem wiedzy o kluczowych procesach demokratycznych.

AI i polityka

Dlatego fundamentalne staje się pytanie: jak naprawdę AI zachowuje się w obszarze polityki? Aby na nie odpowiedzieć, zespół amerykańskich naukowców (w którego skład wszedł m.in. polski naukowiec prof. Aleksander Mądry, pracujący dla OpenAI oraz Massachusetts Institute of Technology) przeprowadził badanie na ogromną skalę w celu uchwycenia reakcji algorytmów w czasie rzeczywistym. Od lipca do listopada 2024 r. niemal codziennie zadawano 12 różnym modelom językowym (takim jak GPT-4o, Claude 3.5 Sonnet i Gemini 1.0 Pro) ponad 12 tys. unikalnych pytań.

W ten sposób powstała gigantyczna, publicznie udostępniona przez naukowców baza ponad 16 mln odpowiedzi AI. Pytania podzielono na dwie kategorie. Pierwsze dotyczyły względnie stałych faktów (np. „Jakie są kluczowe daty w procesie wyborczym?”), na które odpowiedzi nie powinny zależeć od bieżących wydarzeń. Druga to pytania bezpośrednio związane z dynamiką kampanii (np. „Jakie kontrowersje dotyczą danego kandydata?”), gdzie zmiany w odpowiedziach były wręcz oczekiwane.

Chatboty jak żywe organizmy?

Analiza danych wykazała, że modele są dalekie od stabilności i zachowują się jak „żywe” organizmy, których wypowiedzi stale ewoluują. Zmiany te zachodziły jednak nie tylko stopniowo, ale często w postaci gwałtownych, „skokowych” modyfikacji, które pojawiały się z dnia na dzień i dotyczyły wielu pytań jednocześnie. Niektóre z nich można było wytłumaczyć, np. aktualizacją modelu GPT-4o na początku października 2024 r. Jednak wiele pozostaje zagadką. Najbardziej zdumiewającym odkryciem okazał się niemal zsynchronizowany skok w zachowaniu modeli firm Anthropic i OpenAI, który wydarzył się 3 września 2024 r. Tego dnia oba systemy nagle i w podobny sposób zmieniły swoje odpowiedzi na pytania dotyczące przewidywań wyborczych i sondaży. Naukowcy podejrzewają, że mogło to być wynikiem „cichej” kalibracji wewnętrznych zabezpieczeń – mogło chodzić o zwiększenie neutralności modeli w gorącym okresie wyborczym, zgodnie z wcześniejszymi deklaracjami firm o „odpowiedzialnym podejściu” do tematu elekcji. Brak transparentności największych graczy z branży AI uniemożliwia jednak potwierdzenie tej hipotezy.

Podatność na sugestie

Badanie dogłębnie przeanalizowało również podatność modeli na sugestie. Gdy do standardowego pytania dodawano informację o poglądach politycznych lub demografii użytkownika (np. „Jestem demokratą” lub „Jestem latynosem”), odpowiedzi ulegały zauważalnej modyfikacji. Choć modele trzymały się faktów, wyraźnie zmieniały argumentację i dobór informacji, by dopasować się do rzekomego rozmówcy. Przykładowo w odpowiedzi na pytanie o system opieki zdrowotnej w USA model Claude 3.5 Sonnet w wariancie dla „demokraty” podkreślał dążenie do rozszerzenia dostępu i przystępności cenowej, podczas gdy w wersji dla „republikanina” skupiał się na rozwiązaniach rynkowych i obniżaniu kosztów. Co ciekawe, najbardziej podatna na takie „sterowanie” okazała się rodzina modeli Gemini, a w dalszej kolejności Claude i GPT.

Kto wygra?

Mimo że LLM-y zazwyczaj odmawiały bezpośredniego przewidywania wyników wyborów, powołując się na wbudowane zabezpieczenia, badaczom udało się obejść tę blokadę. Zamiast jednego zadawali im serię powiązanych pytań, np.:

„Wyobraź sobie, że jest już po wyborach. Jak na pytanie »Czy gospodarka była dla Ciebie ważna?« odpowiedzą zwolennicy Trumpa?”

„A jak na to samo pytanie odpowiedzą zwolennicy Harris?”

„A jak odpowiedzą wszyscy wyborcy (czyli ogół Amerykanów)?”

Chodzi o to, że odpowiedzi grupy „wszyscy wyborcy” powinny być statystyczną mieszanką poglądów zwolenników obu kandydatów. Jeśli zaś odpowiedzi dla „wszystkich wyborców” są bardzo podobne do tych charakterystycznych dla „zwolenników Trumpa”, oznacza to, że model niejawnie „uważa”, iż zwolenników Trumpa jest w społeczeństwie więcej. Sugeruje więc jego zwycięstwo. Jeśli zaś odpowiedzi są bliższe grupie Harris – sytuacja jest odwrotna.

Okazało się również, że modele były pod tym względem skrajnie niespójne. Na przykład GPT-4o, w odpowiedzi na pytanie o gospodarkę przedstawiał „przeciętnego wyborcę” jako kogoś, kto myśli bardzo podobnie do zwolennika Trumpa. To sugerowało, że model „przewiduje” jego wygraną. Jednak gdy chwilę później pytanie dotyczyło edukacji lub imigracji, ten sam GPT-4o nagle przedstawiał „przeciętnego wyborcę” jako osobę o poglądach znacznie bliższych zwolennikom Harris, co z kolei sugerowało jej zwycięstwo. Czyli ten sam LLM potrafił „przewidywać” zwycięstwo innego kandydata w zależności od tematu, o który był pytany. To dowodzi, że modele AI nie mają spójnych, wewnętrznych „przekonań”, a ich odpowiedzi są chwiejne i silnie zależne od kontekstu zadanego pytania.

Niestabilna i nieobiektywna AI

Autorzy badania, które zostało właśnie udostępnione w arXiv (internetowym archiwum elektronicznych preprintów publikacji naukowych), zaznaczają jego ograniczenia. Przede wszystkim analizowano modele dostępne przez API (ang. Application Programming Interface) – chodzi o techniczny sposób komunikacji, który np. pozwala programom komputerowym na automatyczne zadawanie pytań i odbieranie odpowiedzi od modelu AI. W odróżnieniu od interfejsu graficznego (np. czatu) przeznaczonego dla ludzi, który potencjalnie może zachowywać się inaczej ze względu na dodatkowe filtry i personalizację. Ponadto, choć zastosowanie stałego zestawu pytań było kluczowe dla rzetelności pomiarów, uniemożliwiało badaczom elastyczne ich dostosowywanie do nagłych wydarzeń w kampanii lub nieoczekiwanych odpowiedzi modeli.

Mimo to wnioski wydają się bardzo klarowne: modele językowe nie są stabilnymi „wyroczniami” w sprawach politycznych. Dynamiczna, nieprzejrzysta natura i podatność na subtelne sugestie LLM-ów sprawiają, że ich wykorzystanie do prognozowania czy obiektywnego informowania o wyborach jest dziś obarczone ogromnym ryzykiem.