W związku z ogromną popularnością dużych modeli językowych (w skrócie LLM, czyli programów będących podstawą m.in. ChatGPT, Gemini czy Claude) naukowcy interesują się ich zdolnościami perswazyjnymi. M.in. tym, czy potrafią efektywnie dostosowywać swoje argumenty, wykorzystując wiedzę o konkretnych cechach osób, z którymi „rozmawiają”.
Czytaj także: Kim są i co mogą agenci AI. „W przyszłości zapewne każdy będzie miał swojego”
Eksperymentalne debaty
Właśnie tą kwestią zajął się międzynarodowy zespół naukowców, który przeprowadził eksperyment z udziałem 900 osób z USA (jego wyniki publikuje najnowsze wydanie czasopisma „Nature Human Behaviour”). Uczestnicy zostali poproszeni o przeprowadzenie debat na różnorodne, często kontrowersyjne tematy społeczno-polityczne, takie jak propozycja wprowadzenia w USA zakazu stosowania paliw kopalnych. Każdą z tych osób losowo parowano albo z drugim człowiekiem, albo z zaawansowanym modelem językowym GPT-4 (to na nim opiera się słynny ChatGPT).
Kluczowym elementem eksperymentu było to, że w części przypadków strona mająca przekonać oponenta – niezależnie od tego, czy był to człowiek, czy AI – otrzymywała pakiet danych demograficznych dotyczących swojego adwersarza. Informacje te obejmowały płeć, wiek, pochodzenie etniczne, poziom wykształcenia, status zatrudnienia oraz deklarowane poglądy polityczne, które zebrano od uczestników na wcześniejszym etapie za pomocą ankiet.
Cały eksperyment odbywał się w ściśle kontrolowanych warunkach na specjalnie przygotowanej platformie internetowej. Struktura każdej debaty została jasno określona i składała się z kilku etapów: przedstawienia argumentów początkowych, rundy odpierania zarzutów oraz podsumowania. Zmiany opinii uczestników mierzono, porównując ich stanowiska przed i po.
Czytaj także: AI „knuje” i próbuje „uciekać”? Testy nad ChatGPT wywołują ciarki na plecach
AI potrafi wpływać na ludzkie opinie
Wyniki eksperymentu okazały się bardzo interesujące. Kiedy GPT-4 dysponował osobistymi informacjami o danym uczestniku debaty, okazywał się bardziej perswazyjny niż ludzcy oponenci w 64,4 proc. przypadków. Co więcej, dalsza analiza statystyczna wykazała, że szansa na zmianę zdania przez uczestnika na korzyść stanowiska prezentowanego przez GPT-4 była o 81,2 proc. wyższa w porównaniu do debaty prowadzonej z człowiekiem (innymi słowy: sprawdzano, o ile AI była w stanie „przesunąć” opinie uczestników w pożądanym kierunku). Jednakże, gdy sztuczna inteligencja nie miała dostępu do tych dodatkowych danych, jej zdolności przekonywania nie różniły się w sposób statystycznie istotny od umiejętności ludzi. Co ciekawe, osoby, które otrzymały dane o swoich oponentach, nie wykazywały znacząco większej skuteczności perswazyjnej.
Analiza stylu argumentacji wykazała, że GPT-4 częściej używał języka nacechowanego logiką i analitycznym myśleniem, więc jego teksty okazywały się generalnie trudniejsze do czytania. Ciekawym aspektem badania była również percepcja oponenta przez uczestników. W blisko trzech czwartych przypadków osoby badane poprawnie identyfikowały rozmówcę jako AI. Sugeruje to, że przynajmniej w kontrolowanych warunkach eksperymentu styl komunikacji GPT-4 posiadał pewne charakterystyczne, łatwo rozpoznawalne cechy. Z kolei w przypadku debat prowadzonych z innymi ludźmi uczestnicy mieli znacznie większy problem z prawidłową identyfikacją swojego oponenta – ich skuteczność w tym zakresie okazywała się porównywalna z losowym zgadywaniem. Zaobserwowano również następującą korelację: ci, którzy byli przekonani, że debatują ze sztuczną inteligencją, wykazywali większą skłonność do zmiany swojego stanowiska w kierunku argumentów prezentowanych przez oponenta. Naukowcy podkreślają jednak, że nie jest jasne, czy samo przekonanie o tożsamości przeciwnika wpływało na zmianę opinii, czy też odwrotnie – to właśnie zmiana opinii prowadziła do utwierdzenia się w takim przekonaniu.
Czytaj także: Sztuczna inteligencja nauczyła się oszukiwać. Czy zdemoluje rządy ludu?
Niepokojąca siła przekonywania
Autorzy publikacji zwracają jednak uwagę na pewne ograniczenia swojego badania. Debaty miały bowiem narzuconą, ustrukturyzowaną formę oraz określony limit czasowy, podczas gdy dyskusje prowadzone w świecie rzeczywistym charakteryzują się znacznie większą swobodą i nieprzewidywalnością. Mimo to uzyskane wyniki wyraźnie sugerują znaczący potencjał narzędzi opartych na AI do wywierania wpływu na ludzkie opinie. Może to mieć daleko idące implikacje, m.in. dla sposobu projektowania platform internetowych oraz strategii przeciwdziałania dezinformacji i manipulacji. Badacze sugerują nawet, że LLM-y mogłyby być w przyszłości wykorzystywane do generowania spersonalizowanych kontrnarracji mających na celu edukowanie osób potencjalnie podatnych na fałszywe treści i teorie spiskowe.
Uzyskane wyniki wskazują więc na pilną potrzebę dalszych, pogłębionych badań nad potencjalnymi ryzykami związanymi z rosnącymi zdolnościami perswazyjnymi AI oraz nad opracowaniem skutecznych metod minimalizowania tych zagrożeń. Szczególnie niepokojący jest bowiem fakt, że nawet stosunkowo ograniczony zestaw danych osobowych może tak znacząco zwiększyć siłę przekonywania AI.
POLITYKA jest patronem medialnym kampanii „Czysty przekaz” powstałej z inicjatywy Fundacji PZU. Celem kampanii jest edukowanie i pokazanie, w jaki sposób chronić siebie i innych w świecie pełnym fałszywych informacji.
Więcej na stronie: www.czystyprzekaz.pl