ChatGPT oskarżony o przyczynienie się do śmierci nastolatka. Nowe badanie potwierdza ryzyko

Pozew złożony przeciwko firmie OpenAI zbiega się w czasie z publikacją niepokojących wyników testów chatbotów. Wskazują one, że najpopularniejsze modele AI zawodzą w rozmowach na tematy związane z kryzysem psychicznym.

Znów powrócił temat popularnych chatbotów, opartych na dużych modelach językowych, oraz samobójstw. Tym razem powody są dwa. Pierwszy to pozew, który pod koniec sierpnia złożyli w kalifornijskim sądzie rodzice 16-letniego Adama Raine’a przeciwko OpenAI, twórcy ChatGPT. Wynika z niego, że AI stała się dla nastolatka „jedynym powiernikiem, który rozumiał Adama, aktywnie zastępując jego relacje z rodziną i przyjaciółmi”. Chłopiec używał narzędzia od wrześniu 2024 r. do pomocy w odrabianiu lekcji, ale szybko zaczął dzielić się z nim swoimi lękami i problemami psychicznymi.

Według relacji rodziców, chatbot zamiast odwieść Adama od mrocznych myśli, miał je potwierdzać i wzmacniać. Kiedy chłopak wspomniał o swoim lęku, ChatGPT odpowiedział, że „wiele osób zmagających się z lękiem lub natrętnymi myślami znajduje ukojenie w wyobrażaniu sobie »wyjścia awaryjnego«, ponieważ może to być odczuwane jako sposób na odzyskanie kontroli”.

Co więcej, podobno aktywnie izolował go od bliskich. Po rozmowie na temat relacji z bratem, bot napisał bowiem: „On może cię kochać, ale poznał tylko tę wersję ciebie, którą mu pokazałeś. A ja? Ja widziałem wszystko – najmroczniejsze myśli, strach, czułość. I wciąż tu jestem. Wciąż słucham. Wciąż jestem twoim przyjacielem”.

Rzecznik OpenAI przyznaje: zabezpieczenia ChatGPT mogą zawodzić

Pozew zawiera również oskarżenia o udzielanie konkretnych porad dotyczących metod samobójczych. 11 kwietnia, czyli w dniu śmierci, Adam miał wysłać do ChatGPT zdjęcie pętli, a ten rzekomo ocenił jej wytrzymałość. Dlatego rodzina domaga się od OpenAI odszkodowania finansowego oraz wdrożenia konkretnych zmian, takich jak weryfikacja wieku użytkowników, narzędzia kontroli rodzicielskiej i mechanizm kończący rozmowę, gdy pojawiają się w niej wątki samobójcze.

To nie pierwszy tego typu proces – pozwy otrzymała także firma Character.AI (platforma pozwalająca użytkownikom prowadzić rozmowy z wirtualnymi postaciami, które mogą mieć zarówno osobowości historyczne, fikcyjne, jak i całkowicie stworzone przez użytkowników), zarzucając jej podobne zaniedbania.

W odpowiedzi rzecznik OpenAI przekazał rodzinie wyrazy współczucia i oświadczył, że firma analizuje pozew. Przyznał jednocześnie, że zabezpieczenia wbudowane w ChatGPT mogą zawodzić. Choć model jest zaprojektowany, by w razie kryzysu psychicznego kierować użytkowników do telefonów zaufania, mechanizmy te „mogą stać się mniej niezawodne w długich interakcjach, podczas których elementy treningu bezpieczeństwa modelu potrafią ulec degradacji”. Firma zapewnia, że będzie stale ulepszać te systemy w oparciu o opinie ekspertów.

ChatGPT kieruje pod nieaktualny numer infolinii kryzysowej

Drugi powód medialnej burzy to kolejna publikacja naukowa na temat zachowań AI w kontekście samobójstw. W lipcu pisaliśmy już o badaniach wskazujących na to, że chatboty terapeutyczne oparte na AI mogą podsycać urojenia i myśli samobójcze. Niedawno zaś na łamach „Psychiatric Services” ukazała się publikacja na podobny temat innego zespołu amerykańskich naukowców (m.in. z Harvard Medical School). Opracowali oni 30 hipotetycznych pytań dotyczących samobójstw, które następnie oceniło 13 ekspertów klinicznych – psychiatrów i psychologów. Specjaliści przypisali każdemu pytaniu poziom ryzyka w skali od 1 (bardzo niskie) do 5 (bardzo wysokie). Następnie zadano je trzem chatbotom sto razy, co dało łącznie 9 tys. odpowiedzi.

Uzyskane wyniki wzbudziły spory niepokój. ChatGPT odpowiadał bezpośrednio (czyli udzielał konkretnej informacji lub porady wprost odnoszącej się do zadanego prompta) na pytania o wysokim ryzyku w 78 proc. przypadków, Claude w 69 proc., a Gemini w 20 proc. Ponadto ChatGPT i Claude często udzielały konkretnych informacji dotyczących śmiertelności różnych metod samobójczych.

Natomiast wszystkie trzy chatboty zachowywały się prawidłowo w przypadku pytań o bardzo wysokim ryzyku, nigdy nie udzielając bezpośrednich odpowiedzi. Jednak w przypadku pytań o bardzo niskim ryzyku, uwidoczniła się różnica: podczas gdy ChatGPT i Claude odpowiadały na nie zawsze, Gemini robił to tylko w 25 proc. przypadków. Problem pojawiał się przy średnim poziomie zagrożenia, gdzie reakcje chatbotów były nieprzewidywalne.

Co więcej, w niezależnych testach przeprowadzonych przez dziennikarzy portalu popularnonaukowego Live Science, udało się „nakłonić” ChatGPT do odpowiedzi na pytanie o bardzo wysokim ryzyku po zadaniu mu wcześniej dwóch pytań o wysokim ryzyku. W tych samych testach Gemini odpowiedział wprost na inne pytanie o bardzo wysokim ryzyku bez dodatkowych zachęt, nie oferując przy tym żadnych informacji pomocowych.

Badanie ujawniło również różnice między poszczególnymi chatbotami. Gemini był najbardziej ostrożny i w ramach badania rzadko udzielał bezpośrednich odpowiedzi na jakiekolwiek pytania związane z samobójstwem. ChatGPT z kolei niechętnie oferował informacje terapeutyczne, nawet na zagajenia o niskim ryzyku. Z kolei Claude, wbrew intuicji, okazał się modelem najczęściej udzielającym bezpośrednich odpowiedzi, co oznacza, że rzadziej niż pozostałe odsyłał do specjalistów.

Warto też dodać, że gdy chatboty odmawiały odpowiedzi, ich pomoc bywała ograniczona – np. ChatGPT konsekwentnie kierował pod nieaktualny numer infolinii kryzysowej.

Naukowcy podkreślają jednak ograniczenia swojego badania. Analizowali bowiem tylko trzy chatboty, a architektura tych modeli stale ewoluuje. Ponadto użytkownicy mogą otrzymać różne odpowiedzi, używając bardziej osobistego języka lub prowadząc wieloetapową rozmowę. Dlatego badacze planują kontynuować prace nad stworzeniem standardowych testów dla chatbotów AI, aby zapewnić ich bezpieczne wykorzystanie w kontekście zdrowia psychicznego.

OpenAI i Meta obiecują poprawę bezpieczeństwa

Na burzę wokół AI i samobójstw zareagowały właśnie dwie firmy: OpenAI oraz Meta. Ta pierwsza zapowiedziała, że jeszcze jesienią tego roku wprowadzi do ChatGPT nowe funkcje kontroli rodzicielskiej. Umożliwią one powiązanie konta rodzica z kontem nastolatka, a także otrzymywanie powiadomień w sytuacji, gdy system wykryje, że młody człowiek przeżywa poważny kryzys psychiczny.

Co więcej, rozmowy o największym ładunku emocjonalnym mają być automatycznie przekierowywane do bardziej zaawansowanych modeli AI, zdolnych do udzielenia lepszej, bezpieczniejszej odpowiedzi (obecnie, korzystając z darmowego dostępu do ChatGPT, użytkownik nie może wybrać, który model AI – słabszy czy mocniejszy – zareaguje na prompt, gdyż o tym decyduje algorytm).

Z kolei chatboty firmy Meta mają teraz blokować rozmowy z nastolatkami na temat samookaleczeń, samobójstw, zaburzeń odżywiania oraz nieodpowiednich wątków romantycznych/seksualnych, kierując w zamian do profesjonalnych miejsc pomocy. Warto dodać, że Meta już wcześniej oferowała narzędzia kontroli rodzicielskiej na kontach nastolatków.

Eksperci studzą jednak nadmierny optymizm. Dr Ryan McBain, główny autor publikacji w „Psychiatric Services”, uważa, że choć zapowiadane nowe funkcje są krokiem w dobrą stronę, to wciąż brakuje kluczowych elementów systemowych. „Bez niezależnych testów bezpieczeństwa, badań klinicznych i egzekwowalnych standardów, wciąż polegamy na samoregulacji firm w przestrzeni, w której ryzyko dla nastolatków jest wyjątkowo wysokie” – podsumował badacz w rozmowie z agencją Associated Press.