Czy AI nas ogłupia? Naukowcy sprawdzają, jak korzystanie ze sztucznej inteligencji wpływa na uczenie się
Czy AI nas ogłupia? Naukowcy sprawdzają, jak korzystanie z chatbotów wpływa na uczenie się
Mózg jest z natury skąpcem. Jego skłonność do zmniejszania wysiłku prof. Adam Green, neuronaukowiec z Georgetown University, porównuje w rozmowie z dziennikiem „The New York Times” do oszczędzania kalorii: ewolucyjnie opłacało się to, co wymagało najmniej energii i nie groziło śmiercią. Dlatego AI może nas „ogłupiać”, m.in. hamując rozwój umiejętności myślenia u młodych ludzi, którzy mają teraz wybór: wysilać się bądź nie. Dotychczas brakowało wiarygodnych danych z badań na dużą skalę dotyczących tego, jak AI zmieniła sposób uczenia się. Właśnie pojawiły się trzy nowe publikacje (dwie na razie w formie niezrecenzowanych preprintów), które częściowo tę lukę wypełniają.
Krótsza droga do rozwiązań
Pierwszą przygotował zespół z Uniwersytetu Kalifornijskiego w Irvine oraz firmy edukacyjno-technologicznej McGraw Hill. Naukowcy przeanalizowali 3,2 mln interakcji na platformie ALEKS przeznaczonej do nauczania matematyki. Co bardzo istotne, obejmowały one okres 2015–25, pod którego koniec udostępniono ChatGPT (listopad 2022 r.). Badacze podzielili zadania edukacyjne z ALEKS na dwie kategorie: tekstowe, które uczeń może bez problemu skopiować do chatbota, oraz graficzne (wymagające pracy na wykresach) – z tymi sztuczna inteligencja radziła sobie gorzej.
Przeprowadzona analiza wykazała, że po premierze ChatGPT czas poświęcany przez użytkowników na rozwiązywanie zadań podatnych na użycie AI spadł o 26,9 proc. Co ciekawe, efekt ten był silnie powiązany z wiekiem badanych. W przypadku uczniów szkół średnich redukcja wyniosła ponad 31 proc., w starszych klasach szkoły podstawowej 9 proc., a u piątoklasistów nie odnotowano jej wcale. Skąd wzięły się te różnice? Autorzy publikacji przypuszczają, że może to wynikać z tego, iż starsi uczniowie wykonują więcej pracy samodzielnie, z mniejszym nadzorem i mają swobodniejszy dostęp do narzędzi cyfrowych. Zjawisko to pokrywa się z historycznymi danymi dotyczącymi nieuczciwości akademickiej jeszcze sprzed ery AI. Wydaje się więc, że sztuczna inteligencja nie zmieniła motywacji uczniów, ale znacznie ułatwiła pójście na skróty.
Sięgnij do źródeł
Badania naukowe: Faster Completion, Less Learning: Generative A.I. Reduced Study Time on Math Problems and the Knowledge They Build
Najważniejszy wniosek badania brzmi: szybsze tempo rozwiązywania zadań nie przełożyło się na lepsze zrozumienie materiału. Pokazała to analiza innego zbioru danych: wyników testu kwalifikacyjnego ALEKS PPL, rozwiązywanego przez studentów w kontrolowanych warunkach, czyli bez dostępu do narzędzi zewnętrznych. W ciągu prawie 3 lat po premierze ChatGPT szanse (w sensie statystycznym) na udzielenie poprawnej odpowiedzi w zadaniach tekstowych zmalały o 25 proc. w porównaniu z zadaniami graficznymi. Zdaniem autorów publikacji taki wzorzec wyników sugeruje, że uzyskiwanie gotowych odpowiedzi może zastępować wysiłek potrzebny do trwałego opanowania materiału.
Mniej chęci do wytrwałości
Koszty użycia AI wykraczają jednak poza braki w wiedzy, wpływając na sam stosunek do rozwiązywania problemów. Sugeruje to kolejne badanie przeprowadzone przez międzynarodowy zespół naukowców. Ich zdaniem dobry (ludzki) nauczyciel optymalizuje swoje działania pod kątem długoterminowych celów i potrafi odmówić podania gotowego rozwiązania. Obecne systemy AI są zaś zoptymalizowane pod kątem natychmiastowego spełnienia oczekiwań użytkownika.
Sięgnij do źródeł
Badania naukowe: A.I. Assistance Reduces Persistence and Hurts Independent Performance
Aby zmierzyć skutki tej asymetrii, badacze przetestowali 1222 osoby pod kątem zdolności matematycznych i czytania ze zrozumieniem. Algorytmy faktycznie poprawiły natychmiastowe wyniki, ale jednocześnie doprowadziły do znaczącego spadku wytrwałości. Osoby, które w pierwszej fazie eksperymentu wykorzystywały AI do uzyskiwania gotowych odpowiedzi, w późniejszych samodzielnych testach znacznie częściej poddawały się i całkowicie pomijały trudniejsze pytania. Co szczególnie niepokojące, ten wyraźny spadek motywacji i gotowości do samodzielnego mierzenia się z wyzwaniem obserwowano po zaledwie ok. 10 min pracy z wirtualnym asystentem. Badacze przypuszczają, że maszyna przyzwyczaja nas do natychmiastowych odpowiedzi, odbierając cenne doświadczenie pokonywania barier.
Mądre korzystanie ze wsparcia
Czy oznacza to, że chatboty oparte na dużych modelach językowych (LLM), takie jak ChatGPT, stanowią wyłącznie zagrożenie dla edukacji? Zniuansowane odpowiedzi przynosi eksperyment przeprowadzony przez badaczy z Middlebury College. Poddali oni testom 211 studentów, których zadaniem było zapoznanie się z nowym tematem (np. edycją genów metodą CRISPR) i napisanie analitycznego eseju. Połowa badanych mogła korzystać z dowolnych narzędzi AI. Spośród tej grupy zrobiło to ok. 70 proc. osób i zmieniło to sposób ich pracy. Udział pisania w czasie nauki zmalał o ok. 5 pkt proc., a o ok. 4 pkt wzrósł udział czytania i wyszukiwania informacji.
Sięgnij do źródeł
Badania naukowe: Experimental Evidence on the Learning Impact of Generative A.I.
Ponadto dostęp do algorytmów przyniósł wymierne korzyści: studenci z grupy wspomaganej AI uzyskali w teście wiedzy wyniki wyższe o 7,2 pkt proc. Sukces w dłuższej perspektywie zależał jednak bezpośrednio od obranej strategii. Po tygodniu całkowicie samodzielnej pracy studenci, dla których sztuczna inteligencja była jedynie wsparciem w nauce – swego rodzaju wirtualnym korepetytorem tłumaczącym zawiłe zagadnienia – utrzymali wyższe wyniki. Z kolei ci, którzy po prostu zlecili maszynie wygenerowanie tekstu (zaledwie 7 osób), stracili przewagę, jaką dawał im napisany przez AI esej – ich ostateczne wyniki nie różniły się istotnie od wyników grupy kontrolnej.
Kwestia czasu
Autorzy wszystkich trzech publikacji zgodnie podkreślają, że choć ich odkrycia wnoszą nowe ważne wnioski i dane do dyskusji o cyfrowej edukacji, należy zachować ostrożność w ich uogólnianiu. Twórcy analizy dotyczącej spadku wytrwałości zaznaczają, że ich eksperymenty rejestrują efekty krótkotrwałej ekspozycji na AI, a test przeprowadzano tuż po niej. Nie wiadomo więc, czy obserwowane deficyty motywacji i samodzielnych umiejętności będą się przy codziennym użytkowaniu chatbotów kumulować w ciągu miesięcy lub lat, czy raczej wygasać. Badacze z Middlebury College zwracają z kolei uwagę, że w laboratorium wszyscy uczestnicy mieli tyle samo czasu na naukę, a w praktyce studenci zapewne często używają AI, by go zaoszczędzić – od tego, jak wykorzystają odzyskany czas, zależy, czy bilans ich wiedzy będzie dodatni. Z kolei autorzy badań na platformie ALEKS zastrzegają, że obserwowali jedynie masowe zachowania uczniów. Ponieważ nie śledzili poszczególnych osób krok po kroku, nie są w stanie z całą pewnością wykazać, że to właśnie użycie chatbota przy konkretnym zadaniu doprowadziło tego samego ucznia do porażki podczas późniejszego testu.