Modele AI połykają książki i niepokojąco dokładnie je cytują. Co się za tym kryje?

Giganci AI przekonywali, że ich modele nie przechowują książek. Najnowsze badania pokazują jednak, że potrafią je „wyrecytować” z niepokojącą dokładnością.

VadimVasenin/Smarterpix Podobno AI nie magazynują kopii chronionych dzieł, a jedynie „uczą się”. To nieprawda.

W ogromnej hali, podobnej do tych giganta handlu internetowego Amazona, na górze regałów stoją pudła, ale reszta przestrzeni jest wypełniona stosami książek. Halę wynajął jeden z liderów branży sztucznej inteligencji – firma Anthropic, która stworzyła popularny model Claude, czyli konkurenta ChatGPT, Gemini czy Groka. Na jej czele stoi rodzeństwo Dario i Daniela Amodei – „uciekinierów” z OpenAI, tego od ChatGPT (Dario to doktor nauk fizycznych Princeton University, gdzie zajmował się m.in. analizą statystyczną aktywności biologicznych sieci neuronowych). Dzięki sukcesom w tworzeniu dużych modeli językowych (LLM) Anthropic przyciągnął dziesiątki miliardów dolarów inwestycji z technologicznych gigantów – Amazona, Google, Microsoftu i Nvidii.

Wielka hala z książkami była zaś częścią tajnego firmowego projektu „Panama”, którego istnienie ujawnił w tym roku dziennik „The Washington Post”. Rozpoczęty dwa lata temu, miał jeden cel, który sami twórcy opisali w wewnętrznych dokumentach: „To nasza próba niszczącego skanowania (ang. destructively scan) wszystkich książek na świecie”.

Na czym polegało owo „niszczące skanowanie”? Anthropic sprowadzał miliony książek, korzystając z usług dużych sprzedawców używanych woluminów. Następnie podwykonawca przy użyciu potężnych hydraulicznych gilotyn odcinał grzbiety książek. Tak spreparowane luźne kartki trafiały do ultraszybkich „przemysłowych” skanerów, a na koniec wywożono je do recyklingu. Operacja kosztowała dziesiątki milionów dolarów.

Dlaczego zadano sobie tyle trudu, skoro można było pobrać dane z internetu? „Washington Post” cytuje jednego ze współzałożycieli Anthropic z wewnętrznego dokumentu firmy: trenowanie dużych modeli językowych na książkach miało nauczyć je, „jak dobrze pisać”, zamiast naśladować „niskiej jakości internetowy bełkot”.