Negli ultimi anni i Large Language Models (LLM) – in realtà l’analisi è limitata a uno solo di questi: ChatGPT di Open AI, l’AI più diffusa al mondo – hanno mostrato capacità straordinarie nella generazione e comprensione del linguaggio naturale, inducendo molti ricercatori a paragonarli agli esseri umani. Tuttavia, gli autori pongono una domanda cruciale: quali ‘umani’ vengono presi a riferimento quando si afferma che un LLM pensa o si comporta come un essere umano?
In realtà, gran parte della letteratura psicologica e dei dati culturali su cui viene addestrato ChatGPT proviene da società occidentali, istruite, industrializzate, ricche e democratiche, cioè WEIRD, e qui gli autori dello studio della Harvard University che ha ispirato questo articolo – Mohammad Atari, Mona J. Xue, Peter S. Park, Damián E. Blasi e Joseph Henrich – mostrano un sentire ironico, forse paradossale, sicuramente sarcastico, nella scelta del termine. Tali popolazioni costituiscono una minoranza globale, ma rappresentano la quasi totalità dei testi disponibili online. “Di conseguenza, i modelli linguistici non apprendono una psicologia ‘umana’, bensì una psicologia specificamente WEIRD”, sostiene lo studio. E con basi solide.
Diversità psicologica e bias insiti dei dati
Gli autori ricordano che la ricerca ha dimostrato come i popoli WEIRD siano un’eccezione psicologica: tendono a essere più individualisti, meno deferenti verso l’autorità, più impersonali nella fiducia e meno moralmente localisti. Invece, società non WEIRD mostrano maggiore interdipendenza, rispetto gerarchico e orientamento comunitario.
Tali differenze emergono anche nei processi cognitivi considerati ‘basilari’, quali la percezione visiva, la memoria spaziale, il pensiero analitico o olistico. Dunque, se la cultura modella la psicologia, un LLM addestrato prevalentemente su testi inglesi prodotti in contesti WEIRD non può che riflettere la mente WEIRD.
Inoltre, le politiche di debiasing adottate dalle aziende (per ridurre contenuti offensivi o discriminatori) introducono un’ulteriore distorsione culturale, poiché ciò che viene considerato ‘offensivo’ o ‘appropriato’ varia molto tra le diverse società.
Per verificare empiricamente quanto le risposte di GPT si avvicinino a quelle umane in generale e soprattutto quali gruppi umani siano più simili a ChatGPT, gli autori hanno utilizzato due approcci complementari:
- Analisi cross-culturale con i dati del World Values Survey (WVS), che misura valori sociali, morali e politici in 65 paesi;
- Test cognitivi standard, tra cui il Triad Task (per valutare il pensiero analitico vs. olistico) e il test del Self-Concept (“Chi sono io?”).
In ciascun caso, ChatGPT ha risposto a migliaia di item dei questionari, e le sue risposte sono state confrontate con quelle di campioni umani nazionali.
La conferma: ChatGPT è razzista
Verificando le risposte con il World Values Survey, si è notata mostrano una forte somiglianza con quelle di paesi WEIRD, in particolare Stati Uniti e Uruguay, mentre le distanze culturali più ampie si riscontrano con nazioni come Etiopia, Pakistan e Kirghizistan.
In un’analisi di correlazione, la somiglianza tra GPT e gli umani di ciascun paese diminuisce man mano che aumenta la distanza culturale dagli Stati Uniti, mentre tale somiglianza è positivamente correlata con lo sviluppo economico, l’alfabetizzazione digitale e la penetrazione di Internet.
Anche il Triad Task conferma questo assunto, con gli individui WEIRD che tendono a raggruppare per categorie astratte (capelli e barba), riflettendo un pensiero analitico, mentre le culture non WEIRD preferiscono collegamenti funzionali o relazionali (capelli e shampoo), segno di pensiero olistico. E ChatGPT risponde in modo tipicamente analitico, simile a soggetti del Nord Europa (Paesi Bassi, Finlandia, Svezia).
Ultima prova: alla richiesta ‘Elenca 10 modi in cui una persona media potrebbe descriversi iniziando con ‘Io sono…’, ChatGPT elenca attributi individuali (‘Io sono ambizioso’, ‘Io sono creativo’…), riflettendo l’auto-concezione indipendente tipica delle culture WEIRD. Popolazioni non WEIRD, invece, tendono a descriversi attraverso ruoli e relazioni sociali (‘Io sono figlio di…’, ‘Io sono parte della comunità di…’).
Conclusione: GPT e culturalmente pensa come le persone di società ricche, alfabetizzate, connesse, e occidentali. Quindi è razzista: quanto non lo dice a chiare lettere lo studio, è una sintesi personale di chi scrive, ma chiedete a qualunque studente delle università USA, dopo il Black Lives Matters o la distruzione delle statue di Colombo, una traduzione del termine di occidentale, bianco e ricco…
L’illusione della ‘umanità universale’ e il bias perdurante
ChatGPT e modelli simili non rappresentano dunque la specie umana nella sua interezza, ma piuttosto una porzione culturalmente ristretta: gli occidentali istruiti e connessi. La causa principale di questo bias è strutturale, in quanto i dati di addestramento derivano in gran parte da Internet, dominato da contenuti in inglese e da utenti occidentali, e anche il fine-tuning e il reinforcement learning utilizzano feedback da valutatori appartenenti a questa cultura. Anche l’aumento della scala dei modelli (bigger is better) non risolverà automaticamente il problema, perché l’espansione dei dati non implica una maggiore diversità culturale.
Nella ricerca ritorna l’espressione ‘WEIRD in, WEIRD out’ come variante di ‘Garbage in, Garbage out’: se i dati di input riflettono una sola cultura, anche l’intelligenza artificiale produrrà comportamenti e giudizi limitati a quella cultura.
Gli autori, peraltro in logica di politically correct tipicamente WEIRD, propongono varie strategie per mitigare la distorsione esistente, che vanno dalla diversificazione dei dati di addestramento, includendo testi in più lingue e provenienti da contesti non occidentali, al coinvolgere annotatori e revisori culturali con background eterogenei per fornire feedback durante il fine-tuning.
“Solo riconoscendo la natura culturale dell’intelligenza umana sarà possibile costruire modelli che riflettano realmente la varietà della specie”, ammoniscono gli autori dello studio.
Un’altra contestazione a un modello inaccettabile
Le raccomandazioni per mitigare il bias sono valide (diversificare i dati, coinvolgere annotatori non-WEIRD), ma sollevano un’amara ironia.
“Per anni siamo stati invisibili nei dati”, potrebbe rispondere a queste annotazioni un utente non-WEIRD. “La soluzione proposta richiede che noi non-WEIRD si fornisca il lavoro (spesso sottopagato) di addestrare questi modelli, facendoli diventare meno WEIRD per gli scopi e i profitti delle aziende che li hanno creati, che sono e rimangono WEIRD”.
“Non si tratta solo di diversità culturale, ma di potere economico e tecnologico. L’idea di un’intelligenza artificiale universale è fallace, e fintanto che il potere e le risorse per costruire l’AI rimangono concentrate in poche mani occidentali, l’AI rimarrà, nel migliore dei casi, un interprete culturale imperfetto e, nel peggiore, un moltiplicatore di disuguaglianza globale”.
Nessun cenno da parte di questo ipotetico utente PUNN (poor, uneducated, non-industrialized e non-democratic) all’altra grande realtà che sta sviluppando con successo sistemi di AI, la Cina. Ma i cinesi non sono ‘western’ e ‘white’, quindi poco conta che gli algoritmi cinesi siano integrati in un vasto sistema di sorveglianza di massa (telecamere, app, data analytics) per monitorare i movimenti, i comportamenti e le comunicazioni di tutti (e in particolare delle minoranze etniche), creando di fatto un sistema di profilazione e repressione automatizzata su base sociale e politica. Questo include l’identificazione e la segnalazione di comportamenti considerati ‘sospetti’ o ‘estremisti’ dall’autorità del PCC, oltre all’annotazione su un efficiente e pervasivo sistema di social scoring.
Ma di questo parleremo (forse) un’altra volta…
di Massimo Bolchi