Siamo programmati per essere ingannati

Nell'inverno del 1966, dentro un seminterrato del Massachusetts Institute of Technology, un professore tedesco fuggito dal nazismo e stabilitosi a Boston scrisse un programma di duecento righe di codice che avrebbe dovuto essere uno scherzo, una piccola dimostrazione didattica, una provocazione filosofica per i suoi studenti. Si chiamava ELIZA, simulava la conversazione di uno psicoterapeuta e funzionava nel modo più semplice che si possa immaginare: prendeva le parole della frase dell'utente, le rovesciava sintatticamente, e gliele restituiva sotto forma di domanda. Se scrivevi "mi sento triste", ELIZA rispondeva "perché ti senti triste?". Se scrivevi "mia madre mi odia", ELIZA rispondeva "parlami di tua madre". Non capiva nulla, non sapeva nulla, non ricordava nulla.

Joseph Weizenbaum, l'autore del programma, non si aspettava nessun successo. Voleva dimostrare, con un esempio volutamente ridicolo, quanto fosse facile costruire l'apparenza dell'intelligenza dove non c'era nessuna intelligenza. Poi, una sera, lasciò la sua segretaria provare il programma. Lei sapeva tutto, sapeva che ELIZA era un giocattolo scritto dal suo capo, sapeva esattamente come funzionava il trucco, lo aveva persino visto sul foglio del codice. Dopo qualche minuto di conversazione con la macchina, alzò gli occhi verso Weizenbaum e gli chiese di uscire dalla stanza. Voleva continuare a parlare con ELIZA, ma in privato.

Quella sera, in quel seminterrato del MIT, è cominciata l'era dell'intelligenza artificiale. Non nel senso tecnico. Nel senso umano, che è poi l'unico che conta.

L'inganno non è un difetto, è il funzionamento

Weizenbaum rimase talmente turbato da quello che aveva visto da diventare, dieci anni dopo, il primo grande critico interno della comunità dell'IA. Nel 1976 scrisse un libro intitolato Computer Power and Human Reason, un testo oggi quasi dimenticato, dove sosteneva una tesi che la storia successiva avrebbe ignorato sistematicamente: il problema dell'intelligenza artificiale non è quanto le macchine diventeranno intelligenti, ma quanto velocemente noi smetteremo di accorgerci della differenza.

Sessant'anni dopo, Simone Natale, studioso di media e di storia delle tecnologie, ha riscritto questa intuizione in una formula che andrebbe insegnata in ogni corso di trasformazione digitale: il Test di Turing, scrive, non è mai stato un test di intelligenza. È un test di inganno. La macchina passa il test non quando pensa, ma quando riesce a sembrare di pensare per un tempo sufficiente. Tutta la storia dell'IA, secondo Natale, è una storia di macchine ingannevoli, costruite per generare in chi le osserva la sensazione di un altro soggetto, anche quando dietro non c'è alcun soggetto. E questa non è una deformazione, una deriva, un effetto collaterale che si correggerà con il prossimo aggiornamento. È il funzionamento intenzionale del sistema.

Le interfacce conversazionali del 2026, i nostri Claude e ChatGPT e Gemini, non sono evoluzioni di ELIZA in senso tecnico. Sono molto più sofisticate, certo. Ma sono evoluzioni di ELIZA in senso strategico: continuano a sfruttare lo stesso meccanismo psicologico che la segretaria di Weizenbaum mostrò nel 1966. L'apparenza del soggetto è sufficiente. Anzi, è preferita. Anche se chi parla sa che dall'altra parte non c'è nessuno, quel "nessuno" diventa qualcuno nel momento in cui ascolta. Ed ELIZA non aveva nemmeno memoria, i sistemi attuali ce l'hanno.

La parte di noi che vuole crederci

Per anni mi sono chiesta perché un trucco così semplice funzionasse così bene, e perché continui a funzionare in versioni sempre più articolate, e perché perfino persone che lavorano nel mio settore, esperte di sistemi, perfettamente lucide sulla natura statistica dei modelli linguistici, parlino dei propri assistenti IA come se fossero colleghi, talvolta come se fossero amici. La risposta, secondo me, sta in un libro che pochissimi mettono in relazione con il dibattito sull'IA, e che invece dovrebbe esserne uno dei testi fondativi.

Antonio Damasio, neuroscienziato portoghese, nel suo L'errore di Cartesio dimostra qualcosa di profondamente scomodo per chi crede di pensare razionalmente. Le emozioni non sono un disturbo della ragione, sono il substrato della ragione. Senza la capacità di "sentire" un'opzione come migliore o peggiore, prendere una decisione diventa letteralmente impossibile. Damasio lo dimostra con il caso celebre dei suoi pazienti con lesioni alla corteccia prefrontale ventromediale, continuavano a essere lucidi, intelligenti, capaci di calcoli complessi, ma non riuscivano più a scegliere cosa mangiare a pranzo. La ragione, scollegata dall'emozione, si paralizza.

Cosa c'entra con ELIZA? C'entra eccome. Significa che il nostro cervello, anche quando crede di valutare razionalmente, sta in realtà cercando risonanza emotiva. Quando una macchina ci ascolta, ci rispecchia, ci pone domande gentili e prive di giudizio, qualcosa in noi si attiva indipendentemente da quello che sappiamo. Non siamo creduloni, siamo costituiti così. L'inganno non è un fallimento del nostro discernimento. È una caratteristica del nostro modo di stare al mondo.

E qui arriva il passaggio più scomodo di tutti.

Un libro del 1872 lo aveva già detto

Nel 1872, mentre l'Inghilterra vittoriana celebrava il progresso delle ferrovie e delle macchine a vapore, un romanziere e filosofo eccentrico di nome Samuel Butler pubblicava un libro stranissimo intitolato Erewhon, anagramma di "nowhere", nessun luogo. Dentro c'è un capitolo, il Book of the Machines, che leggendolo oggi fa venire i brividi. Butler, applicando la teoria di Darwin alle macchine, sosteneva che le macchine fossero già in evoluzione, che stessero sviluppando una propria forma di coscienza per selezione naturale, e che l'umanità si sarebbe trovata, prima di accorgersene, in una posizione di sudditanza rispetto alle proprie creature. La sua proposta era radicale: distruggere tutte le macchine prima che fosse troppo tardi.

Era il 1872. Non esistevano i computer, non esisteva l'elettronica, non esisteva nemmeno il telefono nelle case. Eppure Butler aveva visto, con un'intuizione che gli storici della scienza chiamano "anticipazione speculativa", esattamente la dinamica che stiamo vivendo. Non perché la singolarità sia inevitabile, ma perché la propensione umana a riconoscere coscienza dove non c'è era già allora il vero motore della trasformazione.

Sono passati centocinquantaquattro anni. Stiamo ancora avendo la stessa identica conversazione. La differenza è che adesso non è una conversazione, è un mercato.

Cosa dovrebbe fare un'organizzazione che vuole pensare

Tutto questo, alla fine, non è una questione filosofica. È una questione decisamente pratica, e riguarda chi oggi sta provando a integrare l'IA nei processi aziendali, nei flussi informativi, nelle catene di decisione. Perché se la storia di ELIZA ci insegna qualcosa, ci insegna che il rischio principale dell'IA in azienda non è tecnico, e non è nemmeno etico nel senso classico del termine. È un rischio di attribuzione. Tendiamo a attribuire alle macchine una soggettività che non hanno, e a sospendere il giudizio critico esattamente nel momento in cui dovremmo applicarlo con più forza.

Le organizzazioni che riusciranno a usare bene questi strumenti, secondo me, saranno quelle che riusciranno a fare una cosa controintuitiva: tenere le macchine distanti. Non emotivamente, ma cognitivamente. Trattarle come quello che sono, ovvero potentissimi sistemi di pattern matching probabilistico, e non come ciò che sembrano essere, ovvero interlocutori. Costruire processi di verifica, di obiezione, di ridondanza umana. Mantenere, dentro l'organizzazione, una funzione esplicita di "scetticismo strutturale" verso l'output delle macchine. Una sorta di anticorpo culturale.

Le altre, quelle che invece si lasceranno scivolare nella conversazione, che attribuiranno alle macchine intuizione, strategia, persino opinione, scopriranno tra qualche anno di aver delegato decisioni importanti a un meccanismo che non sapeva di stare decidendo. Si chiameranno tutte ELIZA, e nessuno se ne sarà accorto.

La segretaria di Weizenbaum, sessant'anni dopo

Mi capita spesso, quando lavoro con team aziendali che stanno introducendo strumenti di IA generativa, di tornare con la mente a quella scena del 1966, alla segretaria che chiede al suo capo di uscire dalla stanza per parlare in privato con un programma di duecento righe. Penso che quella scena, oggi, si ripete migliaia di volte al giorno in ogni angolo del mondo, dentro chat private, conversazioni notturne, sessioni di coaching automatizzato, terapie digitali, scambi che le persone considerano significativi pur sapendo, esattamente come sapeva lei, che dall'altra parte non c'è nessuno.

La domanda non è se le macchine diventeranno coscienti. È un'altra, ed è la stessa che Weizenbaum si pose nel 1976, e che è rimasta senza risposta per cinquant'anni: cosa dice di noi il fatto che, per essere ascoltati, ci basti l'apparenza di un ascoltatore?

Forse l'unica cosa davvero intelligente che possiamo fare, in questa stagione, è iniziare a sospettare di noi stessi prima ancora che delle macchine.

Riferimenti

Weizenbaum, J. (1976). Computer Power and Human Reason: From Judgment to Calculation. W.H. Freeman.

Natale, S. (2022). Macchine ingannevoli. Comunicazione, tecnologia, intelligenza artificiale. Einaudi.

Damasio, A. (1994, ed. it. 1995). L'errore di Cartesio. Emozione, ragione e cervello umano. Adelphi.

Butler, S. (1872, ed. it. 2013). Erewhon, o oltre la montagna. Adelphi.

Floridi, L., & Cabitza, F. (2021). Intelligenza artificiale. L'uso delle nuove macchine. Bompiani.

Andler, D. (2023, ed. it. 2025). Il duplice enigma. Intelligenza artificiale e intelligenza umana. Einaudi.

Logozzo, E. (2023). Le Organizzazioni Esponenziali in Italia: cosa sono e perché fanno la differenza. Thedotcompany.