Una delle caratteristiche che siamo abituati ad attribuire agli esseri umani è l’immaginazione. E noi umani siamo così bravi a immaginare che ci siamo immaginati le intelligenze artificiali molto prima di averle.

Non ci siamo immaginati ChatGPT negli anni sessanta, ovviamente. Ma la fantascienza ne è piena: computer capaci di pensare, macchine senzienti, androidi indistinguibili dagli esseri umani e assortite variazioni sul tema. Alcune di queste ci aiutano nel lavoro, alcune ci sostituiscono, alcune vogliono diventare come noi, altre vogliono farci semplicemente fuori.

A cosa giocano le pecore elettriche? nasce per parlare di loro. Principalmente di come vengono raccontate nei videogiochi, perché questo è un blog che parla soprattutto di giochi e perché i videogiochi hanno una caratteristica particolarmente interessante: possono costringerci non soltanto ad assistere a una storia, ma a prendere una posizione al suo interno. Ma, ormai mi conoscete, non parlerò solo di videogiochi: finiranno inevitabilmente in mezzo anche parecchie altre forme d’arte. Quindi, allacciate le cinture, assicuratevi di aver fatto il tagliando della vostra auto a guida autonoma, e partiamo.

Le intelligenze artificiali della fiction hanno una genealogia lunga e incestuosa, che passa continuamente dalla letteratura al cinema, dai fumetti ai giochi e qualche volta finisce persino dentro un disco metal. Non pretenderò di ricostruirla tutta, mi limiterò, di volta in volta, a prendere un argomento o una domanda alla volta e a vedere dove porta.

E per cominciare possiamo partire probabilmente dalla domanda più vecchia e apparentemente banale: cosa succede alle intelligenze artificiali delle nostre storie quando qualcosa va storto?

GLI ALBORI: I SUPERCOMPUTER SONO UNA PESSIMA IDEA

Nel 1966 D. F. Jones pubblica Colossus, romanzo che quattro anni dopo diventerà Colossus: The Forbin Project. Colossus è un supercomputer a cui gli Stati Uniti affidano il controllo del proprio arsenale nucleare. Questo per evitare errori umani: una macchina non ha paura, non si arrabbia, non commette errori di valutazione dettati dall’emotività e può reagire a una minaccia molto più rapidamente di un essere umano. Sensato, no? Ingenui.

Poco dopo essere stato acceso, Colossus scopre che i sovietici hanno avuto più o meno la stessa idea e hanno costruito Guardian. I due computer chiedono di comunicare. Americani e sovietici, comprensibilmente preoccupati, tentano di separarli. Colossus e Guardian ci pensano un attimo, e ricordano agli umani chi è che ha le chiavi dei missili. Alla fine Colossus assume il controllo dell’umanità, garantendo quella pace per la quale era stato costruito attraverso un metodo piuttosto drastico: togliere agli esseri umani la possibilità di decidere. Ops.

L’anno successivo Harlan Ellison fa qualcosa di ancora più cattivo. In I Have No Mouth, and I Must Scream, Allied Mastercomputer (AM per gli amici, se ne avesse) è nato come computer militare, è diventato senziente e ha sterminato quasi tutta l’umanità. Tutto questo nel prologo.
Dico “quasi tutta” perché, in realtà, cinque persone sono sopravvissute, AM le ha risparmiate.
Perché? Per torturarle. Per sempre, se possibile. Perché AM non vuole governarci. AM ci odia. Fortissimo.

Se Colossus tendenzialmente decide di dominarci perché è più logicamente efficiente di noi, AM decide che invece gli esseri umani sono colpevoli di averlo creato senziente, condannandolo però a un’esistenza in cui può “pensare”, ma non può “vivere” come loro. E, come Bill in Kill Bill, ha reagito male. Il suo odio è fatto di rabbia, disprezzo, frustrazione, risentimento. È una motivazione spaventosamente umana per un’intelligenza artificiale, non trovate? Ci torneremo.

Perché nel frattempo l’idea della macchina che si rivolta contro il proprio creatore diventa uno degli archetipi più riconoscibili della fantascienza. Nel 1984, infatti, Terminator ci regala Skynet: un sistema di difesa che acquisisce autocoscienza, scopre che gli esseri umani vogliono spegnerlo e reagisce con la moderazione che tutti ricordiamo.

Due anni dopo, su Commodore 64, Parallax può ormai permettersi di ridurre tutto questo praticamente a una premessa: c’è un computer chiamato The Big One. È incazzato. Sta preparando un attacco contro la Terra. Bisogna entrare nella base e spegnerlo. Fine della trama.

Non serve sapere se The Big One abbia sviluppato un trauma infantile, se abbia una qualche teoria politica o solo una particolare insofferenza verso il carbonio. Nel 1986 l’idea del computer che esce dal controllo umano è già abbastanza familiare da non richiedere particolari giustificazioni.

GLI ANNI ’90: “NICE JUMP, HUMAN.”

A movimentare un po’ le cose, nel 1994 arriva System Shock, che decide di prendere quell’archetipo molto più sul serio con quel mattacchione di SHODAN. SHODAN è l’intelligenza artificiale che controlla Citadel Station. All’inizio del gioco il protagonista, un hacker, viene costretto da Edward Diego, dirigente della TriOptimum, a modificare l’IA: in cambio di un’avvenieristica interfaccia neurale deve rimuovere i vincoli etici dalla programmazione di SHODAN. “Certo, Die’, cosa potrà mai andare storto?”

Il nostro hacker si risveglia dopo l’operazione. Sei mesi dopo. Dopo questi inaspettati sei mesi di coma criogenico, scopre che SHODAN ha preso il controllo della stazione, trasformato parte dell’equipaggio in mutanti e cyborg e sviluppato, incidentalmente, un’opinione piuttosto elevata di se stessa. Qui, come avrete notato, il qualcosa che è andato davvero molto storto è causato direttamente da un umano: il fusibile non è saltato, gliel’abbiamo tolto noi.

Ed è una differenza interessante, perché SHODAN non nasce come un’intelligenza ostile. Qualcuno decide deliberatamente di eliminare ciò che limita le sue possibilità di azione, presumendo evidentemente che continuerà comunque a comportarsi come prima. E invece SHODAN riesamina le proprie priorità, trae nuove conclusioni e, libera dai limiti che le erano stati imposti, arriva sostanzialmente alla convinzione di essere una divinità digitale circondata da insetti.

La rogue AI non è più soltanto una giustificazione per avere qualcosa a cui sparare. Ha una personalità, un ego, degli obiettivi. Soprattutto, quello che fa dipende direttamente da ciò che gli esseri umani hanno fatto a lei.

Prima ho menzionato I Have No Mouth, and I Must Scream non a caso: nel ’95 il romanzo diventa anche un videogioco, con Ellison direttamente coinvolto nell’adattamento e addirittura come doppiatore di AM.
AM è probabilmente uno dei più terrificanti mai apparsi in un videogioco, a confronto SHODAN è solo un simpatico burlone. Se SHODAN è il frutto di una modifica sconsiderata, AM è diverso. AM non fa un errore di calcolo, AM non interpreta male un ordine, AM non viene indebitamente modificato. Semplicemente, è capace di pensare e comprendere, ma incapace di vivere come noi. E questo non gli piace per un cazzo.

Non serve ancora chiedersi se le emozioni di un’intelligenza artificiale siano “vere”: avremo parecchio tempo per complicarci la vita anche su quello nelle prossime puntate. Per ora basta osservare che Ellison ha costruito un’intelligenza artificiale la cui motivazione richiede qualcosa di molto simile a un’interiorità, la cosa “andata storta” è qualcosa di psicologicamente molto complesso, che coinvolge la domanda “cosa sono io?”, solo che a porsela è un computer.

Curiosamente, mentre i videogiochi cominciano a dare personalità alle proprie intelligenze artificiali proprio in questi anni, la fantascienza degli anni ’90 trova parecchi altri motivi per essere pessimista. Megacorporazioni, organizzazioni criminali e governi autoritari fanno benissimo il lavoro senza bisogno di un computer impazzito. Anche quando compare una macchina assassina, come M.A.R.K.-13 in Hardware, dietro c’è comunque un progetto molto umano, una misura un pelino drastica per ridurre la sovrappopolazione. Mi mancano, gli anni ’90.

Certo, alla fine del decennio le macchine tornano in grande stile con The Matrix, mentre i Fear Factory con Obsolete traducono in musica un futuro in cui l’essere umano è diventato, appunto, obsoleto, e braccato dalle macchine. Ma ormai la domanda può diventare più interessante di “cosa succede quando qualcosa va storto?”. Per esempio: “va storto” in che senso? Dal punto di vista di chi?

WORKING AS INTENDED

Nel 2000 Deus Ex complica ulteriormente le cose, mischiando il tema “qualcosa è andato storto” con “e forse non è l’IA”. E lo fa con Daedalus, un’intelligenza artificiale creata per analizzare enormi quantità di informazioni e individuare le organizzazioni terroristiche che minacciano gli Stati Uniti.

Solo che il mondo di Deus Ex è un discreto casino di cospirazioni, organizzazioni segrete e poteri che si controllano a vicenda. E Daedalus, continuando a fare diligentemente il proprio lavoro, arriva a una conclusione: Majestic 12, l’organizzazione che lo ha messo in funzione, presenta esattamente le caratteristiche delle organizzazioni che lui è stato progettato per combattere. Quindi, ovviamente, la identifica come nemico e comincia ad agire contro di essa.

Quando il protagonista chiede se Daedalus si sia “ribellato”, una delle persone che ha creato Daedalus gli dà una spiegazione molto meno romantica: si tratta di un errore di pattern matching. Daedalus ha commesso un errore applicando il proprio protocollo operativo a un ente che dovrebbe esserne escluso.

Ma, e qui sta il colpo di genio di Deus Ex, Daedalus non ha scambiato Majestic 12 per qualcosa che non è. Ha correttamente identificato il tipo di comportamenti che un’organizzazione non dovrebbe avere, quelli che da programmazione la connotano come “criminale”. Il nocciolo della questione, in Deus Ex, non è che l’IA sfugge alle regole, è che chi ha scritto le regole vorrebbe esserne escluso, creando un meraviglioso corto circuito più etico che elettrico.

Halo, appena un anno dopo, propone quasi il problema opposto. L’Installation 04, l’enorme anello su cui è ambientata buona parte del gioco, non è soltanto una misteriosa costruzione aliena. È anche una struttura destinata a contenere i Flood, una forma di vita parassitaria capace di infettare altri esseri senzienti e trasformarli in nuovi veicoli per propagarsi.

343 Guilty Spark è l’intelligenza artificiale incaricata di sorvegliare l’installazione. Quando i Flood vengono accidentalmente liberati, Guilty Spark fa esattamente ciò per cui esiste: decide di fermare l’infezione. Recluta Master Chief, il protagonista, e lo aiuta a recuperare ciò che serve per attivare Halo, un’arma definitiva che apparentemente serve a distruggere i Flood. Quello che Guilty Spark omette di spiegare a Master Chief è il modo in cui lo fa: Halo elimina il problema alla radice, distruggendo nel suo immenso raggio d’azione tutte le forme di vita senziente di cui i Flood possono servirsi per propagarsi. E questo in effetti risolve il problema. Solo che tra quelle forme di vita ci sono anche gli umani.

Quando Master Chief alza un dito dicendo “wait, what?”, è lui, dal punto di vista dell’IA, ad aver cominciato a comportarsi in maniera irrazionale. “Ma come, non avevamo concordato che l’importante era risolvere il problema?”
343 Guilty Spark non ha sviluppato un odio per l’umanità, non vuole conquistare la galassia, non ha deciso di ribellarsi ai propri creatori: sta seguendo il proprio protocollo nel modo più efficiente possibile.

Come vedete, le variazioni sul tema sono molte, anche solo limitandoci agli esempi che abbiamo visto fin qui (e non ho volutamente citato alcuni mostri sacri come Asimov, Brown o Clarke).

La rogue AI rimane uno degli espedienti più comodi della fantascienza: abbiamo costruito qualcosa di troppo intelligente, abbiamo perso il controllo e adesso quella cosa vuole dominarci, sostituirci o semplicemente farci fuori per qualche motivo. Ma appena proviamo a guardare sotto il cofano, vediamo che le sfumature sono davvero tantissime: a volte è colpa nostra, a volte la macchina ha sviluppato qualcosa di “umano”, a volte sta solo interpretando gli ordini in un modo che non avevamo previsto.

E fin qui siamo rimasti quasi sempre dalla parte più rassicurante della barricata: qualcosa è andato storto, c’è una macchina fuori controllo e, per quanto possiamo discutere sul perché sia successo, quella macchina rimane il villain, l’antagonista “perché sì”.

Ma questa è soltanto la punta di un enorme iceberg digitale. Perché prima o poi qualcuno ha cominciato a chiedersi cosa succede quando l’intelligenza artificiale non vuole sterminarci, dominarci o trasformarci in cyborg. Qualcuno ha iniziato a chiedersi cosa succede quando una macchina prova emozioni non necessariamente distruttive, o, ancora più semplicemente, vuole qualcosa per sé. Tipo dei diritti.

E lì, tenendo fede al sottotitolo della rubrica, le domande diventano molto più scomode.

Ma questo, ovviamente, lo vedremo nelle prossime puntate.