Ci sono cose che non ti aspetti di fare mentre scrivi un romanzo. Per esempio, non ti aspetti di passare tre settimane a studiare le specifiche tecniche di un supercomputer sovietico degli anni ’60. Non ti aspetti di sviluppare una strana forma di nostalgia per una macchina che non hai mai visto, in un paese che non esiste più, in un’epoca in cui non eri ancora nato.
Il BESM-6 — Большая Электронная Счётная Машина, Grande Macchina Calcolatrice Elettronica, un nome che già da solo vale il prezzo del romanzo, era il gioiello dell’informatica sovietica negli anni ’70. Occupava mezza stanza. Emetteva calore come un piccolo reattore nucleare. Aveva i pannelli metallici color verde militare, perché nell’URSS tutto era color verde militare, incluse probabilmente le torte di compleanno. Consumava elettricità come un condominio di dodici piani. E ronzava. Ronzava in modo costante, basso, onesto. Nel romanzo, il mio protagonista Ivan lavora in un osservatorio astronomico in Crimea. Intorno a lui c’è un sistema che mente per sopravvivere: i colleghi che falsificano i risultati per compiacere i superiori, i superiori che falsificano i rapporti per compiacere il Partito, il Partito che falsifica la realtà per compiacere se stesso. È una catena di menzogne talmente consolidata che nessuno ricorda più dove è iniziata.
Ma il BESM-6 non sa cosa sia la propaganda. Non sa cosa siano le conseguenze politiche di un risultato sbagliato. Non ha paura del gulag. Inserisci dei dati, elabora, restituisce un risultato. Se i dati sono sbagliati, il risultato è sbagliato, ma almeno è sbagliato in modo coerente, senza secondi fini.
E qui viene la parte che mi ha tenuto sveglio.
Oggi abbiamo macchine molto più potenti del BESM-6. Milioni di volte più veloci, miliardi di volte più capaci. E ci fidiamo di loro in modo incondizionato per praticamente ogni aspetto della nostra vita: la navigazione GPS, le diagnosi mediche, i feed dei social media, i punteggi di credito, le decisioni di assunzione.
Il problema è che queste macchine moderne, a differenza del BESM-6, non sono affatto neutre. Sono addestrate su dati umani, con obiettivi umani, da persone che hanno interessi umani. Hanno imparato dai nostri pregiudizi, dai nostri errori sistematici, dalle nostre narrazioni preferite.
In un certo senso, il BESM-6 era più onesto perché era più stupido. Poteva solo calcolare quello che gli dicevi di calcolare. Non poteva “imparare” a dare le risposte che volevamo sentire. Mentre scrivevo Rumore:77, ho realizzato che Ivan non si fidava della Bestia perché era infallibile. Si fidava di lei perché era trasparente. Sapeva esattamente come funzionava, sapeva cosa poteva e non poteva fare, sapeva dove iniziavano i limiti della macchina e dove iniziavano i limiti umani.
Nessuno di noi sa esattamente come funzionano i sistemi AI che usiamo ogni giorno.
Il BESM-6 era rumoroso, lento, caldo, enorme e inefficiente.
Era anche, a modo suo, onesto.
Mi manca già.
