Perché mi fido più di un algoritmo che della mia commercialista (e le implicazioni inquietanti di questa affermazione)

Lasciatemi iniziare con una premessa: la mia commercialista è una persona onesta. Lo dico perché, nel caso in cui questo articolo finisca in mani sbagliate (intendo gli amici dell’agenzia delle entrate che saluto caldamente), voglio che sia chiaro. È onesta, competente, e probabilmente più affidabile di me su molte questioni fiscali.
Eppure.
Eppure c’è una parte di me che, quando ricevo un risultato dal mio google maps, lo accetta con una fiducia istintiva che non riservo a quasi nessun essere umano. Il GPS dice “svolta a sinistra tra 200 metri”, e io svolto a sinistra senza chiedermi se il GPS ha interessi nascosti, se sta cercando di farmi del male, se ha avuto una brutta giornata.
Scrivendo Rumore:77 ho dovuto fare i conti con questa stranezza.
Ivan, il mio protagonista, lavora in un ambiente dove la fiducia è una merce rara e pericolosa. Fidarsi del collega sbagliato significa il gulag. Fidarsi del superiore sbagliato significa la fine della carriera. Fidarsi del sistema significa diventare complice delle sue bugie. E allora Ivan si fida della macchina. Del BESM-6. Perché la macchina non ha motivazioni politiche, non ha paura delle conseguenze, non ha un’identità da proteggere.
Ora, il punto interessante e leggermente inquietante, è che questa logica funziona solo finché le macchine sono strumenti semplici. Le macchine che usiamo oggi non sono strumenti. Sono sistemi. E la differenza è enorme. Uno strumento fa quello che gli dici. Un sistema fa quello per cui è stato ottimizzato, il che può essere, e spesso è, molto diverso da quello che vorresti che facesse.
Il feed di Instagram è ottimizzato per tenerti incollato allo schermo. Non per farti sentire bene, non per darti informazioni accurate, non per aiutarti a prendere decisioni migliori. Per tenerti incollato allo schermo. Tutto il resto è un effetto collaterale.
Il sistema di credito è ottimizzato per stimare il rischio finanziario, ma “rischio finanziario” è una costruzione umana che porta con sé tutti i pregiudizi di chi l’ha definita.
Noi non sappiamo quasi mai cosa stanno ottimizzando i sistemi che usiamo. E quando lo scopriamo, spesso non ci piace.
Quindi sì, mi fido più di certi algoritmi che di certi esseri umani. Ma solo degli algoritmi di cui capisco le motivazioni. Degli altri, ho imparato a diffidare tanto quanto diffido degli esseri umani più opachi.
Il che mi riporta alla mia commercialista.
Lei, almeno, posso guardarla negli occhi quando mi spiega cose che non capisco.