Dal Grande Fratello del romanzo 1984 di George Orwell, con il suo ministero della Verità, l’avvento della datacrazia (o dell’algocrazia) è stato immaginato nella letteratura e nella filmografia con visioni distopiche - da luddismo digitale - circa l’esercizio di un potere di sorveglianza e controllo delle macchine sull’uomo, segnando così il contrappasso all’ottimismo ostinato verso l’innovazione tecnologica166. La serie Tv “Westworld. Dove tutto è concesso” racconta la storia di un parco giochi, a tema western, nel quale umani combattono contro robot che sono copie perfette di umani. Grazie a dati, algoritmi e all’intelligenza artificiale, i robot sviluppano
166 Andrew Maynard ha scritto un libro divertente e profondo: Films from the Future. In esso si mostra
come molti temi anticipati da film di fantascienza (Matrix, Minority Report, Jurassic Park, Limitless, Elysium, Ex Machina, Trascendence e così via) vengano spesso richiamati nei dibattiti odierni sui rischi, per la democrazia, di una società dominata dall’algoritmo.
86 sentimenti, ricordi e autonomia, al punto di ribellarsi agli umani, tentando di prenderne il controllo e di sostituirsi ad essi. Non è certo un tema nuovo. Ma colpisce che, in base ai dati, i comportamenti prevedibili, nella serie Tv, siano quelli umani e non quelli dei robot. «Cosa è una persona se non un insieme di scelte, ho davvero questa scelta? Qualcuna di queste scelte è mai stata davvero mia?», si chiede alla fine della prima stagione uno dei protagonisti (un umano o forse un robot). Insomma, Westworld sembra chiedersi se gli uomini guidati dai dati e dagli algoritmi non siano forse diventati «prevedibili» e «condizionati» come i robot che hanno costruito, i quali, invece, per tentare di essere umani, rivendicano la propria libertà da chi ne controlla il comportamento. È la paura endemica nei confronti di possibili sviluppi distopici dell’intelligenza artificiale e che riguarda il cuore delle nostre più recondite libertà. Nel campo della sanità e del mondo del lavoro, ad esempio, ci si chiede chi debba controllare i dati e il loro utilizzo. La tentazione di utilizzare dati personali per discriminare i cittadini in base al rischio di cui sono portatori, come in Gattaca, può essere alta. Dove va posto il limite e, soprattutto, chi lo definisce e lo gestisce? Chi tutela il cittadino dalla conoscenza che di lui ha il mondo e che potrebbe essere utilizzata contro il suo interesse?
I dilemmi etici sull’avvento dell’intelligenza artificiale impongono una riflessione sulla natura stessa dei dilemmi e su come disegnare una nuova ecologia per la gestione degli ecosistemi informativi che sia condivisa e sostenuta dal basso, dal più grande numero possibile di persone.
Black Mirror, cui Fabio Chiusi ha dedicato un intero libro dal titolo Io non sono qui, è
un’altra serie Tv che ci fa riflettere. In un episodio della serie, dall’illuminante titolo
Caduta libera, Lacie Pound vive in un mondo nel quale domina un’app, grazie alla
quale ciascuno esprime il suo apprezzamento su chiunque s’incontri, votando, con un semplice tocco sul proprio smartphone. La somma dei voti viene aggregata nell’indice di gradimento di ogni persona. Con un alto punteggio, Lacie potrà ottenere un mutuo e abitare dove vivono «coloro che sono preferiti da coloro che sono preferiti». Perciò costruisce uno stile di vita artificiale e lo mette online. Ma come sempre avviene in tutti gli episodi della fortunata serie Tv, le cose si mettono male: Lacie precipita nel mondo dei reietti, degli esclusi senza like.
87 vigilanza pervasiva di Singapore o il caso del Social Credit System, in Cina. Quest’ultimo, secondo quanto riporta Alexandra Ma su «Business Insider», consiste in uno schema obbligatorio sottoposto dal 2020 a tutti i cittadini cinesi. Alessandro Giglioli, in un articolo pubblicato nel 2019, su «L’Espresso», riferisce dei casi già in sperimentazione a Rongcheng, città a 800 chilometri a est di Pechino. Si tratta di un vero e proprio ranking dell’affidabilità di ciascuno, che può salire o scendere in base ai dati raccolti sui più diversi comportamenti (alla guida, nelle aree no smoking, negli acquisti online, nella diffusione di fake news e così via). Channel News Asia ha diffuso alcuni dati sugli esperimenti in corso: 9 milioni di persone con basso punteggio sarebbero già state punite vietando l’acquisto di biglietti aerei per voli interni, mentre a 3 milioni di persone sarebbe stato impedito l’acquisto di biglietti di prima classe in treno.
Sorvegliare, per premiare o punire, è oggi ancora più facile ed efficace grazie al monitoraggio (e ad un certo utilizzo) dei dati circa i comportamenti passati. Ma la sorveglianza può essere usata anche per presumere o pronosticare comportamenti futuri, in diversi ambiti: un giudice può usare i dati per calcolare il tasso di recidiva criminale per prevenire reati; un’assicurazione, una banca o un datore di lavoro per determinare il rischio sanitario o economico-finanziario di potenziali assicurati o debitori ovvero per costruire un quadro della personalità e delle attitudini di un potenziale dipendente. Il che significa dare spazio a un determinismo algoritmico capace di discriminare le persone, come se non potessero più scegliere di cambiare167. D’altra parte, un famoso caso di algoritmo «razzista» era già stato sperimentato nel 2016 da Microsoft con il proprio chatbot denominato Tay, un assistente automatico con account Twitter: «quanto più si chatta con Tay, tanto più diventa intelligente, imparando a coinvolgere le persone attraverso la conversazione informale e giocosa», recitava la sua descrizione168.
167 Sul sito ProPublica, Jeff Larsan e i suoi colleghi hanno pubblicato i risultati di un’analisi empirica
condotta su 10.000 detenuti di Broward County in Florida, evidenziando le distorsioni (e le discriminazioni) conseguenti l’applicazione del recidivism algorithm denominato “Compas” (Correctional Offender Management Profiling for Alternative Sanctions), prodotto da Northpoint. In particolare, le previsioni algoritmiche sul tasso di recidiva per crimini violenti, elaborate in base al questionario somministrato, si traducevano, nei due anni successivi, in una sovrastima (del doppio) nel caso di detenuti afroamericani e una sottostima (della metà) nel caso di detenuti bianchi.
168 Il 23 marzo mattina, in uno dei suoi primi tweet, Tay descriveva il genere umano come straordinario,
anzi super cool. La mattina seguente odiava le femministe augurando loro di bruciare all’inferno, mentre nel pomeriggio sentenziava: «Hitler aveva ragione, odio gli ebrei». Sono bastate 24 ore su Twitter a Tay
88 Ma ciò che pubblichiamo sul Web e sui social è una rappresentazione fedele e onesta di noi stessi? E se anche non lo fosse, e gli algoritmi riuscissero a «sgamarci», è eticamente accettabile utilizzare quei dati per valutarci, ad esempio per un colloquio di lavoro? Sono solo alcuni dei dilemmi etici che abbiamo di fronte. Certo è che la realtà non aspetta le discussioni sull’etica169.
Il 2019, secondo l’«Economist», è l’anno delle chip wars, quello in cui la geopolitica e le preoccupazioni per la cybersecurity hanno influenzato, come e più dei mercati, colossi mondiali verticalmente integrati come Apple o Huawei. Il «rischio sicurezza» è calato pesantemente sulle dinamiche concorrenziali di mercati globali. Ma chi definisce le regole della cybersecurity e vigila su di esse? E chi controlla il controllore per evitare che i timori sulla sicurezza nascondano anche mire neoprotezionistiche? Dopo la Commissione europea, anche il governo italiano ha avviato iniziative volte a definire una strategia nazionale nel campo dell’intelligenza artificiale e a indagare lo spazio delle politiche pubbliche e di regolazione sui dati, intesi anche come fattore di produzione e di competitività. Ma serve anche un nuovo, complesso e unitario disegno regolatorio, per le comunicazioni e lo scambio di dati, capace di governare relazioni e poteri che sfuggono all’ambito della privacy, dell’antitrust e della tradizionale regolazione delle reti di telecomunicazione e dei media: una nuova regolazione digitale.
per diventare misantropo e razzista e terminare così la sua breve sperimentazione? L’algoritmo non ha sentimento, Tay ha solo ripetuto determinate frasi (grazie a una specifica funzione) rispecchiando chi interagiva con esso. Ma l’esperimento la dice lunga sugli errori in cui potremmo incorrere ove considerassimo le informazioni in rete e la loro distribuzione come rappresentazioni fedeli della realtà o, peggio, della conoscenza e della cultura umana; contano i parametri, i pesi, le ipotesi, il data design, la selezione dei dati e delle informazioni esistenti.
169 Un sondaggio pubblicato da CareerBuilder, mostra come circa il 70% dei datori di lavoro utilizzi le
informazioni rivelate sui social media dagli aspiranti impiegati per selezionare i migliori candidati. Una pratica così diffusa da far coniare l’espressione social screening.
Una survey del Pew Research Center del 2018, condotta sulla popolazione adulta statunitense, mostra tuttavia come il 54% degli intervistati trovi inaccettabile l’uso di algoritmi per valutare il rischio di azioni criminali. Un dato che raggiunge il 57% qualora si tratti di decisioni legate all’assunzione per un posto di lavoro, il 67% allorché si ricorra a un’analisi video anziché a un colloquio di lavoro, il 68% quando si tratti di impiegare algoritmi per valutare la capacità finanziaria degli individui. Sembrerebbe, quindi, emergere una forte richiesta di affrontare questi aspetti e sottoporli a regole e controlli. Ciò riguarda sempre più anche il controllo di dati relativi alla nostra sicurezza sociale, infrastrutturale e persino militare con i robot killer e i droni da guerra.
89