PROFILAZIONE E DECISIONI AUTOMATIZZATE AL TEMPO DELLA BLACK BOX SOCIETY: QUALITÀ DEI DATI E LEGGIBILITÀ DELL’ALGORITMO NELLA CORNICE DELLA RESPONSIBLE RESEARCH AND INNOVATION
Sommario: 1. La Black Box Society – 2. Armi di distruzione matematica – 3. Risposte a domande che non sono state formulate. Opacità vs. Trasparenza – 4. Le questioni essenziali - 5. La regola: il divieto di decisioni totalmente automatizzate - 6. Le eccezioni e le “misure appropriate” di protezione. La controversa configurabilità di un “diritto alla spiegazione” – 7. Oltre il diritto alla spiegazione: la leggibilità della decisione. Spunti di riflessione alla luce della Responsible Research
and Innovation (RRI)
1. La Black Box Society
I progressi nella tecnologia dell’informazione e della comunicazione – soprattutto grazie alla enorme implementazione della capacità di calcolo dei computer – hanno impresso una forte accelerazione ad attività di big data analytics1 e data mining2, che a loro volta alimentano forme
sempre nuove di intelligenza artificiale: non solo machine learning supervised (nelle quali gli algoritmi sono stati programmati in modo da raggiungere determinati risultati), ma sempre più anche machine learning unsupervised (nelle quali gli algoritmi riescono a trovare delle regolarità nell’insieme dei dati, senza alcuna istruzione rispetto ai risultati che devono essere ottenuti)3.
1 Cfr. S. BAROCAS & A.D. SELBST, Big Data’s Disparate Impact, 104 California L.R., 673 (2016): “Big Data is the buzzword
of the decade”. Il termine big data (megadati) si riferisce a grandi quantità di tipi diversi di dati prodotti da varie fonti, fra cui persone, macchine e sensori. Alcuni esempi sono i dati sul clima, le immagini satellitari, le immagini e i video digitali, le registrazioni di operazioni o i segnali GPS. I big data possono comprendere dati personali: ad es. informazioni riguardanti una persona, come un nome, una fotografia, un indirizzo e-mail, estremi bancari, messaggi postati sui siti delle reti sociali, informazioni cliniche o l’indirizzo IP di un computer: cfr. COMMISSIONE EUROPEA, Digital single market-Big Data, in ec.europa.eu
2 Si intende per data mining il processo di estrazione da banche dati di grandi dimensioni tramite l’applicazione di
algoritmi che individuano le associazioni “nascoste” tra le informazioni e le rendono visibili. L’estrazione di conoscenza avviene tramite l’individuazione delle associazioni o sequenze ripetute (patterns). V. per tutti U.M. FAYYAD, G. PIATETSKY-SHAPIRO, P. SMYTH, From data mining to knowledge discovery: an overview, in U. FAYYAD, (ed.) Advances in Knowledge Discovery and DataMining. AAAI Press, Menlo Park, CA (1996).
3 R. ANGELINI, Intelligenza Artificiale e governance. Alcune riflessioni di sistema, in F. PIZZETTI (a cura di), Intelligenza
artificiale, protezione dei dati personali e regolazione, Torino, 2018, 295; C. KUNER – D. J. B. SVANTESSON – F.H. CATE – O. LYNSKEY – C. MILLARD, Machine learning with personal data: is data protection law smart enough to meet the challenge?, in 7 International Data Privacy Law, 1 (2017)
L’ampia disponibilità di dati personali che popolano la infosfera4, generati sia da utenti ormai
iperconnessi che sempre più agiscono come “agenti informazionali o inforg”5 (in un contesto che è
stato definito onlife per indicare l’erosione della frontiera tra reale e virtuale e il superamento della contrapposizione tra off line e on line)6, sia da dispositivi che dialogano tra loro attraverso flussi di
informazioni (IOT-Internet of things, e non solo)7, ha reso concreta in numerosi contesti la
possibilità di analizzare e prevedere – e influenzare – modelli di comportamento, abitudini, attitudini, interessi, propensioni.
Tecniche di profilazione e decisioni (totalmente o parzialmente) automatizzate sono ampiamente utilizzate in una molteplicità di ambiti, sia pubblici che privati: sanità, marketing, concessione del credito, assicurazione, tassazione, stipulazione di contratti di lavoro, valutazione di condotte recidive, avanzamenti in carriera, sono solo alcuni degli esempi. Contratti algoritmici – per tali intendo quelli nei quali una o più parti usano un algoritmo per decidere se stipulare e a quali condizioni (detto altrimenti: contratti il cui contenuto è determinato da un algoritmo) – sono ormai in uso in un numero crescente di settori (High Frequency Trading8, Dynamic Pricing9, Smart
4 L. FLORIDI, La quarta rivoluzione. Come l’infosfera sta trasformando il mondo, Milano, 2017, 44ss.: “a un livello
minimo, l’infosfera indica l’intero ambiente informazionale costituito da tutti gli enti informazionali, le loro proprietà, interazioni, processi e reciproche relazioni (…). A un livello massimo, l’infosfera è concetto che può essere utilizzato anche come sinonimo di realtà, laddove interpretiamo quest’ultima in termini informazionali. (…) La transizione dall’analogico al digitale e la crescita esponenziale di spazi informazionali in cui trascorriamo sempre più tempo illustrano con massima evidenza il modo in cui le ICT stanno trasformando il mondo in una infosfera”.
5 L. FLORIDI, op. cit., 107ss., a proposito della “quarta rivoluzione” in corso chiarisce che essa non deve essere confusa
con l’idea di un’umanità cyborg, né con scenari post-umani: piuttosto, le nostre capacità di valutazione e classificazione sono sfruttate per migliorare le performance di alcune tecnologie dell’informazione e della comunicazione.
6 L. FLORIDI, op. cit., 47, sottolinea che “il mondo digitale online trabocca nel mondo analogico offline, con il quale si
sta mescolando (…). In misura crescente conduciamo le nostre vite onlife”.
7 INTERNET SOCIETY, The Internet of Things: An Overview, October 2015, definisce lo IOT come la capacità di oggetti,
dispositivi, sensori ed altri oggetti che normalmente non sono considerati computer, di alloggiare capacità elaborativa di connettersi alla rete internet. Questi “oggetti intelligenti” possono generare, scambiare, utilizzare dati richiedendo un interento umano minimo e possono connettersi a sistemi remoti per la raccolta e analisi dei dati o per la loro gestione. Qualche esempio: dispositivi indossabili (come gli activity tracker), sistemi domotici (come gli elettrodomestici intelligenti), sistemi per smart cities e connected car. Secondo L. FLORIDI, op. cit., 49, “in un futuro sempre più prossimo, un numero crescente di oggetti sarà costituito da ITenti in grado di monitorare, apprendere, suggerire e comunicare l’uno con l’altro. L’A. aggiunge (p. 165ss.) che questa interconnessione ha già determinato e sempre più determinerà una diversa strutturazione dello spazio fisico: “strutturare l’ambiente nelle forme di un’infosfera adatta alle ICT ha iniziato a caratterizzare ogni aspetto della realtà: da decenni, avvolgiamo il mondo intorno alle ICT senza rendercene conto”. E ancora: “se le automobili che si guidano da sole potranno muoversi creando sempre meno problemi (…) ciò non sarà dovuto al fatto che l’intelligenza artificiale forte sia stata infine realizzata, ma perché le ‘condizioni ambientali’ che automobili o droni devono affrontare, saranno rese sempre più adatte ad un’intelligenza artificiale leggera e alle sue limitate capacità”. Sui rischi della tecnologia IOT v. D. BENEDETTI, IA e (in)sicurezza informatica, in F. PIZZETTI (a cura di), Intelligenza artificiale, protezione dei dati personali e regolazione, cit., 243ss.
8 L’espressione High Frequency Trading sta ad indicare una modalità di intervento sui mercati caratterizzata da
negoziazioni ad alta frequenza guidate da algoritmi: la durata delle transazioni può essere brevissima, con posizioni di investimento che vengono tenute per periodi che possono variare da alcune ore a frazioni di secondo. V. ad esempio C.R. KORSMO, High Frequency Trading: A Regulatory Strategy, 48 U. Rich. L. Rev., 523 (2014).
9 Il dynaming pricing (letteralmente prezzo dinamico, o discriminazione di prezzo) è una strategia di vendita che utilizza
Contracts10, tra i più noti), al punto da stimolare la dottrina ad elaborare possibili tassonomie,
anche al fine di vagliare la capacità degli ordinamenti di governare fenomeni emergenti non sempre pianamente riconducibili alle regole vigenti: molto dipenderà dall’uso che viene fatto dell’algoritmo, se mero supporto a decisioni di agenti umani o vero e proprio - autonomo - “agente decisionale”11.
Benefici (in termini di maggiore efficienza delle organizzazioni pubbliche e private e risparmio di risorse) e rischi (specialmente con riguardo ai diritti e alle libertà delle persone) devono essere attentamente valutati e bilanciati, soprattutto a fronte della conclamata opacità di molte delle tecniche di profilazione e di decisione automatizzata12. Questa opacità rappresenta il tratto
caratterizzante di quella che con efficace espressione è stata definita la black box society, nella quale cresce costantemente la registrazione ed utilizzazione di informazioni personali, ma sono ignote le modalità dei processi: “we can observe its inputs and outputs, but we cannot tell how
one becomes the other”13.
Profilazione e decisioni automatizzate possono segregare le persone in specifiche categorie riducendo la loro possibilità di scelta14, possono consolidare gli stereotipi15, scoraggiare azioni
rivelatrici di condotte “divergenti” (es. partecipare a gruppi di discussione su droghe, alcolismo,
di determinate variabili (es. orario, numero di vendite realizzate, offerte dei concorrenti, profilo del potenziale contraente, area geografica di ubicazione del dispositivo utilizzato per la transazione on line, abitudini di acquisto, ecc.: il caso più noto è quello della variazione dei prezzi dei biglietti arerei e delle prenotazioni alberghiere): in altre parole, l’offerta si adatta alla domanda, massimizzando i profitti. Sul punto, v. ad es. R.M. WEISS & A.K. MEHROTRA, Online Dynamic Pricing: Efficiency, Equity and the Future of E-Commerce, 6 Va. J.L. & Tech., 11 (2011).
10 Gli Smart Contract sono “protocolli per computer attraverso i quali si formalizzano gli elementi di un rapporto
(solitamente di scambio), in grado di eseguire autonomamente i termini programmati una volta soddisfatte le condizioni predefinite. Nonostante il nome, gli smart contract non sono necessariamente contratti giuridicamente intesi (sebbene possano esserlo ove ne integrino i requisiti). Sono, più semplicemente, degli strumenti per la negoziazione, conclusione e/o automatica applicazione di rapporti contrattuali o relazioni para-contrattuali: un canale per la conclusione e gestione degli accordi, piuttosto che accordi in sè. In concreto, gli smart contract sono agenti indipendenti ai quali viene affidato un certo patrimonio digitale che viene gestito in conformità alle istruzioni fornite dal programmatore”: P. CUCCURU, Blockchain ed automazione contrattuale. Riflessioni sugli smart contract, in NGCC, 2017, 107ss.
11 L.H. SCHOLZ, Algorithmic Contracts, 20 Stan. Tech. L. Rev. 128 (2017).
12 Cfr. T. CERQUITELLI-D. QUERCIA-F. PASQUALE (Eds.), Transparent Data Mining for Big and Small Data, Springer
International, New York, 2017.
13 F. PASQUALE, The Black Box Society. The secret Algorithms That Control Money and Information, Harvard University
Press, Cambridge-London, 2015, 3.
14 B.W. SCHERMER, The limits of privacy in automated profiling and data mining, 27 Computer law & security review, 52
(2011).
15 Sulla c.d. bolla di filtraggio nei motori di ricerca – che utilizza informazioni sull'utente (come posizione, click
precedenti, ricerche passate) per scegliere selettivamente tra tutte le risposte quelle più gradite (perché ideologicamente conformi), con il risultato di isolare il soggetto da informazioni che sono in contrasto con il suo punto di vista – v. E. PARISER, The Filter Bubble: What The Internet Is Hiding From You, Paperback, 2012.
malattie mentali, sesso, e altri argomenti) 16, produrre discriminazioni inattese (talvolta fondate su
caratteristiche non modificabili)17.
Facebook definisce chi siamo, Amazon cosa vogliamo, Google cosa pensiamo18: soprattutto, la
nostra reputazione – per lo più ricostruita sulla interpretazione delle tracce che lasciamo nelle nostre interazioni in rete, nonché sulla base di dati disponibili su di noi, anche quando generati da terzi - definisce il nostro orizzonte di opportunità19.
Neppure l’anonimizzazione dei dati preserva dalla classificazione: anche quando i cookies sono disabilitati e la navigazione web è anonima, i dispositivi che usiamo lasciano tracce che sono a tutti gli effetti “impronte digitali”. L'elaborazione e l'arricchimento di quelle tracce (che si suppone siano anonime) potrebbero essere correlati a uno o più identificatori di dispositivi, piuttosto che al proprietario o all’utilizzatore, eludendo la normativa sulla protezione dei dati personali: fenomeno destinato a crescere, con l’implementazione dell’internet of things20. In qualche modo
l'identificazione personale effettiva come requisito per individuare i soggetti sta diventando irrilevante nella società della classificazione, grazie all’emergere di cluster di dati collegati a cose piuttosto che a individui21: in ultima analisi, “in the classifying society vulnerability does not require personal identification”22.
Nelle pagine che seguono si procederà preliminarmente ad una descrizione di alcune delle principali caratteristiche della c.d. black box society, con particolare attenzione alle tecniche di profilazione e alle decisioni automatizzate. Si ricostruirà poi il quadro normativo di riferimento, soprattutto alla luce del Regolamento Europeo sulla protezione dei dati personali (GDPR), nel quale sono rinvenibili disposizioni che riguardano la implementazione della qualità dei dati personali 16 Con particolare attenzione al c.d. chilling effect, v. D.J. SOLOVE, Privacy and power: computer databases and
metaphors for information privacy, in 53 Stanford Law Rev., 1393ss. (2001); F.H. CATE, Data mining: the need for a legal framework, in 43 Harv. Civil Rights Civil Liberties Law Rev., 435 (2008).
17 G. NOTO LA DIEGA, Against the Dehumanisation of Decision-Making. Algorithmic Decisions at the Crossroads of
Inellectual Property, Data Protection and Freedom of Information, 9 JIPITEC, 1 (2018).
18 G. DYSON, Turing’s Cathedral: The Origins of the Digital Universe, New York, Pantheon, 2012, 308; S.
VAIDHYANATHAN, The Googlization of Everything, University of California Press, Berkeley, 2011.
19 F. PASQUALE, op. cit., 15.
20 G. COMANDÈ, Regulating Algorithms’ Regulation? First Ethico-Legal Principles, Problems, and Opportunities of
Algorithms, in T. CERQUITELLI-D. QUERCIA-F. PASQUALE (Eds.), Transparent Data Mining for Big and Small Data, cit., 182, osserva che classificare gruppi di cose correlate può produrre risultati più accurati della diretta classificazione degli individui: la geolocalizzazione di dispositivi, ad esempio, può fornire informazioni importanti sulla residenza di un singolo o di un gruppo (perché i dispositivi – smartphone, laptop - sono ad esempio nello stesso luogo di notte), oppure indicazioni sulla variazione dei comportamenti quando più dispositivi correlati sono nello stesso luogo (insieme ad altri, appartenenti ad altre persone) e quando in luoghi differenti.
21 Ampiamente sul punto G. COMANDÈ, op. cit., 175ss. V. anche P. OHM, Broken promises of privacy: responding to the
surprising failure of anonymization, 57 UCLA Law Rev., 1701ss. (2010)
(prerequisito per contenere il rischio che i Big Data degenerino in Bad Data, con costi sociali enormi) e le modalità del loro trattamento, nonché disposizioni specifiche sulle decisioni (totalmente o parzialmente) automatizzate, delle quali si proporrà una lettura anche alla luce delle autorevoli indicazioni del Comitato Europeo per la protezione dei dati personali23. Alcune riflessioni
finali saranno dedicate alla Responsible Research and Innovation (RRI).
2. Armi di distruzione matematica
Usare dati in funzione predittiva a supporto di processi decisionali può ingabbiare le dinamiche sociali in uno schema rigido con vincitori e perdenti24, nel quale i perdenti partono svantaggiati e
rimangono intrappolati in un circolo tossico dal quale non riescono a uscire.
L'impatto negativo del punteggio basso ricevuto – ad esempio relativamente ad una richiesta di finanziamento – innesca una pericolosa spirale negativa (dissesto economico per mancanza di liquidità) che rafforza il giudizio negativo espresso dal punteggio basso, dando l’illusione che il rischio atteso (insolvenza del soggetto a cui non è stato concesso il finanziamento) si sia materializzato: il modello predittivo sembra avere funzionato e si rafforza, e viene applicato ad un numero crescente di individui. Ad uno sguardo più attento si rivela però una ben diversa realtà: la previsione precisa non sempre è il risultato della precisione predittiva del processo di attribuzione del punteggio. Talvolta l’esito è stato generato dal punteggio, che ha avviato una profezia che si è autoavverata: la concessione del punteggio basso in sé ha portato al risultato che il sistema di punteggio ha previsto. Il processo di scoring non si limita dunque semplicemente a misurare e predire: può andare molto oltre, fino a determinare (o quanto meno concorrere a determinare) gli effetti misurati25.
Non sorprende allora – alla luce delle considerazioni che precedono - che sia stata usata l’espressione “armi di distruzione matematica” per richiamare l’attenzione sugli effetti distorsivi
23 Il Comitato Europeo per la protezione dei dati (artt. 63-76 e considerando 135 -140 del Regolamento) è un
organismo dell’UE incaricato dell’applicazione del regolamento generale sulla protezione dei dati a partire dal 25 maggio 2018. È composto dal responsabile di ciascuna autorità per la protezione dei dati e dal Garante europeo della protezione dei dati o dai loro rappresentanti. Il Comitato sarà al centro del nuovo panorama della protezione dei dati nell'Unione: contribuirà a garantire che la legislazione sulla protezione dei dati sia applicata in modo coerente in tutta l’UE e assicurerà una cooperazione efficace tra le Autorità per la protezione dei dati. Non si limiterà a pubblicare linee guida sull’interpretazione dei concetti fondamentali del GDPR, ma sarà chiamato anche a pronunciarsi mediante decisioni vincolanti sulle controversie relative al trattamento transfrontaliero, garantendo in tal modo un’applicazione uniforme delle norme per evitare che lo stesso caso possa essere trattato in modo diverso nelle diverse giurisdizioni.
24 S. BAROCAS & A.D. SELBST, Big Data’s Disparate Impact, cit., 673.
che algoritmi elaborati in maniera poco accurata possono generare, incidendo sulla vita dei singoli e compromettendo lo sviluppo di società inclusive e democratiche26.
Per definizione, il data mining è sempre una forma di discriminazione statistica (e quindi apparentemente razionale): il suo scopo è fornire una base razionale su cui distinguere gli individui e conferire in modo affidabile all'individuo le qualità possedute da coloro che sembrano statisticamente simili. Ma al contrario delle forme tradizionali di analisi dei dati che restituiscono semplicemente statistiche riassuntive in risposta a una richiesta specifica, il data mining tenta di individuare relazioni statistiche in un set di dati. In particolare, automatizza il processo di scoperta di schemi utili, rivelando regolarità su cui il successivo processo decisionale può fare affidamento. L'insieme accumulato di relazioni scoperte viene comunemente chiamato "modello" e questi modelli possono essere utilizzati per automatizzare il processo di classificazione di entità o attività di interesse, stimare il valore di variabili non osservate o prevedere risultati futuri. In particolare, esponendo i cosiddetti algoritmi di machine learning ad esempi dei casi di interesse precedentemente identificati (casi di frode, spam, default, rendimento scolastico o lavorativo, ecc.), l'algoritmo "impara" quali attributi o attività correlati possono servire.
I dati che funzionano come esempi sono noti come "dati di addestramento”: dati di addestramento distorti portano a modelli discriminatori. Ciò può accadere perché sono stati usati come esempi casi che esprimevano o riflettevano un pregiudizio; o perché il campione della popolazione è parziale, con il rischio che siano sistematicamente svantaggiati coloro che sono sottorappresentati o sovrarappresentati nel set di dati27. In sostanza il data mining può non solo ereditare il
pregiudizio preesistente attraverso l'etichettatura errata degli esempi, ma può anche riflettere il pregiudizio attuale attraverso il comportamento in atto degli utenti presi come input per il data
mining28. Inoltre può dare nuova vita alle forme tradizionali di discriminazione intenzionale perché
i decisori con punti di vista pregiudizievoli possono mascherare le loro intenzioni29. Qualsiasi forma
di discriminazione che accada involontariamente può infatti anche essere orchestrata intenzionalmente: dal momento che il data mining ha il potenziale per inferire attributi altrimenti invisibili, compresi quelli tradizionalmente considerati sensibili, può indirettamente scoprire
26 C. O’NEIL, Armi di distruzione matematica. Come i big data aumentano la disuguaglianza e minacciano la
democrazia, Bompiani, Firenze, 2017.
27 S. BAROCAS & A.D. SELBST, op. cit., 681ss. Per la distinzione tra cognitive biases e statistical biases v. G.
MALGIERI-G.COMANDÈ, Why a Right to Legibility of Automated Decision-Making Exists in the General Data Protection Regulation, in International Data Privacy Law, vol. 7, Issue 4, 2017, 249.
28 Per un’angolatura particolare v. J. LERMAN, Big data and Its Exclusions, 66 Stan. L.Rev. Online 57 (2013), il quale
richiama l’attenzione sulle possibili conseguenze dell'omissione sistemica e non casuale di persone che vivono sui margini dei big data, a causa della povertà, della geografia o dello stile di vita e le cui vite esprimono meno dati di quelle della popolazione generale.
l'appartenenza delle persone a classi protette e di conseguenza indebitamente penalizzare o escludere tali persone. Finanche da comportamenti assolutamente innocenti e ordinari possono essere desunte inferenze sorprendentemente precise su condotte, preferenze, attitudini30.
Insomma, osservati da vicino, i “modelli” – nonostante la loro reputazione di imparzialità – si rivelano talvolta il riflesso di obiettivi e ideologie: “i modelli sono opinioni radicate nella matematica”31. Possono mascherare discriminazioni intenzionali o generare discriminazioni non
consapevoli, più insidiose perché più difficili da riconoscere e contrastare32.
3. Risposte a domande che non sono state formulate. Opacità vs. Trasparenza
La profilazione si basa su una tecnica nota come Knowledge Discovery in Databases (KDD): una tecnica che fa emergere informazioni nascoste all’interno di una grande mole di dati. In un certo senso, si tratta di una tecnica che fornisce risposte a domande che non sono state formulate33.
Detto altrimenti: “Artificial intelligence is increasingly able to derive the intimate from the
available”.34
A differenza di altre forme soggettive di processo decisionale, gli effetti negativi del data mining spesso non sono riconducibili al pregiudizio umano, conscio o inconscio. La discriminazione può essere un risultato del processo stesso, piuttosto che il risultato di programmatori che assegnano a determinati fattori un peso inappropriato. Poiché la discriminazione in questi casi non è intenzionale, anche i tentativi onesti di certificare l'assenza di pregiudizio da parte dei soggetti coinvolti nel processo può conferire erroneamente l'imprimatur di imparzialità alle decisioni che ne derivano35.
Al centro di queste problematiche si colloca la questione della opacità degli algoritmi. Il concetto di opacità è a sua volta sfuggente ed è stato variamente declinato: alla opacità intenzionale (giustificata in termini di segreto industriale e vantaggio concorrenziale) si affiancano una opacità tecnica (espressione dell’alta specializzazione necessaria per “decifrare” un algoritmo, operazione possibile solo per soggetti particolarmente esperti) e una opacità che discende dal processo di
30 J.M. BALKIN, The Constitution in the National Surveillance State, in 93 Minn. Law Rev., 12 (2008). 31 C. O’NEIL, op. cit., 33
32 S. BAROCAS & A.D. SELBST, op. cit., 694ss. V. anche J. GRIMMELMANN & D. WESTREICH, Incomprehensible
Discrimination, 7 California L.R. Online, 164 (2017).
33 T.Z. ZARSKY, Mind Your Own Business!: Making The Case for the Implication of the Data Mining of Personal
Information in the forum of Public Opinion, 5 Yale Journal of Law & Tech., 6 (2002)
34 CALO, Artificial Intelligence Policy: a Primer and Roadmap, in 51 Univ. California D. L. Rev., 421 (2017). 35 S. BAROCAS & A.D. SELBST, op. cit.,??
autoapprendimento e implementazione dell’algoritmo stesso (secondo logiche ignote anche ai suoi sviluppatori)36.
La trasparenza è sovente invocata come l’antidoto alla opacità37: sembrerebbe la risposta naturale,
ma la questione è più complessa.
Intanto, come è stato rilevato, non è chiaro quale forma debba assumere tale trasparenza38.
L'approccio più ovvio parrebbe quello di imporre di rivelare il codice sorgente di un sistema, ma questa è, nel migliore dei casi, una soluzione parziale al problema della responsabilità per le decisioni automatizzate. Il codice sorgente dei sistemi informatici è illeggibile ai non esperti e spesso difficile da decifrare anche per gli esperti: ispezionare il codice sorgente è un modo molto limitato di prevedere come si comporterà un programma informatico, proprio perché – come già sottolineato – la regola decisionale emerge automaticamente dai dati specifici in analisi, a volte in modi che nessun umano può spiegare. In casi di questo genere, il codice sorgente da solo rivela molto poco, poiché espone solo il metodo di apprendimento automatico utilizzato e non la regola di decisione basata sui dati39.
Inoltre, in molti casi la piena trasparenza non è possibile né auspicabile. Il processo per decidere quali dichiarazioni dei redditi sottoporre a verifica, o chi fermare per lo screening di sicurezza secondario in aeroporto, potrebbe essere necessariamente in parte opaco per impedire truffe fiscali o per ragioni di sicurezza (dal momento che meccanismi il cui funzionamento è noto possono essere più facilmente elusi); in altri casi la totale trasparenza potrebbe mettere a rischio la protezione dei dati personali (anche sensibili) dei soggetti o la protezione di segreti commerciali. 36 J. BURRELL, How the Machine ‘Thinks’: Understanding Opacity in Machine Learning Algorithms, in Big Data & Soc’y,
Jan.–June 2016, 1ss. Per dare una idea della insondabilità dei processi decisionali generati da algoritmi viene spesso citato il caso del Flash Crash del 6 maggio 2010, recentemente replicato il 5 febbraio 2018: in entrambi i casi, sbalzi improvvisi e apparentemente ingiustificati delle quotazioni di borsa di alcuni titoli hanno innescato un processo inarrestabile di vendite in cui milioni di dollari sono stati “bruciati” in una manciata di minuti. Ad oggi, la Securities and Exchange Commission non è ancora in grado di spiegare cosa è accaduto e perché, ma la vicenda ha portato alla luce l’uso diffuso di strumenti automatici – governati da algoritmi – per la gestione degli ordini di vendita e di acquisti: i software sono in grado di verificare non solo cosa accade sul mercato, avvisando chi li usa affinchè decida, ma anche di prendere autonomamente la decisione su cosa vendere o comprare. A differenza dell’ipotesi in cui una decisione di vendita sia assunta da una persona, la decisione assunta dal computer viene subito eseguita, con immediatezza e senza mediazioni: se scatta il meccanismo di vendita, viene venduto tutto ciò che il programma prevede debba essere venduto; se più computer sono programmati in modo simile, per reagire tempestivamente alle oscillazioni di valore e massimizzare i profitti, può accadere che reagiscano contemporaneamente, immettendo ad esempio sul mercato grosse quantità di titoli e provocando il brusco crollo del loro prezzo e, con effetto domino, di tutto il mercato. Sul punto, ad esempio, Y. YADAV, How Algoritmic Trading Undermines Efficiency in Capital Markets, 68 Vand. L. Rev. 1607 (2015).
37 V. ad esempio F. PASQUALE, Beyond Innovation and Competition: The Need for Qualified Transparency in Internet
Intermediaries, 104 Nw. U. L. Rev. 160ss. (2010)
38 J. A. KROLL, J. HUEY, S. BAROCAS, E. W. FELTEN, J. R. REIDENBERG, D. G. ROBINSON & H. YU, Accountable Algorithms,
165 Un. Pennsylvania L. R., 633ss. (2017)
Infine, la trasparenza può incidere - al limite - sulla revisione delle basi decisionali generali, ma essere di poca o scarsa utilità per la revisione individualizzata di decisioni particolari40.
Né a migliori risultati approdano strategie di auditing. Nell'informatica, l'auditing si riferisce alla revisione dei record digitali che descrivono ciò che un computer ha fatto in risposta agli input ricevuti. L'auditing ha lo scopo di rivelare se sono state seguite le procedure appropriate e scoprire eventuali manomissioni del funzionamento del sistema informatico: anche questa strategia si rivela insufficiente, poiché esaminare le risposte alla luce delle variazioni degli input non risolve la questione dell’individuazione della causa di tali cambiamenti, né consente di stabilire se o perché un cambiamento è significativo41. Più in generale, testare il codice dopo che è stato scritto, anche
se estensivamente, non può fornire una vera garanzia di come funziona il sistema, perché qualsiasi analisi di un programma già esistente è intrinsecamente e fondamentalmente incompleta. Questa incompletezza implica che gli osservatori non possono mai essere certi che un sistema informatico abbia una proprietà desiderata a meno che tale sistema non sia stato progettato per garantire tale proprietà.
4. Le questioni essenziali
40 J. A. KROLL, J. HUEY, S. BAROCAS, E. W. FELTEN, J. R. REIDENBERG, D. G. ROBINSON & H. YU, op. cit., 640 e, più
dettagliatamente, 656ss. In alcuni casi anche la piena trasparenza - del codice sorgente del sistema, dei suoi input, del suo ambiente operativo e dei suoi risultati – è del tutto inutile. Gli A.A. citano il caso della lotteria: un algoritmo perfettamente trasparente che utilizza un generatore di numeri casuali per assegnare un numero a ciascun partecipante e prevede che siano vincenti i numeri più bassi produrrà risultati che non possono essere riprodotti o verificati perché il generatore di numeri casuali produrrà numeri casuali diversi ogni volta. Riesaminare il codice da solo, o anche insieme ai dati forniti e all'ambiente in cui è stato utilizzato, non ci dice molto. In base alla progettazione, il processo produce risultati imprevedibili che non sono riproducibili. Altro caso “difficile” esaminato dagli A.A. è quello dei sistemi che cambiano nel tempo: sistemi di apprendimento automatico online (come quelli per estrarre dati dai post sui social) possono aggiornare il loro modello per le previsioni dopo ogni decisione, incorporando ogni nuova osservazione come parte dei dati di addestramento. Anche conoscere il codice sorgente e i dati per tali sistemi non è sufficiente per replicare o prevedere il loro comportamento. Se gli aggiornamenti al sistema vengono effettuati da ingegneri e operatori umani (ad esempio, un ingegnere di motori di ricerca modifica il software utilizzato per classificare le pagine) o da un sistema di apprendimento automatico (ad esempio il software del motore di ricerca scopre che gli utenti più spesso fanno clic sul secondo link per un una certa domanda invece della prima, quindi inverte il loro ordine), la trasparenza da sola non spiega perché sia stata presa una decisione particolare o quanto il sistema funzioni in modo equo tra le basi di utenti o classi di domande. Con tali sistemi, c'è il rischio aggiunto che la regola divulgata sia obsoleta: i sistemi di apprendimento automatico online aggiornano infatti le loro regole decisionali dopo ogni domanda, il che significa che qualsiasi divulgazione sarà obsoleta.
Al centro delle riflessioni su profilazione e processi decisionali automatizzati si collocano le questioni della attendibilità della decisione e delle garanzie per i soggetti sottoposti a questo particolare tipo di trattamento di dati personali.
Si tratta di questioni strettamente connesse. L’attendibilità della decisione chiama infatti in causa l’attendibilità delle fonti e della qualità dei dati utilizzati, nonché la trasparenza dei processi42.
In uno schema tradizionale input-output, la scadente qualità dei dati in ingresso implicava solo l’effettuazione di una cattiva previsione (garbage in, garbage out); nel mondo dell’intelligenza artificiale e degli strumenti di autoapprendimento, la mancanza di qualità dei dati può compromettere la capacità stessa di apprendere, perché l’errore da occasionale si fa sistemico (o algoritmico)43.
D’altra parte, ottenere informazioni così complete da consentire analisi precise può essere costoso. Anche miglioramenti marginali dell'accuratezza possono comportare significativi costi aggiuntivi, che possono spingere nella opposta direzione di un'analisi meno dettagliata e onnicomprensiva44.
L’entusiasmo per i Big Data – accompagnato dalla distorsione ottica insita nella convinzione che
bigger is always better 45– induce sovente a sottovalutare che non sempre la qualità dell’analisi è
direttamente proporzionale alla quantità dei dati disponibili, e, soprattutto, che i costi sociali dei
Bad Data possono essere molto alti e generare una vera e propria economia digitale
dell’inefficienza, nella quale vengono sistematicamente ripetuti errori46.
Si comprende, allora, il richiamo ad una ecologia dei dati, per indicare la necessità di un nuovo modo di pensare ai dati e la promozione di maggiore consapevolezza e maggiore responsabilizzazione nel loro uso47.
Il quadro giuridico europeo – per quanto non immune da difetti – si muove in questa direzione48.
Il nuovo Regolamento Europeo relativo alla protezione delle persone fisiche con riguardo al trattamento dei dati personali, nonché alla libera circolazione di tali dati, introduce - rispetto alla 42 G. D’ACQUISTO, Qualità dei dati e intelligenza artificiale: intelligenza dai dati e intelligenza dei dati, in F. PIZZETTI (a
cura di), Intelligenza artificiale, protezione dei dati personali e regolazione, cit., 285.
43 G. D’ACQUISTO, op. cit., 266.
44 K. LIPPERT-RASMUSSEN, We Are All Different: Statistical Discrimination and the Right to Be Treated as an Individual,
15 J. Ethics, 54 (2011).
45 E. JUNQUÈ DE FORTUNY, D. MARTENS & F. PROVOST, Predictive modeling with big data: is bigger really better?, in 1
Big Data, 215 (2013)
46 D. BENEDETTI, IA e (in)sicurezza informatica, in F. PIZZETTI (a cura di), Intelligenza artificiale, protezione dei dati
personali e regolazione, cit., 241, insiste sulla necessità di non pensare alla sicurezza informatica come una disciplina meramente tecnica: “si tratta invece di un tema che ha implicazioni sociali, politiche, economiche e culturali”. Soprattutto con l’avanzare degli IOT “il tema della sicurezza si espande dall’immaterialità dei dati alla materialità della vita fisica, reale” (op. cit., 246).
47 G. D’ACQUISTO, op. cit., 289.
48 V. ad esempio G. FINOCCHIARO, Introduzione al Regolamento Europeo sulla protezione dati, in questa Rivista, 2017,
direttiva 95/46/CE (attuata in Italia con la l. 675/1996, successivamente trasfusa nel Codice in materia di protezione dei dati personali) - regole più chiare in materia di informativa e consenso, assegna nuovi diritti al soggetto cui i dati si riferiscono, prevede criteri rigorosi per il trasferimento dei dati al di fuori dell’Unione Europea e per i casi di violazione dei dati personali, rafforza i principi di responsabilità, trasparenza, correttezza dei trattamenti, attribuisce centralità alla privacy by
design e by default nonché alla valutazione di impatto49.
Il Regolamento riscrive, altresì, la disciplina applicabile alle decisioni automatizzate50, oggetto di
specifica considerazione negli artt. 22, 13, 14 e 15.
Il GDPR, dunque, fornisce le nuove coordinate – sulle quali non sono mancate reazioni ed interpretazioni contrastanti - utili alla ricostruzione del quadro normativo volto a garantire che la profilazione e il processo decisionale individuale automatizzato (includa o meno la profilazione) non siano usati in modi che abbiano un impatto ingiustificato sui diritti degli individui. Non si concentra solo sulle decisioni prese come risultato dell'elaborazione o della profilazione automatizzata, ma investe anche la fase della raccolta di dati per la creazione di profili, nonché l’uso che dei profili viene fatto.
Ai sensi dell’art. 4.4 del Regolamento è profilazione “qualsiasi forma di trattamento automatizzato di dati personali consistente nell'utilizzo di tali dati personali per valutare determinati aspetti personali relativi a una persona fisica, in particolare per analizzare o prevedere aspetti riguardanti il rendimento professionale, la situazione economica, la salute, le preferenze personali, gli interessi, l'affidabilità, il comportamento, l'ubicazione o gli spostamenti di detta persona fisica”.
Il profilo si caratterizza quindi per la concorrente presenza di tre elementi: si deve trattare di una forma automatizzata di elaborazione, deve essere effettuato su dati personali, l’obiettivo deve essere quello di valutare aspetti personali di un soggetto.
La profilazione implica sempre una qualche forma di valutazione o giudizio su una persona: una semplice classificazione di individui in base a caratteristiche note come età, sesso e altezza non conduce necessariamente alla profilazione, dipenderà dallo scopo della classificazione51.
49 Regolamento 2016/679 del Parlamento Europeo e del Consiglio del 27 aprile 2016, che abroga la direttiva 95/46/CE 50 Sulla precedente disciplina introdotta dalla direttiva comunitaria e sulla sua attuazione si rinvia a E. PELLECCHIA,
Commento all’art. 14 del D. Lgs. 30 giugno 2003, n. 196 (Codice della privacy), in La protezione dei dati personali. Commentario al D. Lgs. 30 giugno 2003, n. 196 diretto da C.M. Bianca e F.D. Busnelli, Padova, Cedam, 2007, tomo I, 333-361. Più diffusamente, sul possibile uso della profilazione nel contesto contrattuale v. E. PELLECCHIA, Scelte contrattuali e informazioni personali, Torino, Giappichelli, 2005.
51 Ove ad esempio un'azienda classificasse i propri clienti in base all'età o al sesso a scopi statistici e per acquisire una
panoramica aggregata dei propri clienti senza effettuare alcuna predizione o trarre conclusioni, non ci sarebbe profilazione, in mancanza di una valutazione delle caratteristiche individuali.
Il processo decisionale automatizzato ha una portata diversa e può parzialmente sovrapporsi o risultare dalla profilazione, nel senso che decisioni automatizzate possono essere prese con o senza profilazione (e la profilazione può non essere funzionale a decisioni automatizzate) e in maniera parzialmente o totalmente automatizzata. Così, nell’ipotesi in cui un soggetto richieda un prestito online, la decisione potrebbe essere assunta da un essere umano (che decide se accordare il prestito sulla base di un profilo prodotto con mezzi puramente automatizzati) o da un algoritmo (senza alcuna valutazione preventiva e significativa da parte di un essere umano)52.
Il Regolamento Europeo da un lato consente decisioni parzialmente automatizzate, dall’altro introduce un divieto generale – con alcune eccezioni - di decisioni totalmente automatizzate; laddove ricorra una delle eccezioni, devono essere adottate misure per salvaguardare i diritti, le libertà e gli interessi legittimi del soggetto i cui dati sono trattati (l’interessato).
In ogni caso, alcune regole generali devono essere sempre rispettate, a cominciare dai principi enunciati dall’art. 5 proprio a presidio della qualità dei dati: liceità, correttezza e trasparenza del trattamento; specificazione delle finalità della raccolta (che devono essere determinate, esplicite e legittime); non incompatibilità – con le finalità indicate - dei trattamenti successivi; adeguatezza, pertinenza e “minimizzazione” dei dati rispetto alle finalità; esattezza; limitazione della conservazione; integrità e riservatezza; responsabilizzazione del titolare53.
Calati nello specifico contesto della profilazione, questi principi concorrono a strutturare il nucleo minimo essenziale di protezione del soggetto interessato: la profilazione (in ossequio al principio di trasparenza) non potrà avvenire in maniera occulta; sia la raccolta che la conservazione devono sottostare al “principio di minimizzazione”; l’accuratezza dovrà essere garantita in tutte le fasi del processo di profilazione (raccolta e analisi dei dati, costruzione del profilo, utilizzazione del profilo come base per una decisione).
Dovranno essere inoltre rispettati i presupposti (alternativi) di liceità del trattamento stabiliti dall’art. 6: consenso, necessità per l’esecuzione di un contratto o di misure precontrattuali, adempimento obbligo legale, salvaguardia interessi vitali, esecuzione di un compito di interesse pubblico, perseguimento di un legittimo interesse del titolare (in un’ottica di bilanciamento con gli interessi, i diritti e le libertà dell’interessato).
52 V. infra paragrafo seguente.
53 Ai sensi del n. 7 dell’art. 4 del Regolamento il titolare è “la persona fisica o giuridica, l’autorità pubblica, il servizio o
altro organismo che, singolarmente o insieme ad altri, determina le finalità e i mezzi del trattamento di dati personali; quando le finalità e i mezzi di tale trattamento sono determinati dal diritto dell’Unione o degli Stati membri, il titolare del trattamento o i criteri specifici applicabili alla sua designazione possono essere stabiliti dal diritto dell’Unione o degli Stati membri”.
Diritti dell’interessato e obblighi del titolare si modelleranno in relazione all’ambito in esame: l’informativa di cui agli artt. 13 e 14 dovrà contenere un chiaro ed esplicito riferimento alle attività di profilazione e/o di decisione basata sul profilo; l’interessato potrà esercitare il diritto di accesso ai dati utilizzati per la profilazione (art. 15) e, a tal fine, il titolare dovrà fornire una copia dei dati utilizzati; l’interessato potrà esercitare – tanto in relazione ai dati utilizzati per la costruzione del profilo, quanto in relazione al profilo stesso o allo score eventualmente assegnatogli - il diritto di rettifica (art. 16) e di cancellazione (art. 17), nonché di limitazione del trattamento (art. 18), con l’obbligo – per i titolare – di comunicare l’effettuazione delle operazioni suddette a coloro ai quali i dati oggetti di intervento erano stati previamente comunicati (art. 19).
Questo nucleo minimo essenziale viene rafforzato dalle specifiche previsioni di cui all’ art. 22, da interpretare anche alla luce del considerando 71.
Da tutte queste disposizioni scaturisce un quadro normativo articolato - oggetto di contrastanti letture – alla cui interpretazione concorrono anche le linee guida elaborate dal Comitato Europeo per la Protezione dei dati54.
5. La regola: il divieto di decisioni totalmente automatizzate
Il Regolamento Europeo considera con grande cautela profilazioni e decisioni automatizzate, tracciando – all’esito di un bilanciamento tra i vari interessi coinvolti - un perimetro di diritti e obblighi, rappresentativo anche del diverso grado di coinvolgimento di interessi della persona e libertà economiche, con tutele graduate.
Al centro dell’area delineata dal perimetro si colloca l’art. 22, il cui contenuto può essere così sintetizzato: l’interessato ha “il diritto di non essere sottoposto a una decisione basata unicamente sul trattamento automatizzato, compresa la profilazione, che produca effetti giuridici che lo riguardano o che incida in modo analogo significativamente sulla sua persona”; ci sono delle eccezioni alla regola; laddove si applichi una di queste eccezioni, “il titolare del trattamento attua misure appropriate per tutelare i diritti, le libertà e i legittimi interessi dell’interessato”.
54 Cfr. le Guidelines on Automated individual decision-making and Profiling for purposes of Regulation 2016/679,
formulate dal Data Protection Working Party costituito in base all’art. 29 della dir 95/46/CE e più volte aggiornate (ultima versione in data 6 febbraio 2018), di recente sostituito dallo European Data Protection Board (Comitato europeo per la protezione dei dati) come gruppo di lavoro comune delle autorità nazionali di vigilanza e protezione dei dati.
Nello schema apparentemente semplice – previsione di una regola generale e di alcune eccezioni, corredate di salvaguardie specifiche – si celano in realtà numerose questioni interpretative controverse: sul significato da attribuire al “diritto di non essere sottoposto” ad una decisione totalmente automatizzata; sul concetto di decisione totalmente automatizzata (e sul livello di interferenza umana necessario per il superamento della qualificazione della decisione come totalmente automatizzata); sul significato di “effetti giuridici” e di effetti di analoga incidenza significativa sulla persona, scaturenti dalla decisione.
Allo scioglimento di molti di questi nodi interpretativi individuati dalla dottrina hanno contribuito le linee guida elaborate dal Comitato Europeo per la Protezione dei Dati.
Secondo il Comitato, al “diritto di non essere sottoposto” ad una decisione totalmente automatizzata corrisponde un divieto generale operante ex ante ed automaticamente (cui i titolari dei trattamenti devono conformarsi) e non un semplice diritto di opposizione ex post, affidato all’iniziativa del singolo interessato55: il divieto protegge di default l’interessato, poiché si applica –
e deve essere rispettato dal titolare del trattamento - indipendentemente dal fatto che l'interessato intraprenda un'azione56.
Punto di snodo essenziale è la delimitazione del concetto di “decisione basata unicamente sul trattamento automatizzato”: è infatti su tale nozione che si plasma l’estensione del divieto, che è poi – a cascata – anche il terreno nel quale operano le eccezioni (subordinate a precisi presupposti) e le conseguenti salvaguardie che rafforzano comunque la protezione dell’interessato, anche quando l’operatività del divieto generale è inibita.
Parte della dottrina – imputando al Regolamento un deficit di protezione della posizione degli interessati - ritiene che l’avverbio “unicamente” potrebbe consentire di sottrarre al divieto di cui al primo paragrafo dell’art. 22 tutte le decisioni nelle quali sia presente un intervento umano anche minimo57. Questa interpretazione – fortemente penalizzante per i diritti e le libertà fondamentali
dell’interessato – è stata contestata da quanti propongono una nozione “relativa” della parola “esclusivamente”, così da richiedere un intervento umano significativo per escludere la qualificazione della decisione come totalmente automatizzata. Per ampliare ulteriormente l’ambito semantico è stata anche richiamata l’attenzione sulla formulazione letterale della disposizione, che
55 Per una ricostruzione delle varie opinioni v. S. WACHTER, B. MITTELSTADT, L. FLORIDI, Why a Right to Explanation of
Automated Decision-Making Does Not Exist in the General Data Protection Regulation, in 7 International Data Privacy Law, 94 (2017).
56 Guidelines on Automated individual decision-making and Profiling for purposes of Regulation 2016/679, cit., 20:
“Interpreting Article 22 as a prohibition rather than a right to be invoked means that individuals are automatically protected from the potential effects this type of processing may have”.
fa riferimento a decisioni (anche non automatizzate) basate su trattamenti esclusivamente automatizzati: sarebbero dunque attratti nell’ambito di operatività del divieto anche i processi decisionali nei quali tutta la fase preparatoria fosse totalmente automatizzata, riducendo al minimo l’intervento umano nella fase finale58. Le linee guida del Comitato Europeo per la
protezione dei dati hanno avallato le aperture proposte dalla dottrina da ultimo richiamata, escludendo che il titolare del trattamento possa eludere il divieto in esame “by fabricating human
involvement”59: non è quindi sufficiente la formale attribuzione ad un essere umano della
decisione, ma occorrerà un intervento umano non meramente simbolico, in grado di influire effettivamente sulla decisione. Ricadono quindi nell’ambito di applicazione del divieto anche tutte le ipotesi nelle quali la fase istruttoria su cui la decisione finale poggia è totalmente automatizzata, come nel caso del passivo recepimento di uno score di merito creditizio che il soggetto si limita ad applicare, ad esempio abbinando meccanicamente a quel punteggio determinate condizioni contrattuali standard60.
La presenza di una decisione automatizzata nel senso su chiarito non è tuttavia ancora sufficiente a far scattare il divieto: occorre che la decisione produca “effetti giuridici” sul soggetto o “incida in modo analogo significativamente sulla sua persona”.
Già l’art. 15 della direttiva 95/46/CE faceva riferimento a legal effects: formula ampiamente discussa, la cui interpretazione più convincente è quella che ravvisa effetti giuridici in ogni influenza sui diritti del soggetto61. Le linee guida offrono qualche esemplificazione di effetto giuridico ai sensi
dell’art. 22 del Regolamento: annullamento di un contratto, concessione o rifiuto di una particolare prestazione sociale prevista dalla legge (come ad esempio contributi familiari o assegnazione di un alloggio), rifiuto dell'ammissione in un paese, diniego di cittadinanza. Parte della dottrina estende l’interpretazione in direzione dei diritti umani e costituzionali, così da coprire ogni ipotesi di limitazione del diritto alla salute, della libertà di espressione, della libertà di movimento, del diritto
58 G. MALGIERI-G. COMANDÈ, Why a Right to Legibility of Automated Decision-Making Exists in the General Data
Protection Regulation, cit., 251: secondo gli AA., solo questa interpretazione può prevenire una irragionevole discriminazione tra sistemi totalmente automatizzati nei quali anche la decisione finale è automatizzata e sistemi di profilazione automatizzata nei quali l’intervento umano serve solo a trasformare il punteggio in una risposta, applicando regole prestabilite. In sostanza, per poter definire “umano” un intervento che sottragga la decisione al divieto di cui al primo paragrafo dell’art. 22, si deve trattare di un intervento rilevante, che implichi attività umane come sensibilità critica e capacità di giudizio.
59 Guidelines, cit., 21.
60 Guidelines , op. loc. ult. cit.: “for example, if someone routinely applies automatically generated profiles to
individuals without any actual influence on the result, this would still be a decision based solely on automated processing”.
61 L.A. BYGRAVE, Automated Profiling: Minding the Machine: Article 15 of the EC Data Protection Directive and
a non subire discriminazioni62. Una estensione ancora maggiore è garantita dal riferimento
contenuto nell’art. 22 ai “similarly significant effects” di una decisione automatizzata, come nei casi - rifiuto automatico di una domanda di credito online o pratiche di reclutamento elettronico senza intervento umano - menzionati nel considerando 71. Al riguardo, le linee guida del Comitato Europeo hanno precisato che affinché l'elaborazione dei dati possa influire in modo significativo su qualcuno, gli effetti dell'elaborazione devono essere sufficientemente grandi o importanti da meritare attenzione. In altre parole, la decisione deve essere in grado di influenzare significativamente le circostanze, il comportamento o le scelte delle persone interessate; avere un impatto prolungato o permanente sull'interessato; o, nella sua forma più estrema, portare all'esclusione o alla discriminazione delle persone63. Anche processi decisionali automatizzati che si
traducono in una tariffazione differenziata basata su dati personali o caratteristiche personali – come accade nel dynamic pricing - potrebbero avere un “effetto similmente significativo” se, ad esempio, prezzi proibitivi elevati impediscono l’accesso a determinati beni o servizi64.
Tra gli ambiti oggetto di discussione c’è anche la pubblicità online, che si basa sempre più su strumenti automatizzati (soprattutto profilazione). Secondo una parte della dottrina si potrebbe plausibilmente affermare che il processo di cybermarketing abbia un effetto significativo (significativamente negativo) sulle persone interessate se comporta una discriminazione ingiusta sotto forma di weblining, con la conseguenza che ipotesi di impair influence e pervasive
manipulation della vulnerabilità dei consumatori realizzate tramite una decisione algoritmica
possono ricadere nell’ambito di operatività dell’art. 2265. Le linee guida sono sul punto molto caute,
senza però escludere che una pubblicità mirata possa avere un impatto significativo sui diritti dell’interessato: se infatti in molti casi tipici la pubblicità basata sulla profilazione non desterà particolari preoccupazioni (ad esempio una pubblicità per un outlet di moda online basata su un semplice profilo demografico: "donne nella regione di Bruxelles di età compresa tra 25 e 35 che potrebbero essere interessate alla moda e ad alcuni articoli di abbigliamento"), altri casi possono invece integrare i requisiti di una decisione con un impatto significativo sul soggetto, ad esempio per l'invadenza del processo di profilazione (compreso il tracciamento delle persone su diversi siti
62 G. MALGIERI-G. COMANDÈ, op. cit., 252.
63 Guidelines, cit., 21ss., dove in via esemplificativa si citano alcuni casi: decisioni che influenzano la situazione
finanziaria dei soggetti, come la loro idoneità al credito; decisioni che influenzano l'accesso ai servizi sanitari o un'opportunità di impiego; decisioni che influenzano l'accesso all'istruzione, ad esempio l’assegnazione di alloggi universitari.
64 Guidelines, cit., 23.
Web, dispositivi e servizi), il condizionamento delle aspettative e dei desideri delle persone interessate, il modo in cui l'annuncio viene inviato, la consapevolezza (e lo sfruttamento) delle vulnerabilità dei soggetti interessati66.
Un cenno, infine, alle decisioni algoritmiche collettive: decisioni con effetti significativi sui singoli possono essere basate su profilazioni di gruppo, ad esempio imporre un premio assicurativo più elevato ai soggetti associati a un particolare codice postale. Nelle linee guida si prende in considerazione l’eventualità che “similarly significant effects could also be triggered by the actions
of individuals other than the one to which the automated decision relates”67: la natura collettiva
della profilazione non esclude quindi l’applicabilità delle tutele previste dall’art. 2268.
6. Le eccezioni e le “misure appropriate” di protezione. La controversa configurabilità di un “diritto alla spiegazione”
L’ambito del divieto delimitato dal paragrafo 1 dell’art. 22 - “decisione basata unicamente sul trattamento automatizzato” - è, al tempo stesso, l’ambito entro cui possono dispiegarsi le eccezioni di cui al paragrafo 2.
Decisioni basate unicamente su trattamenti automatizzati sono consentite:
a) se la decisione è necessaria per l'esecuzione o la stipula di un contratto tra l’interessato e il titolare del trattamento. Il titolare deve essere in grado di dimostrare che questo tipo di elaborazione è necessario, tenendo conto della possibilità di adottare un metodo meno invasivo per la privacy: se esistono altri mezzi efficaci e meno intrusivi per raggiungere lo stesso obiettivo, viene meno il carattere della necessarietà69;
66 Guidelines, cit., 22.
67 Guidelines, cit., 22. Ipoteticamente – è l’esempio delle linee guida - una società di carte di credito potrebbe ridurre il
limite di carte di un cliente, basato non sulla storia di rimborso di quel cliente, ma su criteri di credito non tradizionali, come l'analisi di altri clienti che vivono nella stessa area e acquistano presso gli stessi negozi. Ciò potrebbe significare che qualcuno è privato di opportunità in base alla valutazione di azioni di altri.
68 G. NOTO LA DIEGA, Against the Dehumanisation of Decision-Making. Algorithmic Decisions at the Crossroads of
Inellectual Property, Data Protection and Freedom of Information, cit., 25. V. anche MANTELERO, Personal data for decisional purposes in the age of analytics: From an individual to a collective dimension of Data Protection, 32 Computer Law & Security Review, 238 (2016).
69 Un processo decisionale automatizzato potrebbe essere necessario anche in fase precontrattuale. Nelle linee guida si
fa l’esempio di un’azienda che pubblichi una inserzione per una posizione lavorativa e riceva decine di migliaia di domande con allegati curricula. A causa del volume eccezionalmente elevato di domande, l'azienda potrebbe scoprire che non è praticamente possibile identificare candidati idonei senza prima utilizzare mezzi completamente automatizzati per selezionare curricula irrilevanti. In questo caso, potrebbe essere necessario un processo decisionale automatizzato per stilare una short list di possibili candidati.
b) se la decisione è autorizzata dal diritto dell’Unione o dello Stato membro cui è soggetto il titolare del trattamento: misure adeguate a tutela dei diritti, delle libertà e dei legittimi interessi dell’interessato saranno stabiliti dal legislatore medesimo70;
c) se la decisione si basa sul consenso esplicito dell’interessato.
Nei casi di cui al paragrafo 2, lettere a) e c), “il titolare del trattamento attua misure appropriate per tutelare i diritti, le libertà e i legittimi interessi dell’interessato, almeno il diritto di ottenere l’intervento umano da parte del titolare del trattamento, di esprimere la propria opinione e di contestare la decisione”.
Nel dare indicazioni sull’interpretazione delle “misure appropriate” che devono essere adottate, il Comitato Europeo per la protezione dei dati ha individuato nel l'intervento umano l’elemento chiave: qualsiasi revisione deve essere eseguita da qualcuno che abbia l'autorità appropriata e la capacità di modificare la decisione. Il revisore deve effettuare una valutazione approfondita di tutti i dati pertinenti, comprese eventuali informazioni aggiuntive fornite dall'interessato. Altre misure utili vengono suggerite: sistemi che controllano gli algoritmi, revisioni periodiche dell'accuratezza e della rilevanza del processo decisionale automatizzato, introduzione di procedure e misure appropriate per prevenire errori, inesattezze o discriminazioni sulla base di dati di categorie speciali. Queste misure dovrebbero essere utilizzate su base ciclica: non solo in fase di progettazione, ma anche in modo continuo, soprattutto nel caso di machine learning, per evitare che l’autoapprendimento si fondi su dati errati o processi inaccurati71.
Molto si è discusso sulla configurabilità, in capo all’interessato, di un diritto alla spiegazione. La discussione nasce dalla non perfetta sovrapponibilità tra le “misure appropriate” espressamente enunciate dal paragrafo 3 dell’art. 22 e le “garanzie adeguate” menzionate dal considerando 71 del Regolamento, “che dovrebbero comprendere la specifica informazione all’interessato e il diritto di ottenere l’intervento umano, di esprimere la propria opinione, di ottenere una spiegazione della decisione conseguita dopo tale valutazione e di contestare la decisione”.
Premessa per un verso la natura non vincolante degli enunciati contenuti nei considerando, per altro verso la loro utilizzabilità come strumenti di interpretazione72, è proprio sul piano
dell’interpretazione sistematica che la dottrina si è divisa tra quanti sostengono che il Regolamento 70 Il considerando 71 menziona le ipotesi nelle quali una decisione totalmente automatizzata sia necessaria per
monitorare e prevenire le frodi e l'evasione fiscale, o per garantire la sicurezza e l'affidabilità di un servizio fornito dal titolare del trattamento.
71 Guidelines, cit., 27.
72 T. KLIMAS-J. VAICIUKAITE, The Law of Recitals in European Community Legislation, 15 Journal of International &
Comparative Law 32 (2008). Per una dettagliata ricognizione della giurisprudenza della Corte Europea di Giustizia v. R. BARATTA, Complexity of EU Law in the Domestic Implementing Process, 2 The Theory and Practice of Legislation, 293 (2014).
attribuisca all’interessato solo un diritto di informazione e di accesso, ma non un diritto alla spiegazione73, e quanti sostengono la configurabilità di un diritto alla spiegazione come autonomo
e ulteriore rispetto ai diritti di informazione e accesso74.
In entrambi i casi, l’interpretazione sistematica coinvolge anche gli artt. 13, paragrafo 2 lett. f), 14 paragrafo 2 lett. g) e 15 paragrafo 1, lett. h), i quali – con formula identica – prevedono, per il caso di processo decisionale automatizzato ai sensi dell’art. 22, il diritto dell’interessato di ricevere “informazioni significative sulla logica utilizzata, nonché l’importanza e le conseguenze previste di tale trattamento per l’interessato”: informazioni da fornire al momento della raccolta dei dati personali presso l’interessato (art. 13) e presso soggetto diverso (art. 14), nonché nell’esercizio del diritto di accesso da parte dell’interessato (art. 15).
La questione in discussione è di particolare delicatezza: la massima trasparenza garantita da
standards pur elevati di informazione potrebbe essere insufficiente, se le informazioni non sono
comprese dal destinatario. Per l’esistenza di un vero e proprio “diritto alla spiegazione” sembra propendere (salvo quanto si preciserà infra) anche il Comitato Europeo per la protezione dei dati, nelle cui linee guida si sottolinea – con riguardo al considerando 71 – che il titolare deve predisporre “a simple way for the data subject” per esercitare il diritto alla spiegazione e il diritto di opposizione: “this emphasises the need for transparency about the processing. The data subject
will only be able to challenge a decision or express their view if they fully understand how it has been made and on what basis”75.
Il Comitato, muovendo dalla constatazione della complessità dei processi decisionali automatizzati, specifica che il titolare del trattamento che si avvalga di essi (anche tramite la creazione di profili) deve trovare metodi semplici per comunicare all'interessato le motivazioni alla base o i criteri invocati per raggiungere la decisione: non necessariamente una spiegazione complessa degli algoritmi utilizzati o la divulgazione dell'algoritmo completo, ma comunque informazioni sufficientemente complete - in particolare, sui fattori presi in considerazione per il processo decisionale e sul rispettivo "peso" a livello aggregato - da consentire agli interessati di comprendere le ragioni della decisione (per poterla eventualmente contestare). Al fine di rendere le informazioni significative e comprensibili, il Comitato segnala l’opportunità di mettere a disposizione esempi reali e tangibili del tipo di possibili effetti. Se, in ipotesi, una compagnia
73 V. per tutti S. WACHTER, B. MITTELSTADT, L. FLORIDI, Why a Right to Explanation of Automated Decision-Making
Does Not Exist in the General Data Protection Regulation, cit., e ivi ampi riferimenti bibliografici.
74 Cfr. ad es. – anche per la ricostruzione del dibattito - A.D. SELBST and J. POWLES, Meaningful information and the
right to explanation, in 7 International Data Privacy Law, 233 (2017).
assicurativa utilizza un processo decisionale automatizzato per impostare i premi dell'assicurazione auto in base al monitoraggio del comportamento di guida dei clienti, per illustrare il significato e le conseguenze previste del trattamento occorrerà spiegare che una guida pericolosa può comportare pagamenti assicurativi più elevati: si potrà ad esempio usare la grafica o un’app per dare consigli su come migliorare queste abitudini e di conseguenza come ridurre i premi assicurativi; tecniche visive simili potrebbero essere utilizzate per spiegare come è stata presa una decisione passata76.
Un ruolo importante per la riduzione dei rischi di impatti negativi sui diritti e le libertà avrà anche la valutazione d’impatto sulla protezione dei dati, che il titolare - a norma dell’art. 35 del Regolamento europeo – è tenuto ad effettuare ex ante “quando un tipo di trattamento, allorché prevede in particolare l’uso di nuove tecnologie, considerati la natura, l’oggetto, il contesto e le finalità del trattamento, può presentare un rischio elevato per i diritti e le libertà delle persone fisiche”.
Si tratta di una valutazione di impatto che si distingue dalla valutazione di rischio di cui all’art. 24 e si colloca ad un livello ulteriore, dal momento che la valutazione di cui all’art. 24 è sempre necessaria77, mentre quella di cui all’art. 35 è giustificata da esigenze particolari: ai sensi del
paragrafo 3, lett. a), la valutazione d’impatto è obbligatoria nel caso in cui il trattamento dei dati implichi “una valutazione sistematica e globale di aspetti personali relativi a persone fisiche, basata su un trattamento automatizzato, compresa la profilazione, e sulla quale si fondano decisioni che hanno effetti giuridici o incidono in modo analogo significativamente su dette persone fisiche”. Il
considerando 84 chiarisce che “l’esito della valutazione dovrebbe essere preso in considerazione
nella determinazione delle opportune misure da adottare per dimostrare che il trattamento dei dati personali rispetta il presente regolamento. Laddove la valutazione d’impatto sulla protezione dei dati indichi che i trattamenti presentano un rischio elevato che il titolare del trattamento non può attenuare mediante misure opportune in termini di tecnologia disponibile e costi di attuazione, prima del trattamento si dovrebbe consultare l’autorità di controllo”. Duttilità ed elasticità sono caratteristiche essenziali della valutazione d’impatto, che deve accompagnare i processi nel tempo: il paragrafo 11 dell’art. 35 impone infatti una revisione costante della valutazione in relazione alle modifiche dei trattamenti o all’attivazione di nuovi.
76 Guidelines, cit., 26.
77 Ai sensi del primo paragrafo dell’art. 24 “tenuto conto della natura, dell’ambito di applicazione, del contesto e delle
finalità del trattamento, nonché dei rischi aventi probabilità e gravità diverse per i diritti e le libertà delle persone fisiche, il titolare del trattamento mette in atto misure tecniche e organizzative adeguate per garantire, ed essere in grado di dimostrare, che il trattamento è effettuato conformemente al presente regolamento. Dette misure sono riesaminate e aggiornate qualora necessario”.
