Bias negli algoritmi e discriminazione

Dal momento che gli assistenti vocali “ragionano” grazie ad un’Intelligenza Artificia- le, questi non potranno sottrarsi agli eventuali bias propri dell’algoritmo o dei dati utilizzati dallo stesso.

“Advocates of algorithmic techniques like data mining argue that these techniques eliminate human biases from the decision-making process. But an algorithm is only as good as the data it works with”392_.

Questa è la sentenza con cui Barocas e Selbst condannano gli algoritmi a dipendere dalla qualità dei dati, infliggendo ai processi decisionali automatizzati la medesima pena393. Dun- que, per poter comprendere le potenzialità discriminatorie di un sistema intelligente autore di una decisione è necessario individuare, a monte, quali siano i fenomeni fonte di bias per i dati394.

In primo luogo, i dati possono rivelarsi imperfetti poiché frutto di precedenti deci- sioni discriminatorie. Il pericolo maggiore in tale situazione è che il dato originario venga intrappolato in un ciclo tendenzialmente senza fine - in quanto alimentato costantemente dal data mining - nel corso del quale un fattore discriminatorio potrà amplificarsi. Dopo aver cercato delle correlazioni tra i dati originari il sistema procede alla classificazione delle stes- se per ricavarne dei cluster395 _{sulla base dei quali verranno fatte delle previsioni. I dati così} inferiti serviranno a costituire nuovi cluster dai quali origineranno le decisioni che a loro vol- ta consentiranno di creare correlazioni da cui inferire dati per “cluster decisionali”. In questa

392 _{S.BAROCAS,A.D.SELBST, Big Data’s Disparate Impact, 104 Calif. L. Rev, 671 (2016), disponibile al sito:}

https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2477899 .

393 _{Di particolare interesse è l’osservazione di Rouvroy: l’oggettività degli algoritmi è un’oggettività meccanica, ba-}

sata sull’automazione dell’analisi e sull’apparente convinzione dell’indipendenza dell’algoritmo dai modelli so- ciali e politici. Si tratta di un’oggettività illusoria, ben diversa dall’oggettività critica, basata sulla conoscenza e consapevolezza delle circostanze, del contesto e delle cause di determinati fenomeni. Cfr. ROUVROY, “Of Data

and Men”: Fundamental Rights and Freedoms in a World of Big Data, cit., 33.

394 _{Lungi da una pretesa di esaustività, si affronteranno i fenomeni ritenuti più rilevanti ai fini dell’Opera. Per}

ulteriori approfondimenti si v.BAROCAS,SELBST, Big Data’s Disparate Impact, cit.; NOTO LA DIEGA, Against the

Dehumanisation of Decision-Making - Algorithmic Decisions at the Crossroads of Intellectual Property, Data Protection, and Freedom of Information, cit., 8; F. ZUIDERVEEN BORGESIUS, Report on discrimination, artificial intelligence, and algo-

rithmic decision-making, published by the Directorate General of Democracy (Council of Europe), Strasburgo,

2018, 14, disponibile al sito: https://rm.coe.int/discrimination-artificial-intelligence-and-algorithmic-decision- making/1680925d73.

395 _{Per cluster si intende un insieme omogeneo di soggetti raggruppati in base a determinati parametri, in que-}

dinamica la decisione discriminatoria diviene fonte di un numero indefinito di ulteriori de- cisioni che porteranno al loro interno nella stessa misura, se non in modo amplificato, il medesimo bias396_.

In secondo luogo, i dati potrebbero riflettere pregiudizi derivanti da convinzioni o prospettive culturali diffusi in una società. Un esempio è fornito da un sistema finalizzato al riconoscimento di immagini addestrato attraverso la descrizione fatta da umani: l’immagine di un bambino con la pelle chiara è stata descritta dai più come “bambino”, mentre quella di un bambino con la pelle scura come “bambino di colore”397_{. Il dato che istruirà}

l’algoritmo sarà imperfetto in quanto assegnerà un attributo aggiuntivo ad un solo gruppo di soggetti, mentre entrambi dovrebbero essere descritti o con un solo termine o con due.

Infine, i dati potrebbero essere il risultato di un processo di data mining che ha portato alla luce dei modelli preesistenti, ma celati, di emarginazione e diseguaglianza398. In questo caso l’incidenza della discriminazione è alta poiché il bias deriva da schemi rilevati solo dall’algoritmo rendendo più complesso scorgerne le ragioni ed eliminarle399_{. Tali bias pos-}

sono presentarsi laddove i criteri effettivamente rilevanti per la determinazione si trovino ad essere indicatori attendibili dell’appartenenza ad un determinato gruppo400_.

Il pericolo di decisioni automatizzate basate su bias di tal sorta dovrebbe destare l’attenzione dei titolari del trattamento, in particolare nel momento in cui questi ultimi de- terminano le misure da predisporre a tutela dei diritti e delle libertà fondamentali dell’interessato. Tutt’altro che ignaro delle dinamiche ora descritte è il legislatore europeo, che al considerando 71 pone l’accento proprio sull’implementazione di misure che impedi-

396 _{Per il concetto di ciclo vitale infinito dei dati (nello specifico sanitari) si v. COMANDÉ,SCHNEIDER,Regula-}

tory Challenges of Data Mining Practices: The Case of the Never-ending Lifecycles of ‘Health Data’, cit., 297; per le con-

seguenze negative dell’utilizzo ripetuto di processi decisionali automatizzati si v. S.DREYER,W.SCHULZ, Gene-

ral Data Protection Regulation and Automated Decision-making: Will it deliver?, Bertelsmann Stiftung, 19 (2019), dispo-

nibile al sito: https://www.bertelsmann-stiftung.de/en/publications/publication/did/the-general-data- protection-regulation-and-automated-decision-making-will-it-deliver/ .

397 _{E. V. MILTENBURG, Stereotyping and Bias in the Flickr30K Dataset, in Proceedings of the Workshop on Multimodal}

Corpora (MMC-2016), 1-4 (2016), disponibile al sito: https://arxiv.org/abs/1605.06083 .

398 _{BAROCAS,SELBST, Big Data’s Disparate Impact, cit., 671; ROUVROY, “Of Data and Men”: Fundamental Rights}

and Freedoms in a World of Big Data, cit., 33.

399 _Ibidem.

400 _{Ibidem, 691. Un esempio è il variare del costo dei servizi di preparazione al SAT (Scholastic Aptitu-}

de/Assessment Test, esame per l’accesso ai college negli Stati Uniti) forniti da The Princeton Review in base allo

ZIP code (equivalente del CAP italiano): come effetto indiretto di tale criterio gli utenti di origine asiatica han-

no il doppio delle possibilità di essere destinatari di un prezzo più alto in quanto la densità abitativa di gruppi di origine asiatica è estremamente alta nelle aree il cui ZIP code comporta una maggiorazione del prezzo. Cfr.J. ANGWING,J.LAROS,The Tiger Mom Tax: Asians Are Nearly Twice as Likely to Get a Higher Price from Princeton Re- view, ProPublica, pubblicato l’1 settembre 2015, consultabile al sito: https://www.propublica.org/article/asians- nearly-twice-as-likely-to-get-higher-price-from-princeton-review ; R.CALO,Artificial Intelligence Policy: A Primer and Roadmap, 9 (August 8, 2017), disponibile al sito: https://ssrn.com/abstract=3015350 o

78

scano effetti discriminatori nei confronti di persone fisiche (soprattutto se basati su dati particolari). Ma quali sono gli ambiti potenzialmente più esposti agli effetti delle decisioni automatizzate colpite da bias? Fiducia era stata riposta nell’utilizzo degli algoritmi predittivi per la prevenzione della criminalità, eppure i sistemi si sono dimostrati discriminatori e quindi inaffidabili401_{. Altri settori fortemente a rischio sono quello lavorativo}402_{, assicurati-}

vo403 _{e dell’educazione}404_{. Particolarmente allarmante, però, è l’impatto che i processi deci-}

sionali automatizzati stanno avendo in materia di protezione sociale e assistenza405. Il Guar- dian prospetta una realtà distopica degna di un Charles Dickens 2.0406_{: molte amministra-}

zioni negli Stati Uniti, in Australia, in India e nel Regno Unito utilizzano strumenti intera- mente automatizzati nella gestione di servizi di assistenza ai poveri (indennità di disoccupa- zione, sussidi per gli alloggi, etc.) che hanno mostrato gravi inefficienze407_{. L’erogazione dei}

benefici è stata negata o bloccata senza che i soggetti coinvolti fossero messi nella posizio- ne di ottenere una motivazione o un rimedio.

Un altro fenomeno al centro dell’attuale discussione sugli effetti discriminatori delle decisioni automatizzate è quello della differenziazione mirata dei prezzi (price discrimination)

401 _{Esemplificativo è il caso COMPAS, sistema automatizzato utilizzato negli Stati Uniti per determinare la}

probabilità di recidiva di un soggetto. L’algoritmo avrebbe dovuto fornire un aiuto al giudice nel decidere se accordare o meno un periodo di probation. Tuttavia, il sistema si è rivelato affetto da bias che hanno ingenerato risultati inattendibili ed effetti discriminatori (la recidiva nei soggetti bianchi era fortemente sottostimata, mentre nei soggetti di colore risultava sovrastimata). Cfr. ZUIDERVEEN BORGESIUS, Report on discrimination,

artificial intelligence, and algorithmic decision-making, cit., 14.

402 _{Ad esempio, il The Wall Street Journal ha riportato la notizia della discriminazione subita da un ragazzo affet-}

to da disturbo bipolare a causa di un test della personalità online obbligatorio per poter finalizzare la propria candidatura per diversi posti di lavoro. Disabilità e patologie quali depressione e disturbo bipolare rischiano di entrare nel mirino degli algoritmi elaborati al fine di individuare i soggetti da assumere creando automatica- mente un gruppo di persone discriminate sulla base del proprio stato di salute. Cfr. L.WEBER,E.DWOSKIN,

Are workplace personality test fair?, in The Wall Street Journal, pubblicato il 29 settembre 2014, consultabile al sito:

https://www.wsj.com/articles/are-workplace-personality-tests-fair-1412044257; C. O’NEIL, How algorithms

rule our working lives, in The Guardian, pubblicato l’1 settembre 2016, consultabile al sito:

https://www.theguardian.com/science/2016/sep/01/how-algorithms-rule-our-working-lives; DREYER, SCHULZ,General Data Protection Regulation and Automated Decision-making: Will it deliver?, cit.,7.

403 _{Si rimanda al caso Vitality ampiamente discusso in precedenza. Cfr. Capitolo 1, paragrafo 2.3.2.}

404 _{Ad esempio, il St. George’s Hospital nel Regno Unito ha utilizzato un processo decisionale automatizzato per}

selezionare le candidature basato sulle precedenti decisioni di ammissione che si sono rivelate essere in sfavo- re di soggetti appartenenti a minoranze e donne in maniera sistematica. Cfr. BAROCAS,SELBST, Big Data’s Di-

sparate Impact, cit., 682.

405 _{A ribadirlo è Philip Alston, relatore speciale ONU sulla povertà estrema e i diritti umani, in occasione del}

rapporto dedicato all’allarme per i diritti umani derivante dall’abuso della digitalizzazione nel campo della pro- tezione sociale. Cfr. Report of the Special rapporteur on extreme poverty and human rights: Note by Secretary-General, A/74/48037, 11 ottobre 2019, disponibile al sito:

https://www.ohchr.org/EN/newyork/Pages/GA74thSession.aspx.

406 _{E.PILKINGTON,Digital dystopia: how algorithms punish the poor, The Guardian, pubblicato il 14 ottobre 2019,}

consultabile al sito: https://www.theguardian.com/technology/2019/oct/14/automating-poverty-algorithms- punish-poor .

cui si è già accennato408. In questo caso, però, il bias discriminatorio è frutto di una decisio- ne cosciente del programmatore che intende ricavare un maggior vantaggio. In quest’ottica, desta preoccupazioni la moderna associazione tra price discrimination e behavioural discrimina- tion, che trova nell’utilizzo degli assistenti vocali un potente alleato409 al fine di creare profili dell’utente estremamente accurati, individuare e sfruttare il giusto tono emotivo410_{, e au-}

mentare la durata e la costanza.

In primo luogo, per gli assistenti vocali è agevole registrare le preferenze, le abitudini, nonché le debolezze dell’utente avendo così dati numerosi e aggiornati con i quali costruire cluster più piccoli per ottenere una differenziazione dei prezzi più accurata. Inoltre, le carat- teristiche dell’interazione tra l’utente e l’assistente consentono di ricavare ulteriori informa- zioni. L’interconnessione dell’assistente con altri oggetti e servizi fornisce l’opportunità di analizzare come l’utente reagisce a determinate pubblicità, prezzi e prodotti411 migliorando ancor di più le capacità predittive del prezzo maggiorato412_{. Il rapportarsi costante}

dell’utente con l’assistente, poi, permette lo studio dello stato emozionale della persona al fine di sfruttarne i picchi emotivi413. Infine, man mano che la conversazione diverrà disin- volta e l’utente svilupperà fiducia nei confronti dell’assistente, sarà più agevole per quest’ultimo influenzare l’individuo proponendo una scelta di acquisto priva di alternative e ad un prezzo più alto414_.

Pertanto, in forza di un rapporto stretto tra utilizzatore e assistente vocale, il processo di discriminazione diviene difficile da riconoscere: il legame tra personalizzazione e discri- minazione tende a sfumare richiedendo una particolare attenzione nel momento in cui si deve stabilire quale sia l’effetto della decisione automatizzata.

2.1.3 L’intervento umano in un sistema decisionale intelligente

408 _{Cfr. Capitolo 2, paragrafo 1.1.4.}

409 _{STUCKE,EZRACHI, How digital assistants can harm our economy, privacy, and democracy, cit., 1263 ss.}

410 _{Soprattutto al fine di indurre l’utente a comprare beni che altrimenti non avrebbe acquistato e al prezzo}

più alto possibile.

411 _{L’assistente vocale connesso con una TV intelligente, ad esempio, può monitorare quali siti web sono stati}

visitati in seguito alle pubblicità o, viceversa, quali programmi sono stati guardati dopo determinati spot pub- blicitari. Un approccio simile si era già verificato nel caso VIZIO: la televisione intelligente della società VI- ZIO registrava costantemente l’attività dell’utente per poi vendere i dati a terze parti che avrebbero potuto utilizzarli proprio ai fini ora descritti. Tuttavia, con l’introduzione di un assistente vocale si ha un potenziale intrusivo di gran lunga maggiore poiché questo sarà connesso alla televisione, destinatario di domande e ricer- che web e sempre in grado di valutare eventuali altri fattori ambientali. Cfr. STUCKE,EZRACHI, How digital assis-

tants can harm our economy, privacy, and democracy, cit., 1283.

412 _{Ibidem, 1265.} 413 _{Ibidem, 1266.} 414 _{Ibidem, 1268}