L’intervento umano in un sistema decisionale intelligente

ne cosciente del programmatore che intende ricavare un maggior vantaggio. In quest’ottica, desta preoccupazioni la moderna associazione tra price discrimination e behavioural discrimina- tion, che trova nell’utilizzo degli assistenti vocali un potente alleato409 al fine di creare profili dell’utente estremamente accurati, individuare e sfruttare il giusto tono emotivo410_{, e au-}

mentare la durata e la costanza.

In primo luogo, per gli assistenti vocali è agevole registrare le preferenze, le abitudini, nonché le debolezze dell’utente avendo così dati numerosi e aggiornati con i quali costruire cluster più piccoli per ottenere una differenziazione dei prezzi più accurata. Inoltre, le carat- teristiche dell’interazione tra l’utente e l’assistente consentono di ricavare ulteriori informa- zioni. L’interconnessione dell’assistente con altri oggetti e servizi fornisce l’opportunità di analizzare come l’utente reagisce a determinate pubblicità, prezzi e prodotti411 migliorando ancor di più le capacità predittive del prezzo maggiorato412_{. Il rapportarsi costante}

dell’utente con l’assistente, poi, permette lo studio dello stato emozionale della persona al fine di sfruttarne i picchi emotivi413. Infine, man mano che la conversazione diverrà disin- volta e l’utente svilupperà fiducia nei confronti dell’assistente, sarà più agevole per quest’ultimo influenzare l’individuo proponendo una scelta di acquisto priva di alternative e ad un prezzo più alto414_.

Pertanto, in forza di un rapporto stretto tra utilizzatore e assistente vocale, il processo di discriminazione diviene difficile da riconoscere: il legame tra personalizzazione e discri- minazione tende a sfumare richiedendo una particolare attenzione nel momento in cui si deve stabilire quale sia l’effetto della decisione automatizzata.

2.1.3 L’intervento umano in un sistema decisionale intelligente

408 _{Cfr. Capitolo 2, paragrafo 1.1.4.}

409 _{STUCKE,EZRACHI, How digital assistants can harm our economy, privacy, and democracy, cit., 1263 ss.}

410 _{Soprattutto al fine di indurre l’utente a comprare beni che altrimenti non avrebbe acquistato e al prezzo}

più alto possibile.

411 _{L’assistente vocale connesso con una TV intelligente, ad esempio, può monitorare quali siti web sono stati}

visitati in seguito alle pubblicità o, viceversa, quali programmi sono stati guardati dopo determinati spot pub- blicitari. Un approccio simile si era già verificato nel caso VIZIO: la televisione intelligente della società VI- ZIO registrava costantemente l’attività dell’utente per poi vendere i dati a terze parti che avrebbero potuto utilizzarli proprio ai fini ora descritti. Tuttavia, con l’introduzione di un assistente vocale si ha un potenziale intrusivo di gran lunga maggiore poiché questo sarà connesso alla televisione, destinatario di domande e ricer- che web e sempre in grado di valutare eventuali altri fattori ambientali. Cfr. STUCKE,EZRACHI, How digital assis-

tants can harm our economy, privacy, and democracy, cit., 1283.

412 _{Ibidem, 1265.} 413 _{Ibidem, 1266.} 414 _{Ibidem, 1268}

80

Una delle tutele predisposte dal Regolamento al fine di garantire all’interessato una decisione non discriminatoria, e più in generale non lesiva dei suoi diritti e libertà fonda- mentali, è il diritto a ottenere l’intervento umano415. Questo, infatti, si pone in relazione con la decisione automatizzata sotto due aspetti: da un lato, ex ante, funge da parametro per di- stinguere una decisione unicamente basata su un processo decisionale automatizzato da quella solo parzialmente automatizzata416; dall’altro, ex post, assurge a garanzia dei diritti e delle li- bertà fondamentali della persona. L’interessato che si riterrà vittima di una decisione lesiva dei propri diritti, libertà o legittimi interessi potrà fare affidamento sul diritto a ottenere la revisione della stessa ad opera di un altro essere umano417 _{il quale si presume in grado di (i)}

valutare l’operato della macchina, e (eventualmente) (ii) decidere secondo una logica priva di bias. Eppure, il diffondersi di sistemi sempre più complessi e opachi ha portato a dubita- re della validità assoluta di tale idea; si può davvero sostenere che un umano possa e voglia sfidare a duello l’Intelligenza Artificiale?

Riguardo alla possibilità per un umano di conoscere le logiche che guidano l’algoritmo, non è chiaro, ad esempio, quale sia il soggetto idoneo a riesaminare una determinazione as- sunta da un algoritmo sviluppato da terze parti o basato su modelli di autoapprendimento che rendono spesso oscure agli sviluppatori stessi le evoluzioni della logica algoritmica418_{. Il}

passaggio da sistemi elementari che imitano il pensare umano ad algoritmi complessi che ne intendono ricreare l’intero processo cognitivo ha segnato il rovesciamento del tradizionale concetto di trattamento dei dati personali in cui il contributo umano era ancora chiave di lettura fondamentale419_{. Si è affermato un modello incentrato su attività unicamente automa-}

tizzate basate sul principio per cui l’algoritmo più è performante meno è intelligibile420. Al- lora, se nemmeno gli esperti del settore a volte sono in grado di comprendere la ratio che ha guidato il processo decisionale automatizzato, chi potrebbe efficacemente intervenire? Così resta aperta la ricerca dell’umano che possa valutare la decisione assunta da un’Intelligenza Artificiale avanzata avendone compreso la logica.

415 _{Cfr. Capitolo 2, paragrafo 1.3.} 416 _{Cfr. Capitolo 2, paragrafo 1.1.3.}

417 _{Si ricorda che i casi in cui l’interessato ha il diritto ad ottenere l’intervento umano secondo previsione}

esplicita della legge sono quelli ex articolo 22.2 lettera a) e c), tuttavia almeno per quanto riguarda la decisione basata su dati particolari si ritiene implicitamente assicurata la medesima tutela. Cfr. Capitolo 2, paragrafo 1.2.4.

418 _{DREYER,SCHULZ,General Data Protection Regulation and Automated Decision-making: Will it deliver?, cit.,5.} 419 _{MALGIERI,COMANDÉ., Sensitive-by-distance: quasi-health data in the algorithmic era, cit., 243.}

420 _{NOTO LA DIEGA, Against the Dehumanisation of Decision-Making - Algorithmic Decisions at the Crossroads of Intel-}

Ad ogni modo, anche ammettendo che vi sia un soggetto in grado di svolgere tale compito, permangono delle criticità in merito alla volontà dello stesso di mettere concreta- mente in dubbio quanto deciso dall’algoritmo. Da un lato vi è il c.d. automation bias, ossia un fenomeno psicologico che induce il soggetto a fare troppo o troppo poco affidamento su un sistema decisionale421_{; maggiore sarà la complessità dei fattori che determinando la deci-}

sione, minore sarà la fiducia nutrita dal revisore umano nel proprio giudizio rispetto alle ca- pacità della macchina422. Dall’altro, laddove il soggetto si dimostrasse non solo in grado di comprendere l’algoritmo, ma anche immune all’automation bias, dovrebbe inoltre essere di- sposto ad assumersi la responsabilità della propria decisione in disaccordo con il sistema intelligente. Per colui che è intervenuto affermare la correttezza del proprio giudizio umano in contrasto con quello dell’algoritmo significherebbe trovarsi costretto ad assumersi la re- sponsabilità della decisione e delle sue conseguenze e a dover giustificare puntualmente la propria posizione423_.

Tali considerazioni fanno vacillare la fiducia riposta dal legislatore europeo nell’intervento umano quale garanzia dei diritti e delle libertà dell’interessato. L’ambizione di ottenere una decisione scevra da bias si scontra con l’imperfezione che accomuna uomo e macchina. Se da ciò emerge con chiarezza la necessità di porre l’accento sulle criticità che inducono l’errore, resta dubbio chi dei due, uomo424 _{o macchina}425_{, si rivelerà perfettibile.}