L’intelligenza artificiale e il diritto penale
Dalle indagini alla riabilitazione, tra fantascienza e realtà
Marcello Bergonzi Perrone
Avvocato in Pavia e Milano, cultore della materia di informatica giuridica e docente nel corso di perfezionamento in investigazioni digitali presso l'Università Statale di Milano, membro DFA (digital forensics alumni), già docente per
Legalforma ed Amnesty International, membro del Circolo Giuristi Telematici, redattore della rivista scientifica: “ciberspazio e diritto”.
Avv. Marcello Bergonzi Perrone
1956 A. I.: Cosa pensiamo che sia… 1968
Avv. Marcello Bergonzi Perrone
1973 1982
Avv. Marcello Bergonzi Perrone
1983 1984 1999
Avv. Marcello Bergonzi Perrone
Perché i film?
- Il pianeta proibito (1956, Fred M. Wilcox): il robot Robbie rispetta le 3 leggi della robotica di Asimov;
- 2001 Odissea nella spazio (1968, S. Kubrick): riconoscimento
vocale, facciale, lettura delle labbra, lettura del corpo, emozioni;
- Il Mondo dei robot (1973, M. Crichton): le macchine fuori controllo;
- Blade Runner (1982, R. Scott): le emozioni delle macchine;
- Wargames – Giochi di guerra (1983, J. Badham): apprendimento automatico e ragionamento meccanico: la logica delle macchine è superiore a quella dell’uomo?
- Terminator (1984): le macchine annienteranno l’umanità?
- Matrix (1999): che cosa è davvero realtà, e cosa è finzione
(George Berkeley, 1685 - 1753)…. E poi: AI (2001, S. Spielberg);
Io, robot (2004, Alex Proyas), Zoe (2018, D. Doremus)…
Avv. Marcello Bergonzi Perrone
Le tre leggi della robotica di Asimov (1942)
1. Nessun robot può causare danni a un essere umano o permettere che un essere umano
subisca danni;
2. ogni robot deve obbedire agli ordini impartiti degli essere umani a meno che questi ordini non siano in contrasto con la prima legge;
3. ogni robot deve proteggere la propria
esistenza a condizione che tale protezione non sia in conflitto con la prima la seconda legge.
Legge zero: nessun robot può causare danni
all'umanità o permettere con la sua inazione che
l'umanità subisca danni.
Avv. Marcello Bergonzi Perrone
Alcuni passaggi verso l’ I.A.
Test di Turing: se un soggetto non riesce a percepire se un soggetto nascosto è un umano oppure un computer, in tal caso si parla di intelligenza artificiale.
(Siri – Alexa – Google assistant…)
Il computer può giocare contro se stesso milioni di volte, e così imparare a distinguere le mosse buone che portano alla vittoria da quelle cattive (film:
wargames, 1983)
Nel 1996 per la prima volta il computer della IBM
sconfigge campione del mondo di scacchi Kasparov.
Avv. Marcello Bergonzi Perrone
A.I. ai minimi termini
1. A + B = C
2. A + B + Y = C + Y
3. A + B + Y + Y = C + Y + Y
4. A + B + Y + Y = C + Y + Y + “x”
5. A + B + Y + C = A + B + Y + “x”…
Avv. Marcello Bergonzi Perrone
Una definizione
Sistemi software od hardware, che
elaborano ed interpretano dati acquisiti in
tempo reale (comportamento adattivo)
anche nel proprio ambiente (sensori) e
decidono un risultato (ragionamento)
anche tradotto in azione tangibile e
materiale (sistemi ciberfisici) per
raggiungere l'obiettivo dato.
Avv. Marcello Bergonzi Perrone
Secondo il Parlamento Europeo
Risoluzione del 16 febbraio 2017
per redigere “principi etici fondamentali da rispettare per lo sviluppo, la programmazione e l'utilizzo di robot e dell'intelligenza artificiale”: carta sulla robotica e questioni di responsabilità civile:
- autonomia grazie a sensori e/o mediante lo scambio di dati con il suo ambiente (interconnettività)
- autoapprendimento dall'esperienza e attraverso l'interazione (criterio facoltativo);
- almeno un supporto fisico minore;
- l'adattamento all’ambiente;
- l'assenza di vita in termini biologici;
Avv. Marcello Bergonzi Perrone
Due Intelligenze artificiali A.I. DEBOLE
Una intelligenza artificiale concepita per la soluzione di specifici problemi, ma non raggiunge l’uomo. Es.: Deep Blue (1996)
A.I. FORTE
Una intelligenza artificiale che elabora
regole e fornisce risposte con un
funzionamento assimilabile alla mente
umana. Autocoscienza?
Avv. Marcello Bergonzi Perrone
Le reti neurali
Sistema adattivo basato su un modello matematico che tramite un sistema di interconnessioni (input - output) tra neuroni artificiali e processi cambia la propria
struttura in base a informazioni esterne o interne che scorrono attraverso la rete stessa durante la fase di apprendimento.
Sistema esperto di autoapprendimento - machine
learning, “simula il processo decisionale di un essere umano in uno specifico contesto, al fine di
automatizzare il modello utilizzato dall'esperto umano e risolvere le problematiche di quel determinato
scenario” (Quintarelli).
Avv. Marcello Bergonzi Perrone
Avv. Marcello Bergonzi Perrone
Avv. Marcello Bergonzi Perrone
Avv. Marcello Bergonzi Perrone
Avv. Marcello Bergonzi Perrone
Avv. Marcello Bergonzi Perrone
Oooops…
(2015…)Avv. Marcello Bergonzi Perrone
Oooops…
(2019…)Avv. Marcello Bergonzi Perrone
Ma nel 2021…
Avv. Marcello Bergonzi Perrone
Oooops…
2021Avv. Marcello Bergonzi Perrone
Oooops… Oooops … 23 incidenti, uno mortale
Avv. Marcello Bergonzi Perrone
Avv. Marcello Bergonzi Perrone
Avv. Marcello Bergonzi Perrone
Avv. Marcello Bergonzi Perrone
Lethal Autonomous Weapons
Avv. Marcello Bergonzi Perrone
I principi delle Nazioni Unite (Dic. 2019) Conferenza delle Alte Parti per la restrizione delle LAW 1. Piena applicazione del diritto internazionale umanitario 2. La responsabilità deve comunque riferirsi a un umano 3. L’uso dell’arma deve essere conforme al diritto internaz.
4. Accountability nella catena di comando e controllo umano
5. Lo sviluppo di nuove armi deve essere valutato se ammesso 6. Va considerato il rischio di uso da parte dei terroristi
7. Valutazione del rischio nello sviluppo della progettazione 8. Rispetto degli obblighi internazionali in fase di progettaz.
9. I sistemi d’arma autonomi non dovrebbero essere antropomorfi
10. equilibrio tra necessità militari e considerazioni
umanitarie
Avv. Marcello Bergonzi Perrone
Il diritto sovranazionale - l’U.E.
Avv. Marcello Bergonzi Perrone
Assemblea Plenaria U.E. (20/01/2021)
- L’intelligenza artificiale deve essere
soggetta al controllo umano, consentendo agli esseri umani di correggerla o
disabilitarla in caso di comportamenti imprevisti
- rispetto della dignità umana e dei diritti umani
- garantire la responsabilità dell’uomo - bando dei “robot assassini”
- l’azione letale deve essere decisa da uomo
Avv. Marcello Bergonzi Perrone
Assemblea Plenaria U.E. (20/01/2021)
- preoccupazione nell’uso della I.A. nella sorveglianza civile e militare di massa
- divieto "applicazioni di punteggio sociale altamente invasive”
- l'uso della A.I. nel settore giudiziario può aiutare ad accelerare i procedimenti e prendere decisioni più razionali, MA le decisioni finali dei tribunali devono essere prese da esseri umani, essere rigorosamente verificate da una persona ed essere soggette a un giusto processo
- l’I.A. deve sempre rimanere uno strumento utilizzato solo per assistere il processo decisionale o aiutare
nell'azione. Non deve mai sostituire o sollevare gli
esseri umani dalla loro responsabilità
Avv. Marcello Bergonzi Perrone
S.A.R.I.
Sistema Automatico Riconoscimento ImmaginiAvv. Marcello Bergonzi Perrone
https://www.youtube.com/watch?v=rAme2IgBxqw
Avv. Marcello Bergonzi Perrone
Avv. Marcello Bergonzi Perrone
Garante privacy su SARI real time
Avv. Marcello Bergonzi Perrone
Parere su Sari Real Time - 25 marzo 2021
… il sistema SARI Real-time – allo stato degli atti non ancora attivo - consente, attraverso una serie di telecamere installate in un’area geografica predeterminata e delimitata, di analizzare in tempo reale i volti dei soggetti ivi ripresi, confrontandoli con una banca dati predefinita per lo specifico servizio (denominata
"watch-list"), la cui grandezza è di massimo 10.000 volti.
Il sistema consente, inoltre, di registrare i flussi video delle telecamere “fungendo, in tal senso, quale attività di video sorveglianza.”.
Il sistema è stato progettato e sviluppato come soluzione mobile
tale da poter essere installata direttamente presso il sito ove
sorge l'esigenza di disporre di una tecnologia di riconoscimento
facciale
Avv. Marcello Bergonzi Perrone
Il Garante OSSERVA che
le linee guida del Consiglio d’Europa segnalano l’intrusività per il diritto alla vita privata e alla dignità delle persone, e il rischio diritti umani e sulle libertà fondamentali.
il loro impiego sia strettamente necessario e proporzionato alle finalità e siano prescritte le necessarie garanzie.
realizza un trattamento automatizzato su larga scala che può riguardare anche coloro che siano presenti a manifestazioni politiche e sociali … passando dalla sorveglianza mirata di alcuni individui alla possibilità di sorveglianza universale allo scopo di identificare alcuni individui.
L’art. 8 C.E.D.U.: ogni persona ha diritto al rispetto della propria vita privata e familiare e non può esservi ingerenza di una autorità pubblica…
le disposizioni del cpp e del TULPS non costituiscono base giuridica idonea per trattamenti di dati biometrici diretti all’identificazione personale.
tra le fonti normative indicate dal Ministero non si rinviene alcuna disposizione specifica che consenta tale tipo di trattamento.
Avv. Marcello Bergonzi Perrone
PQM
ai sensi dell’art. 24, comma 5 e dell’art. 37,
comma 3, lett. c), del Decreto esprime parere
non favorevole nei termini di cui in motivazione
sul progetto e avverte il titolare che il
trattamento dei dati biometrici tramite il sistema
Sari Real Time, appare non conforme alla
disciplina di cui al Decreto, in mancanza di
adeguate e specifiche disposizioni normative
legittimanti.
Avv. Marcello Bergonzi Perrone
Il Grande Fratello e il credito sociale
Avv. Marcello Bergonzi Perrone
Il Grande Fratello in occidente
Avv. Marcello Bergonzi Perrone
Il Grande Fratello in occidente
Avv. Marcello Bergonzi Perrone
Il Grande Fratello in occidente
Avv. Marcello Bergonzi Perrone
Il Grande Fratello in occidente
Avv. Marcello Bergonzi Perrone
La Risoluzione PE del 6 ott. 2021
La risoluzione invita la Commissione ad attuare, con ogni mezzo necessario, “il divieto di qualsiasi trattamento di dati biometrici, comprese le
immagini facciali, utilizzato dalle forze dell’ordine, che possa portare a una sorveglianza di massa negli spazi pubblici”. La risoluzione chiede anche di
interrompere qualunque finanziamento diretto alla
“ricerca e allo sviluppo di tecnologie biometriche o
di programmi che possano portare alla sorveglianza
di massa indiscriminata degli spazi pubblici”.
Avv. Marcello Bergonzi Perrone
KeyCrime Delia, e Minority Report
Avv. Marcello Bergonzi Perrone
I risultati
Avv. Marcello Bergonzi Perrone
I risultati
Avv. Marcello Bergonzi Perrone
Il deep fake di AI
Sareste in grado di capire se una faccia che vedete online sia reale, appartenga cioè a una persona esistente, o invece non sia stata sintetizzata da una tecnologia di intelligenza artificiale, quello che si definisce un deepfake?
Solo il 48,2 riconosce (o crede di averlo fatto) il deep fake.
Avv. Marcello Bergonzi Perrone
La Giustizia predittiva
Il Caso Compas (Correctional Offender Management Profiling for Alternative Sanctions, Equivant)
- Eric L. Loomis, 2013 - 5 capi d’accusa
- la Corte ordina un Presentence Investigation Report (PSI) e per verificare la recidivanza, viene usato il software - in base (anche) ai risultati del Compas, la Corte di La
Crosse giudica un “alto rischio per la comunità”
- 6 anni reclusione senza libertà vigilata - appello per iniquità del processo
- incapacità di verifica dei processi decisionali: “blackbox”
- mancanza di specificità della verifica: statistica - maschi/neri/poveri = più inclini alla recidiva
- 2016: rigetto della Corte Suprema del Wisconsin: “il verdetto sarebbe stato lo stesso”
- https://www.giurisprudenzapenale.com/wp-content/uploads/2019/04/Supreme-Court-of-Wisconsin.pdf
Avv. Marcello Bergonzi Perrone
Il magistrato robot
Utilizzato dalla Procura del popolo di Shanghai Pudong per oltre 17mila casi tra il 2015 e il 2020, dove il magistrato-robot avrebbe raggiunto un errore limitato con una precisione quasi del 100%.
Avv. Marcello Bergonzi Perrone
Il magistrato robot in Europa
Avv. Marcello Bergonzi Perrone
La privacy EU
Articolo 22 EU GDPR - "Processo decisionale automatizzato relativo alle persone fisiche, compresa la profilazione”
1. L'interessato ha il diritto di non essere sottoposto a una decisione basata unicamente sul trattamento automatizzato, compresa la profilazione, che produca effetti giuridici che lo riguardano o che incida in modo analogo significativamente sulla sua persona.
2. Il paragrafo 1 non si applica nel caso in cui la decisione: a) sia
necessaria per la conclusione o l'esecuzione di un contratto tra l'interessato e un titolare del trattamento; b) sia autorizzata dal diritto dell'Unione o dello Stato membro cui è soggetto il titolare del trattamento, che precisa altresì misure adeguate a tutela dei diritti, delle libertà e dei legittimi interessi dell’interessato; c) si basi sul consenso esplicito dell’interessato.
3. Nei casi di cui al paragrafo 2, lettere a) e c), il titolare del trattamento attua misure appropriate per tutelare i diritti, le libertà e i legittimi interessi dell'interessato,
almeno il diritto di ottenere l'intervento umano da parte del titolare del trattamento, di esprimere la propria opinione e di contestare la decisione. …omissis…
Avv. Marcello Bergonzi Perrone
La privacy EU
Articolo 24 EU GDPR - "Responsabilità del titolare del trattamento"
1. Tenuto conto della natura, dell'ambito di applicazione, del contesto e delle finalità del trattamento, nonché dei rischi aventi probabilità e gravità diverse per i diritti e le libertà delle persone fisiche, il titolare del trattamento mette in atto misure tecniche e organizzative adeguate per garantire, ed essere in grado di dimostrare, che il trattamento è effettuato conformemente al presente regolamento. Dette misure sono riesaminate e aggiornate qualora necessario.
2. Se ciò è proporzionato rispetto alle attività di trattamento, le misure di cui al paragrafo 1 includono l'attuazione di politiche adeguate in materia di protezione dei dati da parte del titolare del trattamento.
3. L'adesione ai codici di condotta di cui all'articolo 40 o a un meccanismo di certificazione di cui all'articolo 42 può essere utilizzata come elemento per dimostrare il rispetto degli obblighi del titolare del trattamento.
Avv. Marcello Bergonzi Perrone
iBorder Ctrl (Ungheria, Lettonia e Grecia…)
Intelligent portable border control system
Avv. Marcello Bergonzi Perrone
Il problema della black box
Risoluzione UE del 16 febbraio 2017
- i robot avanzati dovrebbero essere dotati di una «scatola nera» che registri i dati su ogni operazione effettuata dalla macchina, compresi i passaggi logici che hanno contribuito alle sue decisioni;
- quadro etico: principi di dignità umana, l'uguaglianza, la giustizia e l'equità, la non discriminazione, il consenso informato, la vita privata e familiare e la protezione dei dati, la non stigmatizzazione, la
trasparenza, l'autonomia, la responsabilità individuale e sociale
- Considerando 56: … almeno nella fase attuale, la responsabilità deve essere imputata a un essere umano e non a un robot … ;
- Considerando 59/f: (esiste la possibilità che) …i robot autonomi più sofisticati possano essere considerati come persone elettroniche
responsabili di risarcire qualsiasi danno da loro causato, nonché
eventualmente il riconoscimento della personalità elettronica dei robot che prendono decisioni autonome o che interagiscono in modo
indipendente con terzi;
Avv. Marcello Bergonzi Perrone
Risoluzione UE 6 ottobre 2021
- l’intelligenza artificiale dovrebbe essere sviluppata in modo da mettere le persone al centro, essere degna della fiducia dei cittadini ed essere sempre al servizio dell'essere umano;
- i sistemi di IA dovrebbero essere progettati in modo che possano essere sempre spenti da un operatore umano;
- non discriminatori, sicuri e che le relative decisioni devono essere spiegabili e trasparenti e rispettare l'autonomia umana e i diritti fondamentali;
- necessario un modello chiaro per attribuire la responsabilità per i potenziali effetti nocivi dei sistemi di IA nel settore del diritto penale;
- attenzione per decisioni sulla custodia cautelare, nell'irrogazione delle pene, nel calcolo delle probabilità di recidiva e nelle decisioni di
sospensione condizionale, sorveglianza post crimine;
- controllo democratico rigoroso e una supervisione indipendente per qualunque tecnologia basata sull'IA utilizzata da parte delle autorità di contrasto e giudiziarie.
Avv. Marcello Bergonzi Perrone
Risoluzione UE 6 ottobre 2021
- considerando n. 16: nei contesti giudiziari e di contrasto, la decisione che produce effetti giuridici o analoghi deve sempre essere presa da un essere umano, il quale possa essere ritenuto responsabile per le decisioni adottate;
- una persona ha il diritto di non essere sottoposta a una decisione che produca effetti giuridici o abbia effetti significativi nei suoi confronti fondata esclusivamente su un trattamento automatizzato dei dati;
- il diritto dell'Unione proibisce la profilazione che risulti nella
discriminazione nei confronti delle persone fisiche sulla base di categorie speciali di dati personali;
- le autorità che utilizzano i sistemi di IA debbano osservare norme giuridiche estremamente rigorose e garantire l'intervento dell'essere umano;
- competenza esclusiva dei giudici e l'adozione di decisioni caso per caso- divieto sull'uso dell'IA e delle relative tecnologie per
l'emanazione delle decisioni giudiziarie.
Avv. Marcello Bergonzi Perrone
Risoluzione UE 6 ottobre 2021
- Considerando 24
la polizia predittiva è tra le applicazioni di IA utilizzate nell'ambito delle attività di
contrasto ma avverte che se da un lato la polizia predittiva può analizzare gli insiemi di dati forniti per l'identificazione di modelli e correlazioni, essa non può dare una risposta alla questione della causalità, non può fare previsioni affidabili sui
comportamenti degli individui e pertanto non può costituire l'unica base per un intervento; sottolinea che diverse città degli Stati Uniti hanno interrotto l'uso dei
sistemi di polizia predittiva in seguito agli audit; ricorda che durante la missione della commissione LIBE negli Stati Uniti nel febbraio 2020, i membri sono stati informati dai dipartimenti di polizia di New York City e Cambridge, Massachusetts, che
avevano eliminato gradualmente i loro programmi di polizia predittiva a causa della loro inefficacia, dell'impatto discriminatorio e dell'insuccesso pratico ed erano tornati a sistemi di polizia di quartiere; osserva che ciò ha portato a una riduzione del tasso di criminalità; si oppone, pertanto, all'utilizzo dell'IA da parte delle autorità di
contrasto per fare previsioni sui comportamenti degli individui o di gruppi sulla base di dati storici e condotte precedenti, dell'appartenenza a un gruppo, l'ubicazione o qualunque altra caratteristica al fine di identificare le persone che potrebbero
commettere un reato;
Avv. Marcello Bergonzi Perrone