Relazione sulle attivit`
a svolte durante il corso di
dottorato
Francesco Crecchi April 23, 2021
Titolo: Deep Learning Safety Under Non-Stationarity Assumptions Candidato: Francesco Crecchi
Supervisori: Prof. Davide Bacciu e Dott. Battista Biggio Comitato interno: Prof. Laura Ricci e Prof. Anna Monreale Revisori esterni: Dott. Fabio Pierazzi e Dott. Fr´enay Benoˆıt
Sommario della ricerca
Durante il dottorato ho svolto attivit`a di ricerca sull’attendibilit`a delle predi-zioni dei modelli di Deep Learning in produzione, a fronte di variapredi-zioni nelle distribuzioni di input dei dati. Tali cambiamenti possono avvenire infatti in modo naturale, ad esempio il guasto ad un sensore con conseguente perdita di dati in input, o avversariale come cio`e risultato di un attacco deliberato ai modelli di Machine Learning previsti dal sistema. Riguardo al caso “nat-urale”, il candidato ha svolto ricerca sul tema “Resilience of Deep Neural Networks on Missing Inputs Data”, ideando, progettando e realizzando un approccio innovativo denominato DropIn. Tale approccio `e stato presentato in anteprima alla conferenza internazionale IJCNN 2017 e successivamente esteso su rivista scientifica di prima fascia IEEE Transaction on Neural Networks and Learning Systems (TNNLS). Sul tema “Adversarial Machine Learning” invece, il candidato ha contribuito allo sviluppo scientifico ide-ando sistemi di protezione per reti neurali di tipo deep tramite detection per attacchi di tipo evasivo su sistemi in produzione attraverso meccanismi di detection presentati a conferenze internazionali (ESANN19, ESANN20) e in corso di pubblicazione su riviste scientifiche di rilievo (Neurocomputing). Nel dettaglio:
• DropIn Approach for Missing Inputs
Il problema affrontato ´e quello della risposta di modelli neurali a poten-ziali dati mancanti in sequenze multivariate. Si pensi, ad esempio, all’utilizzo di tale predittore nel contesto di guida autonoma con dati sensoriali provenienti da Smart Cities. In tale contesto, non ´e raro che possano esserci dati mancanti dovuti, ad esempio, a schermature o a danni a sesori. Nonostante ci´o, vorremmo che il comportamento dell’agente consumatore di tali dati fosse il meno sensibile possibile a tale fenomeno e che, nel caso della guida autonoma, la sicurezza del conducente e dei passeggeri sia assicurata. Il ch`e si riflette nat-uralmente sulla robustezza del modello neurale utilizzato dal sistema predittivo. In tal ambito, il candidato ha ulteriormente approfondito un approccio proposto precedentemente in [1], estendendo la tecnica proposta alla maggior parte dei modelli comunemente utilizzati per processare dati di tipo sensoristico. Tale lavoro ´e risultato in una pub-blicazione [2] sul journal “IEEE Transactions on Neural Networks and Learning Systems” (IEEE-TNNLS), uno dei pi´u prestigiosi a livello mondiale.
• Adversarial Examples Detection Il problema affrontato dal can-didato ´e quello della protezione di reti neurali da esempi avversariali. Di recente infatti, si ´e scoperto che questo tipo di “Intelligenza Ar-tificiale”, capace di ottenere performance umane o addirittura sovra-umane in attivit´a come il riconoscimento di immagini o la traduzione automatica, possa essere tratta in inganno producendo input che ap-paiono totalmente legittimi agli occhi di un ossevatore umano. Il ris-chio di esposizione a tale vulnerabilit´a appare chiaro in contesti cosid-detti “safety-critical” come la guida autonoma, la medicina o il mil-itare, ad esempio. Con l’obiettivo di riuscire a filtrare input malevoli da quelli legittimi, il candidato ha ideato, progettato e realizzato un framework che, sfruttando tecniche di tipo “manifold-learning”, re-alizza tale scopo. Il framework proposto ´e stato portato a pubbli-cazione [3] e presentato alla conferenza European Symposium on Arti-ficial Neural Network (ESANN) 2019. Sulla base di una problematica riscontrata durante lo sviluppo della suddetta soluzione riguardante l’impossibilit`a di applicare le suddette ecniche di riduzione della dimen-sionalit`a a nuovi esempi di test si `e sviluppato una soluzione che per-metta tale operazione, portata a pubblicazione durante l’anno corrente ad ESANN 2020 [4]. Infine, dopo aver studiato le tecniche di detec-tion per esempi avversariali presenti in letteratura allo stato dell’arte e delineato le principali limitazioni si `e proceduto con la proposta di un framework unificante che permetta di descrivere soluzioni esistenti e progettare soluzioni future per la detection. Questo studio ha por-tato alla luce importanti limitazioni dei metodi esistenti alle quali si `e risposto proponendo la tecnica FADER [5]. La suddetta tecnica
permette di ridurre drasticamente il numero di prototipi di training necessari alla detection, migliorando l’efficienza a parit`a di prestazioni sia durante le normali operazioni, che sotto attacco.
Attivit´
a formative frequentate
Esami sostenuti:
An Introduction to Deep Learning : Corso del dottorato in Informat-ica, tenuto da Antonio Gull`ı (Google). Durata: 20 ore.
Skill Boosting for New (Research) Horizons : Corso del dottorato in Informatica, tenuto Paolo Ferragina, Michele Padrone (Universit´a di Pisa), Davide Morelli (Biobeats). Durata: 20 ore.
Summer School (ACDL 2018) : La scuola “Advanced Course on Data Science and Machine Learning” si e tenuta presso la Certosa di Pon-tignano, Siena dal 19 al 23 Luglio 2018. 1
Cyber-Physical Systems and Cloud for Smart Industry : Corso del dottorato in Informatica, tenuto da Daniele Mazzei (Universit´a di Pisa). Durata: 20 ore.
Programming Tools & Techniques in the Pervasive Parallelism Era : Corso del dottorato in Informatica, tenuto da Marco Danelutto (Uni-versit´a di Pisa) e Patrizio Dazzi (CNR). Durata: 20 ore.
Seminari frequentati:
Mauriana Pesaresi Seminars : Dipartimento di Informatica, Universit´a di Pisa.
English for Research Publication and Presentation Purposes : Cen-tro Linguistico Interdipartimentale, Universit´a di Pisa.
CRM – Mathematical & Computational Aspects of Machine Learning : Scuola Normale Superiore, Pisa.
Periodo all’estero
University of Liverpool (3 mesi) :
Ho trascorso il periodo Marzo-Maggio 2018 (compreso) in visita presso la University of Liverpool, Liverpool, Inghilterra. Durante tale periodo ho svolto un lavoro di ricerca sul tema Adversarial Machine Learning, supervisionato dal Dr. Xiaowei Huang.
1
Valido come due esami di dottorato, secondo quanto approvato del Direttore del Dot-torato in Infomatica.
Si precisa che sono stato esonerato dai restanti tre mesi previsti dalla Borsa Pegaso per sopraggiunta paternit`a e per i motivi presentati nella richi-esta approvata da Regione Toscana.
Stage
Ho svolto un periodo di stage in Pluribus One, spinoff dell’Universit`a di Cagliari, durante i quali ho progettato e sviluppato un prototipo di anti-malware per la piattaforma Android avente come caratteristica principale la capacit`a di condurre analisi di tipo on-device sfruttando tecniche di Ma-chine Learning e fornendo spiegazioni circa l’eventuale segnalazione di app malevole con tecniche di Explainable Machine Learning.
Publicazioni
1. Davide Bacciu, Francesco Crecchi, and Davide Morelli. Dropin: Mak-ing reservoir computMak-ing neural networks robust to missMak-ing inputs by dropout. In 2017 International Joint Conference on Neural Networks (IJCNN), pages 2080–2087. IEEE, 2017
2. Davide Bacciu and Francesco Crecchi. Augmenting recurrent neural networks resilience by dropout. IEEE transactions on neural networks and learning systems, 2019
3. Francesco Crecchi, Davide Bacciu, and Battista Biggio. Detecting adversarial examples through nonlinear dimensionality reduction. In ESANN 2019 - Proceedings, 27th European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning, pages 483–488, 2019
4. Francesco Crecchi, Cyril de Bodt, Michel Verleysen, John A. Lee, and Davide Bacciu. Perplexityfree Parametric tSNE. In ESANN 2020 -Proceedings, 28th European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning, 2020
5. Francesco Crecchi, Marco Melis, Angelo Sotgiu, Davide Bacciu, and Battista Biggio. FADER: Fast Adversarial Example Rejection. In Neurocomputing (Under Review), 2020
Pisa, 23/04/2021
In fede,
Francesco Crecchi
