Disaggregazione di serie storiche in un'architettura di stream processing

Simone Sguazza

Studente Relatore

Andrea Emilio Rizzoli

Corso di laurea Modulo

2016 - 2017

Anno

Ingegneria Informatica

M00002 - Progetto di

diploma

Settembre 2017

Data

Disaggregazione di serie storiche in un’architettura

di stream processing

Alessandro Giusti

Gli obiettivi del progetto sono i seguenti:

• Costruire un’architettura per lo streaming di sensori al fine di poterli analizzare successivamente

• Rendere l’architettura robusta • Testare limiti dell’architettura

• Integrare un disaggregatore all’interno dell’architettura stream • Misurare le perfomenaces del disaggrregatore

• Comparare il disaggregatore con delle baselines e delle metriche

Conclusione

Risultati:

• Fase 1: l’architettura funziona, ma è stato evidenziato che il producer deve avere un minimo di potenza di calcolo e di memoria per l'eseguibile Java. Questo in quanto deve avere con sé delle librerie e deve poter criptare il messaggio. • Fase 2: il disaggregatore è stato integrato con successo • Fase 3: l’architettura è stata testata sui seguenti punti:.

- Fault tolerant: assicurato grazie al cluster apache kafka. - Scalabilità: riesce a scalare facilmente all’aumentare del

numero di sensori.

- Mantenibilità: Si aggiunge o toglie facilmente nuovi componenti (producers o consumers) senza che gli altri ne risentano o debbano essere modificati. Apache Kafka disaccoppia consumers da producers.

• Fase 4: il disaggregatore riesce a stimare al massimo il 5% di errore per alcune categorie. Per altre invece l’errore è sopra al 20%. Sono state creati delle baseline di comparazione con dei disaggregatori stupidi. Si è riscontrato che in alcune categorie l’errore cumulato era inferiore rispetto ai disaggregatori stupidi. Si sono misurate delle metriche per comparare il disaggregatore originale con la sua versione stupida. I risultati sono evidenziano che il disaggregatore originale è migliore.

Abstract

Il progetto prevede la realizzazione di un’architettura software per l’analisi streaming derivanti da sensori. L’architettura è stata applicata al processamento di dati di consumo elettrico aggregato di una abitazione residenziale. I dati di consumo sono stati generati da un simulatore di serie storiche. Successivamente si è integrato un disaggregatore, al fine di testarne le perfomances di assegnazione del consumo ai singoli apparecchi.

Il lavoro è stato diviso in quattro fasi:

• Fase 1: costruire un’architettura prototipale per lo streaming dei dati.

• Fase 2: integrare il disaggregatore nell’architettura • Fase 3: rendere l’architettura robusta e testarla • Fase 4: misurare le perfomances del disaggregatore