La componente di backend `e basata su Apache Storm. Come gi`a esposto questa tecnologia permette ottime prestazioni, distribuibilit`a della compu- tazione e fault–tolerancy [4].
La scelta tra le tecnologie presenti sul mercato `e ricaduta su questa per via del fatto di essere open source e gratuita, ben documentata, continua- mente aggiornata dalla comunit`a, performante, facile da installare, configu- rare e mandare in esecuzione. A questo va aggiunto il supporto per l’in- terazione con la tecnologia utilizzata per implementare la coda di messag- gi che, come accennato nel capitolo di presentazione, appartiene anch’essa all’ecosistema Apache.
In questa sezione viene brevemente esposta la struttura interna di Storm e, parallelamente, viene descritto come sono stati utilizzati gli strumenti messi a disposizione dalla piattaforma al fine di ottenere il comportamento richiesto.
4.2.1
Potenzialit`a offerte
Come gi`a esposto nel capitolo di panoramica, Storm permette la la compu- tazione di una serie di eventi in maniera completamente distribuita.
Al fine di poter eseguire una topologia su un cluster si rende necessario che tutte le macchine che lo compongono possano comunicare tra di loro ed essere in grado di eseguire l’applicativo principale, cio`e possedere una Java Virtual Machine. Non vi `e alcuna necessit`a che le macchine eseguano lo stesso sistema operativo o che posseggano caratteristiche hardware simili, anche se questo `e ovviamente consigliabile.
Una volta mandato in esecuzione il cluster provvede a tutte le operazioni di gestione interna, tra cui il recupero nel caso di errori: teoricamente non `
e necessaria la supervisione continua da parte di un amministratore.
4.2.2
Deploy di una topologia
All’interno della infrastruttura deve essere selezionata una macchina in cui eseguire il controller del cluster, chiamato “nimbus“, che si occupa del se- tup delle topologie, di gestire la suddivisione del carico e il ripristino degli slave. Non vi `e alcun requisito particolare riguardo alle caratteristiche della
macchina su cui mandare in esecuzione nimbus, nemmeno in termini di po- tenza, in quanto esso consuma una quantit`a di risorse computazionali molto limitate.
Insieme al nimbus `e possibile mandare in esecuzione una componente “ui“ che si occupa di offrire un pannello di controllo web a cui `e possibile accedere per monitorare lo stato della rete, chiudere le reti, eseguire una operazione di ribilanciamento, visualizzare statistiche sul numero dei dati computati o visualizzare lo stack trace delle eccezioni.
Su ogni macchina del cluster deve essere eseguito uno “slave“ che si occupa di attendere le configurazioni delle topologie da lanciare e mandarle in esecuzione secondo le disposizioni del nimbus.
Una volta conclusa questa parte di configurazione del cluster il deploy di una topologia risulta estremamente semplice: `e sufficiente indicare un jar contenente il codice e le risorse da utilizzare.
Concretamente il deploy si traduce nei seguenti passi:
• In primis viene caricato un pacchetto jar. Al suo interno deve essere presente un classe con un entry point “main“. Il codice eseguito ri- chiamando il main deve, programmaticamente, definire la topologia e le configurazioni da trasferire su ogni nodo.
• Una volta che tale topologia `e stata definita il nimbus trasferisce il pacchetto jar su tutti gli slave, insieme alle configurazioni.
• Al termine dell’upload vengono creati i nodi della topologia sotto for- ma di istanze di diverse classi, come definito dal main. Ognuna di esse rappresenta un task e non condivide la propria memoria, incluso il valore dei campi, con gli altri task. A tal fine risulta impossibile l’uso di campi statici se non per la definizione di costanti.
• I thread istanziati provvedono a richiamare il metodo prepare di ogni task per poi mettersi in attesa di un dato da computare.
4.2.3
Struttura interna
L’interazione tra le componenti di Storm si basa sullo scambio di messaggi sotto forma di tuple. L’ordine in cui i campi appaiono in ogni tupla scam- biata `e definito nella fase di preparazione e ogni campo `e identificato da un nome. I dati contenuti nelle tuple possono essere di una qualsiasi classe
serializzabile. Storm offre nativamente la possibilit`a di serializzare i dati primitivi, che rappresentano la tipologia di dato pi`u utilizzata.
Il tipo dei campi non viene definito in alcuna maniera, per cui a runtime `
e possibile usare tipi di dato differenti a seconda del contesto purch´e sia stato definito un opportuno serializzatore.
A ogni tupla `e legato un valore identificativo (intero a 64 bit) utilizzato per tracciare i suoi movimenti internamente al sistema e per ripetere la computazione in caso di fallimento.
Considerato che Storm mette a disposizione la tupla come concetto alla base dello scambio di dati, i campi dei pacchetti JSON ricevuti sono sud- divisi in modo tale da poterli trasmettere selettivamente ai task corretti attraverso tuple diversamente strutturate.
Spout
Gli Spout rappresentano il punto di ingresso delle tuple all’interno di Storm. Il loro compito consiste nel raccogliere/ricevere eventi, solitamente omo- genei tra di loro, eventualmente trasformarli e filtrarli, ed emetterli sotto forma di tuple.
In un sistema possono esistere pi`u spout e ognuno di essi pu`o a sua volta essere composto da pi`u flussi di controllo, eventualmente distribuiti su pi`u macchine, rendendo quindi possibile emettere pi`u tuple contemporaneamen- te.
In fase di progettazione della componente di backend `e stata individuata la necessit`a di definire un solo spout che si occupa della lettura dei messaggi dalla coda.
Bolt
Le tuple emesse vengono consegnate a uno o pi`u bolt. Queste componenti eseguono una computazione ed emettono ulteriori tuple che verranno rice- vute da altri bolt. `E buona pratica trovare un tradeoff tra la quant`a di computazioni eseguite da un bolt e il numero di essi utilizzati per ottenere un certo obiettivo. A seconda della infrastruttura di rete e delle caratteri- stiche hardware delle macchine, un numero di bolt elevato, ognuno dei quali programmato per eseguire una minima computazione, pu`o essere preferibile o meno a un numero di bolt pi`u ristretto ma che aggrega pi`u operazioni.
Figura 4.1: Gestione del flusso nel caso di computazione su device Le operazioni da eseguire, definite in fase di analisi, trovano una diretta rappresentazione in un bolt. La suddivisione del lavoro in piccole operazioni permette di sfruttare al meglio le potenzialit`a offerte da un cluster.
In figura 4.1 `e esposto il flusso di gestione nel caso in cui `e il device a fornire lo stato aggiornato mentre in figura 4.2 `e esposto il caso in cui `e il cloud a doverlo calcolare utilizzando la funzione iniettata.
Streaming e grouping
In fase di progettazione di un sistema basato su Storm `e necessario definire come le tuple debbano essere trasmesse per ottenere il risultato desiderato. Ogni qual volta che uno spout o un bolt emette una tupla questa viene posta in uno stream. Vari bolt possono sottoscrivere a un dato stream, per cui ogni bolt riceve una esatta copia di quella tupla.
Per ogni bolt possono esistere pi`u stream di output e per ognuno di essi la definizione dei dati contenuti nella tupla `e differente. Storm mette sempre implicitamente a disposizione uno stream, “default“, che spesso rappresenta l’unico utilizzato.
Grazie a questo meccanismo `e possibile definire un DAG dove i nodi sono rappresentati dai bolt e gli archi dagli stream.
Ogni tupla ricevuta raggiunge uno solo dei task dei bolt a cui `e desti- nata. Il comportamento predefinito `e di smistarle in modo da suddividere equamente il carico tra tutti i task. Tuttavia spesso `e desiderabile inviare le tuple che condividono caratteristiche comuni a uno solo di essi. Questo pu`o essere necessario ai fini di migliorare le prestazioni con del caching, per eseguire join degli output o per evitare delle corse critiche.
A tal fine Storm prevede pi`u meccanismi di grouping. Di seguito i pi`u utilizzati:
• Shuffle Grouping: il grouping predefinito, distribuisce equamente il carico tra tutti i task.
• Fields Grouping: le tuple sono suddivise in base al valore di uno o pi`u campi. Tutte le tuple con una certa accoppiata di campi vengono sempre inviate a un certo task.
• Global Grouping: l’intero stream `e inviato al task con id pi`u basso. • Local Grouping: se un task del bolt destinatario `e contenuto nello
stesso worker allora le tuple vengono inviate ad esso. Se tale task non `e presente allora questo metodo si comporta come il Shuffle Grouping. Nell’ambito della progettazione `e stato ritenuto necessario far uso al- ternativamente di Shuffle e Fields grouping a seconda del contesto. Que- sta parte verr`a discussa pi`u approfonditamente nel capitolo riguardante lo Sviluppo.