Dott. Andrei Maslennikov@. Responsabile gruppo Sistemi. CASPUR
Obiettivo storage
L’ultimo decennio ha visto una vertiginosa crescita del volume dei dati scientifici e di carattere commerciale, dovuta soprattutto ai nuovi strumenti e alle tecnologie di studio e di ricerca. Tra le discipline scientifiche più esigenti dal punto di vista del volume e della velocità di accesso ai dati si possono citare la fisica nucleare e delle particelle, la biologia molecolare, la climatologia. Per farsi un’idea dei numeri che sono oggi in ballo, basta fare riferimento alle velocità di acquisizione dei dati osservate nelle sperimentazioni e negli studi moderni. Ad esempio, i quattro principali rivelatori di particelle, costruiti nell’ambito del programma LHC del CERN, produrranno a regime circa 15 petabyte1 all’anno; una sola sessione di tokamak che verrà realizzato all’International Thermonuclear Experimental Reactor (ITER) equivale a 2 terabyte acquisiti alla velocità di 2 gigabyte al secondo: a pieno ritmo verranno raccolte e archiviate alcune decine di petabyte all’anno; una serie di analisi su un sequenziatore DNA di ultima generazione (Heliscope) produce 10 terabyte in pochi giorni e i centri di genomica si stanno velocemente attrezzando con un numero elevato di apparati di questo tipo. Il volume dei dati da raccogliere, spesso ad altissime velocità, e poi archiviare, sta diventando davvero immenso.
I dati immagazzinati devono essere in seguito ben preservati, essere pronti a un velocissimo richiamo per una successiva analisi e proprio per questo la gestione dei flussi, le tecnologie di archiviazione, preservazione e accesso ai dati oggi più che mai sono al centro dell’attenzione di tutti i centri di calcolo. Il CASPUR é particolarmente attento alle problematiche relative allo storage e già da tempo investe nel monitoraggio e nella sperimentazione delle tecnologie in questo campo. Essendo ben informati sulle possibili soluzioni, CASPUR è in grado non solo di far fronte alle proprie esigenze , ma anche di offrire la propria competenza alle università italiane ed enti di ricerca nazionali quali l’ENEA e l’INFN. Queste compe-tenze sono anche riconosciute nell’ambito della ricerca inter-nazionale: da più di un anno il CASPUR presiede il gruppo di lavoro storage del HEPiX forum che riunisce i tecnologi dei grandi istituti e dei centri di ricerca di fisica di alte energie (CERN, SLAC, FNAL, BNL, DESY, IN2P3, INFN, TRIUMF, RAL e altri).
La competenza acquisita sul campo ha permesso al CASPUR di costituire, in cooperazione con il CERN, un laboratorio
sto-rage nel quale vengono valutate concretamente le tecnologie più recenti. Dal 2001 sono stati ricevuti, a titolo di prova, numerosi sistemi hardware e soluzioni software commerciali per un con-trovalore economico complessivo che sfiora il milione di euro. In questo contesto, sono state sperimentate e valutate le soluzioni proposte dalle più reputate aziende del settore, nonché svariati prodotti software di pubblico dominio. Grazie ai finanziamenti del CERN e dell’ENEA è stato inoltre proposto, realizzato e por-tato a termine un progetto di sviluppo software per le estensio-ni object shared disk (OSD2) per uno dei file system condivisi (distribuiti). I risultati di queste esperienze, accumulate dal CASPUR nell’ambito degli studi tecnologici, vengono attualmente utilizzati sia nel suo centro di calcolo che nelle attività di suppor-to alla ricerca scientifica e alle università.
Il modello di organizzazione delle aree dati nel centro di calcolo del CASPUR, partendo dal know-how accumulato e dall’espe-rienza operativa, riflette la struttura degli apparati di calcolo stessi. Storicamente si è affermato al CASPUR un ambiente molto diversificato con la presenza fino a 6 sistemi operativi differenti. Uno dei principali obiettivi che pertanto ci si è posti è stato quello di raggiungere un livello di integrazione tale da permettere agli utenti di navigare tra le macchine con le stesse credenziali di accesso e di condividere gli stessi dati in ognuno dei sistemi di calcolo multinodo (cluster), usando delle specifiche aree di scambio in rete (Network Attached Storage, NAS). Dato
1 1 petabyte = 1 milione di gigabyte; 1 terabyte = mille gigabyte
2 OSD: Object-based Storage Device; nuova estensione del set di comandi SCSI standardizzato all’interno del protocollo T10.
Esaminati nel laboratorio
storage del CASPUR:
- sistemi hardware da IBM,
Infortrend, Promise, SGI,
Sony, Data Direct, Dothill,
Brocade, Nishan, Qlogic,
CISCO, San Valley e altri
- file system distribuiti: GFS,
CXFS, AFS, NFS, Polyserve,
StorTank, Panfs, StorNext,
GPFS, Lustre, OCFS e altri
52
che le prestazioni di accesso ai dati dei sistemi NAS non sono spesso sufficienti e dal momento che ogni produttore fornisce normalmente una soluzione storage ad alte prestazioni per la propria architettura, nella soluzione approntata si è puntato ad un mix ottimale tra lo storage condiviso a livello comples-sivo e lo storage condiviso solo all’interno di ciascuno degli specifici ambienti di calcolo. Come esempio di questa archi-tettura si può citare il cluster IBM Power-5, in cui le aree di scambio dati che permettono velocità di accesso comprese tra i 60 ed i 90 MB/sec convivono con uno specifico file system (GPFS) che è in grado di erogare fino a 900 MB/sec di prestazioni di picco.
Per il biennio 2007-2008 al CASPUR sono previste due distinte linee di sviluppo nell’ambito storage: i) soluzioni
storage ad alta affidabilità per le infrastrutture e i progetti speciali e ii) soluzioni storage di grande capacità e ad alte prestazioni di picco e aggregate per i sistemi di calcolo intensivo (sistemi HPC - High Performance Computing). Come recenti esempi di lavoro svolto in queste direzioni possiamo menzionare gli accurati test, il benchmarking e la messa in produzione del file system SAN-based StorNext sul gruppo dei server usato per le applicazioni di “Emeroteca Virtuale”; la verifica e l’attivazione del file system SAN-based OCFS2 sul nuovo cluster di virtualizzazione; le attività legate alla futura messa in produzione del file system Lustre su alcuni
cluster HPC del CASPUR muniti dell’interconnessione ad alte prestazioni Infiniband.
Il noto file system Lustre merita qualche ulteriore considera-zione. Lustre è molto diffuso nell’ambito HPC ed il CASPUR conosce questa tecnologia già da diversi anni, da quando le prime versioni sono state provate nel suo laboratorio. Lustre é attualmente l’unica soluzione capace di sfruttare una tecnologia di accesso veloce ai dati, Remote Direct Memory Access, attraverso la rete Infiniband. Questo file system permette, quindi, di raggiungere importanti prestazioni di picco. Una specifica attività sulla quale ci si è concentrati è stata la configurazione del nuovo file system con l’obiettivo di ottenere le prestazioni di accesso e la ridondanza dei dati desiderate al minor costo possibile. Collaborando con uno dei maggiori system integrator nazionali (E4 Computer Engi-neering) e con la società giapponese DTS, che produce degli innovativi dischi ibridi, il CASPUR ha ideato una soluzione a prezzo contenuto per il principale elemento architetturale di Lustre, l’OSS (Object Storage Server). La messa in opera della nuova area Lustre, in grado di erogare le alte prestazioni a livelli di affidabilità richiesti, è prevista per il primo trime-stre del 2008.
Fig. 1 Un enclosure a 24 dischi con 3 controller economici RAID-6 interni, una scheda Infiniband e due dischi ibridi per-mettono di assemblare un affidabile OSS Lustre a basso costo, in grado di erogare oltre 800 megabyte al secondo.
Concludendo, il CASPUR ha acquisito una vasta padronanza delle tecnologie di storage ed é in grado di affrontare proble-matiche di varia complessità nel campo dell’archiviazione e della gestione di grosse moli di dati. La sua attiva partecipa-zione ai gruppi di lavoro sullo storage nazionali ed interna-zionali, la collaborazione con l’industria e il tracking tecno-logico continuativo lo rendono competente e ben preparato in questa specifica area e pronto a raccogliere le sfide che verranno lanciate nel futuro.
