CALCOLO TECNICO-SCIENTIFICO IN AMBIENTE WINDOWS: APPLICAZIONI SOA E HPC IN THE CLOUD

138

C

ALCOLO TECNICO-SCIENTIFICO IN AMBIENTE

WINDOWS: APPLICAZIONI SOA E HPC IN THE CLOUD

Fin dal 2006, il CASPUR, quando è stato uno dei 21 centri al mondo a partecipare al programma di early adop-tion di Windows Compute Cluster Server finanziato da Microsoft, ha osservato con “curiosità scientifica” le so-luzioni HPC in ambiente Windows, valutando con attenzione eventuali caratteristiche utili per erogare servizi innovativi di calcolo scientifico o comunque funzionali a un allargamento della base utenti del Consorzio, verso comunità per le quali l’utilizzo di sistemi operativi Unix-like rappresenta una soglia d’ingresso troppo ripida per l’utilizzo dei servizi di calcolo ad alte prestazioni.

Nell’ultimo anno, l’attività su Windows HPC 2008 si è focalizzata sullo sviluppo di soluzioni SOA per il calcolo tecnico-scientifico in real-time e sull’integrazione dell’infrastruttura installata in locale con Microsoft Windows Azure, per fornire all’utenza servizi di calcolo tecnico-scientifico che utilizzino risorse HPC disponibili sul cloud.

Offerta

L’infrastruttura per il calcolo tecnico-scientifico in ambiente Windows installata presso la sala CED del CA-SPUR è basata sul sistema operativo Microsoft Windows HPC 2008 R2 [1]. L’Head Node è un server HP DL180 che integra 2 CPU Xeon E5620 quadcore a 2.6 GHz, 24 GB di memoria RAM e un’interconnessione Infiniband DDR. Oltre al disco di sistema, l’Head Node ospita un’ampia area di storage accessibile anche dai Compute Node ed è raggiungibile dall’utenza in Desktop Remoto all’indirizzo ellington.caspur.it. L’infrastruttura è com-pletata da 8 Compute Node, server 2-way con CPU Intel Xeon X5650 esacore a 2.67 GHz, 48 GB di memoria RAM ed interconnessione Infiniband QDR. In funzione alle richieste dell’utenza, agli 8 Compute Node

“per-Fig. 1 L’architettura di un cluster Windows HPC 2008 R2, che prevede anche l’integrazione con Windows Azure.

Client

Workstation(s)

Active directory

_{Enterprise Network}

Head Node

Application Network

Private Network

Compute Proxies

Compute Instances

Azure

Broker Nodes

Compute Nodes

ANNU

AL REPOR

T

manenti” si possono aggiungere fino a ulteriori 16 nodi, che hanno la stessa configurazione descritta ma integrano anche due schede GPU NVDIA Tesla serie 20: si tratta dei nodi di calcolo del cluster Jazz [2].

L’utente connesso all’Head Node accede agli strumenti tipici di una risorsa per il calcolo ad alte prestazioni: compilatori C/C++ e Fortran con supporto openMP, librerie matematiche (MKL) e di comunicazione (MS-MPI) con pieno supporto Infiniband, debugger e profiler se-riale e parallelo, il tutto fruibile da Microsoft Visual Studio 2010 [3]. Da linea di comando o attraverso l’interfaccia grafica di HPC Job Manager, l’utente può inviare in coda i propri job per l’esecuzione sui Compute Node: dunque è possibile utilizzare risorse HPC nello stesso modo rispetto a un cluster “tradizionale”, ottenendo in genere prestazioni confrontabili.

Questo, però, non è l’utilizzo più interessante e innovativo di una risorsa HPC in ambiente Windows: la soluzione HPC di Microsoft consente lo sviluppo e il deployment di applicazioni HPC real-time (SOA HPC) e l’utilizzo trasparente di risorse HPC sul cloud Windows Azure [4]. • Applicazioni HPC real-time. Grazie alle funzionalità SOA HPC di Windows HPC 2008 R2 è possibile sviluppare applicazioni di calcolo intensivo (seriali o parallele intra-nodo) e farne il deployment sui Compute Node come servizi SOA. L’applicazione client contatta il broker dei servizi SOA HPC, residente sull’Head Node, che, attraverso lo scheduler HPC, rende disponibile al client le istanze dei servizi SOA richieste; tali istanze girano poi in modalità dedicata sui core dei Compute Node al momento disponibili. In que-st’architettura il client può essere un’applicazione sviluppata ad hoc, ma soprattutto un’applicazione esistente che supporti la possibilità di estensioni in .Net. Un esempio di questo paradigma è l’uso di risorse HPC dall’interno di applicazioni di largo uso come Microsoft Excel: i servizi SOA HPC disponibili sul cluster sono utilizzati per eseguire in parallelo sui Compute Node calcoli complessi, impiegando i dati disponibili sul wor-ksheet in uso e visualizzando i risultati sul foglio stesso. Al CASPUR è stato sperimentato l’utilizzo di servizi SOA HPC all’interno di Excel nell’area della Finanza Quantitativa: sono stati sviluppati servizi SOA per la valutazione di diverse tipologie di strumenti finanziari, che possono essere utilizzati per stimare, in parallelo, il valore di un portafoglio oppor-tunamente descritto all’interno di un foglio Excel.

• Integrazione con Windows Azure. Alle risorse HPC in ambiente Windows “fisicamente disponibili” al CASPUR, si possono aggiungere altri nodi di calcolo residenti sul cloud di Microsoft. Per l’utente che sottomette i propri job, sia “tradizionali” sia SOA HPC, l’utilizzo di queste risorse è del tutto trasparente, a parte una semplice fase preliminare neces-saria per trasferire ai nodi remoti gli eventuali dati da elaborare. Con il recente Service Pack 3 è possibile utilizzare anche la API del Windows Azure HPC Scheduler [5], con il quale è possibile sviluppare applicazioni che, allo startup, eseguano il deployment su cloud delle risorse HPC necessarie al calcolo e, dopo averle utilizzate, le rilascino, in modo da ridurre allo stretto necessario i costi d’uso di risorse di calcolo su cloud. Questa possibilità è stata già sperimentata integrandola in un’applicazione MPI esistente; il prossimo obiettivo sarà la sperimentazione dello stesso paradigma in un’applicazione di tipo SOA HPC.

Bibliografia essenziale

[1] http://www.microsoft.com/hpc/en/us/default.aspx.

[2] Gruppo HPC del CASPUR (2011). Jazz: la nuova risorsa di calcolo HPC al CASPUR con acceleratori grafici Fermi. Annual Report CASPUR.

[3] http://www.microsoft.com/visualstudio/en-us. [4] http://www.windowsazure.com.