La farm di calcolo scientifico a Bari

(1)

G. Maggi 11 novembre 2009

La farm di calcolo scientifico a Bari

Giorgio Maggi

INFN e

Dipartimento Interateneo di Fisica

- Politecnico di Bari

11 novembre 2009

(2)

Outline

• Le premesse

• Il grid computing

• La nuova sala calcolo della Sezione di Bari

• La farm

• I test di performance sullo storage

(3)

G. Maggi 11 Novembre 2009

L’IBM 360 ~ 1966-67

(4)

L’IBM 370 verso la fine degli anni 70

(5)

I sistemi APE

APE100_QH1 1996

APEmille

(6)

Oggi è l’era del grid computing

(7)

Bob Jones - EGEE09

Enabling Grids for E-sciencE

EGEE-III INFSO-RI-222667

Infrastructure Growth

Bob Jones - EGEE09 7

~13,000 users

140,000 LCPUs (cores) 260+ sites

25Pb disk 39Pb tape

12 million jobs/month +45% in one year

http://gstat-dev/gstat/geo

(8)

INFN Roma INFN Pisa

HEP Grid Computing Model (since the end of 90’s)

Tier2 Centre

~1 TIPS Online System

Offline Processor Farm

~20 TIPS

CERN Computer Centre

Asia Pacific Centre

~4 TIPS France Regional

Centre US Regional

Centre Italy Regional

Centre

Institute Institute

Institute Dept. of Phys

~1 GBytes/sec

~100-1000 MBytes/sec

1-2.5 Gbits/sec

~100 to 1000 Mbits/sec There is a “bunch crossing” every 25 nsecs.

There are 100 “triggers” per second Each triggered event is ~1 MByte in size

Physics data cache

~PBytes/sec

~10 Gbits/sec

Tier2 Centre

~1 TIPS Tier2 Centre

~1 TIPS

~1 Gbit/sec

1 TIPS is approximately 25,000 SpecInt95 equivalents

Tier 4 Tier 0

Tier 1

Tier 2

Tier 3

INFN Legnaro INFN

Bari

~1 Gbit/sec

Institute Institute

Institute Dept. of Phys

A Bari sono presenti

ALICE e CMS

(9)

Tecnologia dei Servizi “Grid e cloud computing” - Lezione 001b 9

The Tiers ModTier-0 -1 -2

(10)

Large scale genome comparison in a GRID infrastructure

Rita Casadio, Lisa Bartoli, Piero Fariselli,

Raffaele Fronza, Pier Luigi Martelli, Ludovica Montanucci

Biocomputing Group, University of Bologna, Italy

Giorgio Maggi, Giacinto Donvito

BA-INFN, National Institute of Nuclear Physics Bari, Italy

Luciana Carota

CNAF-INFN, National Institute of Nuclear Physics Bologna, Italy

To highlight basic aspects of life at the molecular level

(11)

Dataset description

599 Completely sequenced Genomes

downloaded from: ftp://ftp.ncbi.nih.gov/genomes/Bacteria/

ftp://ftp.ncbi.nih.gov/refseq/release/

ftp://ftp.ensembl.org/pub/

2,624,555 Protein Sequences 987,179,056 Residues

2,961,537,168 Base-pairs (bp)

2 Protozoa 9 Fungi 4 Plants 33 Animals

48 Eukaryotes

18 Archaea 533 Bacteria

551 Prokaryotes

(12)

BLAST comparison

All-against-all comparison

of all protein sequences of 599 genomes.

About **3*10**

⁶

independent BLAST runs on the GRID.

(We run BLAST with a 1E-10 E-value cut-off).

Approximately 2.5 CPUyear (completed in one week on the grid).

All input sequences in FASTA format and BLAST tabular output files have been stored on GRID Storage Elements.

The independent runs have been distributed over the GRID.

(13)

Method outline

Sequence Identity ≥ 40%

and

Coverage ^≥ 90%

where Coverage is COV = I/U

Query sequence Matched sequence Union (U)

Intersection (I)

(14)

Method outline

Sequence Identity ≥ 40%

and

Coverage ^≥ 90%

where Coverage is COV = I/U

Query sequence Matched sequence Union (U)

Intersection (I)

Non solo riesce a validare le annotazioni già note

ma da la possibilità di annotare il 37% di sequence in più

e di correggere alcune annotazioni

sbagliate (ordine del percento)

(15)

La logistica

S1 S3

S5 S7

S9

Locale Dimensioni locale (mxm)

Area (m²) Funzione

S1+S3 5,70x8,50 50 Computer farm S5 4,30x3,30 14 APE + espansione

S7 4,30x3,30 14 Servizi centrali della Sezione (mail server, WEB server, DNS,.. etc)

S9 4,30x3,30 14 Quadro Elettrico e UPS

(16)

La sala S1+S3

QuickTime™ e un decompressore

sono necessari per visualizzare quest'immagine.

• Sistema InfrastruXure High Density della APC

 14 armadi rack

 8 In-Row RC da 25 kW

• Espandibile fino a:

 18 armadi rack

 10 In-Row RC da 25 kW

• Capacità di raffreddamento

 225 kW in ridondanza N+1

 ~ 12.5 kW per rack

• Alimentazione elettrica

 Ogni rack ha la propria alimentazione elettrica connessa direttamente al quadro elettrico (stanza S9)

 Max 20 kW per rack

 Una linea di riserva per A ed una per B

A

B

(17)

La potenzialità frigorifera complessiva è di 250 KW senza ridondanza e 189 KW con ridondanza uno su 4.

La potenza assorbita è di 62 KW per ciascuna unità a pieno carico.

2 unità WSAT–EE502

della CLIVET da 126kW

(18)

QuickTime™ e un decompressore

sono necessari per visualizzare quest'immagine.

MASTERYS MC - UPS trifase 80 kVA della Socomec Sicon.

Attualmente il sistema si compone di due unità da 80 kVA:

• 80 kVA (64 kW) pienamente ridondata e 160 KVA (128 kW) senza ridondanza.

A regime 3 unità:

• fino a 240 kVA (192 kW) senza ridondanza e 160 KVA (128 kW) con ridondanza N+1.

Il sistema UPS

(19)

I sistemi di sicurezza (sala S1+S3)

Temperatura sala

Allarme Chiller + allarmi guasti sistema di allarme Interruzione alimentazione

S1+S3 Allarme incendio (o allagamento)

Pulsante emergenza (attivabile dal corridoio)

Combinatore telefonico

Chiamata squadra emergenza Attivazione

impianto spegnim. incendi

S1+S3

(20)

Impianto spegnimento incendio

• Basato su una miscela di Argon- Azoto sotto pressione

• Ciascuna sala ha il proprio circuito indipendente di

• Rilevazione incendio

• Interruttore di emergenza

• che agisce esclusivamente

 sull’alimentazione elettrica della sala

 Sul sistema di spegnimento incendio della sala

• Eccetto S9

 Se l’allarme incendio è in S9

 o viene attivato il pulsante di emergenza di S9

 viene tolta l’alimentazione a tutto il centro.

(21)

I sistemi di monitoring:

il monitoring della temperatura

• Il monitoring viene fatto da mon2 leggendo le temperature delle CPU di alcuni server



CC = corridoio caldo



Nuova = temperatura di alcuni serverv selezionati

• NB: la temperatura delle CPU dipende dal valore del “load”, è importante

l’andamento di insieme, non quello della singola macchina

(22)

I sistemi di monitoring:

il sistema di video-sorvegianza

(23)

I sistemi di monitoring:

il monitoring degli UPS

(24)

I sistemi di monitoring:

il monitoring degli rack APC

(25)

NAGIOS

(26)

GANGLIA

(27)

Le risorse computazionali e di storage

STORAGE

Insta llato 185 TB

Da re insta lla re (e x d_Cach e) 90 TB

In acqu isizione f ine 20 09 (CMS + ALICE) 200 TB

Tota le 475 TB

CPU

Insta llato 600 cores

In acqu isizione f ine 20 09 (CMS 80 cor e, ALICE 96, Altri 48)

224 cores

Tota le 824 cores

QuickTime™ e undecompressoresono necessari per visualizzare quest'immagine.

• Obiettivi

 Semplificare la gestione

 Ridurre il man power richiesto

• Strategia

 Raggruppare in un’unica infrastrutture tutte le risorse computazionali presenti in sezione

 Cercando comunque di soddisfare le esigenze, spesso contrastanti, di tutti gli utenti

(28)

I proprietari delle risorse

• ALTRI = DOT1, FERMI/GLAST, Pamela

• La quasi totalità del calcolo scientifico della Sezione di Bari viene fatto con questa farm.

(29)

L’infrastruttura di rete

• Backplane da 650 Gbps

• 1 (o 2) switch con 2 uplink a 10 Gbps in ogni rack

• NB: limite ingresso mudulo- backplane



2 porte da 10 Gbps max 14 Gbps

1Gbyte/s raggiunto

•

Collegamento sullo stesso switch di WN e storage per assicurare

 1 Gbps/WN

 Fino a ~480 porte full gigabit

(30)

La configurazione della FARM

• Sistema operativo: SLC5

• Sistema di batch: Torque-Maui

• File system parallelo: Lustre

• SE (SRM): StoRM & XrootD

• CE: LGC & CREAM CE

• UI: frontend.ba.infn.it

• Altri servizi:

 ALICE VO box

 PHEDEX

 SQUID

 WMS & LB

 CRAB server

 DB-Server

(31)

Uso della farm

• E’ possibile sottomettere:

 job da grid

 job locali

 job pseudo interattivi

• E’ possibile eseguire job paralleli (MPICH 1.2 e 2)

• E’ possibile accedere da tutti i WN allo spazio disco

condiviso (home dell’utente +

dati esperimento condivisi )

(32)

Schema “a regime” della farm

(33)

La farm di calcolo scientifico a Bari