G. Bracco UTTEI/UTICT - 4 Febbraio 2013 Casaccia 4 Febbraio 2013 UTICT e UTTEI e il calcolo...

G. Bracco UTTEI/UTICT - 4 Febbraio 2013

Casaccia 4 Febbraio 2013

UTICT e UTTEI e il calcolo scientifico

G.Bracco


Contenuto

• ENEAGRID– L'architettura,l'utenza e le applicazioni– Le interfaccia utente e i laboratori virtuali– I Cluster CRESCO

• I nuovi progetti PON 2007-2013– IT@CHA, TEDAT, LAMRECOR

• Le nuove infrastrutture– CRESCO3– CRESCO4

• L'utilizzo di ENEAGRID/CRESCO da parte di UTTEI– cpu, storage,licenze...– commenti..


ENE

Componenti strutturali “maturi” per garanzia di affidabilità e semplicità di gestione, interfaccie Web sviluppate/customizzate per una ambiente utente amichevole:

– Authenticazione Kerberos 5– File systems:

• AFS/OpenAFS file system geografico• GPFS: file system parallelo anche WAN

– Gestore delle risorse: LSF Multicluster– Interfaccie grafiche Web per l'utente:

• NX/FARO• Jobrama: Stato dei job & Accounting

– Sistema di monitoring: Zabbix– Gestione Web utenze e progetti: WARC

Architettura di ENEAGRID


ENE

Le piattaforme di calcolo offerte all'utenza sono attualmente i sistemi Linux x86_64, (i cluster CRESCO ~ 5000 cores), i sistemi AIX SP5, (~256 cpu), sistemi speciali dedicati ( ad es. GPU), risorse virtualizzate. Le risorse sono distribuite su 6 centri.

ENEAGRID : le risorse di calcolo


ENE

L'utenza di ENEAGRID

~200 utenti che sottomettono job seriali o a parallelismo contenuto e ~50 utenti che sottomettono job HPC altamente paralleli.

Gli ambiti applicativi a cui afferiscono i principali utenti sono: – fluidodinamica della combustione– chimica computazionale– simulazioni climatiche– analisi della diffusione degli inquinanti nell'atmosfera– tecnologie nucleari– fluidodinamica per l'aereospazio– fisica della fusione nucleare– bioinformatica

L'utenza e le applicazioni


FARO - Fast Access to Remote Objects

Accesso WEB a dati,applicazioni,macchine virtuali realizzato con una integrazione di NX e applicazioni java


FARO e Laboratori Virtuali

Portali tematici che integrano l'accesso ai dati e alle applicazioni specifici del settore


Laboratori Virtuali


Total displacement

(mm)

Post

Processor

Total displacement

(mm)

Total displacement

(mm)

Post

Processor

Post

Processor

FARO: la visualizzazione 3D

Rendering 3D Remoto


ENE

I cluster CRESCO

I cluster CRESCO x86_64 in produzione realizzati nell'ambito di PON 2000-2006 (Portici,Brindisi,Trisaia) o con risorse interne negli ultimi due anni (Casaccia,Frascati)

>Portici CRESCO1(672 cores 4U) CRESCO2(2720 blades)IB CISCO 70xx, DDR Intel Clovertown,Tigerton,Nehalem,Westmere>Casaccia CRESCOC (192 cores, twin 1U)IB Qlogic Silverstorm DDR, AMD 2427 Istanbul>Frascati CRESCOF (480 cores twin square 2U, GPFS)IB Qlogic 12300 QDR, AMD 6172 Magnycours>Brindisi CRESCOB (80 cores, 4 U, GPFS)GEthernet, Intel Tigerton>Trisaia CRESCOT (16 cores,4U)Intel Tigerton


ENE

CRESCO Portici - Rete IB e storage

SFS-7000D(D) SFS-7000D (e) SFS 7000D

SFS 7000D

SFS 7000D

SFS-7024-288P

4 X FRONT END GRAFICI

2X GPFS NODE

SFS 7012-144-P

4X FRONT END

FCFC

(2)

4

4

4

(4)

42 X 3850M210 X 3755

340 X HS21SECTION 2

SM (ACTIVE) SM (standby

4

4

4 X FRONT END GRAFICI

4X FRONT END

2X GPFS NODE

4)

4

4

2) 2)

2)2)

(2) 2)

4

BACK-UP

4

IBM DCS 9550 -180TBDDN S2A9900 120TB 2X GPFS NODE

IB 24 ports

4

20 TBServerSTORAGE

20 TBServerSTORAGE

20 TBServerSTORAGE

20 TBServerSTORAGE


PON 2007-2013

• PON/1 Ricerca Industriale DDR MIUR 01/Ric 18/1/2010– IT@CHA - Tecnologie Italiane per applicazioni avanzate nei Beni Culturali– LAMRECOR - Logistica avanzata per la Mobilità di persone e merci– DIRECTFOOD - Gestione integrata filiere alimentari e canali innovativi

produttore -consumatore

• PON/2 Distretti/Laboratori Pubblico Privati DDR MIUR 713/Ric 29/10/2010

– VIS4FACTORY - Sistemi Informativi Visuali per i processi di fabbrica nel settore dei trasporti

– DATABENC - Distretto ad ALta Tecnologia per i beni culturali nella regione Campania

• PON/3 Infrastrutture DDR MIUR 254/Ric 18/5/2011– TEDAT - Centro di eccellenza per le Tecnologie e la diagnostica avanzata nel

settore dei trasporti


Progetto TEDAT

Centro di Eccellenza per le TEcnologie e la Diagnostica Avanzata nel settore dei Trasporti Il progetto è dedicato al potenziamento delle tecnologie e della strumentazione per i processi, le analisi e la diagnostica avanzata dei materiali e componenti nell'ambito del settore dei trasporti (aerospaziale, automotive, ferroviario, navale)

Progetto Infrastrutture interamente ENEA, localizzato principalmente a Brindisi ed in parte a Portici

Quota ENEA-UTICT 2.221.000 € + 200.000 per opere edili e infrastrutturali


PON 2007-2013 Progetti operativi

Investimenti:

• IT@CHA [Ricerca industriale] ENEA-UTICT 320 k€ (UTAPRAD,UTICT)

• LAMRECOR [Ricerca industriale] ENEA-UTICT 548 k€(UTICT)

• TEDAT [Infrastrutture] ENEA-UTICT 2.221 k€ (UTTMAT,UTTP,UTICT)

– Portici (2.056 k€)– Brindisi (165 k€)


ENE

Portici: CRESCO3

Con risorse dai progetti IT@CHA,LAMRECOR e DIRECTFOOD è stato acquisito su Portici un cluster AMD basato su macchine Twin Square SuperMicro & Acer 2 Rack (modello wide) in sala CED CRESCO + Rack di rete

Sono stati installati 84 nodi per un totale di 2016 cores; in produzione entro febbraio 2013Infiniband QDR QLogic 12800-040 (96 porte)Test HPL: 75 % efficienza; compilatori con supporto Interlagos (Open64 flag specifiche, Intel 12 specifiche flag librerie ACML)

Storage: DDN S2A9900 espanso ora a 600 TB


ENE

AMD Iterlagos 6234 2.4 GHz, 64 GB,24 cores,84 nodi, 2016 cores

CRESCO3 : twin square


ENE

Portici: CRESCO4

Le risorse del progetto TEDAT sono più importanti e permettono di programmare l'acquisizione di un cluster di taglia ~80 Tflops utilizzando la tecnologia Twin Square

Il sistema è attualmente in fase di acquisizione (Bando europeo,aggiudicazione provvisoria) Estate 2013?

Schema di principio

– ~4 Rack di nodi di calcolo per un totale di 256 nodi (4096 cores Intel) 1 rack di servizio.

– Storage: DDN S2A9900 ~600 TB condiviso con CRESCO3– Infiniband QDR ad es. QLogic/Intel 12800-180 (max 528 porte)– Nuova sala CED; nuovo UPS – Sistema di condizionamento con free-cooling


ENE

Portici: CRESCO4 - rete IB


ENE

Locali CRESCO e CRESCO4

CED CRESCO attuale

CED nuovo CRESCO4


ENE

CED CRESCO


ENE

Locale CRESCO4


ENE

Schema di possibile installazione


ENE

Test effettuati con Ansys FLUENT

Processori – Intel(R) E5620 @ 2.40GHz (Westmere) CRESCO2– AMD 6234 @ 2.40Ghz (Interlagos) CRESCO3– Intel(R) E5-2680 @ 2.70GHz (SandyBridge) ClusterINTEL

Test ANSYS FLUENT

M2: circa 250000 celle flusso turbolento, stazionarioM3: circa 350000 celle flusso turbolento, stazionario, trasporto di speci chimicheL1: circa 850000 celle flusso turbolento, compressibile


ENE

Test effettuati con Ansys FLUENT

T(s) Norm

8 cores GHz M2 M3 L1 M2 M3 L1

Westmere 2.4 15.3 62.8 124 0.69 0.66 0.64

Interlagos 2.4 22.2 95.3 194.8 1 1 1

SandyBridge 2.7 9.8 39.1 77.3 0.5 0.46 0.45

24 cores GHz M2 M3 L1 M2 M3 L1

Interlagos 2.4 9.6 41 81.6 1 1 1

SandyBridge 2.7 7.14 30 55.2 0.84 0.82 0.76


ENE

Altri elementi

Coda LSF privilegiata “combustione” (eugenio,dcecere) alta priorità 128 core

Contributo UTTEI – licenze ANSYS annuale ~26k€– sistema blade CRESCO2 2011 69Keuro ~136 cores

Il gruppo della combustione è uno dei pochi gruppi in ENEA che ha una attività significativa di sviluppo codici

Contributi UTTEI ai rapporti annuali CRESCO:– 2008-2009 - 2 contributi– 2009-2010 - 3 contributi– 2010-2011 - 2 contributi


ENE

Alcuni spunti di attività sul campo

– Feed back sulla qualità di servizio,suggerimenti, osservazioni,criticità?

– Esigenze di supporto numerico? – Richieste hardware specifiche (RAM? SSD? GPU?..)– Chiusura sistemi SP5/AIX: un problema?– Modalità di uso degli storage e della gestione dati: analisi comune

delle esigenze.– E' in elaborazione un documento che formalizza un po' il rapporto

tra gli utenti dei sistemi HPC ed UTICT: sarebbe utile un contributo di review e commento.

– Rapporto CRESCO, che modifiche? [formato (LateX?), note su scalabilità?, lista delle pubblicazioni?,...]

– Accesso ad altri sistemi HPC? CINECA,PRACE,...


ENE

Conclusioni

Date le note condizioni al contorno per poter garantire la disponibilità in ENEA di risorse di calcolo allo stato dell'arte è importante coinvolgere UTICT nei meccanismi coi quali le altre unità tecniche riescono a procurarsi i fondi per le attività che loro competono.

La disponibilità di sistemi HPC interni all'ENEA garantisce l'accesso a risorse indispensabili per le attività di simulazione avvanzata in modo semplice e flessibile.

E' importante per UTICT che venga riconosciuto in ogni sede il contributo fornito dall'utilizzo dei sistemi di calcolo e dell'eventuale supporto dedicato al fine del raggiungimento dei risultati specifici raggiunti.

G. Bracco UTTEI/UTICT - 4 Febbraio 2013 Casaccia 4 Febbraio 2013 UTICT e UTTEI e il calcolo...

Documents

Transcript of G. Bracco UTTEI/UTICT - 4 Febbraio 2013 Casaccia 4 Febbraio 2013 UTICT e UTTEI e il calcolo...