Riunione CRESCO 3-4-2007 migliori@enea.it

Infrastruttura HPC Cresco

Analisi Preliminare

Riunione CRESCO 3-4-2007 migliori@enea.it

Caratteristiche codici CRESCO

• Codici seriali ( UNIX)• Codici paralleli fortemente accoppiati• Codici paralleli debolmente accoppiati • Più codici paralleli fortemente accoppiati che

interagiscono fra loro ( es. accoppiamento fluido struttura)

• Codici particolari con funzioni molto spinte su alcuni algoritmi ( es. analisi immagini, genomica)

• Data base grandi dimensione• Codici seriali ( windows)• …….

Riunione CRESCO 3-4-2007 migliori@enea.it

• Accesso ai file di input ed output – frequenza– flusso per accesso

• Dimensione della memoria RAM– visibile direttamente dal singolo nodo– totale su tutti i nodi

• Data base grandi dimensione • File grandi dimensioni (maggiori 20GB)• …..

Caratteristiche dei dati dei codici CRESCO

Riunione CRESCO 3-4-2007 migliori@enea.it

Infrastruttura HPC Cresco• sistema di supercalcolo HPC• sistema di storage ad alte prestazioni• sistema software

– software di sistema– software di gestione – middleware ENEA-GRID– software di monitoring – ambienti per lo sviluppo applicativi ad alto parallelismo– software applicativo

• rete di interconnessione– alta banda e bassa latenza – alta banda – interconnessioni di servizio

• rete di interconnessione alla rete locale• sistema di backup• sistema di sicurezza• sistema di alimentazione e di continuità• adeguamento sistema condizionamento

Riunione CRESCO 3-4-2007 migliori@enea.it

Sistema di supercalcolo HPC (1) struttura in funzione dei codici

• Codici seriali ( UNIX, Windows) • Sezione 1 ( dimensionamento preliminare)

• Codici seriali che necessitano di memoria RAM maggiore di 4 GByte

– Una sezione con almeno 512 core organizzata ad uno o più nodi ad immagine unica di ciascuno di tipo SMP con almeno 16 Core per nodo.

– doppia interconnessi in fibra per il calcolo con una rete di almeno 1 Gbit/s;

– una memoria ram di almeno 2 GBit/s per core;– due dischi almeno da 73GByte;– predisposizione connessione InfiniBand

• Sezione GRID• Codici seriali che necessitano di memoria RAM minore di 2 GByte• Su GRID si trovano alcune macchine che soddisfano le condizioni della Sezione 1 ( AIX,

SGI, LinuxSGI)

Riunione CRESCO 3-4-2007 migliori@enea.it

Sistema di supercalcolo HPC (2) struttura in funzione dei codici

• Codici paralleli fortemente accoppiati

• Sezione 2 ( dimensionamento preliminare)

– Una sezione con almeno 2048 core organizzata con nodi ad immagine unica di ciascuno di tipo SMP con almeno 8 Core per nodo, con configurazione 2 socket quad-core

– doppia connessione Gbit ( per ogni 8 core )– doppia connessione Infiniband 4X ( per ogni 8 core ) ( reti

proprietarie per immagini uniche SMP maggiori di 16 core) – 1 GByte per core – Un disco da 73GB SAS (per 8 core)

• Sezione GRID• Su GRID si trovano alcune macchine che soddisfano le condizioni della Sezione

2 ( AIX, LinuxSGI, LinuxCRAY) per parallelismo fino ad un massimo di 192 proc.

Riunione CRESCO 3-4-2007 migliori@enea.it

Sistema di supercalcolo HPC (4) struttura in funzione dei codici

• Codici paralleli debolmente accoppiati

• Sezione 1 + Sezione 2 – Una sistema toale con almeno 2560 core– doppia connessione Gbit ( per ogni 8/16 core)– 1 GByte per core – Un disco da 73GB SAS (per 8 core)

• Sezione GRID• Per codici fortemente disaccoppiati si possono sperimentare

anche casi con circa 3000 core.

Riunione CRESCO 3-4-2007 migliori@enea.it

Sistema di supercalcolo HPC (3) struttura in funzione dei codici

• Più codici paralleli fortemente accoppiati che interagiscono fra loro ( es. accoppiamento fluido struttura)

• Soluzioni possibili:– Partizionando la Sezione 2 (2 codici fortemente

accoppiati)– Sezione 1 ( codice poco scalabile) Sezione 2

(codice scalabile) – Sezione GRID codici su più site

Riunione CRESCO 3-4-2007 migliori@enea.it

Sistema di supercalcolo HPC (4) struttura in funzione dei codici

• Codici particolari con funzioni molto spinte su alcuni algoritmi ( es. analisi immagini, genomica)

• Piccola sezione integrata CELLBE ( 8 CPU)

• Data base grandi dimensione

• Storage ad alte performance

Riunione CRESCO 3-4-2007 migliori@enea.it

Sistema di supercalcolo HPC (4) struttura in funzione dei codici

• Codici particolari con funzioni molto spinte su alcuni algoritmi ( es. analisi immagini, genomica)

Piccola sezione integrata CELLBE ( 8 CPU)

• Data base grandi dimensione

Dischi ad alte performance

• Codici seriali ( windows)4-5 nodi 4 core 64 bit 16 GByte RAM insieme a

nodi di servizio ( Fuori gara)

Riunione CRESCO 3-4-2007 migliori@enea.it

Sistema di supercalcolo HPC (5) Dischi ad alte prestazioni

• Caratteristiche FunzionaliIl sistema dischi che ha come riferimento una capacità di circa 100 TByte

nominali dovrà avere al minimo le seguenti caratteristiche:– Capacità nominale minima 120 TByte– Capacita con in configurazione RAID6 96 TByte ( ovvero con due dischi di parità)– Prestazioni di picco minime 3 GByte/s– Prestazioni sostenute minime, con File system GPFS, 2GByte/s– Interfaccie minime: (preliminare)

• n. 8 FC4 • supporto nativo InfiniteBand (IB)• IB e FC4 devono poter essere inteconnesse allo stesso controller

– Caratteristiche di merito• Velocità di scrittura e lettura uguali;• Verifica della parità in scrittura e lettura ( questo è estremamente

significativo per avere un’affidabilità nelle fasi di lettura)• Livello di degrado delle prestazioni nella fase di ricostruzione del dato

Riunione CRESCO 3-4-2007 migliori@enea.it

Configurazione fisica di massimaSala Calcolo Portici

Ingresso

Sezione 1 (4-5 Rack) Sezione 2 (4-5 Rack)

Rete e servizi ( 3 Rack)

Dischi (1 Rack)

Backup (1 Rack)

Condizionamento 4 x 50 K watt + 1 predisposizione

Rete HPC

Rete HPC

Rete LAN