Federico Ruggieri
Riunione CSN1PISA 22 Giugno 2004
Il Progetto TIER1 Status Update
Indice
• Infrastrutture• Risorse• DC esperimenti LHC e non• Previsione 2005• Novità nell’immediato.
Infrastrutture• Nuova Sala Macchine da 1000 mq.• Gruppo Elettrogeno 1250 KVA ed UPS 800 KVA.• Gruppo Frigorifero 550 KW e Sistema di
Condizionamento con: Unità di Trattamento Aria (Temperatura + Umidità) da 110 KW e Unità Locali.
• Sistema di alimentazione via Blindo-sbarre con corrente trifase ed alimentatori/sezionatori nei Racks.
• Sistema rivelazione incendi e spegnimento (gas FM200).• Trasmissione Dati completata con cablatura interna
(UTP e FO) ed esterna (FO Mono e Multi-modo); in corso di completamento l’attestazione GARR (è realizzata temporaneamente con delle FO fra le due sale macchine).
• 60 Racks: 35 con power switch a controllo remoto dell’accensione e spegnimento.
• Consolle remota con apparati di switch KVM (tastiera, Video, Mouse) analogici e digitali (via IP) in uso.
Infrastrutture da completare
• Sistema di allarmistica integrato per i sistemi infrastrutturali e per i sistemi di calcolo.
• Sistema di controllo comprendente un insieme di telecamere ad accesso remoto.
• Sono previste per il futuro ulteriori interventi infrastrutturali come: – duplicazione del sistem UPS per avere ridondanza
completa anche in caso di manutenzione; – eventuale acquisto di un secondo gruppo frigo per
avere totale ridondanza anche sull’impianto di raffrescamento.
Personale• Personale di ruolo (5):
– Pietro Matteuzzi: Responsabile Servizi di Calcolo del CNAF e Tier1
– Luca Dell’Agnello: Responsabile servizi LCG e Sicurezza.– Andrea Chierici: Responsabile LCG Operations, Site
Manager GRID.– Stefano Zani: Storage e Rete– Alessandro Italiano: Sistemistica ed Installazione, Robotica
e Libreria, VideoConferenze, Site Manager GRID.• Personale a Contratto (7):
– Daniele Bonacorsi (A.R.) Supporto SW Esp. (CMS)– Donato De Girolamo (Art. 15) Sistemistica, Allarmistica e
Sicurezze.– Giuseppe Lo Re (A.R.) Supporto SW Esp. (ALICE)/CASTOR– Barbara Martelli (Borsa) Sviluppo SW, DB e GRID (RLS).– Guido Negri (A.R.) Supporto SW Esp. (ATLAS)– Pier Paolo Ricci: (Art.23) CASTOR, Storage, Robotica.– Felice Rosso: (Art. 15) Monitoring, Sistemistica ed
installazione.
Personale (2)
• Altro personale su attività collegate:– Massimo Donatelli: (Art.15) Sistemistica,
AFS, NFS, KERBEROS.
• Nuovo Personale– 3 Assegni di Ricerca (2 già espletati).– 2 Posti Tecnologo (uno in espletamento).– 1 Posto di Tecnico (concorso in
espletamento).– 1 AR LCG per supporto CASTOR al CERN.
Personale (3)
• Supporto operazioni sistemistiche durante orario di lavoro (9-17).
• Da fine Giugno:– Supporto orario esteso (8-20)– Reperibilità per problemi gravi (20-8 +
sabato e festivi).
• Sono necessarie almeno 8 persone per turnare senza problemi (ferie, malattie, permessi, ecc.).
Il Tier1 multiutenza• Viene assegnato in maniera statica
solo un massimo del 50% delle risorse.• L’altro 50% è acceduto dinamicamente
sulla base delle richieste in coda con opportune priorità.
• GRID permette un accesso trasparente ad entrambe le tipologie di risorse.
• Si sta studiando un sistema di scheduling che permetta di evitare anche l’allocazione statica del primo 50%.
Risorse HW attualiTipo Descrizione Capacità
Farm 320 biprocessori 0.8 - 3Ghz 608 KSI2K
+55 Babar+48 CDF+30 LHCb
Disco Dischi FC, IDE, SCSI, NAS 82 TB Raw RAID5 +35 TB
NastriRobot L180 STK 18 TB / 36 TB (comp.)
118/236 TBRobot L5500 STK
100 TB / 200 TB (comp.)
Rete
14 Switch periferici (Rack) 48 FE UTP + 2 GE FO672 FE UTP 48 GE UTP 132 GE FO
2 Switch Periferici 24 GE UTP + 4 GE FO
2 Core Switch 96 GE FO
Farm Babar
Farm CDF PoP GARR-G
Statistiche PBS 1/3-10/6Group #jobs days Percent
ALICE 30361 8696.21 37.03ATLAS 858 87.8 0.37CMS 9529 555.71 2.37LHCb 20773 9002.56 38.34CDF 1346 48.79 0.21AMS 2682 2663.82 11.34ARGO 18 0.05 0MAGIC 3193 2396.41 10.21VIRGO 24 0 0dteam 44615 24.69 0.112688 4783 5.3 0.02tier1 1 0 0TOTAL 118183 23481.34 100
ALICE
CNAF
LCGCNA
F
Ultima settimana
Ultimi 12 mesi
CMS
Nuove Risorse 2004
• CPU: 700 KSI2K (350 macchine biproc. Pentium Xeon 3GHz, 4 GB memoria). In consegna 21/6/04.
• Disco: 150 TB tecnologia FC/ATA (IBM FAStT900): in consegna 25/6/04.
• Core Switch di Rete da 128 porte Gb + 2 porte 10Gb: Gara in approvazione alla GE.
Le Capacità Richieste
• Per ogni Tier 1 Multi-esperimento :
– Mass Storage: 1 - 3 PB/anno -> 8-20%– disk: 1.5 PB -> 10 %– CPU: 10 MSPECint2000 -> 10%
• Networking Tier 0 (CERN) --> Tier 1: 2-10 Gbps -> 10-50%
Piano 2005 (Risorse)
• CPU: 0.7-1.5 MSPECint2000 (+CDF+BaBar?)– 350-700 Dual CPU
• Disco: 300-500 TB (+ CDF+BaBar ?)– 700-1200 Dischi da 400 GB
• Nastri: 500 TB– 2500 nastri da 200 GB– Espansione dell’attuale libreria da 2000 a
5000 cassette già prevista nella gara di acquisto.
Piano 2004-2005 (Attività)
• Completamento della configurazione della FARM secondo un meccanismo di scheduling “fair share” combinato con Priorità e riserva di risorse.
• Portale con servizi:– informativo sulle risorse in uso;– Ticket system per tracciamento e gestione
problemi– Supporto agli esperimenti.
Performance Linpack
Rpeak Rmax/ PosizioneN Type Clock (GHz) Flop/Cycle (Gflops) Rpeak Rmax TOP500320 Xeon 2.4 2 1536 51.00% 783 170700 Xeon 3 2 4200 51.00% 2142 341020 5736 2925 20
CPU
Le prestazioni quotate non sono misurate ma calcolate sulla base di sistemi equivalenti e
consideranol’uso di interconnessioni a bassa latenza (es Myrinet).
Che posizioni avrebbero le attuali Farm nella classifica dei TOP500
Test FARM per HPC• 16-32 biprocessori Xeon @3 GHz con:
– 4 GB memoria– 2 dischi 80-120 GB– 2 Gigabit Ethernet on-board– Interfaccia InfiniBand 4X (10Gbps) su PCI-X 64 bit @ 133
MHz
• Switch InfiniBand 16-32 porte.• Software MPI ottimizzato (SCALI ?)• Sistema Operativo Linux (RH ?).• Costo previsto “chiavi in mano”: circa 50 K€
(fondi Tier1).• Sperimentazioni di applicazioni “Teoriche” e di
sistemi di server per Analisi dati con File System distribuito (tipo Lustre).
Prestazioni di InfiniBand
489 MB/s con Dual Link
Scali MPI Connect Features
Message latency is measured as half the round-trip delay (ping-pong-half) of a zero length MPI message.
Interconnect Latency Sustained Bandwidth
Myrinet® <9 µsec 480 MByte/sec
GbE with TCP/IP <50 µsec
222 MByte/sec
GbE with DET <27 µsec
226 MByte/sec
SCI <4 µsec 385 MByte/sec
InfiniBand® <6.4 µsec
768 MByte/sec
Bandwidth InfiniBand
Latenza Infiniband
Prodotti InfiniBand
Switch 96 Porte
Scheda PCI-X 2x10Gbps
www.Mellanox.com
PCI Express
Conclusioni
• Il Centro Regionale Tier1 al CNAF:– sta partecipando attivamente ai Data
Challenge degli esperimenti LHC;– Supporta l’attività di altri esperimenti:
CDF, BaBar, VIRGO, AMS, MAGIC (ARGO).
• Una piccola farm di 16-32 nodi servirà a sperimentare le soluzioni per le farm di analisi.