Progetto SpecialePrototipo Tier1

F. Ruggieri

INFN – CNAF

I Workshop CMS Italia del SW e Computing

Roma 22 Novembre 2001

Stato del sito• Sala Macchine:

– E’ stata individuata la zona: un Garage al secondo piano interrato (solaio, accessibilità dai camion, spazio di più di 1000 mq).

– Necessita di una ristrutturazione completa per la nuova destinazione d’uso (opere civili, impianto elettrico, impianto di condizionamento, ecc.)

• Uffici:– Con l’arrivo della nuova sala macchine, l’attuale sala sarà

spostata e questo permetterà il recupero di due stanze per circa 5-6 persone.

– Una risistemazione degli attuali uffici dovrebbe portare altri 4 – 5 posti di lavoro.

Infrastrutture• Gruppo Elettrogeno:

– Sopralluogo ed incontro con una ditta specializzata già effettuato: abbiamo un’offerta di massima, la gara parte al CD di dicembre 2001.

– Sarà installato nel locale dove esiste l’attuale sistema elettrogeno del dipartimento, con un opportuno lavoro di allargamento del locale stesso.

– Andrà installato un nuovo trasformatore da 800 kVA (ENEL) dedicato ed un quadro elettrico nell’attuale cabina elettrica adiacente.

– La potenza complessiva sarà di circa 1200 kVA, 8m (L) x 2m (P) x 2.5m (A), Peso 12 T circa.

Infrastrutture (2)

• UPS e Batterie:– Saranno installate in un apposito locale ricavato

nella sala macchine.– Per ora si rinuncerà alla ridondanza e servirà un solo

sistema (upgradabile) da 800 kVA.– Le batterie saranno dimensionate per 10 minuti a

pieno carico.– Dimensioni: 10m (L) x 1m (P) x 2m (A)– Peso: 30 T

Personale

• Personale di ruolo:– Pietro Matteuzzi: (Responsabile dei Servizi di Calcolo del

CNAF) Supervisore.

– Luca Dell’Agnello: Sistemi Linux, Sicurezza, Rete

– Stefano Zani: Storage e Rete

• Personale a Contratto:– Pier Paolo Ricci: (Art.23) Robotica e CASTOR, Storage.

– Felice Rosso: (Art. 15) Farming, Monitoraggio e Storage.

– Andrea Chierici (Art. 23) Farming e Grid tools, LCFG

Personale (2)

• Altro personale su attività collegate:– Alessandro Italiano: (Art.15) Robotica e Libreria– Massimo Donatelli: (Art.15) NFS e File System di

rete.– Massimo Cinque: (CTER) Impianti Generali ed

approvigionamento.– Tiziana Ferrari: (Tecn. III) Sperimentazione GARR-

G e reti.

Personale (3)

• Mancano:– Sistemisti– Esperti Data Base– Esperti di Esperimento.

• Soluzioni:– Contratti (Art. 23, 15 e 2222)– Borse dedicate.– Assegni di Ricerca Tecnologica.– Outsourcing o Lavoro Interinale

Configurazione attuale

Tipo Descrizione Capacità Finanziamento Disponibilità14 biproc. 800Mhz 10K SPECint2000 GRID + CNAF Oggi15 biproc. 1000 MHz 13K SPECint2000 CNAF Oggi40 biproc. 1000Mhz 42K SPECint2000 CNAF OggiNAS Procom 1.7 TB Raw RAID5 CNAF OggiServer IBM 396 GB Raw RAID5 CNAF OggiDischi SCSI 2 TB Raw RAID5 TIER1 OggiDischi FC 4 TB Raw RAID5 TIER1+CNAF GennaioRobot L180 StorageTek 3.6 TB / 8 TB (compressi) CNAF OggiDrives LTO 15 TB / 30 TB (Compressi) TIER1 Gennaio

Nastri

Farm

Dischi

Programma degli acquisti

CPU (kSI2000)

DISK (TB)

TAPES (PB)

CPU (kSI2000)

DISK (TB)

TAPES (PB)

CPU (kSI2000)

DISK (TB)

TAPES (PB)

2001 10 1 0.001 63 11 0.03 73 12 0.032002 40 7 0.04 183 25 0.07 223 32 0.112003 300 100 0.16 328 44 0.10 628 144 0.262004 1000 160 0.2 800 100 0.30 1,800 260 0.502005 500 100 0.2 1,600 200 0.60 2,100 300 0.802006 500 100 0.2 3,200 400 2.00 3,700 500 2.202007 500 100 0.2 3,200 400 3.00 3,700 500 3.20

Totali Centro Regionale

Anno

Virgo (Tier 1) LHC (Tier 1)

Organizzazione di Gestione• Responsabile del Progetto• Comitato di Gestione politico/amministrativa delle

risorse:– 1 rappresentante per esperimento– Responsabile del Progetto– Responsabile CNAF del Servizio

• Comitato Tecnico per le scelte e le realizzazioni tecniche:– 1 persona per esperimento– Responsabile CNAF del servizio– Esperti tecnici CNAF

ATLAS: L. Perini

ALICE: ?

CMS: P. Capiluppi

LHCb: U. Marconi

VIRGO: F. Ricci

ATLAS: ?

ALICE: ?

CMS: M. Michelotto

LHCb: D. Galli

VIRGO: F. Barone

Rete

• 2 Link a 2.5 Gbps con Roma e Milano già attestati al CNAF per il Pilot GARR-G.

• Programma di test di utilizzo della banda larga con gli esperimenti LHC a Roma 1 già sottoposto alla Direzione GARR.

• Upgrade a 155 Mbps per l’accesso CNAF alla rete di produzione GARR-B già in corso (5 Dicembre).

Architettura dei sistemi

• FARM– Racks da circa 40 macchine biprocessori collegati in

dual fast ethernet ed uplink Gigabit Ethernet.– Gestione remota delle console.– Monitoring via SNMP (temperature, carico CPU,

ecc.).– Batch system: PBS o Condor (per il momento).– Assegnazione di un pool base ad ogni esperimento.– Gestione dinamica di un pool schedulabile su

richiesta.

• DISCO– Pool di circa 2-10 TB per staging (CASTOR).– 2-4 TB spazio utente (AFS ?) per esperimento.– Moduli di 1-2 TB spazio disco su richiesta.– Architettura attualmente preferita: Fibre Channel

(nativo o su SCSI) con accesso tramite Gigabit Ethernet su Servers ridondati (Fail-over + Accesso distribuito).

Architettura dei sistemi (2)

• NASTRI– Legato Networker per Backup (spazio utente).– CASTOR per dati su nastri LTO.– Virtualizzazione della libreria L180 con ACSLS.– Possibile uso di DLT per import/export (serve ?)– Accesso tramite servers su Gigabit Ethernet con

ridondanza (Fail-over + Distributed Access)– Nuova libreria da 2500-6000 cassette entro il 2002.

Architettura dei sistemi (3)

Architettura dei sistemi (4)

• ACCESSO– GRID per le attività di utente sia schedulate che non

schedulate (produzione e analisi).– Portale web personalizzato per monitoraggio ed

amministrazione delle risorse assegnate all’esperimento.

– Uso di certificati per l’autorizzazione.– Rete IP con indirizzi “visibili” dall’esterno e

limitazioni sulle porte.– Rete interna multi-gigabit con accesso a 2.5 Gbps.

Giga Switch

Controllo Robot

Tape Robotics

Data Movers

Disk Servers

Gigabit Ethernet

Dati

SwitchFast

Ethernet

SCSIFarms

Fibre Channel

Programma dei prossimi mesi

• Progettazione ed esecuzione lavori Sala Macchine (fine per settembre 2002).

• Assunzione di altri due contratti a termine.

• Stipula di un contratto esplorativo di outsourcing.

• Servizio sperimentale per gli esperimenti.

• Continuazione dello studio di architettura

• Sperimentazione nuove soluzioni HW/SW.