Post on 03-May-2015
M.Biasotto, Roma, 22 novembre 2001M.Biasotto, Roma, 22 novembre 2001 11
LNL
CMS
I Tier2 in CMS ItaliaI Tier2 in CMS Italia
Massimo Biasotto - LNLMassimo Biasotto - LNL
M.Biasotto, Roma, 22 novembre 2001M.Biasotto, Roma, 22 novembre 2001 22
LNL
CMS
SommarioSommario
Stato attuale delle farm italianeStato attuale delle farm italiane
Il Tier2 di riferimento a Legnaro/PadovaIl Tier2 di riferimento a Legnaro/Padova
Il servizio di analysis farm da implementare a LNLIl servizio di analysis farm da implementare a LNL
ConclusioniConclusioni
M.Biasotto, Roma, 22 novembre 2001M.Biasotto, Roma, 22 novembre 2001 33
LNL
CMS
Le farm italianeLe farm italiane
Tier2+Tier2+ Tier2Tier2 Tier3Tier3Tier1Tier1
M.Biasotto, Roma, 22 novembre 2001M.Biasotto, Roma, 22 novembre 2001 44
LNL
CMS
Stato attualeStato attuale
SezioneSezione # CPU# CPU SI 95SI 95 Storage (TB)Storage (TB)
BariBari 2020 840840 2.3 2.3
BolognaBologna 2828 14001400 1.61.6
CataniaCatania 44 170170 0.30.3
FirenzeFirenze 50 (shared: 17)50 (shared: 17) 1900 (shared: 630)1900 (shared: 630) 1.71.7
LegnaroLegnaro 8888 44004400 1010
PadovaPadova 3030 11001100 2.72.7
PerugiaPerugia 1616 800800 11
PisaPisa 3131 15001500 2.42.4
RomaRoma 2525 11001100 1.51.5
TorinoTorino 66 280280 0.50.5
TotaleTotale 260260 1220012200 2424
M.Biasotto, Roma, 22 novembre 2001M.Biasotto, Roma, 22 novembre 2001 55
LNL
CMS
Evoluzione 2002Evoluzione 2002
SezioneSezione SI95 - 2001SI95 - 2001 SI95 - 2002SI95 - 2002 Storage-2001Storage-2001 Storage-2002Storage-2002
BariBari 840840 +300+300 2.3 2.3 +2+2
BolognaBologna 14001400 -- 1.61.6 +2+2
CataniaCatania 170170 +300+300 0.30.3 +1.2+1.2
FirenzeFirenze 630630 +300(?)+300(?) 1.71.7 +2(?)+2(?)
LegnaroLegnaro 44004400 +3000(?)+3000(?) 1010 +6+6
PadovaPadova 11001100 +1000+1000 2.72.7 --
PerugiaPerugia 800800 -- 11 --
PisaPisa 15001500 -- 2.42.4 --
RomaRoma 11001100 ?? 1.51.5 +1.5(?)+1.5(?)
TorinoTorino 280280 +200+200 0.50.5 +2+2
TotaleTotale 1220012200 +5100(?)+5100(?) 2424 +16.7(?)+16.7(?)
M.Biasotto, Roma, 22 novembre 2001M.Biasotto, Roma, 22 novembre 2001 66
LNL
CMS
Riepilogo CPURiepilogo CPU
SI95
0
1000
2000
3000
4000
5000
6000
7000
8000
BA BO CT FI LNL PD PG PI RM TO
2001
2002
M.Biasotto, Roma, 22 novembre 2001M.Biasotto, Roma, 22 novembre 2001 77
LNL
CMS
Riepilogo StorageRiepilogo Storage
Storage (TB)
0
2
4
6
8
10
12
14
16
18
BA BO CT FI LNL PD PG PI RM TO
2001
2002
M.Biasotto, Roma, 22 novembre 2001M.Biasotto, Roma, 22 novembre 2001 88
LNL
CMS
Layout tipicoLayout tipico
Notevole uniformita’ delle Notevole uniformita’ delle farm sia nell’architettura che farm sia nell’architettura che nel software (grazie anche al nel software (grazie anche al toolkit di installazione)toolkit di installazione)
Architettura tipica:Architettura tipica:
– 1 gateway (accesso 1 gateway (accesso esterno, home utenti, sw esterno, home utenti, sw applicativo)applicativo)
– storage centralizzato su 1 storage centralizzato su 1 o piu’ disk servers in o piu’ disk servers in GigaEthernetGigaEthernet
– N nodi di calcolo in N nodi di calcolo in FastEthernetFastEthernet
SWITCH
DISKSERVER
GE
FE
GATEWAY
N2
N1
Nx
NODI DICALCOLO
LAN
M.Biasotto, Roma, 22 novembre 2001M.Biasotto, Roma, 22 novembre 2001 99
LNL
CMS
Storage: SCSI / EIDEStorage: SCSI / EIDE
Attualmente:Attualmente:– EIDE a BO, CT, LNL, PD, PG, PI, TOEIDE a BO, CT, LNL, PD, PG, PI, TO– SCSI a BA, FI, RMSCSI a BA, FI, RM
Costo per GB favorevole all’EIDECosto per GB favorevole all’EIDE– SCSI 22k/GB (HD da 160)SCSI 22k/GB (HD da 160)– EIDE 9k/GB (HD da 80)EIDE 9k/GB (HD da 80)
In arrivo per gli SCSI HD da 320GB, ma anche per gli EIDE In arrivo per gli SCSI HD da 320GB, ma anche per gli EIDE HD da 160HD da 160
I controller RAID per EIDE (3ware Escalade 6000, Adaptec I controller RAID per EIDE (3ware Escalade 6000, Adaptec 2400) offrono performance equivalenti agli SCSI nel RAID02400) offrono performance equivalenti agli SCSI nel RAID0Per il RAID 5 invece rimane la superiorita’ degli SCSI, Per il RAID 5 invece rimane la superiorita’ degli SCSI, specialmente in scrittura (EIDE: ~15MB/s, SCSI: ~45MB/s), specialmente in scrittura (EIDE: ~15MB/s, SCSI: ~45MB/s), ma la situazione potrebbe evolverema la situazione potrebbe evolvere
M.Biasotto, Roma, 22 novembre 2001M.Biasotto, Roma, 22 novembre 2001 1010
LNL
CMS
CPUCPU
Attualmente tutte le farm con Intel PIII (tipicamente 1GHz). Attualmente tutte le farm con Intel PIII (tipicamente 1GHz). Anche negli acquisti in corso si e’ rimasti sul PIII, nella Anche negli acquisti in corso si e’ rimasti sul PIII, nella versione Tualatin con 512MB di cache (a 1.13 o 1.26 GHz)versione Tualatin con 512MB di cache (a 1.13 o 1.26 GHz)
Nessuno ha “rischiato” nel provare le alternative (Intel Nessuno ha “rischiato” nel provare le alternative (Intel Xeon o AMD Athlon) che offrono frequenze di clock Xeon o AMD Athlon) che offrono frequenze di clock maggiori, fino a 2GHzmaggiori, fino a 2GHz
A Padova nell’ambito del WP4 di INFNGRID stanno A Padova nell’ambito del WP4 di INFNGRID stanno acquistando alcune di queste macchine: sarebbe acquistando alcune di queste macchine: sarebbe interessante provare il software CMS per verificare se la interessante provare il software CMS per verificare se la maggiore velocita’ teorica corrisponde a reali benefici nella maggiore velocita’ teorica corrisponde a reali benefici nella pratica.pratica.
M.Biasotto, Roma, 22 novembre 2001M.Biasotto, Roma, 22 novembre 2001 1111
LNL
CMS
NetworkNetwork
GRIDGRID
PI
RM
PGPD
TO
BABO
CT
FI
LNL
12Mb 12Mb
4Mb
4Mb
8Mb
28Mb16Mb
16Mb
32Mb
12Mb
34Mb
GPOPPD
GPOPPD
~ 2 Gb
~ 10 Gb
M.Biasotto, Roma, 22 novembre 2001M.Biasotto, Roma, 22 novembre 2001 1212
LNL
CMS
Layout Farm LNLLayout Farm LNL
FFastastEEthth
32 – GigaEth 1000 BT32 – GigaEth 1000 BT
SWITCHSWITCH
N1N1FFastastEEthth
SWITCHSWITCH
11 88
S1S1 S16S16
NN2424 N1N1 NN2424
Nx – Computational NodeNx – Computational NodeDual PIII – 1 GHzDual PIII – 1 GHz512 MB512 MB3x75 GB Eide disk + 1x20 GB for O.S.3x75 GB Eide disk + 1x20 GB for O.S.
Sx – Disk Server NodeSx – Disk Server NodeDual PIII – 1 GHzDual PIII – 1 GHzDual PCI (33/32 – 66/64 512 MBDual PCI (33/32 – 66/64 512 MB4x75 GB Eide Raid disks (exp up to 10) 4x75 GB Eide Raid disks (exp up to 10) 1x20 GB disk O.S.1x20 GB disk O.S.
FFastastEEthth
SWITCHSWITCH
N1N1 22 NN24242001200134 Nodes34 Nodes8 TB8 TB
2001-2-32001-2-3up to 190up to 190NodesNodes
S10S102001200110 Servers10 Servers3 TB3 TB
To WANTo WAN34 Mbps 200134 Mbps 2001~ 1Gbps 2002~ 1Gbps 2002
200120014400 SI954400 SI95
M.Biasotto, Roma, 22 novembre 2001M.Biasotto, Roma, 22 novembre 2001 1313
LNL
CMS
Farm LNLFarm LNL
7 m
10 m
max 16 PC (5 kW)max 16 PC (5 kW)x shelf modulex shelf module
max 64 PC (20 kW)max 64 PC (20 kW)x shelf (4 modules)x shelf (4 modules)~ 6 KSI95 Now~ 6 KSI95 Now
19” rack (5 kW)19” rack (5 kW)for network for network Equipments,Equipments,Disks, etc.Disks, etc.
Max 200 BoxMax 200 Box
T2+ Prototype T2+ Evolution
max 30 1Umax 30 1U PC (10 kW) x rackPC (10 kW) x rack
Replacing old shelfs with 19” racksMax 1000 Boxes
~ 3 KSI95 Now
~ 25 TB Now
2001
2001
2002
2002
T2+ Rif.~ 70 KSI95~ 250 TB
M.Biasotto, Roma, 22 novembre 2001M.Biasotto, Roma, 22 novembre 2001 1414
LNL
CMS
Farm LNLFarm LNL
M.Biasotto, Roma, 22 novembre 2001M.Biasotto, Roma, 22 novembre 2001 1515
LNL
CMS
Espansione Farm LNLEspansione Farm LNL
Acquisti in corso con i finanziamenti 2002 anticipati al Acquisti in corso con i finanziamenti 2002 anticipati al 2001:2001:– 3TB dischi EIDE nei server gia’ esistenti3TB dischi EIDE nei server gia’ esistenti– ~ 30 PC (computing nodes)~ 30 PC (computing nodes)– 3TB dischi SCSI + 3 PC disk-servers3TB dischi SCSI + 3 PC disk-servers– Tape Library StorageTek L80 LTO (8TB in linea) Tape Library StorageTek L80 LTO (8TB in linea)
finanziata dalla comm. calcolofinanziata dalla comm. calcolo Nei 3 servers con 3TB sara’ installato il DB che raccogliera’ Nei 3 servers con 3TB sara’ installato il DB che raccogliera’
tutte le produzioni fatte (non solo LNL ma tutta CMS Italia)tutte le produzioni fatte (non solo LNL ma tutta CMS Italia) Con questo DB si potra’ avviare un servizio di Analysis Con questo DB si potra’ avviare un servizio di Analysis
Farm, inizialmente per la comunita’ italiana e poi per tutta Farm, inizialmente per la comunita’ italiana e poi per tutta CMS.CMS.
M.Biasotto, Roma, 22 novembre 2001M.Biasotto, Roma, 22 novembre 2001 1616
LNL
CMS
Layout farm LNL 2002: produzione + analisiLayout farm LNL 2002: produzione + analisi
FFastastEEthth
32 – GigaEth 1000 BT32 – GigaEth 1000 BT
SWITCHSWITCH
N1N1FFastastEEthth
SWITCHSWITCH
S1S1 S11S11
NN2424 N1N1 NN2424FFastastEEthth
SWITCHSWITCH
N1N1 NN2424
S10S10
To WANTo WAN34 Mbps 200134 Mbps 2001~ 1Gbps 2002~ 1Gbps 2002
S12S12 S13S13
ProductionProductioncomputingcomputing
nodesnodes
AnalysisAnalysiscomputingcomputing
nodesnodes
ProductionProductionserversservers
AnalysisAnalysisserversservers
M.Biasotto, Roma, 22 novembre 2001M.Biasotto, Roma, 22 novembre 2001 1717
LNL
CMS
La farm di analisiLa farm di analisi
Come implementare il servizio di analisi per gli utenti CMS?Come implementare il servizio di analisi per gli utenti CMS? Negli ultimi mesi esperienza limitata (muoni PD + altri) con Negli ultimi mesi esperienza limitata (muoni PD + altri) con
account locali per gli utenti: non puo’ andar bene su scala account locali per gli utenti: non puo’ andar bene su scala piu’ estesapiu’ estesa
Servizio su piu’ livelli:Servizio su piu’ livelli:– gennaio 2002 (quando arriva l’hardware): installazione e gennaio 2002 (quando arriva l’hardware): installazione e
creazione del DBcreazione del DB accesso remoto al DB: AMS su WANaccesso remoto al DB: AMS su WAN
– gennaio 2002: installazione GDMPgennaio 2002: installazione GDMP possibilita’ di copia del DB via GDMPpossibilita’ di copia del DB via GDMP
– inizio 2002: grid toolsinizio 2002: grid tools sottomissione remota di jobs di analisi in esecuzione sottomissione remota di jobs di analisi in esecuzione
locale su parte della farmlocale su parte della farm
M.Biasotto, Roma, 22 novembre 2001M.Biasotto, Roma, 22 novembre 2001 1818
LNL
CMS
Grid tools per la farm di analisi (I)Grid tools per la farm di analisi (I)
Utilizzo dei tools di grid per:Utilizzo dei tools di grid per:– autenticazione e autorizzazione utenti remoti (certificati autenticazione e autorizzazione utenti remoti (certificati
personali, VO LDAP server di CMS)personali, VO LDAP server di CMS)– sottomissione remota di jobs (WP1 tools, anche senza sottomissione remota di jobs (WP1 tools, anche senza
Resource Broker)Resource Broker)– data moving (WP2 tools: GDMP, GridFTP, ...)data moving (WP2 tools: GDMP, GridFTP, ...)
Gia’ avviati i test di questi tools, in concomitanza col Gia’ avviati i test di questi tools, in concomitanza col Testbed di DatagridTestbed di Datagrid
In parallelo ed oltre ai test ufficiali per Datagrid, in alcuni In parallelo ed oltre ai test ufficiali per Datagrid, in alcuni siti CMS/Grid (LNL, PD, BO, ...) prove specifiche per siti CMS/Grid (LNL, PD, BO, ...) prove specifiche per verificare la corrispondenza dei tools alle nostre esigenzeverificare la corrispondenza dei tools alle nostre esigenze
M.Biasotto, Roma, 22 novembre 2001M.Biasotto, Roma, 22 novembre 2001 1919
LNL
CMS
Grid tools per la farm di analisi (II)Grid tools per la farm di analisi (II)
RESOURCEBROKER
COMPUTING ELEMENT COMPUTING ELEMENT
LNL PD
CMS LDAPSERVER
REPLICACATALOGSERVER
CNAFREPLICACATALOGSERVER
CMS LDAPSERVER
GATEKEEPER
STORAGEELEMENT
GATEKEEPER
STORAGEELEMENT
USER
- - -
M.Biasotto, Roma, 22 novembre 2001M.Biasotto, Roma, 22 novembre 2001 2020
LNL
CMS
Grid tools per la farm di analisi (III)Grid tools per la farm di analisi (III)
Completati i test, installazione sulla farmCompletati i test, installazione sulla farm Inizialmente con numero limitato di utenti. E’ necessario Inizialmente con numero limitato di utenti. E’ necessario
procedere per gradi perche’ si tratta di una cosa nuova (mai procedere per gradi perche’ si tratta di una cosa nuova (mai sperimentata neanche da altri)sperimentata neanche da altri)– efficienza dei tools in un ambiente reale?efficienza dei tools in un ambiente reale?– impatto sulla farm di produzione?impatto sulla farm di produzione?
L’evoluzione successiva dipendera’ naturalmente dai L’evoluzione successiva dipendera’ naturalmente dai riscontri via via ottenutiriscontri via via ottenuti
Se i risultati saranno positivi si potra’ pensare all’utilizzo Se i risultati saranno positivi si potra’ pensare all’utilizzo dei grid tools anche per le produzionidei grid tools anche per le produzioni
M.Biasotto, Roma, 22 novembre 2001M.Biasotto, Roma, 22 novembre 2001 2121
LNL
CMS
ConclusioniConclusioni
Il modello estremamente Il modello estremamente distribuito del calcolo di CMS distribuito del calcolo di CMS Italia rappresenta da una parte un Italia rappresenta da una parte un problemaproblema– necessita’ di sviluppare necessita’ di sviluppare
efficaci strategie e tools di efficaci strategie e tools di coordinamentocoordinamento
Grid tools, Impala, Boss, ...Grid tools, Impala, Boss, ...
Ma dall’altra una grande Ma dall’altra una grande opportunita’opportunita’– ampia base di esperienzeampia base di esperienze
stima rapporto ottimale stima rapporto ottimale CPU/Disco (0.1*e, 0.5<e<1)CPU/Disco (0.1*e, 0.5<e<1)
stima rapporto ottimale stima rapporto ottimale Server/Computing nodes (1:7)Server/Computing nodes (1:7)
– possibilita’ di esplorare possibilita’ di esplorare nuove ideenuove idee