1 M. Biasotto – Legnaro, 22 Dicembre 2005 Prototipo Tier 2 di Legnaro-Padova INFN Legnaro.

1M. Biasotto – Legnaro, 22 Dicembre 2005

Prototipo Tier 2di Legnaro-Padova

INFN Legnaro


● 2000: Prototipo farm Linux LNL– 10 nodi di calcolo (vecchi PC

riciclati), 1 disk server, 1 gateway

– Esperienza setup e gestione farm: installazione automatica, monitoring, batch system, ecc.

– In produzione da gennaio 2001

– Mantenuta negli anni in parallelo al prototipo T2

– Utenti LNL: Auriga, Prisma, Gasp, N_TOF, Garfield, Div. Acceleratori, ecc.

Foto farm LNL


Prototipo T2: 2001

● Setup e avvio Farm CMS-INFNGRID

● 34 nodi di calcolo, 10 disk server: 44 box, 88 CPU, ~35 kSI2000, ~3 TB

● infrastruttura logistica– stanza di 70mq, 30 KW (iniziali, poi espansi a 90), UPS e

raffreddamento

– scaffali e PC minitower al posto di rack

● Tools di installazione e gestione– installazione automatica, batch system (LSF)

– monitoring (MRTG)


Prototipo T2: 2001


Prototipo T2: 2002

• + 24 nodi di calcolo (+12 ksi2000)• + 3 server nuovi, + upgrade vecchi (+6 TB)• nuovo tool di monitoring (Ganglia)

05

101520253035404550

2001 2002 2003 2004 2005

012345678910

CPU (KSI2000) Disk (TB)


Prototipo T2: 2003

• + 14 nodi di calcolo dual Xeon 2.4GHz • + 1 BladeCenter IBM (14 nodi calcolo)• + 2 disk server da 5TB (HD IDE + RAID 3ware)• Attivato il link 1Gbps verso il GARR

0

20

40

60

80

100

120

140

2001 2002 2003 2004 2005

02468101214161820



Prototipo T2: 2004

• + 4 Blade Centers Intel • + disk server da 5TB• + 1 switch 48 porte GE• - dismissione vecchie macchine

0

50

100

150

200

250

300

2001 2002 2003 2004 2005

0

5

10

15

20

25

30

35



Prototipo T2: 2005

• no upgrade hardware• dismissione vecchie macchine• piccolo upgrade adesso per inizio 2006: 6 nodi di

calcolo dual-core e nuovo storage SATA-FC\

0

50

100

150

200

250

300

2001 2002 2003 2004 2005

0

5

10

15

20

25

30

35



Remstats example


Remstats vs MRTG


Configurazione

GATEWAY

SERVERS COMPUTING NODES

OS

DATA

OS

LOCALDATA

RAID 0 HW

Users homeApp. software

OS

RAID 1 HW

RAID 0 SW

NFS


LCFG: sviluppo futuro

ldxprof

LoadProfile

Generic

Component

ProfileObject

rdxprof

ReadProfile

LCFG ObjectsLocal cache

Client nodes

Web Server

HTTP

XML Profile

LCFG Config Files

Make XMLProfile

Server

SoftwareRepository

(RPMs)

Installation Server(DHCP, kernel images

installroot)NFS

SoftwareRepository

(RPMs)

FTPHTTP

NMA Objects

NMAConfigCache

ManagerConfiguration

DataBase

BootstrapService

Images PXETFTP

DHCP

UserInterface


Attivita’ CMS: 2001

● Produzione MC e analisi per CMS (quanti eventi? chiedere a Lacaprara)



● Spring 2002 Production: 1.2 milioni di eventi simulati a LNL per un totale di 1.5 TB di dati

● Analisi in locale e trasferimento al CERN

● CMS-EDG stress test



● PCP03 Production: oltre 5 milioni di eventi simulati a LNL (10% del totale)

● Analisi in locale e trasferimento al CERN



● L’attivita’ di produzione in CMS comincia a spostarsi su grid

● Produzioni MC in locale: 3.2 M eventi, per la maggior parte DST di dataset prodotti l'anno prima

● Produzioni MC via grid (quanti job o eventi?)

● “Publishing” dei dati locali (PubDB) per analisi a tutto CMS via grid tools: ~5 TB di dati



● Produzioni MC locali: 1M eventi DST + 4M Hit+Digi cosmici

● Produzioni MC via grid (quanti job o eventi?)

● Service Challenge 3: trasferimenti T1CNAF-T2LNL in entrambe le direzioni (alcuni TB di dati, rate ~20MB/s), test DPM


Layout farm LNL 2002: produzione + analisi

FFastastEEthth

32 – GigaEth 1000 BT32 – GigaEth 1000 BT

SWITCHSWITCH

N1N1FFastastEEthth

SWITCHSWITCH

S1S1 S11S11

NN2424 N1N1 NN2424FFastastEEthth

SWITCHSWITCH

N1N1 NN2424

S10S10

To WANTo WAN34 Mbps 200134 Mbps 2001~ 1Gbps 2002~ 1Gbps 2002

S12S12 S13S13

ProductionProductioncomputingcomputing

nodesnodes

AnalysisAnalysiscomputingcomputing

nodesnodes

ProductionProductionserversservers

AnalysisAnalysisserversservers


Configurazione farm “ibrida”

FastEthFastEth

GE backboneGE backbone

SWITCHSWITCH

N1FastEthFastEth

SWITCHSWITCH

S1S1 SE1SE1

N24

FastEthFastEth

SWITCHSWITCH

SnSn

To WANTo WAN

SE2SE2 SE3SE3

ComputingComputingNodesNodes

ComputingComputingNodesNodes

LocalLocalServersServers

Grid StorageGrid StorageElementsElements

GWGW G1G1 UIUI

LocalLocalGatewayGateway

LocalLocalLoginLogin

CECE

N1 N1N24 N24


Layout farm CMS: production + analysis + grid

FFastastEEthth

32 – GigaEth 1000 BT32 – GigaEth 1000 BT

SWITCHSWITCH

N1N1FFastastEEthth

SWITCHSWITCH

S1S1 S10S10

NN2424 N1N1 NN2424FFastastEEthth

SWITCHSWITCH

N1N1 NN2424

S9S9

To WANTo WAN34 Mbps 200134 Mbps 2001~ 1Gbps 2002~ 1Gbps 2002

S11S11 S12S12

ProductionProductioncomputingcomputing

nodesnodes

AnalysisAnalysiscomputingcomputing

nodesnodes

ProductionProductionserversservers

AnalysisAnalysisserversservers

GWGW G1G1 G2G2

CECE

S10S10 S11S11 SESE

N1N1 NN2424 N1N1 NN2424N1N1 NN2424

UIUI

1 M. Biasotto – Legnaro, 22 Dicembre 2005 Prototipo Tier 2 di Legnaro-Padova INFN Legnaro.

Documents

Transcript of 1 M. Biasotto – Legnaro, 22 Dicembre 2005 Prototipo Tier 2 di Legnaro-Padova INFN Legnaro.