Calcolo LHC: CMS, progressi nel 2003 e prospettive...2003/09/22 · LCG POOL (late delivery and...

24 Settembre 2003P. Capiluppi - CSN1 Lecce

Calcolo LHC: CMS, progressi nel 2003 e prospettive

OutlinePCP DC04: status 2003Data Challenge 04: prospettiveFollowing Data Challenges: prospettiveCMS e LCG: aspettativeCNAF Tier1 e LNL Tier2+: considerazioniRichieste 2004 e anticipi possibili 2003Conclusioni

2P. Capiluppi - CSN1 Lecce 24 Settembre 2003

CMS (Data) Challenges: Current schedule

CMS (Data) Challenges: Current schedule

�DC04 [Mid 03 – April 04]June 03: generation of data (CMKIN) (pre-phase)15 July 03: official start of simulation (CMSIM) (Pre Challenge Production: PCP)31 December 03: end of PCP (including transfer of data to CERN T0)January 04: preparation of DC04February 04: DC04 within LCG deploymentMar – Apr 04: follow-up of DC04

�CTDR [Mid 03 – October 04]End August 03: Outline readyApril 04: First complete draft ready

�DC05 & P(hysics)TDR [Mid 04 – February 05 – End 05]Jun – Dec 04?: PCP DC05 (to be defined in scope) of ~100 Mevents and analysisFeb 05: DC05 or similar DC for analysis, with full support from LCGEnd 05: PTDR ready

�LCG TDR [Fall 05]Include contributions from CMS CTDR and results from DC04/05

�DC06 [Mid 05 – Mid 06]Ramp up of LCG distributed System for CMS (50% of a single LHC experiment)


PCP-DC04 (1/2)PCP-DC04 (1/2)

�Scopo:Simulare gli eventi necessari al DC04 Usare questi eventi per gli studi preliminari del Physics TDRMettere a punto il software e middleware per il DC04

�DimensioneNecessari ~50 M eventi per il DC04 (1 mese run a bassa lumi)Richiesti dai gruppi di Fisica ~69 M eventi

�Commitment italiano (approvato dalla CSN1): ~ 20 % del PCP~ 14 M eventi in totale, ma “solo” ~ 10 M eventi per il DC04

�Produzioni in corsoNegoziazione degli eventi da generare in Italia (quelli che ci interessano per l’analisi)“Centro Regionale distribuito” INFNProduzioni “Tradizionali” (Farm dedicate e controllate localmente)e “Grid” (early-LCG CMS deployment: CMS LCG0/1)

Coordinazione Italiana DC04: L. Barone (coord.), C. Grandi (Grid), M. Biasotto (Farms), V. Ciulli (Sw)


PCP-DC04 (2/2)PCP-DC04 (2/2)�Italian Centers ready since Beginning-of-July 03: CMS validated “Traditional” and “Grid” (CMS LCG0/1, see below…)

Bari (Grid+Tradit.), Bologna (Grid+Tradit.), Catania (Tradit.), Firenze(Tradit.), Legnaro (Grid +Tradit.), Milano (Tradit.), Padova (Grid), Perugia(Tradit.), Pisa (Tradit.), Roma1 (Tradit.), CNAF-Tier1 (Tradit.), CNAF-EDT (Grid)

�Also active in CMS (mostly Tier1s):➨ CERN (1.8 M events), Wisconsin (4.5 M), Spain (2.8 M), Imperial College (2.8

M), Bristol/RAL (3.2 M), USMOP (US Grid) FNAL (0.9 M), IN2P3/Lyon (1.6 M), Moscow (0.5 M), Karlsruhe (1.6)

�CMS LCG0/1 (Grid) also includes (besides Ba, Bo, LNL, Pd, …):➨ CERN, Imperial College, LLR (Ecole Poly), Taiwan, Islamabad (@CERN),

Bristol, University Iowa, Milano (EDT)➨ Centro regionale “virtuale” coordinato da C. Grandi

�Produzione in Italia (ad oggi):CMKIN (generatori): LNL, Bari, Pisa, CMS-LCG0/1(Grid)CMSIM (simulazione): Tier1, LNL, Bari, Firenze, Perugia, Pisa, Roma1, CMS-LCG0/1(Grid)OSCAR (simulazione G4, validation only): Pisa, Bologna, Padova


Ritardi (non di CMS Italia)Ritardi (non di CMS Italia)�PRS

Definizione degli eventi da simulare utili al PTDR ➨ CMKIN: Ritardo nella partenza (late June 03) CERN overloaded INFN help

�CMSIMRilascio iniziale di “CMSIM 132” e bugs corrections

�OscarValidazione e correzione di bugs

�LCGPOOL (late delivery and lack of CMS person-power)LCG-1 deployment (late delivery and opening-up to experiments)Grid middleware: EDG & VDT (late deployment and integration)

�Data movementDefinizione dei tools (SRB) e debugging/installation critical issue !

�Productions toolsTools non abbastanza automatizzati per la gestione continua delle produzioni

�OrganizationDicotomia tra l’attesa di Oscar e la produzione con CMSIMDivergenza delle architetture e implementazione di “production Grids” (EU & US)Mancanza di un consistente coordinamento centrale (CMS@CERN)

lack of person-powerL. Barone gestisce direttamente gli assignments per l’INFN e I. Fisk per gli US


Difficolta’Difficolta’�Oscar

Collaborazione col G4 Team e CMS validation�LCG

Interazione col Progetto Sviluppo comune di sw e deployment della infrastrutturaDelivery del software assenza di ritorno allo sviluppo nel “core software” di CMS

�Data movementAssenza di una strategia and lack of person power

�Production toolsAssenza di una architettura scalabile all’analisi e alla Grid-enabling

lack of person-power�Organization

Difficolta’ di un coordinamento distribuito autonomia dei RC e gestione di GridProcesso decisionale farraginoso scelte estemporanee di tools e dispersione di sforzi

Malgrado tutto cio’Malgrado tutto cio’


Snapshot (Italy 20 Sept 03)Snapshot (Italy 20 Sept 03)

�CMKIN: 9.65 + 0.5 M eventsLNL: 8.45 M (380 GB)Bari: 0.9 MPisa: 0.3 MCMS LCG0/1: 0.5 M

�CMSIM: ~5.8 + 0.5 M events + runningLNL: 3.0 M (2.6 TB) + 1.5M runningT1-CNAF: 2.6 M (2.2 TB) + 1.5M runningBari: 100k + 100k runningFirenze: 40k Perugia: 20k runningPisa: 60k runningRoma1: 100k runningCMS LCG0/1: 500k + 1M running

�OSCAR test/validationPisa: 500 kBologna: 50 kPadova: just started

In ~80 giorniCMKIN: ~ 40.000 jobs + runCMSIM: ~ 25.000 jobs + run

Spazio disco: ~ 7 TB + backups

I dati prodotti al CNAF sono anche su Castor

I dati prodotti a LNL sono anche su seconda copia

I dati delle Sezioni sono in backup locale (waiting T1 tapes)

I dati CMKIN sono in copia anche al CNAF (e al ~CERN)

I dati prodotti con CMS LCG0/1 sono anche sugli SE di Grid (e CERN)

End 2003 Target : 10 (14) M events fully digitizedEnd 2003 Target : 10 (14) M events fully digitized


CMKIN production

INFN 14%

CMS-LCG 1%

IN2P3 6%

Imperial College

11%

Karlsruhe 4%

CERN 22%

Bristol/Ral 5%Wisconsin

23%

CIEMAT 5%

USMOP 6%

Bristol/Ral

CERN

CIEMAT (Madrid)

Karlsruhe

Imperial College

Cantabria

IN2P3

INFN

CMS-LCG

Moscow

Pakistan

RICE

USMOP

Wisconsin

CMSIM production

CMS-LCG 2%

USMOP 4%

INFN 22% IN2P3

6%Cantabria

5%

Imperial College

9%

Karlsruhe 6%

CIEMAT 6%

CERN 7%

Bristol/Ral 13%

Wisconsin 18%

Bristol/Ral CERN CIEMAT (Madrid) Karlsruhe Imperial College Cantabria IN2P3 INFN CMS-LCG Moscow Pakistan RICE USMOP Wisconsin

CMS Production: 20 Sept 03CMS Production: 20 Sept 03


CNAF Tier1 snapshotCNAF Tier1 snapshot


CNAF Tier1: other snapshotsCNAF Tier1: other snapshots

OccupazioneOccupazione DischiDischiLiberoLibero

OccupatoOccupato

OccupatoOccupato

LiberoLibero


Snapshot of LNL Tier2+Snapshot of LNL Tier2+


Sites of CMS-LCG0/1Sites of CMS-LCG0/1~180 CPUs, ~180 CPUs, di di cui ~150 INFN (cui ~150 INFN (BaBa, Bo, LNL, Pd, Bo, LNL, Pd))


“Grid” Jobs on CMS LCG0/1 “Grid” Jobs on CMS LCG0/1

Job submissionJob submission

SE Storage fillingSE Storage filling


Verso la fine del PCP (Dec 2003)Verso la fine del PCP (Dec 2003)�Il rate di produzione e’ ~12 M CMSIM-events/month

~25 M now, fine simulazione 50 M ~end November➨ Critico, ma non tutti i siti hanno prodotto per via dei ritardi menzionati (ma i

maggiori si)

�OSCAR ha superato il milione di eventi (~350k con POOL)Non ancora “validato” da tutti i PRS (fisica)Fattore 2 in CPU time (non si fa in tempo a fare 25 M entro Dec)

�Conclusione:Proseguire con CMSIM (salvo contrordine)Continuare i test con OSCAR (e POOL) al CERN e in “selected sites (INFN incluso)Passare ad Oscar appena possibile e compatibile con le risorse

�DigitizzazioneInizio Ottobre decisione sulle procedureSite-by-site rather than CMS-wide (CERN, FNAL, INFN, …T1s or equiv.)

�Extra 19 M eventsDove e quando simularli e digitizzarli? (extra time and extra costs)


DC04 (Feb 04)DC04 (Feb 04)�Data Challenge e Physics Challenge

“Data” per verificare un modello da riportare nel CTDR“Physics” perche’ gli eventi servono gli studi (preliminari) del PTDR

�Data and Processes flow (~50 M events in one month):Ricostruzione al Tier0-CERN e flusso giornaliero >1TB/Tier1 (o streams dei soli ESD/AOD?)Analisi e calibrazioni predefinite presso i Tier1 = “Data” Challenge(anche nei Tier2/3? = “Physics” Challenge)

�Commenti:Trasferendo solo ESD/AOD (tutti), in ogni Tier1 si hanno solo “parte” dei Raw data (quelli cola’ prodotti e conservati, su nastro?)Se non c’e’ un catalogo “unico” non e’ possibile fare analisi inter-Tier1s, o inter-Tier2/3s (“analisi di utente”), solo “intra-Tiers”Effetti sia sul “data” (Feb 04) che sul “Physics” Challenge (prima, durante e dopo Feb 04)


Data Challenges: towards DC05 and DC06

Data Challenges: towards DC05 and DC06

�Analisi dei dati prodotti per il DC04 (Ottobre 2003 – Ottobre 2004?)Challenge continuo per Tier2, Tier3, GRID e supporto Tier1: novita’?

➨ Piu’ volte ribadito che dal 2004 la attivita’ di analisi sarebbe cresciuta fino a diventare dominante

�CMS DC05 (2004 – 2005): 10% di “Full Luminosity”Simulazione, ricostruzione ed analisi di ~100 M eventi

➨ Saranno piu’ complessi (demanding dal punto di vista computazionale) diquelli del DC04

Gli eventi verranno usati per preparare il Physics Technical Design Report (PTDR) di CMSAncora due fasi schematizzate, ma piu’ continue nell’attivita’:

➨ Pre Challenge Production (PCP) ➨ Challenge vero e proprio (DC05)

Contributo Italiano➨ Partecipazione di tutte le sedi CMS Italia (con precisi commitments)➨ Contribuire con circa 20 M eventi durante il PCP (simulazione/digitizzazione)➨ Partecipare all’analisi del DC05

�CMS DC06 (2005 – 2006): 20% di “Full Luminosity”Preparazione al commissioning… e agli “acquisti” massicci di HW


CMS e LCG CMS e LCG �LCG per CMS

Commitment di CMS su LCG: importante per il coordinamento, lo sviluppo e l’infrastruttura

➨ Da POOL al deployment di LCG-1➨ Ruolo importante degli RTAGs

CMS LCG0/1 testbed: essenziale per CMS e per LCG stesso (INFN leading)Difficolta’ nella gestione (PEB) e nel ritorno di man-power (non tutto puo’ essere “common”): maggior trasferimento alle attivita’ degli esperimenti

�LCG per CMS in Italia LNL e Tier1, per oraMigrare progressivamente CMS LCG0/1 a LCG-1 “ufficiale”

➨ Richiede test di LCG-1 (e LCG-1.x)➨ Mantenere CMS LCGn testbed per verifica e preparazione

Integrazione con INFN-Grid “production testbed” su siti “selezionati”

LCG e’ LCG e’ criticocritico per i Data/Physics Challenges per i Data/Physics Challenges didi CMS: CMS: o o funziona funziona in tempo o CMS in tempo o CMS dovra’ trovare soluzioni dovra’ trovare soluzioni alternative alternative

((gia’ esistenti gia’ esistenti o o da sviluppare da sviluppare in in proprioproprio))


CNAF e LNL per CMS ItaliaCNAF e LNL per CMS Italia�Il Tier1 ci sara’ ! (per mille buoni motivi…)

Non abbiamo quello che ci servirebbe (e che avevamo chiesto)➨ 4 TB di disco a fronte di 11 (July) – 30 (Sept) TB richiesti➨ <2 TB di nastro a fronte di 40 TB richiesti➨ ~ 140 CPU equiv a fronte di 210 CPU equiv richieste

Ma un ringraziamento al personale per la preziosa collaborazionee disponibilita’, che ha permesso di sopperire fino ad ora…

�LNL c’e’ ! Averne altri…, attuali Tier2?LNL ha le risorse che avevamo chiesto, ma deve crescere per mantenerelo stesso livello di competitivita’Specialmente ora che si va verso l’analisi, diventa un riferimento di modello per gli altri Tier2 e per i Tier3Le sperimentazioni sono fattibili solo a LNL (dedicato a CMS)

➨ Nuovo hardware➨ Tools di analisi e produzione➨ Farm ibride e loro configurazione


Milestones 2004: specifiche (1/2)Milestones 2004: specifiche (1/2)

�Partecipazione di almeno tre sedi al DC04 [Marzo]Importare in Italia (Tier1-CNAF) tutti gli eventi ricostruiti al T0Distribuire gli streams selezionati su almeno tre sedi (~ 6 streams, ~ 20 M eventi, ~ 5TB di AOD)La selezione riguarda l’analisi di almeno 4 canali di segnale e relativi fondi, ai quali vanno aggiunti gli studi di calibrazione Deliverable: contributo italiano al report DC04, in funzione del C-TDR e della “preparazione” del P-TDR. Risultati dell'analisi dei canali assegnati all'Italia (almeno 3 stream e 4 canali di segnale)

�Integrazione del sistema di calcolo CMS Italia in LCG [Giugno]Il Tier1, meta’ dei Tier2 (LNL, Ba, Bo, Pd, Pi, Rm1) e un terzo dei Tier3 (Ct, Fi, Mi, Na, Pg, To) hanno il software di LCG installato e hanno la capacita’di lavorare nell’environment di LCGComporta la installazione dei pacchetti software provenienti da LCG AA e da LCG GDA (da Pool a RLS etc.)Completamento analisi utilizzando infrastruttura LCG e ulteriori produzioniper circa 2 M di eventiDeliverable: CMS Italia e’ integrata in LCG per piu’ della meta’ delle risorse


Milestones 2004: specifiche (2/2)Milestones 2004: specifiche (2/2)

�Partecipazione al C-TDR [Ottobre]Include la definizione della partecipazione italiana al C-TDR in termini di:

➨ Risorse e sedi (possibilmente tutte)➨ Man-power➨ Finanziamenti e piano di interventi

Deliverable: drafts del C-TDR col contributo italiano

�Partecipazione al PCP DC05 di almeno il Tier1 e i Tier2 [Dicembre]Il Tier1 e’ il CNAF e i Tier2 sono: LNL, Ba, Bo, Pd, Pi, Rm1Produzione di ~ 20 M di eventi per lo studio del P-TDR, o equivalenti (lo studio potrebbe richiedere fast-MC o speciali programmi)Contributo alla definizione del LCG-TDRDeliverable: produzione degli eventi necessari alla validazione dei tools di fast-simulation e allo studio dei P-TDR (~20 M eventi sul Tier1 + i Tier2/3)


Richieste 2004 (e possibili anticipi 2003)

Richieste 2004 (e possibili anticipi 2003)

�Serve piu’ spazio disco: lo storage non e’ condivisibile.Nei Tier2 e Tier3 per analisi e simulazioni (attivita’ dominante da ORA)Nel Tier1 per le simulazioni, Data Challenges e archivio (nastro, sottovalutato)CMS diventa in questa fase di DC04 molto simile ad un Esperimento “running”

�Elementi delle richieste 2004: (Inventario: 220 k€ + 160k€ s.j.)Si tiene conto di LCG su LNL e delle richieste al Tier1: no doppio conteggio, ma dipendenza nelle richieste.Investimenti in dischi: 26 TB nei Tier2+Tier3 (5 LNL)(anticipabili ‘03)Poche CPU (rimpiazzi): 29 box dual CPU (15 LNL) (anticipabili ’03)Sub judice consistente (sincronizzazione attivita’ CMS e CSN1): 8 TB e 38 box dual CPUContributo CORE Computing Common Fund (penultimo anno MoU)

�Persone con responsabilita’ (che necessitano di ME aggiuntive)Ba (Lucia S.), Bo (Claudio G. & Paolo C.), Fi (Vitaliano C.), LNL (Massimo B.), Pd (Ugo G.), Pi (Giuseppe B.), Roma1 (Luciano B.), e molti altri…fortunatamente


ConclusioniConclusioni�CMS Calcolo Italia partecipa ai Data Challenges con:

Contributo sostanziale (miglior rate e tempi di risposta in CMS)Coordinamento e ruoli definiti

�Il Modello di calcolo permette:L’uso degli strumenti Grid appena disponibiliL’utilizzo delle risorse (umane e non) con buona efficienzaL’adozione di LCG appena disponibileLa condivisione delle risorse, purche’ pianificata

�Necessari altri investimenti:Nello spazio disco nei Tier2/3Sulle risorse di calcolo del Tier1 (nastri inclusi)Nella potenza di calcolo e storage per il DC05Nel migliorare l’uso delle CPU (duty cycle) attraverso sia tools di produzione migliori (personale!) che tools di GridNel coordinamento inter- e intra- Esperimenti/Progetti


Richieste 2004 (incluso s.j.) (1/2)Richieste 2004 (incluso s.j.) (1/2)

Tier BoxesBoxes

S.J CPUsCPUs

s.j DisksDisks

s.j DisksDisks

s.j Commenti# # KEuro KEuro TBs TBs Keuro Keuro

Bari Tier2 1 5 2.5 12.5 2 2 10 10

1 box in sostituzione di 3 box vecchie, 1 TB sostituzione 1 TB obsoleto. Altro sono 2 box e 1TB disco per analisi interattiva

Bologna Tier2 0 5 0 12.5 2 1 10 5Le vecchie macchine sono gia' state riciclate come desk-top

Catania Tier3 2 3 5 7.5 2 0 10 02 box per svecchiamento e 5 aggiuntive. Altro sono i posti lavoro CERN!

Firenze Tier3 1 3 2.5 7.5 2 0 10 0

Legnaro Tier2+ 15 0 37.5 0 5 5 25 25Sostituzione di 34 box (27 kSI2K) e 5 TB di disco obsoleti (5 TB nuovi)

Milano Tier3 0 2 0 5 2 0 10 0Altro sono 2 box + 0.5TB disco per analisi interattiva e switch+KVM (3kE)

Napoli Tier3 0 3 0 7.5 2 0 10 0

Padova Tier2 5 5 12.5 12.5 2 0 10 0

5 box CPU in sostituzione di 10 obsolete, 5 nuove in sostituzione di box temporanee . Consumo e' licenze LSF 2.0. Altro e' un contributo alla LAN

Perugia Tier3 0 5 0 12.5 2 0 10 0

Pisa Tier2 5 2 12.5 5 3 0 15 0 5 box CPU in sostituzione di 10 obsolete.

Roma1 Tier2 0 5 0 12.5 2 0 10 0 Consumo pezzi rotti farm.Torino Tier3 0 0 0 0 0 0 0 0

Total 29 38 72.5 95 26 8 130 40LNL LCG LCG 14 0 35 0 9.6 0 48 0 Altro e' il contributo alla LAN network

Tier1 CNAF Tier1 0 50 0 125 0 30 0 150Le box CPU sono considerate tutte "nuove" (1800 kSI2k/box). Risorse aggiuntive rispetto al 2003.

Richieste 2004


Richieste 2004 (incluso s.j.) (2/2)Richieste 2004 (incluso s.j.) (2/2)

TierConsu

mo COREMiss. Est Altro

Altro s.j

Totale inv

Totale inv s.j.

Totale senza ME Totale

Totale s.j

invent. invent. Keuro Keuro kEuro Keuro Keuro

Bari Tier2 25 10 12.5 32.5 12.5 37.5 32.5Bologna Tier2 41 35 10 17.5 51 86 17.5Catania Tier3 2 17 7.5 17 17 7.5Firenze Tier3 8 12.5 7.5 12.5 20.5 7.5Legnaro Tier2+ 6 8 15 77.5 25 83.5 91.5 25Milano Tier3 10 10 15 10 10 15Napoli Tier3 10 7.5 10 10 7.5

Padova Tier2 2 15 10 22.5 22.5 24.5 39.5 22.5Perugia Tier3 10 12.5 10 10 12.5Pisa Tier2 8 27.5 5 27.5 35.5 5Roma1 Tier2 2 0 10 12.5 12 12 12.5Torino Tier3 0 0 0 0 0

Total 10 41 99 17 30 219.5 165 270.5 369.5 165LNL LCG LCG 15 98 0 98 0

Tier1 CNAF Tier1 0 275 0 275

Richieste 2004

S.j. alla definizione dei commitments al DC05 e analisi PTDR: Aprile 04


LNL in LCGLNL in LCGLNL

#box #CPUs#CPUs eq. kSI2K

LCG finanziato

CMS finanziato

LCG dichiarato

Differenza finanziata

TB disco

LCG finanziato

CMS finanziato

LCG dichiarato

Differenza finanziata SW LSF

2003 stato 82 164 178 71 15 56 47 -32 18 4 14 8 -4 1 CMS1+1 CMS

2003 richiesto LCG 19 38 58 23 23 56 47 -9 4.8 4.8 14 8 0.8 1 LCG

2004 richiesto LCG 14 29 58 23 23 56 77 -16 9.6 9.6 14 15 3.4 1 LCG

2004 svecchiamento + incremento disco(5TB) 15 30 60 24 53 10 19 1 CMS

1 CMS

totale 2004, con ipotesi sopra 97 193 285 114 61 53 77 -16 37.4 18.4 19 15 3.4

2 CMS 2 LCG

3 CMS

Ipotesi 2004 raddoppio risorse 2003 356 142 36differenza -18 -36 -71 -28 1.4


Additional slidesAdditional slides


Milestones 2003: statusMilestones 2003: status

50%50%GiugnoNuovo environement di CMS per l’analisi installato e funzionate (selected sites)

0%

10%

100%

80%

Giugno 03 (Status)

70%DicembrePartecipazione al 5% Data Challenge (PCP-DC04) del Tier1 e meta’ dei Tier2

20%GiugnoMeta’ delle sedi “lavorano” con la nuova “persistenza”

100% (80%?)

GiugnoProtitipi Tier1 + Tier2 pronti per la produzione con LCG

100%AprileMeta’ delle sedi CMS Italia “enabled” per la produzione su Grid

Settembre03 (Status)

Scadenza


Stime a lungo termine CMS Calcolo

Stime a lungo termine CMS Calcolo

Investimenti/anno (kEuro)

Tier1 CNAF CMS

Tier2 e Tier3 di CMS Italia (#6+6)

Totale CMS Italia

2005 740 675 1415

2006 750 725 1475

2007 870 870 1740

2008 1100 1100 2200

Totale 06-08 2720 2695 5415

+ ~ 1500 kEuro in 3 anni (06-08) sul Tier0 al CERN


CMS Model: a remindCMS Model: a remind�Scope and roles of the Tiers

Tier0: Central recording and “first” treatment of dataTier1s: Computing support for the CMS Collaboration and the Analysis GroupsTier2s: Analysis support and specific (identified) problems task-forcesTier3s: Analysis dedicated and focused issues on particular tasksLower level Tiers: Local agreed activities and personal (users’) tasks

�Scope and roles of the Regional Centers (RCs) in the “Grid”Local RCs: User Interfaces and personal DBsDistributed RCs: Ad-hoc resources for particular tasks and test servicesDedicated RCs: Analysis-dedicated resources and common (CMS) DBsCommon RCs: Grid Services (both common and CMS-specific) and DBs repositories

�Dynamically de-localized commitments and resourcesMostly person-power- & knowledge-based on specific problems

➨ Both for computing and Physics skillsRe-allocation of tasks within a:

➨ Virtual Organization (Grid VOs)➨ Country Organization (INFN coordination, hierarchy of Centers)➨ Analysis Organization (CMS coordination, hierarchy of Roles)

�We believe that LCG will deploy this Model, Provided that CMS (and other experiments) largely invest on the ProjectCommonalities are only tried when possible (and necessary): diversity within the Project is necessaryGrid components are validated (and requested) by the experimentsThe “Cerncentric” view is abandoned (or at least mitigated)


CMS-Italy resources statusCMS-Italy resources statusTier Boxes CPUs CPUs eq SI95 Disks

# # # TBsBari Tier2 15 30 30 1200 2.0Bologna Tier2 14 28 32 1280 3.8Catania Tier3 10 20 28 1120 1.9Firenze Tier3 6 12 18 720 1.6Genova 0 0 0 0 0.0Legnaro Tier2+ 82 164 178 7120 18.0Milano Tier3 12 22 31 1240 2.0Napoli Tier3 5 10 15 600 1.0Padova Tier2 27 54 60 2400 1.8Pavia Tier3 0 0 0 0 0.0Perugia Tier3 4 8 12 480 2.4Pisa Tier2 14 28 30 1200 3.0Roma1 Tier2 13 26 31 1240 2.0Torino Tier3 11 22 26 1040 2.8

0 0 0 0 0.0Total 208 414 0 19040 41.8LNL LCG LCG 19 38 57 2280 4.8Tier1 CNAF Tier1 70 140 210 8400 31.0

45 112 168 6720 4

Foreseen late 2003


2004 planned INFN resources2004 planned INFN resources

Tier Boxes CPUs CPUs eq SI95 Disks# # # TBs

Bari Tier2 21 42 54 2160 5.0Bologna Tier2 19 38 52 2080 6.8Catania Tier3 15 30 48 1920 3.9Firenze Tier3 10 20 34 1360 3.6GenovaLegnaro Tier2+ 97 194 238 9520 28.0Milano Tier3 14 26 39 1560 4.0Napoli Tier3 8 16 27 1080 3.0Padova Tier2 37 74 100 4000 3.8Pavia Tier3Perugia Tier3 8 16 28 1120 4.4Pisa Tier2 21 42 58 2320 6.0Roma1 Tier2 18 26 31 1240 4.0Torino Tier3 11 22 26 1040 2.8

Total 279 546 29400 75.3LNL LCG LCG 33 66 113 4520 14.4Tier1 CNAF Tier1 120 240 410 16400 61

Grand Total 432 852 523 50320 151

Stato al Giugno 2004


“Distributed” Models“Distributed” Models

Tier

Tier

Tier

TierTier

Tier

Tier

Tier

Tier TierGrid



Tier

Tier

Tier

TierTier

Tier

Tier

Tier

Tier TierDistributed Computing



Tier3

Tier2Tier2 Tier2

Tier1

Tier3

Tier0

Tier2

Tier1 Tier1

Monarc

Tier2

Tier3Tier3



Tier3

Tier2Tier2 Tier2

Tier1

Tier3

Tier0

Tier2

Tier1 Tier1

Monarc - Grid

Tier2

Tier3Tier3

LCG ?!



LCG & CMS

Tier3

Tier2Tier2 Tier2

Tier1

Tier3

Tier0

Tier2

Tier1 Tier1

Tier2

Tier3Tier3

Tier2

Common resourcesCommon resources

CMS resourcesCMS resources

Other resourcesOther resources

LCG Now?

Calcolo LHC: CMS, progressi nel 2003 e prospettive...2003/09/22 · LCG POOL (late delivery and...

Documents

Transcript of Calcolo LHC: CMS, progressi nel 2003 e prospettive...2003/09/22 · LCG POOL (late delivery and...