16 Maggio 2006 - CSN1 Computing-Software-Analysis CMS-INFN TEAM Analisi in CMS: stato e prospettive...

16 Maggio 2006 - CSN1Computing-Software-Analysis CMS-INFN TEAM

Analisi in CMS:stato e prospettive del supporto

italiano

16 Maggio 2006 - CSN1 Computing-Software-Analysis CMS-INFN TEAM

2

Preparazione delle Analisi di Fisica (1)

• Physics TDR Vol. 1 (completato Feb 06)– Procedure di Allineamento e Calibrazione– Physics Tools

• Physics TDR Vol. 2 (completamento Giu 06)– Canali di Fisica


3

CMS Physics Notes 2006, con autori INFN

(pubbliche e con referee interno)• Totale di 27 Physics Notes nel 2006, vedihttp://tenchini.home.cern.ch/tenchini/CMS_Note_Italiche_Anno_2006.html

Muon 3 Higgs 7

elec- 4 QCD 1

tau 1 TOP+ew 4

Tracking 2 SUSY 1

B-tag 3 B-phys 1

Physics tools Physics Channels


4

Preparazione delle Analisi di Fisica(2)

• CSA2006 (Novembre 06)– Test della catena completa di ricostruzione ed

Analisi Dati

• Physics TDR Addenda (Inizio 2007)– Studi dettagliati dell’High Level Trigger– Test finale Calibrazioni e Allineamenti– Programma di fisica per < 1 fb-1

5Computing-Software-Analysis CMS-INFN TEAM 16 Maggio 2006 - CSN1

Analisi di CMS (Italia)Analisi di CMS (Italia)

Physics Analyses of First data

Software Algorithms

Software tools & Middleware

Infrastructure

Identification of Physics channels

Commissioning of detectors

Calibration / Alignment

Reconstruction software

(RECO Data)

Analysis Object Data (AOD)

Management Tools

End User Support & Interfaces

Dataset definition & Location

Grid IntegrationPerformances tests

Analysis Job submission (CRAB), etc.

Dataset discovery (DBS), etc.

Resources: Tier1 & Tier2s

(and Tier0)

Services: Tier1 & Tier2s

(and Tier0)


L’analizzatore “vede” questo…(e non vorrebbe vederlo…)

L’analizzatore “vede” questo…(e non vorrebbe vederlo…)

Ambiente CMS+Grid

CRAB: creazione,

partizionamento e

sottomissione (via BOSS) dei

job

Quali Dataset ci

sono?

(CMS specific)

Dove mandare i

job?

(GRID)

Dove stanno i files del Dataset?

(GRID)

Il job va sul CE scelto dal RB

(GRID node col sw CMS)

Il job esegue

Il job trova i files via il local file

system

(GRID)

I files vengono LETTI e SCRITTI

(GRID)

Il risultato ritorna

allo user!


CMS Distributed GRID AnalysesCMS Distributed GRID Analyses

Up to ≥100.000 Up to ≥100.000 jobs/monthjobs/month

(peak ≥10.000/day)(peak ≥10.000/day)

Submitted Submitted fromfrom

Destination Destination of jobsof jobs


Ma l’analizzatore non vede …Ma l’analizzatore non vede …L’infrastruttura dei servizi e risorse Grid

I tools software e middleware sviluppati e mantenuti da Grid e CMS

Il monitoring delle configurazioni e dei servizi (CE, SE, UI, DataBases, tools di trasferimento, sistemi di autorizzazione, Information System, …)

Il debugging quotidianoI workarounds per ovviare alle failures (quotidiane o eccezionali)

Spesso operati in “urgency mode”La difficolta’ di allocare le risorse “prompt” alle richieste della Fisica

Su un Sistema distribuito e complesso (e fragile)La necessita’ di coordinare/contrattare l’uso delle risorse condivise con gli altri esperimenti (tempi e quantita’)

Grid funziona se non si vede che c’e’!


CMS, Grid e cio’ che sta “in mezzo”

CMS, Grid e cio’ che sta “in mezzo”

Cosa fa CMS Tutto quello che e’ CMS specific

Software di ricostruzione Definizione e catalogazione dei Datasets (trigger driven) Framework di ricostruzione ed analisi Definizione dei contenuti delle classi (objects) fisiche (parametri) e loro

contenuto nei data format (cosa si puo’ fare con gli AOD e cosa no, cosa si puo’ fare coi RECO e cosa no…etc.)

Cosa fa Grid Tutti (o quasi) i servizi di base

Locazione dei files e loro protocollo di accesso Computing Elements, Storage Elements, User Interfaces Resource Broker, Information System, Operating system, local scheduler,

etc.

Ma questo non basta, occorre Tutto quello che interfaccia i servizi di Grid con il software di CMS e

consente quindi di localizzare, gestire e produrre i dati Repliche dei dati in modo consistente per CMS (Datasets o file-blocks) Job tracking CMS-specific e job production, preparation and submission

La interfaccia di accesso del Fisico di CMS Environment e User services CMS Software distribution and installation


Quali sono i tools che servono…Quali sono i tools che servono…Transfer fileFile (Datasets) ReplicationDashboardResource BrokerFile access local protocols (disk resident or tape resident, or even on cached disks)Local job schedulersInformation SystemAuthorization, authentication, accountingRoles and authoritiesTransparent data accesses by end nodesDatabases replication processes and distribution (partial or global, sink or unsink)Software installation and propagation (versioning included)Etc.


Quali sono le risorse e l’infrastrutturaQuali sono le risorse e l’infrastrutturaUser InterfacesTier0Tier1Tier2CPU e Farm (CEs)Dischi e MSS (SEs)LAN e WANDataBase servicesUser managementOS e File SystemsEtc


Chi fa cosa Chi fa cosa

PRS Groups, Detectors commissioning, DAQ, calibration/alignment, …


Software Algorithms


Infrastructure

Analysis job submission, DBS, DLS/FLS, Job tracking, Grid integration, Dataset validation, Dataset transfer, monitoring, User interface, performances tests, management, … [F. Fanzago, M. Corvo, M. Verlato, G. Don Vito, C.Kavka, A. Sciaba’, J. Andreeva, S. Fantinel]

Reconstruction software, AOD definition, fast simulation (FAMOS), generators, software management, geometry, architecture, … [S.Argiro’]

Tier1 resources (35% of CNAF-CMS, <12% of CMS), 2+1+1 Tier2s INFN resources (<10% of CMS, yet to be funded), Tier1 services, Tier2s services, NO INFN contribution to Tier0 Services, …[D. Bonacorsi]

Lead contribution

Lead contribution

Lead contribution

Lead contribution +

(nomi espliciti solo delle persone ex-Grid, ex-LCG o ex-Grid-IT, ex-Tier1-INFN)


Cosa esiste di funzionateCosa esiste di funzionate


Software Algorithms


Infrastructure

Identificati i canali di Fisica di interesse “italiano” Procedure per le calibrazioni/allinementiStrategie e plans per il commissioningOrganizzazione (Italiana) di Comput/Softw/Physics

Software di ricostruzione nel nuovo framework (CMSSW)Prototipo della definizione degli AOD (ed accesso)

CRAB (job submission sulla Grid, WLCG = EGEE + OSG); Prototipo di DBS; Prototipo di DLS con il Grid LFC; Prototipo di ProdAgent (produzione delle simulazioni); Dataset Transfer (PhEDEx); Configurazione delle UIs; Job real-time tracking; Test of Grid integration and performances; etc.

Coordinamento e attivita’ consolidata dei Tier2+Tier1 INFN per CMS riconosciuto ed apprezzatoRisorse del Tier1 e Tier2 usate da TUTTA CMS via GridServizi Grid e CMS-specific consolidati


Cosa manca (di fondamentale), del tutto o in parte

Cosa manca (di fondamentale), del tutto o in parte


Software Algorithms


Infrastructure

Un’infinita’ di “piccoli”tools per il commisioningGli strumenti “provati” per produrre ed accedere alle calibrazioni/allineamenti (locale o distribuito via Grid)

Software di supporto alla definizione dei TriggerSoftware e tools per la gestione della ricostruzione al Tier0 e ri-ricostruzione ai Tier1Consolidamento dei contenuti dei data-format (RAW, RECO, AOD, skimmed data)

Supporto agli UtentiTests di integrazione CMS-Grid (performances & functionalities)DataBases replication tools Management Tools (resources and services)Dataset validation and distributionProduction (simulation & reco) support and tools

Risorse che garantiscano le necessita” di CMS (Italia e non) nei Tier2 e Tier1Servizi comuni certi per CMS (+ servizi specifici)Tier0 efficace per L’INFN


Cosa ci servirebbe …Cosa ci servirebbe …Software tools e Middleware integration

Supporto per CRAB e il Data-Management-System distribuito, piu’ i tools di distribuzione, produzione, re-processing

SVILUPPO, GESTIONE e USER SUPPORT in Italia e al CERN ! Urge personale per “servizio”

Software Ricostruzione, simulazione ed Analisi (personale sulla Filter Farm)

Tier1 Personale dedicato a CMS >2 persone (in sinergia con la gestione

del Tier1) Direzione Tecnica empowered

Hardware delivered nei tempi stabiliti agli Esperimenti (Gare e Commissioning)

Personale sistemistico commisurato all’impresa (17 nuovi posti? Stabili? Quando?)

Tier2 Risorse Hardware nei 2+1+1 Tier2-CMS da oggi, e planning

concordatoTier0

NON c’e’ coinvolgimento dell’INFN in persone! (Ricostruzione e trigger streams tagging)

Filter Farm Nel software di configurazione del trigger l’INFN e’ quasi-assente!


ConclusioniConclusioniOccorrono Persone dedicate a CMS con skills specifici, non facili da trovare:

4-5 persone, di cui ~ meta’ al CERN (in aggiunta a quelle attuali)

Per fare …le attivita’ che sono sotto dimensionate

Cosa serve per analizzare i dati? L’infrastruttura di risorse e servizi (Tier1 e Tier2), con i tools e gli user che

la sanno usareCosa esiste oggi?

I tools e il software CMS (prototipali ma funzionanti), integrati nella infrastruttura di Grid mantenuta, ma molto fragile

Cosa manca? Alcuni tools di base ed essenziali Performances e scalabilita’ Supporto agli utenti e alle attivita’ (SERVIZI)

Chi deve farlo?: CMS (Italia) in primis, Grid projects, INFN e … CERN!In che tempi?

I Dati reali di CMS ci sono gia’! (Cosmic Challenge) WLCG Service Challenge 4 (SC4) e CMS Computing, Software and

Analysis 2006 (CSA06) sono entro il 2006


ChiosaChiosa

Vogliamo essere leading nell’analisi di CMS (e possiamo farlo!) La competizione scientifica (anche interna a CMS)

sara’ forte (US & Italy) Abbiamo bisogno di forte supporto, nelle RISORSE

del Computing, da ora e nei prossimi 12 mesiCMS Italia si e’ organizzata per questo (o almeno lo sta facendo)

Computing_Software_Analysis Project CMS-INFN: un solo Teamun solo Team

Non piu’ detector construction, ma Experiment running


Additional slidesAdditional slides


19

mu e b tag tau jet rec/eflow Met FamosPD H-->WW-->2mu+X y y

MI H-->WW-->2e+X y y

FI H-->ZZ-->4mu y

RMMI H-->ZZ-->4e y

BA H-->ZZ-->2e2mu y y

BO bbH/A-->2mu y y y

PI bbH/A-->2tau y y y

PGPIPVNA ttH y y y y y

TO VV fusion y y y y y

PI single top y y y

PI top mass semilept y y y y

PI t-->Zq (FCNC) y y y

BOPI top adronico y y

MI massa W y y y y y

MI Z prime -> e+e-

FI B0-->J/Psi Phi y

Analisi CMS in Italia e Physics Tools di interesse


20

CT SUSY Chi, sb, gluino y y y y y y

BA SUSY Chi2->Z Chi1

MI qq,gg-->G fotone/jet y y y y

RM pp-->ChiChi 2 fotoni y y y

MI chi2chi2->4e + MET y

MI qq,qg->gG y

PI heavy charged part

Analisi CMS in Italia e Physics Tools di interesse

Mu e b-tag tau jet/eflw MET FAMS


Preparazione alla Fisica di CMSPreparazione alla Fisica di CMS

Aver definito il P-TDR vol. 1 vuole anche dire che: abbiamo un programma di ricostruzione con

perfomance piu' che soddisfacente per tracce, fotoni, jet, mu ed elettroni, vertici primari e secondari

abbiamo una simulazione Monte Carlo dettagliata del detector, pronta ad essere rifinita coi primi dati veri, e abbiamo prodotto 100 milioni di eventi nel 2005

abbiamo una utilissima fast simulation, veloce ma abbastanza accurata e abbiamo dimostrato che puo' essere usata per molti canali di fisica


Continua la preparazione alla Fisica di CMS

Continua la preparazione alla Fisica di CMS

Per ottenere risultati della Fisica dobbiamo ancora fare:1. MTCC che ci consentira' di integrare per la prima volta:

rivelatori, acquisizione dell'elettronica di front-end, prima version del Sw di Event Filter. Primi tests delle procedure di allineamento includendo allineamento HW

2. Test-beam di ECAL e ECAL+HCAL che consentiranno di stressare ancora una volta le componenti Sw + studi della risposta combinata ECAL+HCAL. Questo consentira' anche di fare confronti tra dati e Geant4.

3. CSA 06 che consentira' di testare tutta la catena simulazione, ricontruzione, allineamento e calibrazione nonche' tutte le procedure di deployment dei DB che devono essere utilizzate dai vari rivelatori. Il test consentira' di fare un studio completo del workflow e dataflow dei dati T0-T1-T2… Questo include anche una prima versione del software di Tier0.

4. Studi di HLT che consentiranno di fare studi dettagliati delle perfomances degli algorithmi di ricostruzione in termini di CPU.

5. Studi di ottimizzazione in termini di CPU e spazio disco per le varie strutture di dati (data formats)

6. Studi del work-flow e data flow Daq-T0 etc. …


Tier2 CMS Italia 2006Tier2 CMS Italia 2006

Tier Total Dischi Rete Total

kSI2K TB kEuro # kSI2K TBLAN

/band kEuro

Bari Proto-Tier2 30 10 40 3 15 10 25Legnaro Tier2 60 15 68 0 0 11 FC 32 +15Pisa Tier2-sj 50 15 62 9 45 20 62Roma1 Tier2 30 15 60 8 40 20 nuovo 60

Total 170 55 230 20 100 61 179 194

2006 piano originale boxes - CPU

Richieste 2006

2008 %CMS share: Tier2s Italy 2006 2007 2008 2009 2010 of all CMSCPU pledged WLCG MoU (kSI2K) 350 880 1750 2800 3850 9%CPU of 4 averege Tier2s (kSI2K) 680 1710 3430 5740 9170 18%CPU affordable by INFN 400 1430 3000 5100 8670 16%Disk pledged WLCG MoU (TB) 70 210 530 880 1230 11%Disk of 4 averege Tier2s (TB) 100 260 870 1740 2620 18%Disk affordable by INFN 120 497 1187 1746 2319 24%


Tier1-CNAF CMSTier1-CNAF CMS

CMS Tier1s: 2008 CPUs (kSI2K) Disks (TB) Tapes (TB) % of All Tier1s # of averg T1

Tier1 US-FNAL 4256 1986 3224 27% 1.9Tier1 INFN-CNAF 1930 880 740 13% 0.9

Pledged resources: WLCG MoU

CMS share: Tier1-CNAF 2008%2006 2007 2008 2009 2010 of all CMS

CPU pledged (kSI2K) 630 840 1930 2800 4030 13%CPU "should be" 760 1900 3790 5190 10180 25%

Disk pledged (TB) 300 420 880 1400 2030 13%Disk "should be" 210 520 1750 2620 3930 25%

Tape pledged (TB) 300 350 740 1440 2100 4%Tape "should be" 380 960 4160 7370 10570 25%

CMS Sharing (~35%)CMS Sharing (~35%)

CMS share: Tier1-CNAF "at large" 2008%2006 2007 2008 2009 2010 of all CMS

CPU "at large" (kSI2K) 570 1060 2840 4060 6930 19%CPU "should be" 760 1900 3790 5190 10180 25%

Disk "at large" (TB) 260 400 1190 1720 3050 17%Disk "should be" 210 520 1750 2620 3930 25%

Tape "at large" (TB) 280 460 1700 2360 3380 10%Tape "should be" 380 960 4160 7370 10570 25%

OptimisticallyOptimistically


Costi Tier2Costi Tier2CMS Bari, Legnaro, Pisa, Roma1All Tier2s 2006 2007 2008 2009 2010

CPU (kEuros) 166 388 386 333 463Disk (kEuros) 161 547 615 328 224Total (kEuros) 328 935 1001 661 687

Sum06-10 3611

Tetto indicativo dai referee per CMS :~4.9 MEuro)

INFN CMS Tier2s costs

0

200

400

600

800

1000

1200

2006 2007 2008 2009 2010

Year

k€

CPU (kEuros)

Disk (kEuros)

Total (kEuros)


CMS Tier2s Disk

0

500

1000

1500

2000

2500

3000

2006 2007 2008 2009 2010

years

TB

Disk Pledged LCGSept05

Disk "should be"

Disk requests INFN

US-CMS-T2s

CMS Tier2s CPU

0

2000

4000

6000

8000

10000

2006 2007 2008 2009 2010

years

kSI2

K

CPU Pledged LCGSept05

CPU "should be"

CPU requests INFN

US-CMS-T2s

Tier2s CMS ItalyTier2s CMS Italy

CPUCPU

DischiDischi

16 Maggio 2006 - CSN1 Computing-Software-Analysis CMS-INFN TEAM Analisi in CMS: stato e prospettive...

Documents

Transcript of 16 Maggio 2006 - CSN1 Computing-Software-Analysis CMS-INFN TEAM Analisi in CMS: stato e prospettive...