INFN-BOLOGNA-T3 L. Rinaldi I siti Tier-3 nel modello di calcolo di Atlas Configurazione del sito...

INFN-BOLOGNA-T3

L. Rinaldi

• I siti Tier-3 nel modello di calcolo di Atlas• Configurazione del sito INFN-BOLOGNA-T3• Attività di Analisi e Produzione • Attività di Ricerca Tecnologica• Richieste e supporto

Light explosion in datacenterBy P. Ricci

INFN-BOLOGNA-T3 L. Rinaldi 2

Tier-2

18/11/2011

I siti Tier-3 nel modello di calcolo di Atlas

Tier-0

Tier-1Tier-1

Tier-2 Tier-2 Tier-2D Tier-2

Tier-1

Tier-3 Tier-3Tier-3

Cloud

CloudCloud

• T0T1 Dati primari (RAW, ESD, AOD) T0 T2 Calibration stream •Trasferimenti tra le cloud • Tier1 Tier1: Dati riprocessati (ESD, AOD, dESD per l’analisi)• Tier 1/2 Tier2/3: Output analisi utente su storage area locale

• Trasferimenti nella cloud • Tier1 Tier2: distribuzione nei Tier2 dei dati per l’analisi e cancellazione dal Tier1• Tier1 Tier2/3: simulazioni Monte Carlo• Tier1/2 Tier2/3: Output analisi utente su storage area locale

INFN-BOLOGNA-T3 L. Rinaldi 318/11/2011

I siti Tier-3 nel modello di calcolo di Atlas

Tier-0 (CERN)• Archivio dei RAW data ricevuti dal detector e distribuzione ai Tier1 • Prompt Reconstruction delle calibration e express streams e dei physics streams• Distribuzione output ricostruzione (ESD, AOD,TAG) ai Tier-1

Tier-2 • Simulazione Monte Carlo • Archivio di una frazione di AOD e TAG data • Archivio dati utenti• Analisi utente e di gruppo e sviluppo di codice• Calibrazione e allineamento per sub-detectors di interesse locale

Tier-3• Analisi locale e sviluppo di codice • Archivio dati utenti• (produzione e simulazione)

Tier-1 • Accesso a lungo termine e archivio su tape di un subset di RAW data• Copia dei RAW data di un altro Tier-1• Reprocessing della ricostruzione dei propri RAW data con parametri di calibrazioni e allineamenti finali e distribuzione AOD ai Tier-2 • Archivio su disco di tutti gli AOD e TAG data e di una frazione di ESD data • Archivio dati simulati prodotti nei Tier-2• Simulazione Monte Carlo• Analisi di gruppo


Configurazione del sito INFN-BOLOGNA-T3

Sito co-locato al Tier1 del CNAF Stessa infrastruttura (elettricità, cooling, … )Stessa rete (connessione esterna 20Gb)

Sito utilizzato da Atlas, CMS e LHCbcondivisione di Computing Element, Storage Element, servizi gridStorage partizionato per esperimento, Worker Nodes condivisi

Storage:150 TB su sistema StoRM/GPFS File System

Farm:39 Worker Nodes 8-core di ultima generazione con batch system LSF


Attività di produzione e analisi (GRID)

Status delle code di analisi dei T3 italiani

Code testate con software HammerCloud (invio costante di jobs di tipo analisi)La coda viene esclusa automaticamente se ci sono 3 fallimenti consecutivi in un’ora

Monitor costante. In caso di problemi, vengono inviate alert-email

Atlas SiteStatusBoard



5-Jun

12-Jun

19-Jun

26-Jun

3-Jul

10-Jul

17-Jul

24-Jul

31-Jul

7-Aug

14-Aug

21-Aug

28-Aug

4-Sep

11-Sep

18-Sep

2-Sep

2-Oct

9-Oct

16-Oct

23-Oct

3-Oct

06-nov

13-nov

0%10%20%30%40%50%60%70%80%90%

100%

WCT

(K s

ec)

Da Ottobre:modifica share 30-70tra produzione e analisi

5-Jun

12-Jun

19-Jun

26-Jun

3-Jul

10-Jul

17-Jul

24-Jul

31-Jul

7-Aug

14-Aug

21-Aug

28-Aug

4-Sep

11-Sep

18-Sep

2-Sep

2-Oct

9-Oct

16-Oct

23-Oct

3-Oct

06-nov

13-nov

0

20000000

40000000

60000000

80000000

100000000

120000000

140000000

produzione (sim MC)

analisi (prun)

test (HC)

Mancano jobs local (bsub)!!



20%1%

40%

39%0%

INFN-GENOVAZA-WITS-COREINFN-BOLOGNA-T3INFN-ROMA3ZA-UJ

0%

48%

1%0%

3%3%11%

17%

6%11%

ZA-UJINFN-T1INFN-GENOVAZA-WITS-COREINFN-BOLOGNA-T3INFN-ROMA3INFN-MILANO-ATLASCINFN-NAPOLI-ATLASINFN-FRASCATIINFN-ROMA1

Share di utilizzo delle risorse (tempo di running dei jobs) fra i tier-3 della cloud italiana

T3-BO è il più performante in Italia(media giugno-novembre)

Share di tutti i siti della cloud italiana

BO-T3 detiene il 3%

(T1+T2s = 93%)


Traffico dati e utilizzo del disco

Site ▾ Used(GB) Free(GB) Total(GB) %

HOTDISK (DBReleases) 433 2865 3298 13

LOCALGROUPDISK (permanent storage) 3855 12637 16492 23

PRODDISK (output jobs production) 133 10862 10995 1

SCRATCHDISK (output jobs analysis) 1334 9661 10995 12

TRAFFICO IN ENTRATA TRAFFICO IN USCITA

Occupazione spazio disco


Attività di analisi (LOCAL)

Numero di jobs in locale(Include jobs CMS)

Job eff. CPT/WCT e utilizzo delle risorse locali (WCT)


Attività di Ricerca Tecnologica

Abstract per conferenza CHEP2012:

Exploiting the WNoDeS framework to support local communities at the CNAF Computing Center

WNoDeS: piattaforma per instanziazione di macchine virtuali, sviluppato al CNAF

• Ottimizzazione e test con diverse modalità di accesso ai dati da VM• Sviluppo e test di applicazioni su WNoDeS Virtual Interactive Pool (VIP) interface (CMS)• Test di PROOF-on-Demand su piattaforme WNoDeS (creazione dinamica di farm virtuali per applicazioni di calcolo parallelo ottimizzate per l’analisi dati)


Attività di Ricerca Tecnologica

Test HammerCloud (standard analisi su MC) su due code con nodi reali e virtuali,

Accesso ai dati senza copia sul nodo locale, file system montato sul nodo

Macchine virtuali mediamente 10% meno performanti, in programma test per ridurre il gap

Calo delle performance delle VM compensato da maggiore flessibilità nell’uso delle risorse (es. T1 + T3 maggior numero di VM a disposizione degli utenti)

Macchine reali Macchine virtuali


Richieste e Supporto

Per richieste (installazioni) e segnalazioni di problemi sulle macchine Contattare [email protected]

Per problemi specifici atlas/grid/panda/DQ2 Usare le liste [email protected] (locale)

[email protected] (atlas-IT)

Lavori in corso:o Priorità nelle code:• riservate 4 slot per jobs interattivi (bsub)• abilitazione del ruolo atlas/it (automatico quando si inizializza il proxy) • incrementare priorità dei job “italiani” e limitazione sui jobs altri utenti

o Monitoring (mancano le statistiche di utilizzo grid vs local e per singoli exp)o Migrazione progressiva ad ambiente virtuale (da concordare con CNAF e altri esperimenti)

Grazie a tutti gli utenti per le continue interazioni, fondamentale per configurare il sito in base alle esigenze degli utenti

mailto:[email protected]




Back Up

INFN-BOLOGNA-T3 L. Rinaldi I siti Tier-3 nel modello di calcolo di Atlas Configurazione del sito...

Documents

Transcript of INFN-BOLOGNA-T3 L. Rinaldi I siti Tier-3 nel modello di calcolo di Atlas Configurazione del sito...