ATLAS Trigger/DAQ

Gruppo1 - 19/9/2002 S.Falciano - INFN Roma1

ATLAS Trigger/DAQ

S.Falciano - INFN Roma1


Sintesi delle informazioni inviate alla Commissione

• Attività ed incarichi di coordinamento• Milestone 2003• Richieste finanziarie

– 2002 : • Sblocchi s.j. CORE per il Trigger LVL1

– 2003 : • Trigger LVL1 (missioni dedicate, consumi e

finanziamenti CORE per inizio produzione)• HLT (piccola cifra materiale inventariabile)


Struttura del progetto TDAQ– LVL1

Muon (barrel + endcap), MuCTPI• Calorimeter• CTP (Central Trigger Processor)

– HLT Detector slices LVL2/EF

PESA (Physics and Event Selection Architecture)

– DAQData FlowOnline SoftwareDCS (Detector Control System)

– Common activities• Architecture• Sw releases etc.....


Attività italiane

• Trigger di Livello-1 muoni (barrel) (LNF, Napoli, Roma1, Roma2)

• Trigger di Livello-2 muoni (barrel) (Pisa, Roma1)

• Trigger di Livello-2 pixel (Genova)• Event Filter (Lecce, Pavia, Roma3)• DAQ testbeam (TDAQ + gruppi

detector)


• Attività svolta fino a giugno 2002– Caratterizzazione prototipo matrice di coincidenza (ASIC)

e FDR dell’elettronica on-detector per il Trigger di Livello-1. (Sett.2002 : OK).

– Test completo del DAQ-1 al testbeam H8 e inizio integrazione Event Filter per monitoring e calibrazione. (Sett.2002 : Testbeam completato, integrazione EF con il vecchio software OK).

• Attività prevista per il 2003– Finalizzazione elettronica off-detector per il Trigger di

Livello-1 e inizio produzione elettronica on-detector.

– Integrazione ad H8 del DAQ per mu, tile e pixel in modalità “combinata”. Test elettronica elettronica on-detector LVL1. Integrazione completa EF.


Milestone 2003• Marzo

– Scrittura del nuovo software di Data Flow dell'Event Filter.– Integrazione completa del software di calibrazione delle camere MDT

nell'EF/DAQ del Testbeam. • Aprile

– Integrazione e test "slice" verticale LVL1/HLT/DAQ/DCS per un rivelatore ATLAS (e.g. rivelatore di muoni) in laboratorio.

• Giugno – Sottomissione al LHCC del Technical Design Report di HLT/DAQ/DCS. – Fine produzione 5% elettronica on-detector per il trigger di primo livello.

• Settembre – FDR elettronica off-detector per il trigger di primo livello.

• Dicembre – Inizio produzione 100% dell'elettronica del trigger di primo livello on-

detector.


Incarichi nel progetto TDAQ• A.Nisati (Roma1) -> IB Chairperson e Coordinatore

algoritmi muoni in PESA

• V.Vercesi (Pavia) -> Coordinatore PESA (Physics and Event Selection Algorithms and Architecture)

• F.Parodi (Genova) -> Coordinatore algoritmi b-tagging in PESA

• S.Veneziano (Roma1) -> Coordinatore trigger LVL1 muoni barrel+endcap+MCTPI

• S.Falciano (Roma1) -> Coordinatore Detector Readout nel DIG e Detector HLT slice tests


... e per i testbeam

• P.Morettini (Genova) -> Coordinatore DAQ testbeam H8 pixel

• E.Pasqualucci (Roma1) -> Coordinatore DAQ testbeam H8 muoni

• D. Della Volpe (Napoli) -> Progetto DAQ testbeam X5 muoni


Trigger di Livello-1 barrel

• Studio delle prestazioni del trigger e sviluppo del codice di simulazione

• Sviluppo elettronica on-detector

• Sviluppo elettronica off-detector


RPC LVL1 trigger/readout slice


• Sviluppo elettronica on-detector– connessioni del Front-End con trigger e

readout– ASIC Matrice di Coincidenza– PAD e Splitter Boxes– Link ottico (Tx)

• Sviluppo elettronica off-detector– Readout Driver– Sector Logic– Link ottico (Rx)


“La priorità è stata posta sullo sviluppo dell’elettronica on-detector”stato sett 01 attuale

PDR Sector Logic31.07.01 PDR ROD (effettuato il PDR del backplane) 31.12.01 PDR Optical Link (nuova versione)

FDR CM ASIC FDR PAD FDR Splitter

31.03.02 FDR Optical Link (nuova versione)30.06.02 FDR Sector Logic

FDR ROD30.10.02 Irradiation test of all components, including ASIC30.09.02 Full system test31.12.02 PRR full trigger system31.12.03 Mass production completed30.04.04 On-detector trigger electronics available31.12.04 Off-detector trigger electronics available

Il ritardo di LHC non e’ stato ancora considerato nelle milestones del LVL1, ha causato un ritardo di sei mesi nella istallazione dello spettrometro

Milestones LVL1 Barrel


Finanziamenti FEMU• 2002

– Sono stati finora realizzati:• Prototipo PAD motherboard low pt• Prototipo PAD motherboard high pt• Prototipo PAD OR• Schede di test per PAD e Splitter• Prima versione link TX-RX ed FPGA.• Prototipi schede CM Phi e CM Eta

– Verrà realizzato entro l’anno:• Prototipo finale PAD e schede CM

• 2003– Preproduzione PAD, schede CM (5%)


Sblocchi s.j. 2002 (1) Gli sblocchi s.j. 2002 sono stati rimandati a settembre per

avere una stima più realistica dei costi. Si ricorda che il s.j. riguarda :

• Produzione PAD OR:– la produzione verra’ effettuata verso la fine dell’anno, non

appena il prototipo finale di PAD sarà pronto.

• Produzione di SPLITTER:– prototipi Splitter realizzati (LNF+Roma) e utilizzati al test

stand di Napoli (FDR 12 marzo 2002). Esiste una versione finale di Splitter eta, Splitter phi e Motherboard.

• Secondo MPW run ASIC CM, packaging e testing:– I test finora effettuati non sembrano richiedere un secondo

run (test d’irraggiamento da fare). Test definitivi verranno effettuati in autunno in laboratorio nello slice test.


Sblocchi s.j. 2002 (2)

Sulla base della stima dei costi ottenuta di recente :

• Produzione PAD OR:– cifra richiesta sj k€ 215, stima attuale conferma

la richiesta di sblocco della cifra iniziale.

• Produzione di SPLITTER:– richiesta iniziale sj k€ 322 (sj di tipo 1 e

sottoposto alla realizzazione del FDR), stima attuale prevede un aumento di un fattore 2 per il solo acquisto di componenti e schede.


Sblocchi s.j. 2002 (3)– Per far fronte a questo aumento, la strategia del gruppo

potrebbe essere quella di acquistare i componenti, gestire direttamente la produzione e fare i test. La proposta quindi e’ di chiedere lo sblocco della cifra allocata (k€ 322) per far partire la produzione nei modi indicati e vedere a fine anno dove si arriva. Eventualmente ridiscutere all’inizio del prossimo anno eventuali integrazioni. Le schede da produrre sono 865 più “spare”.

– A seguito di queste stime provvederemo quanto prima a rivedere i costi delle altre componenti del trigger.

• Secondo MPW run ASIC CM, packaging e testing:– Allocati sj k€ 70 + 19.5– Si propone di spostarli al prossimo anno quale riserva per gli

extracosti delle produzioni.


Richieste 2003• Nelle richieste CORE dell’ASIC ci sono 550 k€ e grazie

allo yield elevato possiamo eliminare un passo nella produzione, solo engineering run (-200 k€).

• Le richieste sono rivolte alla pre-produzione di tutti i componenti dell’elettronica on-detector non inclusi nel progetto FEMU, ai test su fascio e di integrazione con i rivelatori dello spettrometro.– Preproduzione di:

• Link ottico (Napoli)• Meccanica pad e splitter• Scheda TTC (CERN)• Scheda ELMB (CERN)


Richieste non-CORE 2003 Roma1

– Cavi e fibre:• dovranno essere ordinati nel 2003 o nel 2004. E’

necessario studiare l’impatto di questa scelta nell’istallazione dello spettrometro.

– Due campagne Lovanio (ME k€ 2.5+2.5SJ), di cui una SJ alla effettiva necessita’.

– Due prototipi Sector Logic (CO k€ 4)– Un prototipo ROD (un secondo a Napoli) (CO k€

2)– Manutenzione software JTAG (CO k€ 3) – Consumo per test irraggiamento e per i test

della produzione sui fasci ad H8 e X5 (CO k€ 4)– Schede di test della produzione (CO k€ 5)


Richieste non-CORE 2003 Napoli

• Nel 2002 sono stati finanziati e realizzati :– Prototipi TX on-detector (PAROLI -> GLINK mezzanine,

PDR e FDR ok)– Prototipo scheda RX (mezzanine+VME) (PAROLI -> GLINK

mezzanine) – Nuova stima dei costi TX-RX (escluse le fibre)

• 456 k€ (fattore 1.5 costi previsti CORE)• Da aggiungere il costo delle fibre (0.2k€/100m)

• Prototipo finale RODbus (7k€)• RX VME board (6k€)


Richieste non-CORE 2003 (k€)

ME CO INV Note (Rm e Na)

SL prototipo (x2) 4

ROD prototipo (x2) 2 + 2

Test irraggiamento Lovanio (2 camapgne)

2.5 2.5 sj

Schede di test per run irraggiamento componenti

4

Schede di test per produzione 5

R&D RODbus (PCB, connettori, testbench, componenti)

7

R&D Rx (prototipo PCB, componenti)

6


Richieste CORE 2003 Roma1 (1)

Le produzioni del 2003 sono condizionate dall’esito dello “slice test” in laboratorio e dei test dell’elettronica e dei rivelatori su fascio. La durata di questi test va da ottobre di quest’anno al prossimo settembre. L’elettronica utilizzata proviene dalle pre-produzioni (FEMU + CORE).

• Produzione ASIC CM• Produzione PAD• Produzione di CM board


Richieste CORE 2003 Roma1 (2)• Acquisti mezzanini TTCRx :

– Questa produzione verrà fatta al CERN, ma attualmente i costi sono troppo elevati (300 CHF per scheda). Una stima recente è inferiore del 30%, ma si pensa che una produzione ad hoc per ciascun tipo di utente possa portare ancora del risparmio. Si e’ in attesa di una stima piu’ precisa.

• Acquisti mezzanini ELMB:– Anche questa produzione verrà fatta al CERN, la stima attuale

e’ di 80 CHF per scheda.

• Meccanica e stampi cooling PAD– ATLAS sta studiando la possibilita’ di aumentare la superficie di

scambio del calore del sistema di raffreddamento della caverna con l’introduzione di “Finned Tubes”.

– Prototipi della meccanica finale di PAD e Splitter non avranno quindi piani di raffreddamento.

– Studi di integrazione previsti a Frascati e CERN a partire da ottobre 2002 finalizzeranno la meccanica.


Richieste CORE 2003 Roma1 (3)

• Produzione ASIC CM :– cifra richiesta k€ 350 invece di k€ 550, + k€ 70. Si chiede di

finanziare la richiesta iniziale per compensare l’aumento dei costi delle splitter box.

• Produzione PAD:– richiesta iniziale k€ 430, s.j. ai test finali d’integrazione ed

ad una stima dei costi.

• Produzione schede CM :– richiesta iniziale k€ 207, s.j. ai test finali d’integrazione ed

ad una stima dei costi.

• Produzione TTCRx :– richiesta iniziale k€ 54, s.j. ad una stima realistica dei costi.

• Produzione ELMB :– richiesta iniziale k€ 52, s.j. alla gara CERN.


Richieste CORE 2003 Napoli

• 50 link (50 TX + 50 RX) (46 k€)• 50+50 fibre multimodali (costo per piccola

fornitura 0.2 k€ @ 100m)– Il numero totale di schede/fibre derivera’ dalle

esigenze di preproduzione

E’ stato gia’ concordato con i Referee che si può dimezzare questa piccola produzione in modo da avere un numero piccolo ma significativo di TX/RX per provare una slice completa del sistema che li utilizza.


Alcune precisazioni ...

• Nelle cifre CORE non e’ inclusa l’IVA. Va quindi aggiunta alle richieste.

• Nel calcolo delle cifre CORE non sono stati inclusi gli “spare” per una decisione di ATLAS. Gli “spare” vanno richiesti (in una percentuale congrua al numero di item da produrre) quando si richiedono i finanziamenti. Abbiamo iniziato a chiedere “spare” gia’ dal 2003 (5% degli item prodotti).


Tabella CORE 2002/2003 (k€)

Secondo run ASIC CM 70 settembre (riserva da spostare nel 2003)

Produzione splitter 322 settembre (costo parziale)

Produzione PAD OR 215 settembre (stima costi finale)

Produzione ASIC CM 350 + 200 riserva splitter (*) + 70 riserva secondo prototipo

Produzione PAD boards 430 (*)

Produzione Matrix boards 207 (*)

Optical link TX/RX + fibre 23 + 5 (fibre)

TTC boards / components 54 (da valutare l’evoluzione dei costi CERN)

ELMB (DCS) 52 (sj a gara CERN)

Cooling + mechanics 129 (valutazioni in corso sul sistema di cooling)

Spare (5%)IVA

27 + 61107.4 + 270,5 (*) s.j. ai risultati dei test d’integrazione o per compensare gli aumenti


• Algoritmi di trigger di LVL2 basati sui rivelatori Pixel, TileCal, RPC e MDT

• Valutazione dei programmi di ricostruzione offline dei muoni (MUONBOX e MOORE) come candidati per i programmi di Event Filter

• Calcolo delle trigger rate• Software framework per HLT (CORE software)• Core software per l’Event Filter • Sviluppi DAQ per testbeam• Slice verticale di LVL1 + HLT per i muoni

Attività in corso : HLT/DAQ


LVL1TriggerSystem

DataCollection

PESA

EventStore

ReadoutSubsystem

HLTDataflow

datafragments

datarequests

data requests+ decisions

ROIs + events

events

events

algorithms

OnlineSoftware

DataflowSystem

control &monitoring

TTC

LVL1 result

LVL1 output

Detector

detectordata

Flusso dei datiin LVL1/HLT/DAQ :da implementare in una “slice verticale”rappresentativa diun detector (e.g. Muon Det.)


Muon Readout & Data

Acquisition (Testbeam CERN

e Lab ATLAS Roma)

Fast Ethernet Link

12

x D

ua

l P

3 1

GH

z

Switch 3COMSuperStack II 4950

11

x D

ua

l P

3 8

00

MH

z

GigabitEthernet link

Fibra ottica

Network

HLT Farm (SICR Roma)

Slice verticale di HLT e DAQ

MonitoringCalibration

ADCs, TDCs

ROD

TDCsC.C.

ROD

CSM

Chamber(s)

F/GEth

FEth

FEth

F/GEth

CDR

FEth

Online

SFI SFO

Temperaturesensors

MDT Crate

Beam Crate

PC

PC PC

PCPC

PVSS / DCS

ROS

Data FlowEthernet

DCSControllo

C.C.

Messa in opera di una “slice” verticale del sistema di Readout, Trigger e DAQ dei rivelatori di Muoni del Barrel.

Architettura:•Readout e DAQ del Testbeam dei Muoni ad H8 del CERN•Integrazione di una farm HLT quale quella disponibile al SICR (Classis ATLAS Farm)

Scopo: •Studio del flusso dei dati dal rivelatore fino allo storage, filtrando i dati con algoritmi HLT.•Risultati per il TDR di HLT/DAQ dovuto per giugno 2003.

Switch


Richieste finanziarie per HLT 2003 Le richieste finanziarie per il 2003 sono basate sul

seguente impegno dei gruppi italiani :

• Slice verticale di TDAQ a Roma1 che include la lettura di alcuni detector (e.g. MDT e RPC) e alla quale contribuiscono tutte le sezioni. E’ un test importante per la messa a punto del software DAQ e degli algoritmi di Trigger (LVL1, LVL2 e EF), di Calibrazione e Monitoring. Si lavora con eventi simulati che vengono iniettati all’inizio del Data Flow. Si studiano in dettaglio le interfacce tra i vari livelli di trigger e di ciascuno di essi con il DAQ.

• Richiesta finanziaria : 5 k euro a Roma1 per ampliamento del testbed.


Pixel-Tilecal-MDT Combined Run


“Even

t Filte

r”

Local SF1

Local SFn

Back-End

Ethernet

LDAQ

TRG

CORBO

EBIF

ROB0

ROB1

ROC1ROB2

RODCC

ROD crateROD0

PEB

ROD1

PEB

CORBO

RODCC

RODCC

Beam crate

TTCVi

ADCs

TDCs

CORBO

BEAMCC

CANI/F

TTC

Tilecal

LDAQ

SFIO

SFC1

CDR

Back-End

Ethernet

RODCC

ROD crateCSM0

CORBO

RODCC

RODCC

ADC

CAMAC

ADC

ADC

Trigger crate

RODCC

Beam crate

ADCs

TDCs

CORBO

BEAMCC

CCAI/F

LDAQ

SFIO

SFC1

CDR

LDAQ

TRGEBIFROB

ROC1

TileCal

Muon

DAQ DAQ Control RoomControl Room

SWITCH

OnlineOnlineCalibrationCalibration

Remote SF1

Remote SFn

B.Di Girolamo


A test with many expectations

• Organization of a common trigger and busy infrastructure across sub-detectors with different readout

• Integration of three different DAQ systems all based on current DAQ prototype for testbeam (aka DAQ-1 and evolution)

• Full DAQ/EF architecture implementation– Evaluation of online calibration performance– Storage of a set of data to be used for later EF

studies

• Exploitation of up- and down-stream tracking for calorimeter reconstruction?


Detector setupMuon

chambers

e,

Pixeltelescope

Tilecalmodules

scintillator

scintillator

dump

Pixel beam telescope (fast readout, 125 s busy)

Tilecal: 2 barrel modules 2 extended barrel modules

MDT: 6 barrel chambers


Combined Trigger and Busy

• Need of cabling trigger and busy lines– Trigger on Pixel scintillator– Trigger on scintillator after Tile – Muon busy ~ 800 s– Pixel busy ~ 125 s– Tile busy ~ 200 s

• Master trigger issued by Pixel– Setup can be run

• Selecting only muons• Selecting muons + prescaled

• Busy lines from MDT and Tile sent to Pixel


DAQ• Common configuration DB• Network structure based on muon model

– MDT Gigabit and Fast Ethernet Switch • Private gigabit network for data• Fast ethernet network for control

• 6 detector specific ROD emulators• 3 detector ROSes• Unique SFI

– Muon SFI used for:• Event building• Interface to event filter

• Dedicated gigabit link to Meyrin– 9x2 processors available in building 513 for EF studies


FAST ETH

GB ETH

CERN ETH

MAGNIEF Farm 2

Pctbmu02ROS1

pctiledaqROS3

Pctbmu05DFM

Pctbmu04SFI/O

Pctbmu06EF Farm1

PctbmugwGateway

datadata

Pctbmu01ONLWS

pixdaq01ROS4

6 RIO2

8 PCs

1 SBC PC


Integrated IGUI panelsTilecal configuration panel Muon trigger configuration panel Pixel configuration panel

Pixel textual monitor


• Muons Processing Task working in the muon TB– Pixel and Tile data could go through Muons

Processing Task untouched• Need for Event format to modify the decoding routine

• Tile and Pixel processing ?– To be unified in the Muon Calib program.– Too ambitious ?

Event Filter

More emphasis to offline analysis and playback Next year we can repeat the exercise if

possible and have a well done Processing Task


Sample online calib plots


What we learned• Integration of detectors using

– Different hardware• RIOs (mu, tile) and Concurrent Technologies (pixel)

– Different detector specific software• ROD emulators, monitors at different levels

– Different ROD-ROB links and protocols• S-link, TCP/IP on ethernet

– Different data taking strategies• ATLAS-like (mu, tile) and asynchronous (pixel)

– Extended muon network structure• Private fast and gigabit ethernet networks


What we learned (2)

• Online data quality checks using– Online monitoring tasks– Calib on different detectors’ data

• Online and dataflow:– Performance limit not reached– Several issues on system usability– Many feedbacks for the DAQ group


Data Taking• Many runs for

– Configuration test– Trigger setup– Event filter studies

• Both old and new software

• During last night– Stable runs– More than 2x106 events

• Only muons• Muons + Pions (ratio 1/5)


Web page ready (to be update soon…)


Conclusions• The first integrated multi-detector run

succeeded• Interesting tests

– Looking for problems… and solutions– Set of data useful for

• Event Filter studies• DAQ studies• Future useful tools preparation

• Studying solutions for 2004 ATLAS Barrel wedge run


Allocazione cifre CORE

• LVL1 Muon Barrel : elettronica on-detector (incluso sviluppo ASIC) e off-detector, DCS

• LVL2 : Switch, concentratori, distributori e processori (Spettrometro a muoni e Pixel)

• EF : Interfacce switch-farm, cpu e crate, 10% prototipi

• Readout (ROS) : Crate, ROB (MDT, RPC e Pixel), DAQ cpu, link e Trigger I/F


Proposta per HLT e ROS

• A causa del ritardo nella scrittura del TDR di HLT/DAQ/DCS, non si è ancora giunti ad una definizione dell’architettura TDAQ.

• IL TDR è dovuto per giugno 2003 e quindi si propone di spostare le cifre CORE per ROS e HLT dal 2003-2004 al 2004-2005.


Profilo CORE Trigger LVL1Item Number Unit cost(Mlit) Total cost 2001 2002 2003 2004 2005

PAD boards 832 1 832 832PAD OR boards 832 0,5 416 416Splitter boards 832 0,75 624 624Matrix boards 3328 0,12 399 399CM ASIC 1200 1200Optical link TX/RX + fibre 416 1 416 416RX boards + backplane 110 110Sector logic 128 150 150ROD (no Slink) 32 40 40TTC boards/ components 864 0,12 104 104LEMB (DCS) 832 100 100Cables (obsolete) 350 350Low Voltage 64 3 192 192Crates (VME 64x 6U) 16 10 160 160Cooling + mechanics 832 0,3 250 250

Total 5343 2240 2451 652


Profilo di spesa CORE sett.2001

• * Nota che si è assunto 1 CHF = 1200 Lit• * Nota che le stime attuali del costo dello sviluppo del chip

richiedono circa 1.2 GL, quindi un incremento di circa 1 GL• Nota che nel 2002 non si prevedono spese CORE per HLT e

ROS perchè il TDR verrà completato entro fine 2002.

1999

2000

2001

2002

2003

2004

2005

Tot (ML) *

Tot (kCHF)

LVL1

0 0 0 2240 2451 652 0 5343 4453

ROS 0 0 0 0 1300 1600 0 2900 2400

HLT 0 0 0 0 400 700 0 1100 900


Profilo di spesa CORE realistico

• (*) Totali da rivedere in base alle richieste e assegnazioni effettive

• Nota che nel 2002 non si prevedevano spese CORE per HLT e ROS perchè il TDR doveva essere completato entro fine 2002. Ora sappiamo che c’e’ un ulteriore ritardo di 6 mesi (generato dal ritardo globale di LHC).

• Le attività PESA sono, per ora, attività software coperte dai finanziamenti per il calcolo.

2000 2001 2002 2003 2004 2005 Tot (ML) *

Tot (kEuro)

Tot (kCHF)

LV1 0 0 2240 (*)

2451 (*)

652 (*)

0 5343 2760 4453

ROS 0 0 0 0 1300 1600 2900 1498 2400

HLT 0 0 0 0 400 700 1100 568 900

ATLAS Trigger/DAQ

Documents

Transcript of ATLAS Trigger/DAQ