Il caso delle misuredi eventi rari
Caterina BloiseIncontri di Fisica
LNF-INFN, 2 ottobre 2007
LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 2
Scelta degli argomenti
I risultati delle misure Determinazione del livello di confidenza di un risultato Il caso (molto comune) della ricerca di eventi rari Estrazione del segnale in presenza di fondo Trattamento delle fluttuazioni statistiche Trattamento delle sistematiche
Motivazioni Sono tutte questioni ampiamente dibattute Facilmente esemplificabili Di interesse generale
Tutti esemplificati
LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 3
I risultati delle misure
Il risultato si vuole che contenga l’informazione del processo di misura che lo determina, un processo complesso in cui sono coinvolti la strumentazione e la capacità sperimentale di controllo, i criteri per la selezione degli eventi di interesse, le fluttuazioni statistiche del campione.
Possiamo esemplificare bene la procedura che porta alla determinazione del risultato focalizzando le argomentazioni al caso della ricerca di eventi rari.
Questa presuppone, schematicamente, una procedura di selezione la valutazione della composizione del campione selezionato la determinazione del numero di eventi di cercati (segnale),
estratta dal conteggio del campione selezionato (s+b) la valutazione degli intervalli di confidenza del risultato in
connessione alle fluttuazioni statistiche e alle sistematiche
LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 4
Selezione degli eventi
Bisogna definire un set di variabili discriminanti in grado di separare il segnale dal fondo e un set di loro valori (tagli) in base ai quali effettuare la selezione
Il campione selezionato sarà composto di un numero di eventi n
n = s + b = s S + b B s = P ( accept | s ), b = P ( accept | b )
LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 5
Un esempio di procedura selettiva
Le predizioni del Modello Standard sono confermate oggi con incredibile precisione dagli esperimenti
L’aspetto insoddisfacente è l’incapacità di motivare il numero e la massa di quark e leptoni
La ricerca di fenomeni di nuova fisica comprende una serie di processi soppressi e calcolabili con precisione nell’ambito del Modello Standard. Un risultato diverso indicherebbe effetti nuovi nel settore indagato
La ricerca di decadimenti K e (Ke2) ricade in questa classe, in questo caso la frequenza aspettata è 1.4/105
“Ke2” a KLOE
LNF-INFN, Frascati C. Bloise- 2 ottobre 2007
Ricerca di nuova fisica: “Ke2” a
KLOE
M2lep (MeV2)
MC Ke2
MC K2
eE
1
E2
E5
Clus
ter de
pth
Calorimeter
Sperimentalmente bisogna identificare questi eventi, isolandoli dal canale 40,000 volte più frequente K (K2)
Gli eventi sono caratterizzati a KLOE da impulsi diversi dei secondari carichi. L’ottima ma comunque finita precisione della misura dell’impulso impone l’introduzione di ulteriori variabili discriminanti
M2lep= (EK-Plep)2 – (Plep)2
per K2 ~1.1 104
per Ke2 ~0.2
T.Spadaro, Pechino 07
LNF-INFN, Frascati C. Bloise- 2 ottobre 2007
MC Ke2
MC K2
MC K2
MC Ke2
Emax
(MeV)
ERMS
(MeV)
Af
0-0.4-0.8 0.4 0.8 0 100
0 40 120
200 300
800
1
2
3
0
1
2
0
2
4
Variabili discriminanti“Ke2
” a KLOE
T.Spadaro, Pechino 07
LNF-INFN, Frascati C. Bloise- 2 ottobre 2007M2lep (MeV2)
MC K2 w/o PID
MC K2 w PID
MC Ke2
w/o PID
MC Ke2
w PID
M2lep (MeV2)
Data w/o PIDData w PID
Risultati della selezione
La procedura è in grado di selezionare il segnale con = 0.6, riducendo il fondo allo 0.2% del valore iniziale
L’analisi di un ulteriore campione, K e , permette di controllare le incertezze dovute alla simulazione.
“Ke2” a KLOE
T.Spadaro, Pechino 07
LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 9
Una procedura di fit del likelihood nel piano ERMS vs M2lep
permette, conosciute le p.d.f. di segnale e background, di ottenere il conteggio di b e s (s = 8090±160)
M2lep (MeV2)
Data
Fit region
ERMS
(MeV)
ERMS (MeV)
M2lep (MeV2)
Data
° MC FitMC bkg
-40000
400
800
-2000 0 2000 4000
040
800
1200
80 120
400
Conteggio del segnale“K
e2 ” a KLOE
T.Spadaro, Pechino 07
LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 10
Determinazione del livello di confidenza
Data la distribuzione P(x|) si individuano i valori di x più improbabili fino ad ottenere una somma di probabilità leggermente minore o uguale a tali valori sono intesi come utili a rigettare l’ipotesi che il risultato della misura sia
L’operazione si ripete per ogni
LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 11
Intervalli di confidenza
P(n|e- n /n! Per ogni la probabilità che n sia
compreso nell’intervallo centrale è del 68% o appena superiore per costruzione
Per ogni n, è compreso tra [-,,+] con livello di confidenza del 68%
n = 3 [2.16, 3.38] 3-0.84
+0.38
La tecnica è la stessa per ogni C.L., sia esso centrale, sia un limite superiore [0, +], o inferiore [-, ∞] Se la determinazione sperimentale di x è n, siamo in grado di selezionare tra tutti i valori di quelli “compatibili” con n, per cui n non è compreso tra i valori individuati nell’operazione precedente
L’intervallo di ottenuto conterrà il valore del parametro misurato con probabilità ≥ 1 - .
n
-
+
68%
16%16%
LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 12
P(n|se-(s+b) (s+b)n /n! Un’analoga regione, traslata di b, si
ottiene quando si vuole misurare un segnale in presenza di fondo b
La costruzione indica zone scoperte, con risultati nella regione di s non fisica,in caso di sottofluttuazione nel background
La costruzione degli intervalli per i limiti superiori rimane indipendente e diversa da quella degli intervalli centrali
Questi aspetti sono inerenti la costruzione degli intervalli di confidenza che è indipendente dalla prossimità della regione non fisica dei valori dei parametri
Estrazione del segnale in presenza di fondo
intervalli centrali, di 90% C.L. con fondo b = 3
G.Feldman e R.Cousins,Phys.Rev.D,57(1998),3873
LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 13
Sottofluttuazioni del fondo
P(n|se-(s+b) (s+b)n /n! n = 5, b = 0.9 s = 4.1
-2.16+3.38
n = 5, b = 4.9 s = 0.1-2.16
+3.38 ? n = 5, b = 6.9 s =-1.9
-2.16+3.38 ?
n = 5, b = 10.9 s = -5.9-2.16
+3.38 ?
Corretto se si ricorda l’intera procedura e che ci si aspetta per costruzione di rigettare l’ipotesi giusta sul parametro con probabilità del 32%
Un risultato che tenga conto della regione fisica del parametro sarebbe comunque di più facile lettura
LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 14
Ordinamento della p.d.f.
G.Feldman e R.Cousins,Phys.Rev.D,57(1998),3873
intervalli centrali, di 90% C.L. con fondo b = 3
P(n|se-(s+b) (s+b)n /n! Feldman e Cousins hanno proposto
un diverso principio di ordinamento per la costruzione degli intervalli di confidenza
Ad ogni n viene assegnato un rango in base al rapporto P(n|sP(n|sbest
sbest nel caso della poissoniana è max{0, n-b}
Per costruire gli intervalli [n-(s), n+
(s)] si utilizzano gli n in ordine decrescente di rango fino ad integrare una probabilità pari al C.L.
LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 15
Limiti superiori sul segnale
P(n|se-(s+b) (s+b)n /n! n = 5, b = 0.9 s = 4.1
-2.35+2.71
n = 5, b = 4.9 s < 2.81 (5.0) n = 5, b = 6.9 s < 1.23 (3.2) n = 5, b = 10.9 s < 0.35 (1.7)
G.Feldman e R.Cousins,Phys.Rev.D,57(1998),3873
Limiti sul segnale più stringenti per sottofluttuazioni del background più improbabili
Situazione attesa. Quando la sottofluttuazione è estremamente improbabile la valutazione del background diventa sospetta
LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 16
Evidenza di segnale
Per n> 6 si passa da limiti superiori a intervalli di confidenza per s
Per ottenere un livello di falsi segnali inferiore all’1% con b = 3 è richiesto n ≥ 9
n
s
FC: Intervalli @90% C.L., b = 3
LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 17
Dal Report su Chernobyl
n = 19 [15,24] 68% C.L. ; [12.5,27.5] 90% C.L.; [11,29] 95% C.L. indicativo della precisione del numero atteso o sovrafluttuazione di 2 ?
Intervalli di confidenza, C.L. = 0.68, limiti superiori per = 0.90 n = 22 b = 6.78 [10.6, 20.5] b= 11.7-2.5 +3.1 [5.7, 15.6] n = 7 b = 4.87 < 7.6 b= 8.4 < 4.2 n = 0 b = 2.59 < 0.1 b= 4.5 ---
LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 18
Trattamento Bayesiano
L’approccio alternativo proposto dagli statisti è quello di considerare le grandezze da determinare variabili, alla stregua delle quantità misurate
Assunzione insoddisfacente per molti Il processo di misura è quindi schematizzabile in termini di
estrazione della p.d.f. delle grandezze da determinare a partire dalla p.d.f. delle variabili misurate
)();();( PnPnP
L’operazione presuppone l’introduzione a priori della p.d.f. delle grandezze P()
Anche la necessità di introdurre P() sembra insoddisfacente per l’arbitrarietà della scelta
Da un altro punto di vista questo sembra praticamente inevitabile La dipendenza del risultato dalla p.d.f. introdotta a priori va
comunque studiata e presentata
LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 19
Intervalli credibili
Seguendo l’approccio bayesiano si arriva a definire gli intervalli di credibilità [-,,+] per le grandezze misurate, corrispondenti ad un livello di confidenza , invertendo l’equazione
)();( PnPrn
P() uniforme: tutti i valori di hanno la stessa credibilità a priori
P(ln() uniforme P()1/ tutti i valori di hanno la stessa credibilità a priori se sono della stessa scala, all’aumentare della scala diventano proporzionalmente più improbabili
rn costante di normalizzazione
LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 20
Intervalli credibili – prior uniforme
= x
P(0 events| )
(Likelihood)
Prior: uniformPosterior P( )
3 P( ) d = 0.95 Stesso limite superiore del caso frequentista
0
Se n=0
LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 21
Intervalli credibili, dipendenza da b
sers
snorm
0
0
nnormer
Prior: uniform
sbsers
nbsnorm
0
)( )(
Se n=0 il limite superiore non dipende da b
1.-s+ = s+ = -ln( 1.- s+ = 2.3 @ 90% C.L. s+ = 3.0 @ 95% C.L. s+ = 4.6 @ 99% C.L. Riflette il fatto che in questo caso
sappiamo precisamente che il valore ottenuto nb = 0
LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 22
= x
P(0 events| )
(Likelihood)
Prior: uniform in ln Posterior P( )
3 P( ) d » 0.95
0
Se n=0
Intervalli credibili – prior 1/
LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 23
Intervalli di confidenza usando le likelihood
Si utilizzano i valori della grandezza da misurare corrispondenti alog(L) = log(LMAX) – ½ : 68% C.L.
log(L) = log(LMAX) – 1.35 : 95% C.L.
Se n = 5 5.0-1.9
+2.6 @ 68% C.L.
LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 24
a
b
L(a,b)
Il caso di più parametri
Si fissa un parametro, b, e si trova l’intervallo per a usando ln L=-½ Si fissa a, e si trova l’intervallo per b usando ln L=-½ Il rettangolo individuato è relativo a un C.L. 0.682=46% L’ellisse tangente è relativa a un C.L. = 39%
In generale le curve di uguale likelihood L circoscrivono una regione nello spazio dei parametri relativa ad un C.L. dato da P(N) = , con = 2ln L e N numero di parametri
LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 25
Trattamento delle sistematiche
Si ripete la costruzione degli intervalli utilizzando la poissoniana o la funzione di verosimiglianza, likelihood, convoluta con il prodotto delle gaussiane che tengono conto delle incertezze sul valore del fondo e delle sistematiche sull’efficienza nella selezione del segnale
LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 26
Effetto degli errori sistematici
N_obs b Sys. Unc. % Intervalli per
2 2 0.0 [0,3.90]
0.2 [0,3.95]
0.3 [0,4.10]
0.4 [0,4.65]
6 2 0.0 [1.1,9.45]
0.2 [1.05,10.05]
0.3 [1,05,11.50]
0.4 [1.05,13.35]
LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 27
Ricerca di eventi Ks000
n = 4 b = 3.2±1.5 b = 0 < 5.3, 90% C.L. b/b = 0.4 < 5.8, 90% C.L.
Previsto nel Modello Standard con frequenza 2/109 in quanto può avvenire solo attraverso processi che violano CP
Il fondo è costituito da Ks00 che è150 milioni di volte più frequente
LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 28
Ricerca di eventi a Belle
b = 13.9-4.8
+6.0 n=10
b = 0 < 3.3, 90% C.L. b/b = 0.4 < 3.6, 90% C.L. Usando la funzione di verosimiglianza
Belle ha pubblicato un limite leggermente migliore, corrispondente a < 2.2, 90% C.L.
Decadimento vietato nel Modello Standard ma possibile in Modelli Supersimmetrici, che prevedono la violazione del numero leptonico
LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 29
Il fenomeno delle oscillazioni di particella
Fenomeno quanto-meccanico governato da massa e vita medie delle particelle coinvolte
Analisi che utilizza la funzione di likelihood, L= 1 -(+) A cos(ms t)
LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 30
Conclusioni
I risultati si vorrebbe compendiassero molteplici aspetti della misura per garantire un confronto semplice e affidabile con altri esperimenti e con le previsioni teoriche
La costruzione degli intervalli di confidenza è cruciale da questo punto di vista.
Diverse procedure sono utilizzate per la definizione degli intervalli di confidenza. Per essere accettabili devono garantire la copertura dei valori compatibili con le variabili misurate al livello di confidenza dichiarato.
Le procedure più comunemente utilizzate vincolano i risultati nella regione fisica
La definizione degli intervalli attraverso le likelihood è ampiamente utilizzata perché permette di includere direttamente dettagli sperimentali e vincoli fisici
LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 31
LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 32
Χ2 approximation
Constant for n given
Profile likelihood function
2 log L(b_max …) ≈ Χ2
sl su
Chi2 = 2.71
LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 33
LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 34
kkkk
G.Feldman e R.Cousins,Phys.Rev.D,57(1998),3873
Top Related