Il caso delle misure di eventi rari

Presentazione sul tema: "Il caso delle misure di eventi rari"— Transcript della presentazione:

1 Il caso delle misure di eventi rari
Caterina Bloise Incontri di Fisica LNF-INFN, 2 ottobre 2007

2 Scelta degli argomenti
I risultati delle misure Determinazione del livello di confidenza di un risultato Il caso (molto comune) della ricerca di eventi rari Estrazione del segnale in presenza di fondo Trattamento delle fluttuazioni statistiche Trattamento delle sistematiche Tutti esemplificati Motivazioni Sono tutte questioni ampiamente dibattute Facilmente esemplificabili Di interesse generale LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

3 I risultati delle misure
Il risultato si vuole che contenga l’informazione del processo di misura che lo determina, un processo complesso in cui sono coinvolti la strumentazione e la capacità sperimentale di controllo, i criteri per la selezione degli eventi di interesse, le fluttuazioni statistiche del campione. Possiamo esemplificare bene la procedura che porta alla determinazione del risultato focalizzando le argomentazioni al caso della ricerca di eventi rari. Questa presuppone, schematicamente, una procedura di selezione la valutazione della composizione del campione selezionato la determinazione del numero di eventi di cercati (segnale), estratta dal conteggio del campione selezionato (s+b) la valutazione degli intervalli di confidenza del risultato in connessione alle fluttuazioni statistiche e alle sistematiche LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

4 Selezione degli eventi
Bisogna definire un set di variabili discriminanti in grado di separare il segnale dal fondo e un set di loro valori (tagli) in base ai quali effettuare la selezione Il campione selezionato sarà composto di un numero di eventi n n = s + b = es S + eb B s = P ( accept | s ), b = P ( accept | b ) LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

5 Un esempio di procedura selettiva
“Ke2” a KLOE Le predizioni del Modello Standard sono confermate oggi con incredibile precisione dagli esperimenti L’aspetto insoddisfacente è l’incapacità di motivare il numero e la massa di quark e leptoni La ricerca di fenomeni di nuova fisica comprende una serie di processi soppressi e calcolabili con precisione nell’ambito del Modello Standard. Un risultato diverso indicherebbe effetti nuovi nel settore indagato La ricerca di decadimenti K  en (Ke2) ricade in questa classe, in questo caso la frequenza aspettata è 1.4/105 LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

6 M2lep= (EK-Plep)2 – (Plep)2
Ricerca di nuova fisica: “Ke2” a KLOE Sperimentalmente bisogna identificare questi eventi, isolandoli dal canale 40,000 volte più frequente K  mn (Km2) Gli eventi sono caratterizzati a KLOE da impulsi diversi dei secondari carichi. L’ottima ma comunque finita precisione della misura dell’impulso impone l’introduzione di ulteriori variabili discriminanti m e E1 E2 E5 Cluster depth Calorimeter T.Spadaro, Pechino 07 MC Km2 MC Ke2 per Km2 ~ M2lep= (EK-Plep)2 – (Plep)2 per Ke2 ~0.2 M2lep (MeV2)

7 Variabili discriminanti “Ke2” a KLOE
MC Km2 MC Ke2 Emax(MeV) ERMS(MeV) Af -0.4 -0.8 0.4 0.8 100 40 120 200 300 80 1 2 3 4 MC Ke2 MC Km2 T.Spadaro, Pechino 07

8 Risultati della selezione “Ke2” a KLOE
La procedura è in grado di selezionare il segnale con = 0.6, riducendo il fondo allo 0.2% del valore iniziale L’analisi di un ulteriore campione, K  p e n, permette di controllare le incertezze dovute alla simulazione. M2lep (MeV2) MC Km2 w/o PID MC Km2 w PID MC Ke2 w/o PID MC Ke2 w PID Data w/o PID Data w PID T.Spadaro, Pechino 07

9 Conteggio del segnale “Ke2” a KLOE · Data Data ERMS (MeV) ° MC Fit
Una procedura di fit del likelihood nel piano ERMS vs M2lep permette, conosciute le p.d.f. di segnale e background, di ottenere il conteggio di b e s (s = 8090±160) M2lep (MeV2) Data Fit region ERMS (MeV) · Data ° MC Fit  MC bkg -4000 400 800 -2000 2000 4000 40 1200 80 120 T.Spadaro, Pechino 07 LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

10 Determinazione del livello di confidenza
Data la distribuzione P(x|m) si individuano i valori di x più improbabili fino ad ottenere una somma di probabilità leggermente minore o uguale a g: tali valori sono intesi come utili a rigettare l’ipotesi che il risultato della misura sia m L’operazione si ripete per ogni m LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

11 Intervalli di confidenza
m n m - m + 68% 16% P(n|m) = e-m mn /n! Per ogni m la probabilità che n sia compreso nell’intervallo centrale è del 68% o appena superiore per costruzione Per ogni n, m è compreso tra [m-,,m+] con livello di confidenza del 68% n = 3  [2.16, 3.38]  m = La tecnica è la stessa per ogni C.L., sia esso centrale, sia un limite superiore [0, m+], o inferiore [m-, ∞] Se la determinazione sperimentale di x è n, siamo in grado di selezionare tra tutti i valori di m quelli “compatibili” con n, per cui n non è compreso tra i valori individuati nell’operazione precedente L’intervallo di m ottenuto conterrà il valore del parametro misurato con probabilità ≥ 1 - g. LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

12 Estrazione del segnale in presenza di fondo
P(n|s) = e-(s+b) (s+b)n /n! Un’analoga regione, traslata di b, si ottiene quando si vuole misurare un segnale in presenza di fondo b La costruzione indica zone scoperte, con risultati nella regione di s non fisica,in caso di sottofluttuazione nel background La costruzione degli intervalli per i limiti superiori rimane indipendente e diversa da quella degli intervalli centrali Questi aspetti sono inerenti la costruzione degli intervalli di confidenza che è indipendente dalla prossimità della regione non fisica dei valori dei parametri G.Feldman e R.Cousins,Phys.Rev.D,57(1998),3873 intervalli centrali, di 90% C.L. con fondo b = 3 LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

13 Sottofluttuazioni del fondo
P(n|s) = e-(s+b) (s+b)n /n! n = 5, b = 0.9  s = n = 5, b = 4.9  s = ? n = 5, b = 6.9  s = ? n = 5, b = 10.9  s = ? Corretto se si ricorda l’intera procedura e che ci si aspetta per costruzione di rigettare l’ipotesi giusta sul parametro con probabilità del 32% Un risultato che tenga conto della regione fisica del parametro sarebbe comunque di più facile lettura LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

14 Ordinamento della p.d.f. P(n|s) = e-(s+b) (s+b)n /n!
Feldman e Cousins hanno proposto un diverso principio di ordinamento per la costruzione degli intervalli di confidenza Ad ogni n viene assegnato un rango in base al rapporto P(n|s) / P(n|sbest) sbest nel caso della poissoniana è max{0, n-b} Per costruire gli intervalli [n-(s), n+(s)] si utilizzano gli n in ordine decrescente di rango fino ad integrare una probabilità pari al C.L. G.Feldman e R.Cousins,Phys.Rev.D,57(1998),3873 intervalli centrali, di 90% C.L. con fondo b = 3 LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

15 Limiti superiori sul segnale
P(n|s) = e-(s+b) (s+b)n /n! n = 5, b = 0.9  s = n = 5, b = 4.9  s < 2.81 (5.0) n = 5, b = 6.9  s < 1.23 (3.2) n = 5, b = 10.9  s < 0.35 (1.7) G.Feldman e R.Cousins,Phys.Rev.D,57(1998),3873 Limiti sul segnale più stringenti per sottofluttuazioni del background più improbabili Situazione attesa. Quando la sottofluttuazione è estremamente improbabile la valutazione del background diventa sospetta LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

16 Evidenza di segnale FC: C.L., b = 3 s Per n> 6 si passa da limiti superiori a intervalli di confidenza per s Per ottenere un livello di falsi segnali inferiore all’1% con b = 3 è richiesto n ≥ 9 n LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

17 Dal Report su Chernobyl
n = 19  [15,24] 68% C.L. ; [12.5,27.5] 90% C.L.; [11,29] 95% C.L indicativo della precisione del numero atteso o sovrafluttuazione di 2s ? Intervalli di confidenza, C.L. a = 0.68, limiti superiori per a = 0.90 n = 22 b = [10.6, 20.5] b= [5.7, 15.6] n = 7 b = < b= < 4.2 n = 0 b = < b= LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

18 Trattamento Bayesiano
L’approccio alternativo proposto dagli statisti è quello di considerare le grandezze da determinare variabili, alla stregua delle quantità misurate Assunzione insoddisfacente per molti Il processo di misura è quindi schematizzabile in termini di estrazione della p.d.f. delle grandezze da determinare a partire dalla p.d.f. delle variabili misurate L’operazione presuppone l’introduzione a priori della p.d.f. delle grandezze P(m) Anche la necessità di introdurre P(m) sembra insoddisfacente per l’arbitrarietà della scelta Da un altro punto di vista questo sembra praticamente inevitabile La dipendenza del risultato dalla p.d.f. introdotta a priori va comunque studiata e presentata LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

19 Intervalli credibili Seguendo l’approccio bayesiano si arriva a definire gli intervalli di credibilità [m-,,m+] per le grandezze misurate, corrispondenti ad un livello di confidenza a, invertendo l’equazione rn costante di normalizzazione P(m) uniforme: tutti i valori di m hanno la stessa credibilità a priori P(ln(m)) uniforme  P(m)1/m : tutti i valori di m hanno la stessa credibilità a priori se sono della stessa scala, all’aumentare della scala diventano proporzionalmente più improbabili LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

20 Intervalli credibili – prior uniforme
Se n=0 = x m m m Posterior P( m ) P(0 events| m) (Likelihood) Prior: uniform 3 P(m ) dm = Stesso limite superiore del caso frequentista LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

21 Intervalli credibili, dipendenza da b
Se n=0 il limite superiore non dipende da b 1.-s+ = a  s+ = -ln( 1.- a ) s+ = 2.3 @ 90% C.L. s+ = 3.0 @ 95% C.L. s+ = 4.6 @ 99% C.L. Riflette il fatto che in questo caso sappiamo precisamente che il valore ottenuto nb = 0 Prior: uniform LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

22 Intervalli credibili – prior  1/m
Se n=0 = x m m m Posterior P( m ) P(0 events| m) (Likelihood) Prior: uniform in ln m 3 P(m ) dm » 0.95 LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

23 Intervalli di confidenza usando le likelihood
Si utilizzano i valori della grandezza da misurare corrispondenti a log(L) = log(LMAX) – ½ : 68% C.L. log(L) = log(LMAX) – 1.35 : 95% C.L. Se n = 5  m = @ 68% C.L. m LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

24 Il caso di più parametri
Si fissa un parametro, b, e si trova l’intervallo per a usando ln L=-½ Si fissa a, e si trova l’intervallo per b usando ln L=-½ Il rettangolo individuato è relativo a un C.L =46% L’ellisse tangente è relativa a un C.L. a = 39% In generale le curve di uguale likelihood L circoscrivono una regione nello spazio dei parametri relativa ad un C.L. a dato da P(2 ,N) = a, con 2 = 2ln L e N numero di parametri L(a,b) b a LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

25 Trattamento delle sistematiche
Si ripete la costruzione degli intervalli utilizzando la poissoniana o la funzione di verosimiglianza, likelihood, convoluta con il prodotto delle gaussiane che tengono conto delle incertezze sul valore del fondo e delle sistematiche sull’efficienza nella selezione del segnale LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

26 Effetto degli errori sistematici
N_obs b Sys. Unc. % Intervalli per m 2 0.0 [0,3.90] 0.2 [0,3.95] 0.3 [0,4.10] 0.4 [0,4.65] 6 [1.1,9.45] [1.05,10.05] [1,05,11.50] [1.05,13.35] LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

27 Ricerca di eventi Ksp0p0p0
Previsto nel Modello Standard con frequenza 2/109 in quanto può avvenire solo attraverso processi che violano CP Il fondo è costituito da Ksp0p0 che è 150 milioni di volte più frequente n = 4 b = 3.2±1.5 Db = m < 5.3, 90% C.L. Db/b = m < 5.8, 90% C.L. LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

28 Ricerca di eventi t  mg a Belle
Decadimento vietato nel Modello Standard ma possibile in Modelli Supersimmetrici, che prevedono la violazione del numero leptonico b = n=10 Db = 0 m < 3.3, 90% C.L. Db/b = m < 3.6, 90% C.L. Usando la funzione di verosimiglianza Belle ha pubblicato un limite leggermente migliore, corrispondente a m < 2.2, 90% C.L. LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

29 Il fenomeno delle oscillazioni di particella
Fenomeno quanto-meccanico governato da massa e vita medie delle particelle coinvolte Analisi che utilizza la funzione di likelihood, L= 1 -(+) A cos(Dms t) LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

30 Conclusioni I risultati si vorrebbe compendiassero molteplici aspetti della misura per garantire un confronto semplice e affidabile con altri esperimenti e con le previsioni teoriche La costruzione degli intervalli di confidenza è cruciale da questo punto di vista. Diverse procedure sono utilizzate per la definizione degli intervalli di confidenza. Per essere accettabili devono garantire la copertura dei valori compatibili con le variabili misurate al livello di confidenza dichiarato. Le procedure più comunemente utilizzate vincolano i risultati nella regione fisica La definizione degli intervalli attraverso le likelihood è ampiamente utilizzata perché permette di includere direttamente dettagli sperimentali e vincoli fisici LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

31 LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

32 Profile likelihood function
Χ2 approximation Profile likelihood function 2 log L(b_max …) ≈ Χ2 Chi2 = 2.71 Constant for n given sl su LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

33 LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

34 kkkk G.Feldman e R.Cousins,Phys.Rev.D,57(1998),3873 LNF-INFN, Frascati
C. Bloise- 2 ottobre 2007