Il caso delle misure di eventi rari Caterina Bloise Incontri di Fisica LNF-INFN, 2 ottobre 2007

Scelta degli argomenti I risultati delle misure Determinazione del livello di confidenza di un risultato Il caso (molto comune) della ricerca di eventi rari Estrazione del segnale in presenza di fondo Trattamento delle fluttuazioni statistiche Trattamento delle sistematiche Tutti esemplificati Motivazioni Sono tutte questioni ampiamente dibattute Facilmente esemplificabili Di interesse generale LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

I risultati delle misure Il risultato si vuole che contenga l’informazione del processo di misura che lo determina, un processo complesso in cui sono coinvolti la strumentazione e la capacità sperimentale di controllo, i criteri per la selezione degli eventi di interesse, le fluttuazioni statistiche del campione. Possiamo esemplificare bene la procedura che porta alla determinazione del risultato focalizzando le argomentazioni al caso della ricerca di eventi rari. Questa presuppone, schematicamente, una procedura di selezione la valutazione della composizione del campione selezionato la determinazione del numero di eventi di cercati (segnale), estratta dal conteggio del campione selezionato (s+b) la valutazione degli intervalli di confidenza del risultato in connessione alle fluttuazioni statistiche e alle sistematiche LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

Selezione degli eventi Bisogna definire un set di variabili discriminanti in grado di separare il segnale dal fondo e un set di loro valori (tagli) in base ai quali effettuare la selezione Il campione selezionato sarà composto di un numero di eventi n n = s + b = es S + eb B s = P ( accept | s ), b = P ( accept | b ) LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

Un esempio di procedura selettiva “Ke2” a KLOE Le predizioni del Modello Standard sono confermate oggi con incredibile precisione dagli esperimenti L’aspetto insoddisfacente è l’incapacità di motivare il numero e la massa di quark e leptoni La ricerca di fenomeni di nuova fisica comprende una serie di processi soppressi e calcolabili con precisione nell’ambito del Modello Standard. Un risultato diverso indicherebbe effetti nuovi nel settore indagato La ricerca di decadimenti K  en (Ke2) ricade in questa classe, in questo caso la frequenza aspettata è 1.4/105 LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

M2lep= (EK-Plep)2 – (Plep)2 Ricerca di nuova fisica: “Ke2” a KLOE Sperimentalmente bisogna identificare questi eventi, isolandoli dal canale 40,000 volte più frequente K  mn (Km2) Gli eventi sono caratterizzati a KLOE da impulsi diversi dei secondari carichi. L’ottima ma comunque finita precisione della misura dell’impulso impone l’introduzione di ulteriori variabili discriminanti m e E1 E2 E5 Cluster depth Calorimeter T.Spadaro, Pechino 07 MC Km2 MC Ke2 per Km2 ~1.1 104 M2lep= (EK-Plep)2 – (Plep)2 per Ke2 ~0.2 M2lep (MeV2)

Variabili discriminanti “Ke2” a KLOE MC Km2 MC Ke2 Emax(MeV) ERMS(MeV) Af -0.4 -0.8 0.4 0.8 100 40 120 200 300 80 1 2 3 4 MC Ke2 MC Km2 T.Spadaro, Pechino 07

Risultati della selezione “Ke2” a KLOE La procedura è in grado di selezionare il segnale con = 0.6, riducendo il fondo allo 0.2% del valore iniziale L’analisi di un ulteriore campione, K  p e n, permette di controllare le incertezze dovute alla simulazione. M2lep (MeV2) MC Km2 w/o PID MC Km2 w PID MC Ke2 w/o PID MC Ke2 w PID Data w/o PID Data w PID T.Spadaro, Pechino 07

Conteggio del segnale “Ke2” a KLOE · Data Data ERMS (MeV) ° MC Fit Una procedura di fit del likelihood nel piano ERMS vs M2lep permette, conosciute le p.d.f. di segnale e background, di ottenere il conteggio di b e s (s = 8090±160) M2lep (MeV2) Data Fit region ERMS (MeV) · Data ° MC Fit  MC bkg -4000 400 800 -2000 2000 4000 40 1200 80 120 T.Spadaro, Pechino 07 LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

Determinazione del livello di confidenza Data la distribuzione P(x|m) si individuano i valori di x più improbabili fino ad ottenere una somma di probabilità leggermente minore o uguale a g: tali valori sono intesi come utili a rigettare l’ipotesi che il risultato della misura sia m L’operazione si ripete per ogni m LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

Intervalli di confidenza m n m - m + 68% 16% P(n|m) = e-m mn /n! Per ogni m la probabilità che n sia compreso nell’intervallo centrale è del 68% o appena superiore per costruzione Per ogni n, m è compreso tra [m-,,m+] con livello di confidenza del 68% n = 3  [2.16, 3.38]  m = 3-0.84 +0.38 La tecnica è la stessa per ogni C.L., sia esso centrale, sia un limite superiore [0, m+], o inferiore [m-, ∞] Se la determinazione sperimentale di x è n, siamo in grado di selezionare tra tutti i valori di m quelli “compatibili” con n, per cui n non è compreso tra i valori individuati nell’operazione precedente L’intervallo di m ottenuto conterrà il valore del parametro misurato con probabilità ≥ 1 - g. LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

Estrazione del segnale in presenza di fondo P(n|s) = e-(s+b) (s+b)n /n! Un’analoga regione, traslata di b, si ottiene quando si vuole misurare un segnale in presenza di fondo b La costruzione indica zone scoperte, con risultati nella regione di s non fisica,in caso di sottofluttuazione nel background La costruzione degli intervalli per i limiti superiori rimane indipendente e diversa da quella degli intervalli centrali Questi aspetti sono inerenti la costruzione degli intervalli di confidenza che è indipendente dalla prossimità della regione non fisica dei valori dei parametri G.Feldman e R.Cousins,Phys.Rev.D,57(1998),3873 intervalli centrali, di 90% C.L. con fondo b = 3 LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

Sottofluttuazioni del fondo P(n|s) = e-(s+b) (s+b)n /n! n = 5, b = 0.9  s = 4.1-2.16 +3.38 n = 5, b = 4.9  s = 0.1-2.16 +3.38 ? n = 5, b = 6.9  s =-1.9-2.16 +3.38 ? n = 5, b = 10.9  s = -5.9-2.16 +3.38 ? Corretto se si ricorda l’intera procedura e che ci si aspetta per costruzione di rigettare l’ipotesi giusta sul parametro con probabilità del 32% Un risultato che tenga conto della regione fisica del parametro sarebbe comunque di più facile lettura LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

Ordinamento della p.d.f. P(n|s) = e-(s+b) (s+b)n /n! Feldman e Cousins hanno proposto un diverso principio di ordinamento per la costruzione degli intervalli di confidenza Ad ogni n viene assegnato un rango in base al rapporto P(n|s) / P(n|sbest) sbest nel caso della poissoniana è max{0, n-b} Per costruire gli intervalli [n-(s), n+(s)] si utilizzano gli n in ordine decrescente di rango fino ad integrare una probabilità pari al C.L. G.Feldman e R.Cousins,Phys.Rev.D,57(1998),3873 intervalli centrali, di 90% C.L. con fondo b = 3 LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

Limiti superiori sul segnale P(n|s) = e-(s+b) (s+b)n /n! n = 5, b = 0.9  s = 4.1-2.35 +2.71 n = 5, b = 4.9  s < 2.81 (5.0) n = 5, b = 6.9  s < 1.23 (3.2) n = 5, b = 10.9  s < 0.35 (1.7) G.Feldman e R.Cousins,Phys.Rev.D,57(1998),3873 Limiti sul segnale più stringenti per sottofluttuazioni del background più improbabili Situazione attesa. Quando la sottofluttuazione è estremamente improbabile la valutazione del background diventa sospetta LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

Evidenza di segnale FC: Intervalli @90% C.L., b = 3 s Per n> 6 si passa da limiti superiori a intervalli di confidenza per s Per ottenere un livello di falsi segnali inferiore all’1% con b = 3 è richiesto n ≥ 9 n LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

Dal Report su Chernobyl n = 19  [15,24] 68% C.L. ; [12.5,27.5] 90% C.L.; [11,29] 95% C.L. indicativo della precisione del numero atteso o sovrafluttuazione di 2s ? Intervalli di confidenza, C.L. a = 0.68, limiti superiori per a = 0.90 n = 22 b = 6.78 [10.6, 20.5] b= 11.7-2.5 +3.1 [5.7, 15.6] n = 7 b = 4.87 < 7.6 b= 8.4 < 4.2 n = 0 b = 2.59 < 0.1 b= 4.5 --- LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

Trattamento Bayesiano L’approccio alternativo proposto dagli statisti è quello di considerare le grandezze da determinare variabili, alla stregua delle quantità misurate Assunzione insoddisfacente per molti Il processo di misura è quindi schematizzabile in termini di estrazione della p.d.f. delle grandezze da determinare a partire dalla p.d.f. delle variabili misurate L’operazione presuppone l’introduzione a priori della p.d.f. delle grandezze P(m) Anche la necessità di introdurre P(m) sembra insoddisfacente per l’arbitrarietà della scelta Da un altro punto di vista questo sembra praticamente inevitabile La dipendenza del risultato dalla p.d.f. introdotta a priori va comunque studiata e presentata LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

Intervalli credibili Seguendo l’approccio bayesiano si arriva a definire gli intervalli di credibilità [m-,,m+] per le grandezze misurate, corrispondenti ad un livello di confidenza a, invertendo l’equazione rn costante di normalizzazione P(m) uniforme: tutti i valori di m hanno la stessa credibilità a priori P(ln(m)) uniforme  P(m)1/m : tutti i valori di m hanno la stessa credibilità a priori se sono della stessa scala, all’aumentare della scala diventano proporzionalmente più improbabili LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

Intervalli credibili – prior uniforme Se n=0 = x m m m Posterior P( m ) P(0 events| m) (Likelihood) Prior: uniform 3 P(m ) dm = 0.95 Stesso limite superiore del caso frequentista LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

Intervalli credibili, dipendenza da b Se n=0 il limite superiore non dipende da b 1.-s+ = a  s+ = -ln( 1.- a ) s+ = 2.3 @ 90% C.L. s+ = 3.0 @ 95% C.L. s+ = 4.6 @ 99% C.L. Riflette il fatto che in questo caso sappiamo precisamente che il valore ottenuto nb = 0 Prior: uniform LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

Intervalli credibili – prior  1/m Se n=0 = x m m m Posterior P( m ) P(0 events| m) (Likelihood) Prior: uniform in ln m 3 P(m ) dm » 0.95 LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

Intervalli di confidenza usando le likelihood Si utilizzano i valori della grandezza da misurare corrispondenti a log(L) = log(LMAX) – ½ : 68% C.L. log(L) = log(LMAX) – 1.35 : 95% C.L. Se n = 5  m = 5.0-1.9 +2.6 @ 68% C.L. m LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

Il caso di più parametri Si fissa un parametro, b, e si trova l’intervallo per a usando ln L=-½ Si fissa a, e si trova l’intervallo per b usando ln L=-½ Il rettangolo individuato è relativo a un C.L. 0.682=46% L’ellisse tangente è relativa a un C.L. a = 39% In generale le curve di uguale likelihood L circoscrivono una regione nello spazio dei parametri relativa ad un C.L. a dato da P(2 ,N) = a, con 2 = 2ln L e N numero di parametri L(a,b) b a LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

Trattamento delle sistematiche Si ripete la costruzione degli intervalli utilizzando la poissoniana o la funzione di verosimiglianza, likelihood, convoluta con il prodotto delle gaussiane che tengono conto delle incertezze sul valore del fondo e delle sistematiche sull’efficienza nella selezione del segnale LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

Effetto degli errori sistematici N_obs b Sys. Unc. % Intervalli per m 2 0.0 [0,3.90] 0.2 [0,3.95] 0.3 [0,4.10] 0.4 [0,4.65] 6 [1.1,9.45] [1.05,10.05] [1,05,11.50] [1.05,13.35] LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

Ricerca di eventi Ksp0p0p0 Previsto nel Modello Standard con frequenza 2/109 in quanto può avvenire solo attraverso processi che violano CP Il fondo è costituito da Ksp0p0 che è 150 milioni di volte più frequente n = 4 b = 3.2±1.5 Db = 0 m < 5.3, 90% C.L. Db/b = 0.4 m < 5.8, 90% C.L. LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

Ricerca di eventi t  mg a Belle Decadimento vietato nel Modello Standard ma possibile in Modelli Supersimmetrici, che prevedono la violazione del numero leptonico b = 13.9-4.8 +6.0 n=10 Db = 0 m < 3.3, 90% C.L. Db/b = 0.4 m < 3.6, 90% C.L. Usando la funzione di verosimiglianza Belle ha pubblicato un limite leggermente migliore, corrispondente a m < 2.2, 90% C.L. LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

Il fenomeno delle oscillazioni di particella Fenomeno quanto-meccanico governato da massa e vita medie delle particelle coinvolte Analisi che utilizza la funzione di likelihood, L= 1 -(+) A cos(Dms t) LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

Conclusioni I risultati si vorrebbe compendiassero molteplici aspetti della misura per garantire un confronto semplice e affidabile con altri esperimenti e con le previsioni teoriche La costruzione degli intervalli di confidenza è cruciale da questo punto di vista. Diverse procedure sono utilizzate per la definizione degli intervalli di confidenza. Per essere accettabili devono garantire la copertura dei valori compatibili con le variabili misurate al livello di confidenza dichiarato. Le procedure più comunemente utilizzate vincolano i risultati nella regione fisica La definizione degli intervalli attraverso le likelihood è ampiamente utilizzata perché permette di includere direttamente dettagli sperimentali e vincoli fisici LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

Profile likelihood function Χ2 approximation Profile likelihood function 2 log L(b_max …) ≈ Χ2 Chi2 = 2.71 Constant for n given sl su LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

kkkk G.Feldman e R.Cousins,Phys.Rev.D,57(1998),3873 LNF-INFN, Frascati C. Bloise- 2 ottobre 2007