Apprendimento Automatico: Apprendimento Probabilistico Roberto Navigli 1 Apprendimento Automatico: Apprendimento Bayesiano

Apprendimento Automatico: Apprendimento Probabilistico Roberto Navigli 2 Caratteristiche dellApprendimento Bayesiano Ogni esempio di addestramento progressivamente decrementa o incrementa la probabilità stimata che unipotesi sia corretta La conoscenza pregressa può essere combinata con i dati osservati per determinare la probabilità finale di unipotesi I metodi Bayesiani possono fornire predizioni probabilistiche (es. questo paziente ha il 93% di possibilità di guarire) Nuove istanze possono essere classificate combinando le predizioni di ipotesi multiple, pesate con le loro probabilità Anche quando i metodi Bayesiani sono intrattabili computazionalmente, possono fornire uno standard di decisione ottimale rispetto al quale misurare metodi più pratici

Apprendimento Automatico: Apprendimento Probabilistico Roberto Navigli 3 Spazio di campionamento è linsieme degli esiti di una prova è lesito di una prova (es. il lancio del dado ha esito 2) A è un evento (sottoinsieme di ) Indichiamo con P(A) la probabilità (massa di probabilità) di un evento A (es: x=1, o x pari) Per ogni coppia di eventi A e B: A B Richiamo di concetti di calcolo delle probabilità

Apprendimento Automatico: Apprendimento Probabilistico Roberto Navigli 4 Probabilità congiunta Dati due eventi A e B, P(A) è la probabilità marginale dellevento A e P(B) quella dellevento B La probabilità congiunta che si verifichino entrambi gli eventi è P(A, B) Se i due eventi sono indipendenti, allora si ha: –P(A, B) = P(A) P(B)

Apprendimento Automatico: Apprendimento Probabilistico Roberto Navigli 5 Probabilità condizionata La probabilità condizionata dellevento B dato levento A (probabilità di un evento A supponendo che sia verificato un evento B) è data da: AB A B

Apprendimento Automatico: Apprendimento Probabilistico Roberto Navigli 6 Teorema di Bayes Sfruttando la definizione di probabilità condizionata si ottiene:

Apprendimento Automatico: Apprendimento Probabilistico Roberto Navigli 7 Classificatore Naïve Bayes Si applica al caso in cui le ipotesi in H sono rappresentabili mediante una congiunzione di valori di attributi e la classificazione è scelta da un insieme finito Y. Le istanze x in X sono descritte mediante m-uple di valori (x 1,x 2,..., x m ) associati agli m attributi di x Il classificatore naif si basa sullassunzione semplificativa che i valori degli attributi siano condizionalmente indipendenti, assegnato un valore della funzione obiettivo, cioè, dato un nuovo esempio x da classificare, calcoliamo:

Apprendimento Automatico: Apprendimento Probabilistico Roberto Navigli 8 Stima delle probabilità Le probabilità P(x i |c) vengono stimate osservando le frequenze nei dati di addestramento D Se D include n i esempi classificati c i, e n ij di questi n i esempi contengono il valore x j per lattributo j, allora:

Apprendimento Automatico: Apprendimento Probabilistico Roberto Navigli 9 Naïve Bayes: Esempio Y = {allergia, raffreddore, in_salute} (possibili classi) x 1 = starnuti (sì, no) ; x 2 = tosse (sì, no) ; x 3 = febbre (sì, no) (attributi booleani) x = (1, 1, 0) come lo classifico? Probin salute raffred- dore allergia P(c) P( x 1 |c) P( x 2 |c) P( x 3 |c) { Dallinsieme D stimo le prob. a priori e condizionate es:

Apprendimento Automatico: Apprendimento Probabilistico Roberto Navigli 10 Esempio (continua) 40 esempi, 36 classificati in salute, 2 raffreddore, 2 allergia Per stimare, ad esempio, P(x 1 =1|in-salute), contare sui 36 esempi nei quali c(x)= in-salute quanti hanno x 1 =1 se 1 su 36, P(x 1 =1|in-salute)=1/36=0,027 Analogamente avrò, ad es.: -P(x 1 =1|raffreddore)=2/2=1 -P(x 1 =1|allergia)=2/2=1 -ecc.

Apprendimento Automatico: Apprendimento Probabilistico Roberto Navigli 11 Devo calcolare il massimo al variare di c di: Quindi ad esempio per c=raffreddore Analogamente, troverò: Esempio (continua)

Apprendimento Automatico: Apprendimento Probabilistico Roberto Navigli 12 Problemi con Naive Bayes Se D è piccolo, le stime sono inaffidabili (nellesempio precedente alcune stime sono = 1!) Un valore raro x k può non capitare mai in D e dunque: – c: P(x k | c) = 0. Analogamente, se ho un solo esempio di una classe c, – x k : P(x k | c) = 1 o P(x k | c) = 0.

Apprendimento Automatico: Apprendimento Probabilistico Roberto Navigli 13 Smoothing Per tener conto di eventi rari, si operano degli aggiustamenti sulle probabilità detti smoothing Laplace smoothing con una M-stima assume che ogni evento x j abbia una probabilità a priori p, che si assume essere stata osservata in un campione virtuale di dimensione M > del campione reale Nellesempio precedente, ad es. M è una costante che determina il peso dello smoothing In assenza di altre informazioni, si assume p = 1/k dove k è il numero di valori dellattributo j in esame

Apprendimento Automatico: Apprendimento Probabilistico Roberto Navigli 14 Un esempio Classificazione automatica di documenti –Un documento rappresentato come un elenco di termini t j (j=1,…,|V|), dove V è il vocabolario –Rappresentiamo un documento x con il vettore x = (x 1,x 2 …,x |V| ) dove x j =1 se il termine t j è presente (0 altrimenti) –D = { (x i, y i ) } insieme di addestramento di documenti già classificati –Y = { sport, politica,..., scienze } –Stimare, sulla base di D, le P(t j |c)