Facoltà di Ingegneria Dipartimento di Informatica ed Automazione Tesi di Laurea Magistrale in Ingegneria Gestionale e dell’Automazione Anno Accademico 2012 - 2013 Titolo La gestione del conflitto nella teoria dell’incertezza di Dempster e Shafer Il problema affrontato in questo lavoro, riguarda la Gestione del Conflitto nei Sistemi d’inferenza condizionati dall’incertezza. In particolare il Modello impiegato per rappresentare la Conoscenza del Sistema, è quello adottato da Dempster e Shafer. La ricerca è stata condotta sotto la visione del professore Stefano Panzieri (che è il relatore di questa tesi), ed il Dipartimento di Informatica ed Automazione Laureando Ludovico Pinzari Relatore Prof. Stefano Panzieri

Obiettivi Analitico: Metodologico: Theory of evidence (DST) Rule Based Dempster Shafer Theory of evidence (DST) Metodologico: Gli obiettivi conseguiti, riguardano principalmente due aspetti: 1- In quello Analitico, vengono osservati i vantaggi e le limitazioni che comporta l’impiego della Teoria dell’evidenza di Dempster e Shafer. 2- Per quanto riguarda l’aspetto metodologico, vengono presentate delle linee guida per la progettazione e l’implementazione di un sistema inferenziale, di un Data Fusion System basato su Regole. Rule Based Inference Data Fusion System (IDFS)

Caratteristiche modelli IDFS Indice Caratteristiche modelli IDFS Gestione del conflitto Parameter Design problem Unified Combination Rule α-model In questa presentazione vengono dunque descritte: 1- Le caratteristiche considerate a livello generale per confrontare i diversi modelli e che hanno spinto la scelta del modello della DST 2- In seguito viene affrontato il problema della Gestione del Conflitto, mostrando nello specifico le soluzioni presenti in letteratura, evidenziandone i limiti ed i pregi. Successivamente discuteremo dei due principali contributi innovativi di questa ricerca, ovvero: -3 il problema della scelta della regola più opportuna in sede di progettazione. 4- E La proposta di un modello generale in grado di racchiudere l’insieme delle regole, Esplicitamente attraverso un’ UNICO Parametro ASSOLUTO. Il quale, in relazione all’entità del conflitto e dell’incertezza, può essere utile ai fini della scelta della regola di fusione. -5 Ed In seguito considereremo la sua applicazione nella Gestione della Sicurezza degli Impianti -6 Per in fine considerare i possibili sviluppi Futuri. Case Study: Plant Safety-Control Conclusioni e Sviluppi Futuri

Tipologie di Incertezza Aleatoria: (Irriducibile,Oggettiva) - Reti Bayesiane Probabilità singolo valore Epistemica: (Riducibile,Soggettiva) Molte tecniche d’inferenza sono basate su sistemi caratterizzati da un’incertezza di natura Aleatoria; impiegando principalmente Reti Bayesiane. In generale non sempre si ha la possibilità di avere a disposizione l’informazione relativa alle probabilità di tutti gli eventi dello spazio campione. Allora per riflettere la scarsa conoscenza del sistema, una possibile soluzione è quella di considerare la Misura della probabilità come un’Intervallo di Valori. - Imprecise Probability - Possibility Theory - Dempster and Shafer Theory Probabilità intervallo di valori Interval Based Probability 1/26

Applicazioni della IBP Analisi del Rischio - Stock Market - Business and Marketing Sistemi Diagnostici - Medici - Processi Industriali Sistemi Di Navigazione Autonoma - UV (Unmanned Aerial/Grounded Vehicle) Militare Come è possibile constatare le applicazioni ed i campi d’indagine sono numerosissimi, qui ne vengono menzionati solo alcuni. - Target tracking/identification Biometrica - Speech Recognition / Image processing Meccanica Quantistica ….. 2/26

Perchè la DST ? 3/26 Probabilità Insiemi World Hypothesis Closed Open Modello basato sulla teoria della Insiemi Misura Esplicita dell’Incertezza: World Hypothesis Closed Universal Open Set Misura - Eventi elementari Power Set Ω = {A,B} μ(P(Ω)): m - Stati sconosciuti P(Ω) = {Ω,A,B,Ø} Pr(Ø) = 0 massa Pr(Ω) = 1 0 ≤ Pr(Ø) ≤ 1 - Ipotesi sconosciute Flessibilità: 0 ≤ Pr(Ω) ≤ 1 - UPDATING A U B Il motivo per cui si è scelto l’approccio della DST è legato alle seguenti ragioni: Costituisce un Modello matematico elegante che sfrutta Congiuntamente le Proprietà della Classica Teoria delle Probabilità e la Teoria degli Insiemi. Consente di rappresentare esplicitamente la MISURA DELL’INCERTEZZA, sia dei singoli eventi dello spazio campione che di Stati sconosciuti, che nel loro insieme definiscono il Closed World Hypothesis: La quale esprime in sostanza che la verità risiede da qualche parte all’interno del Power Set, in cui l’insieme Universale costituisce l’evento certo e quello vuoto l’evento impossibile. Nonché di considerare anche ipotesi sconosciute, dove in questo caso abbiamo un Open World, in cui l’insieme vuoto rappresenta una Meta-Conoscenza. - Ma soprattutto risulta adatto per gestire la componente dinamica di un Data Fusion System (ovvero come aggiornare la nostra conoscenza a partire da nuove informazioni) ,che a mio avviso è la caratteristica che rende originale un modello da un altro. A B m1 m2 A U B Ω U Ø 3/26 m12

DST FRAMEWORK (CWH) Mass Plausibility Belief Unc = UB - LB LB UB 4/26 bel(A) = Unc = UB - LB Per quanto riguarda l’aspetto statico, in estrema sintesi il modello è racchiuso dalle prime tre equazioni, in cui la distribuzione della massa tra gli elementi del Power Set (escluso l’insieme vuoto) riflette la conoscenza del sistema basato sul modello del Closed World. Nello specifico, se la massa complessiva viene assegnata all’insieme Universale ci troviamo in una situazione di totale ignoranza; viceversa se viene ripartita tra gli eventi elementari ci troviamo in una situazione d’incertezza aleatoria. Questa rappresentazione può essere tradotta attraverso la Trasformata di Mobius, nella rispettiva Belief e Plausibility che identificano il LB ed UB dell’intervallo d’incertezza. In una situazione d’incertezza aleatoria per ciascun elemento del Power Set, il LB e UB coincidono. LB UB Pr(Ø) = 0 Pr(Ω) = 1 bel(Ø) = 0 bel(Ω) = 1 pl(Ø) = 0 pl(Ω) = 1 4/26 Impossibile Certo

Regole di Combinazione Conjunctive Evidence (CE) : RC Disjunctive Evidence (DE) : CE Pooling DE Pooling Fiducia Diffidenza A differenza delle Reti Bayesiane, nella DST abbiamo una forte limitazione che è legata all’assunzione d’indipendenza delle sorgenti d’informazione. Questo requisito ci pone di fronte alla seguente questione: Ovvero, valutare se combinare le masse degli agenti del sistema, considerando una serie di AND logici oppure di OR logici, o delle diverse combinazioni delle due operazioni. La scelta di una di queste due regole è essenzialmente legata all’AFFIDABILITA’ delle due sorgenti. Quindi considerando un sistema Multi-Agente, è possibile combinare le diverse sorgenti avendo una completa fiducia oppure una totale diffidenza o impiegare strategie Miste. In particolare la scelta della Conjunctive Evidence pone l’analista a considerare il problema della gestione del Conflitto. Trade-off Pooling 5/26

Il Problema del conflitto Massa del Conflitto: Prove Discordi Prove Comuni Regola di Dempster Qualitativamente il conflitto esprime il livello di disaccordo tra due agenti, ed il modo di distribuire la sua corrispondente massa, agli elementi del Power Set, è l’elemento chiave che consente di distinguere le differenti regole di combinazione. Risulta chiaro che non esiste una Regola di combinazione assoluta e la scelta di adottare un metodo piùttosto che un altro è legato essenzialmente alla natura del problema. La Regola che originariamente fu adottata è quella di Dempster, la quale enfatizza maggiormente le Prove Comuni, (ovvero: che non danno luogo ad una situazione di conflitto), mediante l’utilizzo di un fattore di Normalizzazione. = = Corpo Prove Consistenti Fattore di Normalizzazione Di Dempster = 6/26

Il Peso del conflitto 7/26 Alto Conflitto Situazioni di Conflitto Dempster Supporta le Prove Meno sostenute Sensibile per Alti valori Attraverso il valore di K possiamo definire un peso che tenga conto del conflitto esistente tra le beliefs, in riferimento alle proposizioni in questione. Naturalmente quando la quantità di conflitto tra due agenti risulta significativo, tale regola perde di efficacia e può portare a risultati inattesi. Di conseguenza diversi ricercatori hanno presentato delle soluzioni alternative che tenessero in considerazione il conflitto. Situazioni Alto Conflitto di Conflitto Basso Conflitto 7/26 Intermedie

La Gestione del conflitto Ground Probability assignment: Prove Comuni UPDATE Prove Discordi m(Ø) = 0 Non Normalizzo Intermedio Facendo uso della Ground Probability assignment, che altro non è che una particolarizzazione della Conjunctive Evidence, (impiegata per distinguere le prove comuni da quelle discordi); Yager propone di non effettuare l’operazione di normalizzazione, confinando il conflitto nell’Insieme Universale, ed aumentando quindi il livello di Ignoranza o detto in altri termini d’Incertezza. Tale funzione rende inoltre più efficiente la fase di Updating quando si hanno più masse da combinare. A questo punto ci domandiamo: Come è possibile gestire situazioni di conflitto intermedie? Yager Dempster Aumento Confermo le divergenza l’incertezza convergenza Prove totale aleatorità Basso Comuni aleatorità Alto 8/26 Conflitto

Unified Combination Rule evidence scaling conflict CWH: Updating Framework: NB: m(Ω) = q(Ω) K - Operating Range: In merito, Inagaki propose un’espressione di carattere più generale che fosse in grado di passare da una regola di combinazione all’altra, definendo una classe di funzioni parametrizzate costituite dalla combinazione lineare convessa delle masse combinate, dove il conflitto viene filtrato attraverso la definizione del parametro K, che fa rientrare come casi particolari la regola di Dempster e quella di Yager e sotto l’ipotesi vincolante del Closed World. In particolare riuscì ad individuare l’intervallo operativo, introducendo un’ulteriore Regola (Inagaki’s Extra Rule): in cui filtriamo il conflitto in modo tale che venga ridistribuito totalmente a favore delle altre Ipotesi del Power Set, a discapito dell’incertezza rappresentata dall’insieme Universale. Quindi in sostanza non lascio spazio alla possibilità di aumentare lo Stato di Ignoranza del sistema. Questa decisione spesso può essere presa quando la massa dell’insieme universale diventa troppo consistente al punto tale da non poter prendere una decisione. Tuttavia, un problema del modello di Inagaki è che occorre di volta in volta calcolare il Range Operativo di K che risulta funzione della singola istanza del problema. Quindi in fase di progettazione non possiamo stabilire in relazione all’entità del conflitto e dell’incertezza, quale valore del parametro risulti più idoneo per il dominio applicativo ed inoltre risulta poco immediato individuare una specifica regola e la semantica che racchiude il suo valore numerico. INTERPOLAZIONE DEMPSTER’S RULE ESTRAPOLAZIONE DEMPSTER’S RULE YAGER’S RULE DEMPSTER’S RULE INAGAKI’S EXTRA RULE K K K K K K Y D D 9/26 I

Parameter design Kd 1 1 Ad esempio, Consideriamo una situazione d’incertezza aleatoria, caratterizzata da due eventi mutuamente esclusivi; facendo variare l’opinione dell’Agente 2 da una situazione di completo accordo ad una di totale conflitto, notiamo che la costante di Dempster cambia a seconda dell’istanza del problema ed inoltre tale valore, come mostrerò tra breve, non risulta univoco. in cui l’Agente 1 sostiene l’ipotesi A e facendo variare l’opinione dell’Agente 2 a partire da una situazione di completo accordo ad una totale conflitto. Osserviamo che la Costante di Dempster cambia a seconda dell’istanza. 0.25 0.75 0.75 0.25 1 0.75 0.25 0.5 0.5 0.25 0.5 10/26 1 0.75 0.5

Parameter design Ki 11/26 Agente 2 Ω (CWH) A B Ω mS1 1 mS2 0.25 0.75 1 mS2 0.25 0.75 mS3 0.5 mS4 0.75 0.25 A Pl(A)=1 0.25 1 0.5 1 0.75 1 Bel(A)=0 1 1 Pl(B)=1 0.75 0.25 0.5 Bel(B)=0 Infatti, studiando il caso più generale d’incertezza epistemica; in cui facciamo variare l’opinione dell’Agente 2 da una situazione di Totale ignoranza fino ad una di completa conoscenza in cui sostiene l’evento A. A B A B A B A B Ω Ω Ω Ω 11/26

Parameter design Ki 12/26 Agente 1 Label Ω (CWH) A B Ω mS1 0.125 0.875 0.125 0.875 mS2 0.25 0.75 mS3 0.5 mS4 0.75 0.25 mS5 0.875 0.125 1 1 Pl(A)=0.875 0.75 0.25 0.5 Bel(A)=0 Pl(B)=1 1 1 0.75 1 0.125 0.25 0.5 E lo combiniamo con l’agente 1 che però converge verso l’evento B. (Le label fanno riferimento al grafico) A B A B A B A B Ω Ω Ω Ω 12/26

Parameter design K 13/26 A B 0.875 Ω 0.1875 A B 0.1875 Ω A B Ω 0.875 A 0.875 Ω 0.1875 A B 0.1875 Ω A B 1 Ω Osservando il grafico, notiamo che allo stesso valore di K corrispondono più istanze di natura diversa (per ragioni di simmetria e d’incertezza). Inoltre il Range Operativo aumenta in relazione all’entità del conflitto e dell’incertezza (i quali però si limitano a vicenda), incidendo quindi sulla scelta del parametro. Quindi, qualora si desiderasse impiegare una Regola intermedia che abbia un significato specifico per l’applicazione, come si potrebbe procedere? 0.875 A B A B Ω Ω 13/26 Nested Set

? Parameter design K 14/26 f(α) Problema di Ottimizzazione Universo delle istanze …. v A B K * = ? A B Ω Ω A B Ω La scelta del valore di K potrebbe essere impostata attraverso la risoluzione di un problema di Ottimizzazione, stabilendo una funzione obiettivo per lo specifico problema. Questo risulta ancora Oggi un problema aperto. Per circa 20 anni la Ricerca si è orientata in tale direzione. E’ possibile allora determinare il valore di K seguendo una strada alternativa? Per aggirare tale ostacolo, la soluzione personalmente proposta è quella di poter Tarare il valore di K in maniera del tutto indipendente dal problema in esame; seguendo una strategia di Tipo Trial and Error, particolarmente utile nel caso in cui la scelta risulti funzione di una metrica tra le Beliefs del sistema. Quindi la sfida da affrontare è la seguente: E’ possibile definire implicitamente i valori ammissibili di K senza conoscere il vettore delle masse non normalizzate? Inoltre tale scelta come si traduce nella corrispondente regola che filtra il conflitto tra le prove evidenti (m(A)>0) del Power Set? Trial and Error Tuning ? f(α) K = 14/26

? α-parameter Model α 15/26 K K K K K Y D I ? ? q(Ø) q(Ø) m(X) m(Ω) L’idea di base è molto semplice ma estremamente efficace. Il problema è quello di determinare un parametro che vari in un predefinito intervallo chiuso e limitato, che individui il Range operativo di K; al cui variare consente di filtrare in maniera graduale il conflitto: A partire da un atteggiamento piùttosto conservativo con la regola di Yager fino ad una situazione baricentrica con Dempster per in fine giungere ad un maggiore sostegno delle prove evidenti con Inagaki. E’ intuibile che tale parametro risulterà funzione di suddette regole. 15/26 K K K K K Y D I

K ? α -> K Mapping α 16/26 -1 +1 K K K K K I D Y A tale proposito, si è realizzato un Mapping tra la classe delle funzioni parametrizzate di Inagaki (che individuano un’intervallo infinito) ed il valore di un singolo parametro limitato nell’intervallo -1 ed 1, consentendo dunque di attribuire uno specifico significato al corrispondente valore numerico. K K K K K I D Y ? K 16/26

Parameter design α K K 17/26 1/4 1/2 3/4 15/16 -------- D Y c Da un punto di vista analitico la funzione rappresenta un fascio di iperboli. Osserviamo che quando l’entità del conflitto è esigua la Regola di Dempster è accettabile, mano mano che il peso del conflitto diventa significativo , occorre agire con prudenza, eventualmente mitigando l’operazione di normalizzazione migrando verso la regola di Yager. Infatti l’ordine d’infinito della famiglia parametrica è superiore alla funzione che pondera il conflitto. Tuttavia si osserva che per ciascun valore di alpha è possibile individuare un’intervallo opportuno in cui il conflitto è tollerabile (che si traduce in un confronto tra i rapporti incrementali delle rispettive funzioni). c 17/26 1/4 1/2 3/4 15/16

Parameter design α c Questo aspetto è evidente osservando l’andamento dei differenziali, per ciascun valore di alpha. 18/26

Parameter design α 19/26 K D K , K , K Y D I K I K Y Ω A B indifferente K , K , K Y D I Ω A B Regione Critica q(Ω)≈q(Ø) Ω c A B Ω A B Ω Abbiamo visto che la regola di Dempster perde di efficacia quando il conflitto supera circa il 30% della massa combinata, quindi è ragionevole impiegare il secondo intervallo operativo, solo per valori inferiori. In particolare in condizioni di grande incertezza è consigliabile impiegare la regola di Inagaki per in fine migrare verso la regola di Dempster. A questo punto è lecito domandarsi se è possibile gestire situazioni in cui l’incertezza è significativa o comunque è confrontabile con il conflitto. A B A B A B A B K I K Y Ω A B 19/26

Extended Model 20/26 A B A B C C A B A B A B A B C C C Plausibility Ω (CWH) A B C Bel 0.5 Pl 1 0.5 Bel 0.5 Pl 0.5 1 ∑q(X) A = 0.25 B = 0.25 C = 0 q(Ω) 0.25 q(Ø) A tale proposito ho personalmente esteso l’intervallo operativo, introducendo un’ulteriore regola che consente di attingere altra massa dall’insieme universale e da ridistribuire agli elementi consistenti del Power Set. Questa operazione a volte è richiesta quando lo stato di Ignoranza è elevato ed occorre prendere una decisione immediata soprattutto per processi Real Time. Occorre Tuttavia sottolineare che la scelta di una regola non è sempre legata alla limitazione del conflitto e dell’incertezza, ma DIPENDE dalla funzione obiettivo del problema espressa in termine delle masse del sistema. A B A B A B A B ESTRAPOLAZIONE C C C YAGER DEMPSTER INAGAKI PINZARI’S RULE 20/26

CASE STUDY 21/26 FAULT WARNING CP : SAFETY PRESERVATION CP: CONTROL POLICY (CP) FAULT WARNING CP : Infatti impiegando il modello nella gestione della Sicurezza degli impianti o Processi, quali ad esempio: (Centrali Nucleari, Processi Industriali, Reti Elettriche.. Vettori Spaziali) Sono state valutate due Politiche di controllo: Fault Warning: che basa in sostanza le proprie decisioni sulla NoN sicurezza dell’impianto, che risulta sensibile anche alla segnalazione di situazioni impreviste. Safety Preservation: che ha una visione più orientata al mantenimento della condizione operativa nominale, regolata dalle prove che supportano la Sicurezza dell’impianto. Segnalazione di una situazione imprevista SAFETY PRESERVATION CP: Mantenimento della condizione operativa 21/26 SAFETY

Power Set Mapping 22/26 Stato Incerto Sicuro Non Sicuro GO: SD: Attivo m(GO:FW) m(SD:SP) {S,U} m(S) + m(Ω) m(U) + m(Ω) P(Ω) {S} {U} m(GO:SP) m(SD:FW) m(S) m(U) {Ø} GO: SD: Attivo Blocco Al fine di poter stabilire il valore di K idoneo per la specifica strategia, viene definito un Mapping tra l’insieme delle proposizioni del Power Set e le Decisioni da prendere per le corrispondenti politiche. In particolare la decisione GO: corrisponde ad attivare un’impianto non in funzione, oppure a non bloccarne uno operativo. Il discorso chiaramente si ribalta per SD. Non Bloccare Non Attivare 22/26

Optimization problem K DS = {GO,SD} CP = {FW,SP} m(DS,CP) = Problema di Ottimizzazione per la soluzione più cautelativa FAULT WARNING: SAFETY PRESERVATION: GO GO In particolare osserviamo che la regola meno propensa rispetto alle altre ad attivare un impianto potenzialmente non sicuro o a lasciarne attivo uno a rischio, è quella di Inagaki per la FW e quella di Yager per la SP. Tuttavia in generale non si può dire che una strategia risulti migliore di un’altra in assoluto e la loro scelta dipende dal progettista. Comunque un’analisi significativa è quella di studiare per le due politiche la sensibilità nella scelta di K in presenza di Basso ed Alto conflitto. SD SD 23/26

Analisi sensitività K 24/26 Basso Conflitto Nel primo caso per la politica FW non ha importanza di come decido di filtrare le prove. Mentre risulta più delicata la scelta soggettiva della regola nella politica SP. 24/26

Analisi sensitività K 25/26 Alto Conflitto In una situazione di alto conflitto la scelta inappropriata di un regola pregiudica notevolmente la sicurezza del sistema in entrambe le politiche. 25/26

Conclusioni Sviluppi Futuri K-optimization problem Sequencing problem ? Processi non stazionari t t Tra le soluzioni possibili per le due politiche abbiamo considerato quelle più cautelative per mantenere la sicurezza dell’impianto. Tuttavia, spesso è preferibile evitare di disattivare inutilmente l’impianto, soprattutto poiché la successiva riattivazione può comportare ulteriori costi in termini di tempo e denaro. Quindi alcuni sviluppi futuri che possono migliorare tale situazione sono: K-optimization problem: Formulare un problema di ottimizzazione che tenga conto di questi ulteriori parametri. Un altro problema da affrontare è l’ordine migliore per fondere le informazioni, quando si hanno più di due sorgenti; dato che l’associatività è rispettata solo nel caso della regola di Dempster, la quale però risulta sensibile al conflitto. Tutte le regole nella famiglia parametrizzata risultano commutative, e ciò è conseguenza diretta dell’operazione di moltiplicazione tra masse. Tuttavia se il problema non risulta stazionario questa proprietà può venir meno. Studiare il comportamento di un sistema in cui l’affidabilità delle sorgenti è discutibile per cui è fondamentale analizzare l’effetto che comporta un possibile sequencing caratterizzato da un certo trade-off pooling con le rispettive scelte di k. Abbiamo proposto un’estensione del modello di Inagaki, Tuttavia non abbiamo tradotto tale operazione in un’opportuno intervallo di alpha, come d’altronde anche la possibilità di estenderlo ad eventi non mutuamente esclusivi. Trade-off Pooling Augmented Extended Model 26/26

Domande? Conoscere l’Ignoranza è forza Ignorare la Conoscenza è debolezza Domande?