Teoria e Tecniche del Riconoscimento Fondamenti di Matematica Cosimo Distante cosimo.distante@imm.cnr.it

Uno spazio vettoriale lineare X è costituito da un insieme di elementi (vettori) definito su un campo scalare R che soddisfa le seguenti condizioni: Siano

Richiami di Algebra lineare Un vettore a d dimensioni x ed il suo trasposto xt è definito da Dove tutte le componenti possono essere a valori reali.

Matrici Una matrice d×d è chiamata Simmetrica se mij=mji Denotiamo con M una matrice n×d (rettangolare) e la sua trasposta Mt di dimensioni d×n Una matrice d×d è chiamata Simmetrica se mij=mji Anti-simmetrica se mij=-mji In generale una matrice è chiamata non-negativa se mij ≥ 0  i,j

Matrici Matrice Identità: La funzione (oppure il simbolo) delta di Kronecker è definito come

Matrici Rango: Il rango di una matrice è il numero massimo di righe linearmente indipendenti (o colonne) di A. Si denota con r(A) il rango della matrice A Proprietà di base: Sia Xp1 e bn1 allora l’equazione AX=b definisce un sistema di n equazioni lineari. Se n=p e det(A)0 allora l’unica soluzione In generale, il sistema di equazioni ammetterà almeno una soluzione se il rango di A è uguale al rango della matrice aumentata (A,b) Se A è una matrice quadrata (n=p) allora

Autovalori - Autovettori Sia A=[ajk] una matrice quadrata (nn). Consideriamo Se  è soluzione per qualche x0 allora:  è denominato autovalore di A x è denominato autovettore di A Possiamo riscrivere Cioè n equazioni algebriche in n incognite x1,…,xn Per n = 2

Autovalori - Autovettori Si noti che è il determinate caratteristico di A che se nullo allora A è una matrice singolare Soluzione di A

Autovalori - Autovettori Esempio: Trovare gli autovettori e corrispondenti autovalori della matrice quadrata Soluzione I corrispondenti autovettori sono dati da Otteniamo per 1= -2

Possiamo moltiplicare una matrice per un vettore come segue Mx=y dove

Vettori linearmente indipendenti Siano un insieme di vettori di uno spazio vettoriale X Siano scalari Se sussiste la seguente relazione

Spanning a Space Sia X uno spazio vettoriale lineare, e sia un sottoinsieme di X. Possiamo dire che il sottoinsieme , “spanna” cioè genera lo spazio X se e solo se N.B. La dimensione di uno spazio è costituito dal numero minimo di vettori che generano lo spazio

Prodotto Interno (dot-Product) x y  Il prodotto interno è uno SCALARE! Diremo che un vettore x è normalizzato se

Prodotto Interno (dot-Product) x y  Perciò il prodotto interno è una misura di collinearità di due vettori (concetto di similarità) Dalla diseguaglianza di Cauchy-Schwartz ricordiamo che

Ortogonalizzazione di Gram-Schmidt Ortogonalità Due vettori x,y sono ortogonali tra loro se (x,y)=0 (x  y) Possiamo estenderlo anche a spazi. Un vettore x di X è ortogonale ad un sottospazio X1 se esso è ortogonale ad ogni vettore di X1 (x  X1) Due spazi X1 e X2 sono ortogonali se ogni vettore di X1 è ortogonale ad ogni vettore di X2 (X1  X2) Dati alcuni vettori linearmente indipendenti come possiamo convertirli in un insieme di vettori ortogonali che spannano lo stesso spazio? Ortogonalizzazione di Gram-Schmidt

Sottospazi lineari Se sono n vettori linearmente indipendenti di Allora ogni sottoinsieme di essi con k≤n genera un sottospazio lineare di Esempi di sottospazi di sono piani e rette passanti per l’origine

Proiezione Ortogonale Se Π è sottospazio di n allora qualsiasi vettore arbitrario può essere decomposto nella somma di due vettori: Proiezione ortogonale Teorema della Proiezione Di tutte le decomposizioni della forma con quella che corrisponde alla proiezione ortogonale soddisfa la seguente:

Gram-Schmidt Supponiamo di avere n vettori indipendenti e da essi si vogliono ottenere n vettori ortogonali Scegliamo il primo vettore ortogonale come primo vettore lin. ind. Per ottenere il secondo vettore ortogonale v2 scegliamo y2 ma gli sottraiamo la parte che è in direzione di v1 Dove a viene scelto in modo che v1v2. Ossia

Gram-Schmidt cont’d Pertanto continuando il processo si ottiente alla k-esima compoenente nnd5gs

Misure di distanza di patterns Vettori osservabili devono essere rappresentati in uno spazio che possiede una metrica Introduciamo il concetto di distanza d(x,y) tra coppie di elementi dello spazio

Distanza Euclidea Definita per vettori binari, indica il numero di posizioni (elementi) in cui due vettori differiscono. Le regole C1, C2 e C3 sono valide Distanza di Hamming

Correlazione Usata per confrontare pattern di segnali, misurandone la loro similarità. Siano La loro correlazione non-normalizzata è data da Oss. Se x e y sono vettori dello spazio Euclideo, allora la correlazione coincide col prodotto interno Metodi di correlazione sono adatti a rilevare segnali quasi periodici contaminati da rumore Gaussiano

Direzione di coseni Se l’informazione rilevante dei pattern o dei segnali da analizzare è contenuta solo nei moduli delle loro componenti, allora la similarità può essere misurata in termini di direzione di coseni Siano Si noti che se i vettori sono normalizzati ad 1, allora il coseno coincide con la correlazione

Misura di similarità nella metrica di Minkowsky Rappresenta una generalizzazione della distanza Euclidea. Usata per esperimenti di psicologia Definita come segue La distanza “city-block” è ottenuta per =1

Misura di similarità di Tanimoto Alcuni risultati hanno mostrato che questa distanza è stata efficiente in alcuni contesti rispetto ad altri. Definita come segue Originariamente introdotta per il confronto di insiemi. Siano A e B due insiemi non ordinati distinti (non-numerici) di elementi (per. Es. identificatori o descrittori di documenti, o feature discrete) La similarità tra A e B può essere definita come la variazione del numero di elementi in comune rispetto al numero totale di elementi. Sia n(X) il numero di elementi in X allora

Misura di similarità di Tanimoto Usata con successo per valutare la similarità tra documenti Ciascun singolo descrittore può essere fornito di un proprio peso. Per esempio, supponiamo che ik sia il peso del k-esimo descrittore per l’i-esimo documento. Allora la similarità di due documenti denotati xi e xj è ottenuta definendo

Distanza di Mahalonobis Le componenti di x e y possono essere generate da un processo stocastico che definisce una dipendenza statistica tra esse. Si definisce un prodotto interno come segue La distanza è data da Con ψ è l’inverso della matrice di covarianza di x e y. Svantaggi Il calcolo di ψ per pattern a n dimensioni necessita l’acquisizione di un numero di campioni »n2 Il calcolo di prodotti matrice-vettore è di gran lunga più complesso del prodotto scalare.