Riconoscimento automatico di oggetti in immagini digitali

Presentazione sul tema: "Riconoscimento automatico di oggetti in immagini digitali"— Transcript della presentazione:

1 Riconoscimento automatico di oggetti in immagini digitali
Enver Sangineto, Dipartimento di Informatica

2 Panoramica della presentazione
Motivazioni Problemi Principali approcci

3 Riconoscimento di oggetti
L’obiettivo di un sistema di object recognition è rilevare la presenza di “oggetti” d’interesse all’interno di immagini/video digitali Passo fondamentale per permettere ad un computer di “capire cosa sta guardando”

4 Perchè riconoscere automaticamente gli oggetti di un'immagine
Recupero/classificazione d'immagini in data base visivi (Image Retrieval): ricerche on-line, annotazione (automatica) video, organizzazione di archivi fotografici musei, e-commerce... Visione applicata alla robotica: manipolazione d’oggetti, navigazione guidata dalla visione

5 Perchè riconoscere automaticamente gli oggetti di un'immagine [2]
Video sorveglianza: rilevamento di intrusioni, … Biometria Interfacce uomo-macchina di tipo “intelligente” Guida automatica di veicoli su strada Visione industriale, medica, aerea, militare, ... Altro…

6 Object recognition è un problema aperto
Non esistono sistemi general purpose

7 Problemi principali nel riconoscimento di oggetti
Variabilità delle apparenze Segmentazione della scena

8 Variabilità: cambiamento del punto di vista
Michelangelo

9 Variabilità [2]: cambiamento delle condizioni di illuminazione

10 Variabilità [3]: oggetti deformabili
Xu, Beihong 1943

11 Variabilità [4]: variazione intra-classe

12 Segmentazione: Occlusioni Magritte, 1957

13 Segmentazione [2]: separazione dallo sfondo
Klimt, 1913

14 Approcci principali al riconoscimento
Model-based Machine learning

15 Ipotesi… Un solo oggetto per immagine
Machine learning per rappresentare la conoscenza

16 Riconoscimento tramite apprendimento automatico: schema generale
Suppongo di disporre, in fase di training, di un insieme T = {(I1, y1), …, (IN, yN)}, dove Ij è un’immagine e yj un’etichetta che indica l’oggetto in essa contenuto: yj {o1, …, om}

17 Riconoscimento tramite apprendimento automatico [2]
Ogni Ij è rappresentata tramite un punto xj in Rn, detto spazio delle feature Utilizzo T per stimare la distribuzione statistica dei punti in Rn e costruire il classificatore C

18 Riconoscimento tramite apprendimento automatico [3]
On-line, uso C per classificare un’immagine nuova I, non appartenente a T: C(I) {o1, …, om}

19 Un semplice esempio Istogramma dell’intensità dei pixel in I:
Divido il range [0, 255] in n bin Assegno ogni pixel ad un bin: I(p) -> divn(I(p)) f(I) = (v0, …, vn-1)T, dove: vi = # { p I : divn(I(p)) = i}

20 Esempio [2] Rappresentazione di T in Rn (n,m = 2)

21 Esempio [3] Rappresentazione della nuova immagine (x = f(I))

22 Rappresentazione di un’immagine mediante feature
Una feature è una rappresentazione, tramite valori numerici, di tutta o parte dell’immagine Se I' è una sottoparte dell’immagine I, allora una feature f è t.c.: f(I') Rd, f(I') = (v0, … vd-1)T, d >= 1

23 Feature globali e locali
I' = I: feature globale I' I: feature locale

24 Esempio: feature locale
fi(I') I' I immagine presa da: Tutorial CVPR 07

25 Scelta delle feature L’immagine in esame viene quindi descritta usando i valori di un insieme di feature pre-scelte f1, …, fk

26 Spazio delle feature Se: fj(I) Rd (1 <= j <= k),
allora: x(I) = (f1(I) T f2(I) T … fk(I) T)T è un punto in Rk*d (spazio delle feature)

27 Proprietà (desiderabili) delle feature
Stabilità, Capacità discriminative, Efficienza computazionale, …

28 Proprietà (desiderabile) del feature space
Punti geometricamente “vicini” corrispondono ad immagini simili

29 Teoria Decisionale Bayesiana
Data l’immagine x e m classi di oggetti C1, … Cm, associare x alla classe più probabile Scelgo Cj* tale che: Notazione abbreviata:

30 Esempio Le probabilità sono stimate tramite training
immagine presa da: Duda, Hart, Stork, Pattern Classification

31 Metodi discriminativi
Mirano a determinare i bordi di decisione (superfici iper-dimensionali) che meglio partizionano Rn rispetto alle classi d’interesse

32 Bordi di decisione: ese. monodimensionale

33 Bordo di decisione: ese. bidimensionale

34 Esempi di classificatori discriminativi
Reti neurali (ANN) Support Vector Machines (SVM) Decision Trees K-Nearest Neighbor (k-NN) Boosting …

35 Riassumendo… In un approccio all’object recognition basato sul machine learning è necessario modellare due tipi di conoscenza: Conoscenza visiva (e.g., scegliere le feature) Conoscenza statistica (e.g., scegliere il classificatore)

36 Alcuni riferimenti Forsyth, Ponce, Computer Vision, a Modern Approach 2003 Duda, Hart, Stork, Pattern Classification (II edition) 2001 Bishop, Pattern Recognition and Machine Learning, 2006 Sebe, Cohen, Garg, Huang, Machine Learning in Computer Vision, 2005

37 Domande…