Progettazione di sistemi di controllo

Presentazione sul tema: "Progettazione di sistemi di controllo"— Transcript della presentazione:

1 Progettazione di sistemi di controllo
Docente: Prof. Luca Schenato Studenti: Bristot Francesca Pattarello Marco Schmiedhofer Klaus Padova, il 18/02/2010

2 Titolo: Autocalibrazione distribuita di videocamere fisse con vincoli di comunicazione dove una frazione di telecamere e calibrata

3 Introduzione SCOPO: DATI: PERCHE’:
Trovare la posizone delle N videocamere di una rete di sorveglianza sapendo che solo n<<N sono calibrate. DATI: Parametri interni delle videocamere. PERCHE’: La calibrazione “manuale” richiede troppo tempo e risorse.

4 Teoria base Modello Pin-hole F piano focale RPiano immagine
Z asse ottico C Centro ottico f focale

5 Matrice di proiezione P=K[I 0]G m=PM m= punto piano immagine
M= punto ‘mondo’ m=PM Matrice di proiezione: P=K[I 0]G K

6 Metodo F Traiettoria casuale davanti alle videocamere
RACCOLTA FRAME DALLA RETE Calcolo matrici fondamentali per ogni coppia CALCOLO BASELINE E DISTANZE Trovo il cammino minimo GRAFO PESATO, CAMMINO MINIMO Ricalibro la rete DIMINUZIONE DELL’ERRORE 1 F 2

7 Matrice F DATE min 8 corrispondenze m1m2 TROVO F tale che:
ALGORITMO DEGLI 8 PUNTI N.B. F non precisa! Va affinata.

8 Si usa il metodo Gold Standard
Funzione di costo STIMA DI MASSIMA VEROSIMIGLIANZA DI F Si usa il metodo Gold Standard Si minimizza una distanza geometrica, l’errore di riproiezione

9 A meno di un fattore di scala
Matrice essenziale E=SR Fattorizzazione SVD R A meno di un fattore di scala Traslazione Rotazione

10 Problema di base: Quanto distanti sono le telecamere tra di loro?

11 Problema di base: Semplifichiamo ulteriormente il problema....
L’algoritmo DLT e quello degli 8 punti porta a conoscere le seguenti matrici Semplifichiamo ulteriormente il problema....

12 Calcolo baseline: Si tratta dunque di trovare la lunghezza della retta rossa, detta baseline. Troviamo un riferimento intelligente....

13 Calcolo baseline: Il sistema di riferimento utilizzato è evidenziato in azzurro

14 X=-differenza tra altezze delle telecamere=-diff
Equazioni retta e piano: Rispetto al nuovo riferimento l’equazione del piano diventa: X=-differenza tra altezze delle telecamere=-diff Per l’equazione della retta si ha invece bisogno di conoscere: Il punto in cui passa è C1=[0,0,0]T il vettore direzionale della retta rappresentato nel sistema di riferimento azzurro è dato da: Dove C2 è rappresentato rispetto al sistema di riferimento solidale alla seconda telecamera ed è noto a meno di un fattore di scala

15 Sistema: Mettendo a sistema si ottiene il punto C2=[X,Y,Z]T rispetto al nuovo sistema di riferimento Pertanto il fattore di scala si calcola come

16 Altezze: Le altezze nelle telecamere sono ricavate dalla seguente formula: Dove: H omologia tra il piano testa e il piano dei piedi l∞ è la vanishing line v∞ è il vanishing point h altezza operatore z altezza telecamera

17 Calcolo altezze: Vanishing line e Vanishing Point
Immagine vanishiang line e vanishing point

18 Prima calibrazione:

19 Calibrazione Stereo: Trasformata di Hough

20 Calibrazione della rete:
La calibrazione viene eseguita in maniera incrementale

21 Simulazioni Stereo: Software utilizzato per le simulazioni: CINEMA 4D

22 Simulazioni rete: Con piu’ telecamere l’errore peggiora?
Ma a cosa è dovuto questo peggioramento?....

23 Errori: Pixellizzazione Cliccare sui punti coniugati
Algoritmo 8 punti, errori dovuti a: linearizzazione cattivo condizionamento Tutto questo si riflette sulle matrici R e t sbagliando quindi il versore direzionale della baseline al piu di un grado

24 Teorema della corda: Per diminuire tale errore l’unico modo è raffinare la matrice F con un algoritmo di costo non lineare come già evidenziato oppure Ricalibrare il sistema.

25 Ricalibrazione: Nuova sequenza di calibrazione
Calcolo della distanza tra ogni coppia di telecamere Costruzione di un grafo pesato (distanze) Ricerca del cammino minimo da ogni telecamera incognita verso una nota Eliminazione degli cammini ridondanti Nuova sequenza di calibrazione

26 Concetti utilizzati: Grafo pesato Matrice di adiacenza Lista calibrata
Algoritmo di Dijkstra

27 Grafo pesato: Definizione: vi ….. Vertice = telecamere
ei ….. Arco = distanza tra telecamere Nota: La distanza si trova ovviamente solo se il campo visivo delle due telecamere i ed j si intersecca.

28 Matrice di adiacenza: Definizione:
Un grafo di N vertici puo` essere rappresentato da una matrice A di dimensione NxN. Nel nostro caso gli elementi sono definiti:

29 1 0 0 0 0 1 0 0 Lista calibrata: Definizione:
Array L di lunghezza N (numero di telecamere) L(i) = 0, telecamera incognita L(i) = 1, telecamera nota

30 Algoritmo di Dijkstra:
Definizione: Trova i camimini minimi in un grafo con pesi non negativi. In particolare il cammino minimo che unisce due nodi precisi del grafo. Valori in ingresso: Nodo di partenza agente incognito Nodo di arrivo agente noto Matrice di adiacenza (Grafo)

31 Modo di operare: Cerchiamo la prima telecamera incognita nella lista calibrata marcata con uno zero Calcoliamo tutti cammini di questa verso le calibrate:

32 Modo di operare [2]: 3) Dijkstra trova il cammino minimo
4) Ripetiamo il procedimento (N-n)-volte, per ogni agente incognito (N-n) cammini minimi: Puo’ essere che i cammini siano ridondanti

33 Modo di operare [3]: 5) Ordiniamo in maniera decrescente
6) Calibriamo gli agenti contenuti nella prima sequenza 7) Scelgo la successiva: E’ inclusa nella precedente? Trovo rete ricalibrata No: Calibro agenti della sequenza Si: Elimino

34 Commenti: Diminuzione dell’errore: 1. Calibrazione: d d d d d 4d
…..Agente noto …..Agente incognito d d d d d 4d

35 Commenti [2]: 2. Ricalibrazione: d d d d 2d 2d …..Agente noto
…..Agente incognito d d d d 2d 2d

36 La ricalibrazione diminuisce l’errore sulla posizione di ogni agente
Commenti [3]: L’errore e’ proporzionale alla distanza: Calibrazione: dmax = 4d Ricalibrazione: dmax = 2d La ricalibrazione diminuisce l’errore sulla posizione di ogni agente

37 Estensione PTZ: Obiettivo: Modellizzare una telecamera PTZ
Trovare la rotazione di ogni PTZ rispetto al riferimento mondo Modellizzare una telecamera PTZ Espressione della Rotazione totale con Pan e Tilt

38 Dati iniziali: Rete di telecamere calibrata
Rotazione tra ogni coppia di telecamere Rotazione delle telecamere note rispetto il riferimento mondo Tutti i cammini minimi Inizialmente Modello pinhole con la PTZ a riposo: RPAN = 0 e RTILT = 0 Centro ottico coincide con l’asse di rotazione della PTZ

39 Rotazione della PTZ: Telecamera nota Telecamera incognita
Riferimento mondo

40 Rotazioni:

41 Rotazioni di una PTZ: Scelgo una telecamera con rotazione incognita (C3) Seguo il cammino minimo verso la telecamera nota (C1) Ogni telecamera che passo, moltiplico per la matrice di rotazione: mondoR3 = R2 R R-1 Sistema di riferimento mondo ~ R2 R-1 R C3 C2 C1 ~

42 Pan e Tilt: Se le PTZ si spostano dalla posizone di riposo, le telecamere risultano di nuovo scalibrate Modifichiamo il modello delle PTZ Inseriamo le rotazioni: Pan RPAN (rotazione orizzontale) Tilt RTILT (rotazione verticale)

43 Video rotazione Pan e Tilt

44 Matrici rotazione Pan e Tilt

45 Rotazione di una PTZ: Quindi la rotazione totale della telecamera rispetto al riferimento mondo e’: mondoR3,PTZ = RPAN RTILT mondoR3 Vantaggio: Avendo svincolato i riferimenti tra le singole telecamere, la rete resta calibrata anche in seguito alla rottura di una o pi`u telecamere.

46 Conclusioni: Risultati:
Calibrazione dell’intera rete di videocamere con metodi per migliorare la stima della posizione. Algoritmo per il calcolo del fattore di scala  Calcolo baseline L’algoritmo non porta a risultati perfetti, infatti errori minimi sulla stima della rototraslazione (anche un solo grado) “crescono” con la distanza. Teorema della corda

47 Sviluppi futuri: Eliminazione dell’errore
Perfezionamento della stima Eliminazione dell’errore Estensione al caso di videocamere Pan-Tilt-Zoom Estensione al caso distribuito