Inseguimento adattativo binoculare in tempo reale

Presentazione sul tema: "Inseguimento adattativo binoculare in tempo reale"— Transcript della presentazione:

1 Inseguimento adattativo binoculare in tempo reale
LIRA-Lab Laboratorio Integrato di Robotica Avanzata Inseguimento adattativo binoculare in tempo reale Alberto Baroni Relatore: Chiar.mo Prof. Giulio Sandini Correlatore: Ing. Carlos Beltran

2 Obiettivi Realizzare un setup utilizzando una testa robotica binoculare ed un sistema operativo real-time. Effettuare esperimenti di inseguimento utilizzando filtri predittivi (LMS, regressione, Kalman). Effettuare esperimenti sul moto di un bersaglio in presenza di una occlusione. Nell’ambito di questa tesi si è trattato il problema dell’inseguimento di oggetti in movimento. Per aumentare le prestazioni del sistema si sono posti i seguenti obiettivi:

3 Obiettivi Realizzare un setup utilizzando una testa robotica binoculare ed un sistema operativo real-time. Effettuare esperimenti di inseguimento utilizzando filtri predittivi (LTI, regressione, Kalman). Effettuare esperimenti sul moto di un bersaglio in presenza di una occlusione. Analizziamo ora il primo punto in dettaglio…

4 Il setup Eurohead: Sistema operativo real-time QNX Neutrino 2
Testa robotica a 4 gradi di libertà: pan, tilt e vergenza delle due telecamere Sistema operativo real-time QNX Neutrino 2 Microkernel Gestione della comunicazione tra processi tramite messaggi Gestione proprietaria della rete: qnet Standard POSIX (portable operating system interface) La testa robotica utilizzata ha 4 gradi di libertà ed è costruita in modo da avere due giunti coincidenti con il centro di massa della testa stessa. Il sistema operativo è dotato di un microkernel …

5 Obiettivi Realizzare un setup utilizzando una testa robotica binoculare ed un sistema operativo real-time. Effettuare esperimenti di inseguimento utilizzando filtri predittivi (LMS, regressione, Kalman). Effettuare esperimenti sul moto di un bersaglio in presenza di una occlusione. Per attuare una predizione sullo stato dell’oggetto in movimento sono stati utilizzati diversi strumenti statistici. Tutti utilizzano, anche se in maniera differente, la storia passata per effettuare la previsione.

6 Prestazioni Kalman Filter CV
Predizione Filtro FIR (Finite Impulse Response) Filtro FIR con regressione non lineare Filtro di Kalman Altri filtri di predizione 10 20 30 40 50 -50 -40 -30 -20 -10 Tempo (sec) Posizione (feet) Prestazioni Kalman Filter CV Posizione Posizione Stimata Posizione Misurata 5 10 15 20 -1.5 -1 -0.5 0.5 1 1.5 Risposta ad un bersaglio sinusoidale Occhio Bersaglio con rumore Bersaglio 5 10 15 20 -1.5 -1 -0.5 0.5 1 1.5 Risposta ad un bersaglio sinusoidale Bersaglio Occhio -1.5 -1 -0.5 0.5 1 1.5 -2 2 4 6 8 10 12 14 16 x 10 Il filtro FIR utilizza una combinazione lineare delle posizioni precedenti moltiplicata per un peso per ottenere una stima sulla posizione successiva. I pesi vengono calcolati tramite l’errore tra la posizione predetta e quella osservata. Il filtro di Kalman Il filtro stima lo stato di un processo in un determinato istante a partire da un modello del sistema stesso. Possiamo dividere il compito del filtro in due parti distinte: la prima effettua una previsione temporale a partire dal modello del sistema mentre la seconda corregge questa previsione tramite l’osservazione della misura effettuata.

7 Filtro FIR (Finite Impulse Response)
Risposta ad un bersaglio sinusoidale 1.5 1 0.5 Posizione -0.5 -1 -1.5 5 10 15 20 Tempo Bersaglio Occhio

8 Filtro Fir (Finite Impulse Response)

9 Filtro FIR con regressione non lineare
6 x 10 16 14 12 10 Posizione z 8 6 4 2 2 Posizione y 1.5 0.5 1 -2 -1.5 -1 -0.5 Posizione x Bersaglio Stima

10 Filtro FIR (Finite Impulse Response)
Risposta ad un bersaglio sinusoidale 1.5 1 0.5 Posizione -0.5 -1 -1.5 5 Tempo 10 15 20 Bersaglio Occhio Bersaglio con rumore

11 Prestazioni filtro di Kalman CV
30 20 10 Posizione (feet) -10 -20 -30 -40 -50 10 20 30 40 50 Tempo (sec) Posizione reale Posizione stimata Posizione misurata

12 Filtro di Kalman Correzione Predizione

13 Altri filtri di predizione
Filtro di Kalman esteso (EKF) IMM Filtri a particelle

14 Esperimenti

15 Schema di controllo

16 Schema di controllo

17 Schema di controllo

18 Schema del software

19 Esperimenti

20 Esperimenti: segmentazione

21 Esperimenti

22 Risultati Incremento della riduzione dell’errore retinico massimo
utilizzando il filtro di Kalman all’aumentare della velocità. 45 40 35 30 25 Valore (pixel) 20 15 10 5 10 15 20 25 30 35 40 45 50 Velocità carrello (mm/s)

23 Andamento errore retinico Velocità carrello (mm/s)
Risultati Andamento errore retinico 60 Senza predizione Con predizione 50 40 Valore (pixel) 30 20 10 10 15 20 25 30 35 40 45 50 Velocità carrello (mm/s)

24 Obiettivi Realizzare un setup utilizzando una testa robotica binoculare ed un sistema operativo real-time. Effettuare esperimenti di inseguimento utilizzando filtri predittivi (LMS, regressione, Kalman). Effettuare esperimenti sul moto di un bersaglio in presenza di una occlusione.

25 Risultati Centro di massa sul piano immagine Angolo encoder
35 40 45 50 -50 100 pixel Senza predizione Con predizione Centro di massa sul piano immagine 35 40 45 50 -0.5 0.5 rad Angolo encoder telecamera sinistra 35 40 45 50 -0.5 0.5 1 rad/s Velocità encoder telecamera sinistra 35 40 45 50 -0.5 0.5 1 rad/s Frame Velocità encoder telecamera sinistra

26 Conclusioni L’utilizzo del filtro di kalman permette di ridurre sensibilmente l’errore retinico e può essere impiegato anche nel superamento di occlusioni.

27 Inseguimento adattativo binoculare in tempo reale
LIRA-Lab Laboratorio Integrato di Robotica Avanzata Inseguimento adattativo binoculare in tempo reale