Inseguimento adattativo binoculare in tempo reale LIRA-Lab Laboratorio Integrato di Robotica Avanzata Inseguimento adattativo binoculare in tempo reale Alberto Baroni Relatore: Chiar.mo Prof. Giulio Sandini Correlatore: Ing. Carlos Beltran

Obiettivi Realizzare un setup utilizzando una testa robotica binoculare ed un sistema operativo real-time. Effettuare esperimenti di inseguimento utilizzando filtri predittivi (LMS, regressione, Kalman). Effettuare esperimenti sul moto di un bersaglio in presenza di una occlusione. Nell’ambito di questa tesi si è trattato il problema dell’inseguimento di oggetti in movimento. Per aumentare le prestazioni del sistema si sono posti i seguenti obiettivi:

Obiettivi Realizzare un setup utilizzando una testa robotica binoculare ed un sistema operativo real-time. Effettuare esperimenti di inseguimento utilizzando filtri predittivi (LTI, regressione, Kalman). Effettuare esperimenti sul moto di un bersaglio in presenza di una occlusione. Analizziamo ora il primo punto in dettaglio…

Il setup Eurohead: Sistema operativo real-time QNX Neutrino 2 Testa robotica a 4 gradi di libertà: pan, tilt e vergenza delle due telecamere Sistema operativo real-time QNX Neutrino 2 Microkernel Gestione della comunicazione tra processi tramite messaggi Gestione proprietaria della rete: qnet Standard POSIX (portable operating system interface) La testa robotica utilizzata ha 4 gradi di libertà ed è costruita in modo da avere due giunti coincidenti con il centro di massa della testa stessa. Il sistema operativo è dotato di un microkernel …

Obiettivi Realizzare un setup utilizzando una testa robotica binoculare ed un sistema operativo real-time. Effettuare esperimenti di inseguimento utilizzando filtri predittivi (LMS, regressione, Kalman). Effettuare esperimenti sul moto di un bersaglio in presenza di una occlusione. Per attuare una predizione sullo stato dell’oggetto in movimento sono stati utilizzati diversi strumenti statistici. Tutti utilizzano, anche se in maniera differente, la storia passata per effettuare la previsione.

Prestazioni Kalman Filter CV Predizione Filtro FIR (Finite Impulse Response) Filtro FIR con regressione non lineare Filtro di Kalman Altri filtri di predizione 10 20 30 40 50 -50 -40 -30 -20 -10 Tempo (sec) Posizione (feet) Prestazioni Kalman Filter CV Posizione Posizione Stimata Posizione Misurata 5 10 15 20 -1.5 -1 -0.5 0.5 1 1.5 Risposta ad un bersaglio sinusoidale Occhio Bersaglio con rumore Bersaglio 5 10 15 20 -1.5 -1 -0.5 0.5 1 1.5 Risposta ad un bersaglio sinusoidale Bersaglio Occhio -1.5 -1 -0.5 0.5 1 1.5 -2 2 4 6 8 10 12 14 16 x 10 Il filtro FIR utilizza una combinazione lineare delle posizioni precedenti moltiplicata per un peso per ottenere una stima sulla posizione successiva. I pesi vengono calcolati tramite l’errore tra la posizione predetta e quella osservata. Il filtro di Kalman Il filtro stima lo stato di un processo in un determinato istante a partire da un modello del sistema stesso. Possiamo dividere il compito del filtro in due parti distinte: la prima effettua una previsione temporale a partire dal modello del sistema mentre la seconda corregge questa previsione tramite l’osservazione della misura effettuata.

Filtro FIR (Finite Impulse Response) Risposta ad un bersaglio sinusoidale 1.5 1 0.5 Posizione -0.5 -1 -1.5 5 10 15 20 Tempo Bersaglio Occhio

Filtro Fir (Finite Impulse Response)

Filtro FIR con regressione non lineare 6 x 10 16 14 12 10 Posizione z 8 6 4 2 2 Posizione y 1.5 0.5 1 -2 -1.5 -1 -0.5 Posizione x Bersaglio Stima

Filtro FIR (Finite Impulse Response) Risposta ad un bersaglio sinusoidale 1.5 1 0.5 Posizione -0.5 -1 -1.5 5 Tempo 10 15 20 Bersaglio Occhio Bersaglio con rumore

Prestazioni filtro di Kalman CV 30 20 10 Posizione (feet) -10 -20 -30 -40 -50 10 20 30 40 50 Tempo (sec) Posizione reale Posizione stimata Posizione misurata

Filtro di Kalman Correzione Predizione

Altri filtri di predizione Filtro di Kalman esteso (EKF) IMM Filtri a particelle

Esperimenti

Schema di controllo

Schema di controllo

Schema di controllo

Schema del software

Esperimenti

Esperimenti: segmentazione

Esperimenti

Risultati Incremento della riduzione dell’errore retinico massimo utilizzando il filtro di Kalman all’aumentare della velocità. 45 40 35 30 25 Valore (pixel) 20 15 10 5 10 15 20 25 30 35 40 45 50 Velocità carrello (mm/s)

Andamento errore retinico Velocità carrello (mm/s) Risultati Andamento errore retinico 60 Senza predizione Con predizione 50 40 Valore (pixel) 30 20 10 10 15 20 25 30 35 40 45 50 Velocità carrello (mm/s)

Obiettivi Realizzare un setup utilizzando una testa robotica binoculare ed un sistema operativo real-time. Effettuare esperimenti di inseguimento utilizzando filtri predittivi (LMS, regressione, Kalman). Effettuare esperimenti sul moto di un bersaglio in presenza di una occlusione.

Risultati Centro di massa sul piano immagine Angolo encoder 35 40 45 50 -50 100 pixel Senza predizione Con predizione Centro di massa sul piano immagine 35 40 45 50 -0.5 0.5 rad Angolo encoder telecamera sinistra 35 40 45 50 -0.5 0.5 1 rad/s Velocità encoder telecamera sinistra 35 40 45 50 -0.5 0.5 1 rad/s Frame Velocità encoder telecamera sinistra

Conclusioni L’utilizzo del filtro di kalman permette di ridurre sensibilmente l’errore retinico e può essere impiegato anche nel superamento di occlusioni.

Inseguimento adattativo binoculare in tempo reale LIRA-Lab Laboratorio Integrato di Robotica Avanzata Inseguimento adattativo binoculare in tempo reale