Reti neurali per la percezione dell’ambiente in robotica autonoma Sergio Taraglio ENEA, Sezione di Robotica, C.R. Casaccia, Roma taraglio@casaccia.enea.it S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

Sommario Motivazione all’uso di reti neurali in robotica Teoria: reti neurali per la stereoscopia Esempi di applicazioni: Stereoscopia Navigazione reattiva Riconoscimento di marker artificiali Conclusioni S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

Motivazione all’uso di NN in robotica La robotica: una scienza che studia la connessione intelligente tra percezione e azione Per costruire un robot occorrono le conoscenze e la pratica di tante altre scienze, meccanica, informatica, intelligenza artificiale, neuroscienze, psicologia, logica, linguistica, matematica, biologia, fisiologia, e anche, più indirettamente, filosofia, etica, arti espressive, design S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

Motivazione Un robot (autonomo) deve: Il fattore tempo: Misurare l’ambiente (sensoristica) Farsi un’idea dell’ambiente (modellistica) Decidere cosa e come fare (pianificazione) Metterlo in pratica (attuazione) Controllare lo stato del sistema (supervisione) Il fattore tempo: deve fare tutto ciò in tempo reale S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

Motivazione Soluzione: Reti neurali: Mezzi di calcolo più potenti Algoritmi di calcolo più furbi Reti neurali: Robuste rispetto al rumore Affidabili (graceful degradation) Alcune imparano da sole a partire da esempi (!) Molto veloci una volta programmate S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

NN per la stereoscopia La stereoscopia: S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

NN per la stereoscopia Point of view S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

NN per la stereoscopia Il “matching”: problema matematicamente mal posto, non si ha la certezza dell’esistenza e della unicità della soluzione. Richiede l’applicazione di alcune ipotesi restrittive in grado di regolarizzare la soluzione. Gli algoritmi di stereo matching sono computing intensive S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

NN per la stereoscopia Lo stereo matching è esprimibile in termini di estremizzazione di un opportuno funzionale Fotometrico Smoothness S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

NN per la stereoscopia Reti Neurali Cellulari (CNN): Riuniscono alcune caratteristiche di due classi di sistemi: Reti Neurali: Circuiti analogici non lineari che processano parallelamente i segnali in tempo reale (tempo di convergenza 10 µs). Automi Cellulari: Formate da una massiccia aggregazione di cloni che comunicano direttamente soltanto con i primi vicini Conservano alcuni pregi delle altre reti neurali (processing parallelo asincrono, ottima tolleranza al rumore, etc). Data la topologia di interconnessione locale, sono realizzabili su chip anche reti di grandi dimensioni S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

NN per la stereoscopia Equazione di input: Equazione di stato: Equazione di output: controllo retroazione S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

NN per la stereoscopia Estremizzano un funzionale energia interna, possono quindi essere utilizzate per risolvere problemi di ottimizzazione Si può trovare una rete CNN in grado di risolvere lo stereo matching? S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

NN per la stereoscopia Scrivere un funzionale per la visione stereoscopica Mappare questo funzionale all’interno della CNN, agendo sulle interconnessioni e le polarizzazioni delle celle Si ottiene così una Stereo-CNN capace di risolvere il problema espresso nel funzionale originario Nessuna connessione fisica intrastrato! I piani hanno una connessione “logica” S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

Applicazione: Navigazione Autonoma in un Corridoio S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

Navigazione Autonoma in un Corridoio Immagine Acquisita Mappa Disparità Vista in Pianta S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

Navigazione Autonoma in un Corridoio 1 S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

Applicazione: Navigazione Autonoma in un Corridoio con Ostacoli S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

Navigazione autonoma in un Corridoio S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

Obstacle detection and avoidance The external view S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

Obstacle detection and avoidance The input images (R) Interface view The disparity map S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

Applicazioni: navigazione reattiva Navigazione autonoma in un corridoio: mantenere la mediana e non urtare le pareti Trattamento di dati sensoriali: immagini video Necessità di prendere decisioni in tempi brevissimi (real-time) Reattività: risposta immediata Immagine di ingresso Angolo di sterzata a S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

Navigazione reattiva immagine elaborazione neurale periodo = 4 s angolo di sterzo S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

Navigazione reattiva andata Il punto di vista del robot ritorno S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

Riconoscimento marker Scopo: auto-localizzazione di un robot Campione di colore Immagine sorgente Ricerca del colore Bordi & colore Bordi dell’immagine Marker individuato S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

Riconoscimento marker Parte letterale estratta Trasformazione dell’immagine in forma “binaria” Parte numerica Riduzione a 20X20 pixel Porzione dell’immagine sorgente che racchiude il marker S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

Conclusioni Le NN in robotica sono di grande aiuto: Imparano per esempi Sono “robuste” rispetto al rumore Permettono un’elaborazione dati veloce compatibile con i vincoli temporali Ottime per la percezione sensoriale S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

Domande ? S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma