Reti neurali per la percezione dell’ambiente in robotica autonoma

Presentazione sul tema: "Reti neurali per la percezione dell’ambiente in robotica autonoma"— Transcript della presentazione:

1 Reti neurali per la percezione dell’ambiente in robotica autonoma
Sergio Taraglio ENEA, Sezione di Robotica, C.R. Casaccia, Roma S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

2 Sommario Motivazione all’uso di reti neurali in robotica
Teoria: reti neurali per la stereoscopia Esempi di applicazioni: Stereoscopia Navigazione reattiva Riconoscimento di marker artificiali Conclusioni S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

3 Motivazione all’uso di NN in robotica
La robotica: una scienza che studia la connessione intelligente tra percezione e azione Per costruire un robot occorrono le conoscenze e la pratica di tante altre scienze, meccanica, informatica, intelligenza artificiale, neuroscienze, psicologia, logica, linguistica, matematica, biologia, fisiologia, e anche, più indirettamente, filosofia, etica, arti espressive, design S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

4 Motivazione Un robot (autonomo) deve: Il fattore tempo:
Misurare l’ambiente (sensoristica) Farsi un’idea dell’ambiente (modellistica) Decidere cosa e come fare (pianificazione) Metterlo in pratica (attuazione) Controllare lo stato del sistema (supervisione) Il fattore tempo: deve fare tutto ciò in tempo reale S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

5 Motivazione Soluzione: Reti neurali: Mezzi di calcolo più potenti
Algoritmi di calcolo più furbi Reti neurali: Robuste rispetto al rumore Affidabili (graceful degradation) Alcune imparano da sole a partire da esempi (!) Molto veloci una volta programmate S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

6 NN per la stereoscopia La stereoscopia:
S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

7 NN per la stereoscopia Point of view
S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

8 NN per la stereoscopia Il “matching”: problema matematicamente mal posto, non si ha la certezza dell’esistenza e della unicità della soluzione. Richiede l’applicazione di alcune ipotesi restrittive in grado di regolarizzare la soluzione. Gli algoritmi di stereo matching sono computing intensive S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

9 NN per la stereoscopia Lo stereo matching è esprimibile in termini di estremizzazione di un opportuno funzionale Fotometrico Smoothness S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

10 NN per la stereoscopia Reti Neurali Cellulari (CNN):
Riuniscono alcune caratteristiche di due classi di sistemi: Reti Neurali: Circuiti analogici non lineari che processano parallelamente i segnali in tempo reale (tempo di convergenza 10 µs). Automi Cellulari: Formate da una massiccia aggregazione di cloni che comunicano direttamente soltanto con i primi vicini Conservano alcuni pregi delle altre reti neurali (processing parallelo asincrono, ottima tolleranza al rumore, etc). Data la topologia di interconnessione locale, sono realizzabili su chip anche reti di grandi dimensioni S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

11 NN per la stereoscopia Equazione di input: Equazione di stato:
Equazione di output: controllo retroazione S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

12 NN per la stereoscopia Estremizzano un funzionale energia interna, possono quindi essere utilizzate per risolvere problemi di ottimizzazione Si può trovare una rete CNN in grado di risolvere lo stereo matching? S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

13 NN per la stereoscopia Scrivere un funzionale per la visione stereoscopica Mappare questo funzionale all’interno della CNN, agendo sulle interconnessioni e le polarizzazioni delle celle Si ottiene così una Stereo-CNN capace di risolvere il problema espresso nel funzionale originario Nessuna connessione fisica intrastrato! I piani hanno una connessione “logica” S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

14 Applicazione: Navigazione Autonoma in un Corridoio
S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

15 Navigazione Autonoma in un Corridoio
Immagine Acquisita Mappa Disparità Vista in Pianta S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

16 Navigazione Autonoma in un Corridoio
1 S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

17 Applicazione: Navigazione Autonoma in un Corridoio con Ostacoli
S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

18 Navigazione autonoma in un Corridoio
S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

19 Obstacle detection and avoidance
The external view S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

20 Obstacle detection and avoidance
The input images (R) Interface view The disparity map S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

21 Applicazioni: navigazione reattiva
Navigazione autonoma in un corridoio: mantenere la mediana e non urtare le pareti Trattamento di dati sensoriali: immagini video Necessità di prendere decisioni in tempi brevissimi (real-time) Reattività: risposta immediata Immagine di ingresso Angolo di sterzata a S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

22 Navigazione reattiva immagine elaborazione neurale periodo = 4 s
angolo di sterzo S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

23 Navigazione reattiva andata Il punto di vista del robot ritorno
S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

24 Riconoscimento marker
Scopo: auto-localizzazione di un robot Campione di colore Immagine sorgente Ricerca del colore Bordi & colore Bordi dell’immagine Marker individuato S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

25 Riconoscimento marker
Parte letterale estratta Trasformazione dell’immagine in forma “binaria” Parte numerica Riduzione a 20X20 pixel Porzione dell’immagine sorgente che racchiude il marker S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

26 Conclusioni Le NN in robotica sono di grande aiuto:
Imparano per esempi Sono “robuste” rispetto al rumore Permettono un’elaborazione dati veloce compatibile con i vincoli temporali Ottime per la percezione sensoriale S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma

27 Domande ? S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma