La Visione Artificiale in Applicazioni di Sicurezza

Presentazione sul tema: "La Visione Artificiale in Applicazioni di Sicurezza"— Transcript della presentazione:

1 La Visione Artificiale in Applicazioni di Sicurezza
Giovanni Garibotto Elsag Spa Genova Riconoscimento caratteri e lettura mobile di targhe Detezione di ostacoli 3D in movimento (un progetto in fase di sviluppo) Visione 3D per la ricostruzione di scene incidentate

2 Sistema di lettura Targhe Mobile a Bordo Auto O2CR “Auto-Detector”
Un Ausiliario Elettronico per la pattuglia a bordo Due occhi dedicati alla sicurezza

3 Specifiche dei Requisiti:
Auto-Detector Specifiche dei Requisiti: Massima raccolta targhe durante una normale missione di auto-pattuglia Lettura in aree urbane ed extraurbane (autostrade) senza limiti di velocita’ Servizio continuativo 24 h su 24 (diurno-notturno) Segnalazione immediata di allarme con liste aggiornate (> elementi) Miniaturizzazione dell’apparato sensoriale (integrazione con dispositivi esistenti) Bassi consumi e vincoli di alloggiamento Non interferire con la normale operativita’ del personale Sfide tecnologiche: Lettura continua e integrazione temporale Gestione di orientamenti arbitrari delle targhe e letture multiple Compensazione della dinamica di illuminazione non controllabile

4 Configurazione di ripresa per il Lettore a bordo auto
6 m. c.a. 6 m. c.a. 3 m c.a. 3 m c.a. Copertura simultanea di lettura delle due corsie adiacenti a quella di marcia Per ogni transito rilevato da ciascuna delle telecamere vengono registrati: Stringa corrispondente alla targa letta Ora e data Posizione (georeferenziata GPS fornita dal dispositivo Route Planner di navigazione) Immagine del transito (compressa)

5 Condizioni di leggibilita’ targhe
S dmax Lmax dmax Le aree in rosso descrivono le zone coperte dal sistema di ripresa durante la marcia, in cui le targhe risultano “leggibili” Inclinazione α

6 Schema funzionale del sistema Auto-Detector
CENTRALE Operativa Postazione Radiolocalizzazione Postazione Controllo Targhe Introduzione e cancellazione targhe in lista nera Ricezione allarmi Consultazione transiti ACCENTRA GEODI TRG Comunicazione con veicolo Radiolocalizzazione veicolo LAN Modem GSM Wireless-LAN Telecamera sx VEICOLO FPM RS 232 Modem GSM RS 232 Telecamera dx

7 Scheda Tecnica del sistema Auto-Detector
Sensore miniaturizzato integrato con due microcamere digitali B/W progressive con ottica NF 12mm e mini illuminatori IR flash (88 LED on chip ad alta densita’) Ampia possibilita’ di espansione verso sensori ad alta risoluzione e alta sensibilita’ Unita’ di elaborazione nel vano bagagli delle vettura Processore INTEL X-Scale a elevate prestazioni (880 MHz, 32 bits, 64 MB RAM) Rete a 100 Mb/s Bassi consumi < 15W, e alimentazione a 12 VDC Elevata compattezza Componente di una rete espandibile Facilita’ di connessioni remote per manutenzione ed aggiornamento

8 O2CR-Diagramma di flusso
Acquisizione video continua Elaborazione immagini e regione di interesse ROI Segmentazione ROI e riconoscimento caratteri Analisi contestuale e Understanding Aggiornamento e manutenzione Base-Dati targhe Confronto liste targhe (bianche-nere) Controllo esposizione Interfaccia Applicativa (MMI - utente)

9 O2CR Processo di Lettura Targhe
Pre-Processing: Elaborazione della sequenza video per selezionare automaticamente i quadri immagine in movimento” OCR Engine: Estrazione e misura caratteri targa nelle regioni ROI selezionate e validazione contestuale Localizzazione Campo Targa Segmentazione Caratteri Misura e Riconoscimento Caratteri Validazione Contestuale Post-Processing: Integrazione temporale e fusione dei caratteri targa da letture successive

10 O2CR Engine:Localizzazione del Campo Targa
Localizzazione targa per limitare il campo di lettura Analisi di configurazioni nei livelli di grigio lungo linee orizzontali Il risultato del processo e’ il rettangolo che contiene il campo targa Compensazione orientamento “Deskewing”- analisi della fase del gradiente

11 O2CR Engine :Segmentazione Caratteri
Processi adattativi per compensare variazioni nelle condizioni di illuminazione (ombre e riflessi) Gestione del contrasto per discriminare i caratteri dallo sfondo Binarizzazione adattativa Laplaciano di gaussiana e binarizzazione del segnale filtrato

12 Esempio di carattere segmentato, mappa di features
O2CR Engine :Riconoscimento e Misura 1 Si tratta in genere di OCR monofont, quindi con distribuzioni di probabilita` modellabili come “nuvole” centrate attorno ad un punto (archetipo) nello spazio delle features. Features utilizzate: mappa “grigi” locali di dimensione fissa e spaziatura adattata Distribuzione di probabilita`: stimata con media e covarianza delle 36 classi alfanumeriche Classificatore utilizzato: maximum likelyhood con distanza di Mahalanobis -1/2 ( X-Mi )T Q-1 ( X-Mi ) dove Mi vettore medio della classe i Qi matrice di covarianza della classe i Criterio di scarto distanza superiore ad un valore prefissato Esempio di carattere segmentato, mappa di features

13 O2CR Engine: Post-Processing
Confronto e integrazione delle targhe riconosciute nei quadri immagine che compongono la sequenza video per selezionare i dati piu’ stabili e corretti Misura della distanza tra stringhe alfanumeriche di testo per decidere l’accettazione del candidato targa Si ottiene un sensibile miglioramento del riconoscimento targa rispetto alle misure condotte su singoli quadri immagine Confronti con liste bianche (veicoli autorizzati) e liste nere (generazione allarmi)

14 Prestazioni del sistema Auto-Detector

15 Prestazioni del sistema Auto-Detector
Lettura continua giorno e notte e transizioni brusche (gallerie) pioggia, ecc. Ottimizzato per le targhe italiane con equivoco inferiore a 0.5% Predisposto per la lettura targhe internazionali (training e contesto-libero) Vetture parcheggiate al bordo strada lungo tratti urbani Riprese a velocita’ 50 km/h Percentuale media di letture corrette rispetto a quelle leggibili > 90% Vetture in movimento lungo tratti autostradali o strade ad elevato scorrimento Percentuale media di letture corrette rispetto a quelle leggibili > 95%

16 Moving Obstacle Detection System
3D MODS Moving Obstacle Detection System Le specifiche e requisiti applicativi di riferimento La soluzione proposta Configurazione adottata e modalita’ di installazione Descrizione del processo Alcuni esempi Sviluppi in corso

17 ODS- Stazioni Metropolitane 1
L’obiettivo principale dell’ODS e’ quello di generare un allarme quando un oggetto di dimensioni predefinite (un cubo di 30 cm. di lato e’ utilizzato come “test-body”) cade in una zona pericolo. (zona binari). E’ definita una barriera virtuale all’altezza del marciapiede, come zona di sicurezza. L’oggetto non deve essere metallico ne’ avere proprieta’ di conducibilita’ Non si devono avere falsi allarmi per: Variazioni nelle condizioni atmosferiche e di illuminazione Fogli di giornale, pacchetti di sigarette, ecc. Transito di treni Tempo di risposta nella detezione oggetto (allarme) < 300 msec. Copertura di tutta la lunghezza del binario in stazione (c.a. 40 m.) Garantita una illuminazione ambientale >10 lux

18 Soluzioni attualmente in fase di valutazione
ODS- Stazioni Metropolitane 2 Barriere ottiche Barriere Laser Frequenti falsi allarmi No-documentazione dell’evento Difficile installazione (ingombri in zona danger) Difficile manutenzione (interruzione servizio) Soluzioni attualmente in fase di valutazione

19 3D MODS- La Proposta Elsag 1
Assetto Binoculare convergente Base telemetrica fra le due telecamere Vantaggi: Elimina falsi allarmi generati da: Ombre e riflessi di luce Fogli o superfici piane B Una telecamera (master) rileva le variazioni di movimento La seconda telecamera verifica la consistenza 3D delle aree rilevate in movimento

20 3D MODS- La Proposta Elsag 3
Modello binoculare Autocalibrazione sul piano da analizzare Modello predizione-verifica Ogni piano nello spazio 3D determina una tabella di corrispondenza (look-up) tra i punti immagine Master e Slave B Vantaggi principali: Insensibilita’ a variazioni di luce (coppie di telecamere sincronizzate) Velocita’ di processing (look-up limitate alle aree in movimento)

21 MODS: Moving Obstacle Detection System
3D MODS- La Proposta Elsag 2 MODS: Moving Obstacle Detection System m 4.39 m Configurazione sensoriale (6 sensori stereo) per coprire la lunghezza del binario in stazione Sensore base: Aggiornamento del background e controllo esposizione Detezione movimento (change-detection) della Telecamera master: zone candidate (blob) Estrazione contorni (in movimento) Correlazione immagini (ai diversi pianio selezionati) Estrazione features (globali e ai singoli piani): densita’ punti “attivi”, posizione (baricentri) assi di inerzia Detezione (warning e allarmi) con euristiche (processo “generico”) da specializzare con opportuna fase di “training”

22 3D MODS- La Proposta Elsag 4
Architettura di sistema LAN 1 LAN 2 Basic Sensor Basic Sensor I/F to External Systems SCADA, TLC, ecc. Basic Sensor Basic Sensor Alarm Mngm. Supervision SUP-1 Basic Sensor Alarm Mngm. Supervision SUP-2 Basic Sensor Basic Sensor Basic Sensor Rail track 1 Rail track 2

23 Configurazione di ripresa
3D MODS- Situazione attuale prototipo “base” Configurazione di ripresa Sensore binoculare Procedure di Calibrazione e Installazione (messa in servizio): Selezione nella scena di punti 3D (sparsi) su due piani ad altezza 0 e h, rispettivamente Costruzione della matrice fondamentale F (relazione epipolare) Costruzione delle trasformate (omografie) sui due piani selezionati Interpolazione lineare dei piani con vincolo epipolare O = (1-dz/h) O0 + (dz/h) Oh Left Right

24 3D MODS- Assetto stereo di ripresa”
Punti P con giacitura su un piano di riferimento P Parallela alla direzione P1 P1 P2 O1 Ep2 O2

25 3D MODS- Interpolazione con omografia all’infinito
Omografia al suolo O0 ottenuta dalla corrispondenza di N pti (>=4) su un piano di riferimento (piano dei binari)  Omografia all’infinito O ottenuta dalla corrispondenza dei punti all’infinito, rispetto ad un sistema di riferimento 3D comune nella scena (landmark “naturale” dei binari) Relazione di interpolazione per ottenere l’omografia O al piano corrente, come: O = H/(H-h) O h / (H-h) O Si utilizza un sistema di riferimento ortogonale nel mondo costituito da 3 direzioni ortogonali corrispondenti ai 3 pti di fuga (punti impropri) sul piano immagine

26 3D MODS- Landmark 3D nella scena

27 Esempio di coppia stereo sincronizzata
3D-MODS- Impianto Pilota METRO-Ge, Certosa-Brin Il sistema (un sensore) e’ installato alla stazione di Genova-Certosa, dal Il sistema e’ in grado di rilevare la presenza di oggetti (di dimensioni superiori a 15 cm. nella zona di sicurezza all’altezza della banchina Puo’ classificare i treni in transito Sensore binoculare Esempio di coppia stereo sincronizzata Cassetto di controllo

28 Software di elaborazione ORTHO-PHOTO
ORTO-FOTO: Ricostruzione e misure di scene incidenti Componenti Compasso landmark Compatto lunghezza 1 m. Materiale “Polidur” alta densita’ molecolare, resistente e leggero Trattamento anti UVA con ampia resistenza a escursioni termiche e usura Fotocamera digitale 4 Megapixel 2272x1704, a colori Salvataggio su mini-CD a sola scrittura Software di elaborazione ORTHO-PHOTO

29 Ricostruzione in pianta
Ricostruzione grafica scene (schizzo post-incidente) Ricostruzione della scena per una mappatura piu’ realistica della scena Recupero misure e dati senza elementi di disturbo (scena sgombra)

30 Export dati in uscita Per ogni immagine selezionata:
Scelta punto di origine (P0) sulla scena e direzione principale (P1) (ad es. lungo una corsia), per identificare una posizione assoluta di riferimento, ben identificabile nella scena; Tutte le coordinate misurate vengono riportate in questo sistema di riferimento Struttura dati in uscita: Sequenza dei punti misurati (segmenti in colore blu nella figura) al suolo nel sistema di riferimento selezionato, che possono essere posizionati su un grafico esterno (ad. Es. CAD) ESTERNO AL PROGRAMMA ORTHO-PHOTO P1 P0

31 Nuove applicazioni e sviluppi in corso
Misura velocita’ dalla lettura continua delle targhe dei veicoli in transito Lettura codici containers nel controllo accesso varchi portuali Detezione e classificazione di sorpassi tra mezzi pesanti (con modelli 3D di veicoli e mezzi) Misure stereometriche fra due foto-digitali non-calibrate (landmark) Riconoscimento e classificazione transiti di motocicli (struttura targe) Classificazione transiti a varchi (persone, veicoli, ecc.) Simulazione transiti