Spazi dei colori, Bayer pattern e robotica umanoide Lezione del 14 marzo 2006 Anno Accademico 2005/2006 Tommaso Guseo http://robotics.dei.unipd.it/~tommy Tommaso Guseo Lezione: 14 marzo 2006

Sommario della lezione Il sistema visivo umano Modelli per gli spazi dei colori. L’interpolazione del Bayer Pattern. Il robot umanoide Leonardo. Tommaso Guseo Lezione: 14 marzo 2006

Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Il sistema visivo umano La tricromia Il sistema visivo umano Le cellule visive sono formate da coni e bastoncelli. I bastoncelli sono attivi al buio e in condizioni di bassa luminosità. Alla luce del giorno solo i coni sono responsabili della visione. I coni sono sensibili a 3 differenti lunghezze d’onda. Tommaso Guseo Lezione: 14 marzo 2006

Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Il sistema visivo umano La tricromia La Tricromia Esperimenti hanno dimostrato la necessità di tre componenti cromatiche per poter ricostruire un colore. L’occhio umano è più sensibile alla componente verde rispetto alla rossa e alla blu. I tre stimoli CIE hanno valore X,Y,Z. Tommaso Guseo Lezione: 14 marzo 2006

Modelli per gli spazi dei colori Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) Modelli per gli spazi dei colori Esempio tratto dal dizionario Webster: Rosso Tiziano: “Un arancione tendente al bruno che appare un po’ più giallo e chiaro del marrone spezia, come pure del marrone prateria e del marrone di Windsor, ma un po’ più rosso e scuro del colore ambra o del fagiano dorato” (“Luce colore visione”, Editori Riuniti) Tiziano, Flora (1515), Firenze Uffizi Tommaso Guseo Lezione: 14 marzo 2006

Standard Software per l’elaborazione: Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) Necessità di un modello per definire i colori in maniera standard, condivisa e comunicabile. Standard Hardware: RGB (Red, Green, Blue): monitor e telecamere; CMYK (Cyan, Magenta, Yellow, blacK): stampanti; YCbCr, YUV: nelle trasmissioni per la televisione. Standard Software per l’elaborazione: YUV (luminance, chrominance); HSI/HSV (Hue, Saturation, Intensity/Value). Tommaso Guseo Lezione: 14 marzo 2006

Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) Sintesi additiva Somma di onde luminose di diversa frequenza che raggiungono il nostro occhio (monitor e TV) La somma di due colori primari produce un colore Es.: R+G= giallo, R+B=magenta, B+G=ciano. Ciano (C), magenta (M) e giallo (Y) sono colori secondari o complementari. Miscelando i tre primari o un secondario con il suo primario opposto, nella giusta intensità, produce bianco. Tommaso Guseo Lezione: 14 marzo 2006

Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) Sintesi sottrattiva La luce bianca (emessa dal una sorgente luminosa) colpisce il pigmento e ne viene selettivamente riflessa (ovvero selettivamente assorbita). Si parte dalla luce bianca sottraendo, per assorbimento alcune componenti dello spettro, fino ad arrivare al nero. Ciano (C), magenta (M) e giallo (Y) sono colori primari di questo spazio, spesso assieme al nero (K). Tommaso Guseo Lezione: 14 marzo 2006

Tinta, saturazione e brillantezza Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) Tinta, saturazione e brillantezza Le caratteristiche che si usano per distinguere un colore da un altro sono tinta, saturazione e brillantezza. Tinta (Hue): legata alla lunghezza d’onda dominante; la tinta è l’attributo fondamentale di un colore: quando chiamiamo un colore arancio, rosso o giallo stiamo specificando la tinta. Tommaso Guseo Lezione: 14 marzo 2006

Saturazione (Saturation): Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) Saturazione (Saturation): si riferisce alla purezza relativa del colore ovvero alla quantità di bianco aggiunto al colore puro; rosa è meno saturo del rosso; i colori puri sono pienamente saturati; Brillantezza (Brightness): è legato alla nozione acromatica di intensità; è un attributo soggettivo e difficile da misurare; alcune tinte sono implicitamente più luminose (brillanti) di altre. Tommaso Guseo Lezione: 14 marzo 2006

Hue e saturation assieme si chiamano cromaticità; Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) Hue e saturation assieme si chiamano cromaticità; Un colore è descritto dalla sua luminosità e cromaticità. Un modo di specificare i colori è il diagramma di cromaticità CIE. CIE: Commission Internationale de l'Eclairage, è l’istituzione che regola la definizione dei sistemi di colore. Tommaso Guseo Lezione: 14 marzo 2006

Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) Lo spazio XYZ Normalizzando i coefficienti X,Y,Z si hanno i cosiddetti coefficienti tricromatici: Si noti che x + y + z = 1, quindi z = 1 - x – y ; Tommaso Guseo Lezione: 14 marzo 2006

L’asse del blu (z) è perpendicolare al piano. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) Sono coefficienti (positivi) che dipendono solo dal valore di tinta e saturazione (croma) e sono indipendenti dalla brillantezza. La componente del rosso e del verde variano rispettivamente lungo l’asse x e y. L’asse del blu (z) è perpendicolare al piano. Il diagramma rappresenta tutti i valori cromatici visibili, ma NON la brillantezza. I colori corrispondenti a punti interni sono misture di colori puri. Il diagramma è utile nella miscela di colori, poiché una linea retta tra due punti rappresenta tutti i diversi colori che si possono ottenere dalla combinazione additiva dei due. Tommaso Guseo Lezione: 14 marzo 2006

Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) Legge di Grassman La combinazione di tre colori è definita dal triangolo che ha i tre punti per vertici. Tommaso Guseo Lezione: 14 marzo 2006

Lo spazio RGB Il classico spazio dei computer; Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) Lo spazio RGB Il classico spazio dei computer; 3 canali differenti in relazione ai tre stimoli; R G B Tommaso Guseo Lezione: 14 marzo 2006

Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) Nel modello RGB, un colore è definito da 3 componenti che rappresentano i colori primari. Per convenienza, si normalizzano le componenti in modo da avere un cubo con componenti RGB appartenenti all’intervallo [0,1]. Tutti i colori che giacciono all’interno del cubo possono essere riprodotti da un sistema di riproduzione che si basa sui colori primari (monitor). Tommaso Guseo Lezione: 14 marzo 2006

Original Image R-Component G-Component B-Component Tommaso Guseo Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) Original Image R-Component G-Component B-Component Tommaso Guseo Lezione: 14 marzo 2006

Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) Lo spazio YUV Modello usato per lo standard di trasmissione televisivo PAL. La componente Y è la luminanza ed è la sola che serve per la visualizzazione in bianco e nero. La crominanza è rappresentata da UV Piano UV per Y=0.5 Tommaso Guseo Lezione: 14 marzo 2006

RGB->YUV in forma ANALOGICA Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) RGB->YUV in forma ANALOGICA Y U V YUV->RGB in forma DIGITALE con saturazioni [16,240] Tommaso Guseo Lezione: 14 marzo 2006

YCbCr usato in JPEG ed MPEG, YIQ usato in NTSC. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) YCbCr usato in JPEG ed MPEG, YIQ usato in NTSC. La componente Y (luminanza) e le compoenti UV (crominanza) sono ortogonali. Una variazione della luminosità influisce esclusivamente sulla luminanza e non sulle componenti di crominanza. Il nostro sistema visivo è più sensibile ai cambi di luminanza che di crominanza: si assegna più risoluzione alla componente Y e meno alle altre 2 Tommaso Guseo Lezione: 14 marzo 2006

Tommaso Guseo Lezione: 14 marzo 2006 Original Image Intensity Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) Original Image Intensity U-Component V-Component Tommaso Guseo Lezione: 14 marzo 2006

Gli spazi HSx (HSI / HSV / HSL) Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) Gli spazi HSx (HSI / HSV / HSL) Richiamo: Hue è l’attributo che descrive il colore puro; Saturation è una misura del grado di purezza con cui il colore puro è diluito con la luce bianca; La componente Intensity (I), o Value (V), Lightness (L) è ortogonale alle componenti cromatiche (HS). L’ortogonalità permette di ottenere l’informazione cromatica indipendentemente dall’illuminazione. Tommaso Guseo Lezione: 14 marzo 2006

Hue (H) è definita come angolo fra 0 e 2: Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) Hue (H) è definita come angolo fra 0 e 2: “red” at angle of 0; “green” at 2/3; “blue” at 4/3. Saturation (S) modella la purezza del colore: S=1 for a completely pure or saturated color; S=0 for a shade of “gray”. Tommaso Guseo Lezione: 14 marzo 2006

Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) H S I,V,L Lo spazio HSI o i suoi simili, risultano essere molto utili nella scelta dei colori e molto impiegati ad esempio nei programmi di fotoritocco per la ortogonalità delle componenti. Tommaso Guseo Lezione: 14 marzo 2006

Tommaso Guseo Lezione: 14 marzo 2006 Original Image Hue Saturation Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) Original Image Hue Saturation Intensity Tommaso Guseo Lezione: 14 marzo 2006

Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) Lo spazio CYMK Il modello CMY (Cyan, Magenta, Yellow), è usato nella stampa a colori. Cyan, Magenta, Yellow sono i colori primari dei pigmenti (secondari nella luce). A differenza di tutti quelli visti finora si basa sulla sintesi sottrattiva del colore. La stampa del colore viene invece fatta sovrapponendo inchiostro colorato sulla carta bianca, che non emette ma riflette la luce incidente. Tommaso Guseo Lezione: 14 marzo 2006

Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) Lo spazio CYMK In generale, il pigmento assorbe (sottrae) dalla luce (bianca) i colori complementari al suo e riflette il resto. Per vedere il nero basterebbe miscelare in parti ugyuali i tre pigmenti. In realtà si ottiene un colore marrone, quindi si preferisce aggiungere il nero direttamente (blacK)  CMYK. Ad esempio che il ciano puro assorbe il rosso… Tommaso Guseo Lezione: 14 marzo 2006

L’interpolazione del Bayer Pattern Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione L’interpolazione del Bayer Pattern Come più volte evidenziato per ricostruire un colore sono necessarie tre componenti. Due metodi per ottenere le tre componenti necessarie: 3-CCD, 3-CMOS sensor; Color Filter Array (CFA) come il Bayer pattern. Tommaso Guseo Lezione: 14 marzo 2006

Necessità di un solo sensore; Non sono necessari prismi; Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione Il Bayer pattern, rispetto alla tecnologia 3-CCD presenta alcuni vantaggi: Necessità di un solo sensore; Non sono necessari prismi; Non è necessario l’allineamento; Costo e dimensioni inferiori; Peso inferiore: dispositivi portatili. In compenso l’informazione del Bayer pattern è campionata. In ogni pixel è necessario ricostruire le componenti mancanti, si parla di DEMOSAICING. Tommaso Guseo Lezione: 14 marzo 2006

L’interpolazione del VGA Bayer Pattern Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione L’interpolazione del VGA Bayer Pattern Il VGA Bayer pattern è il CFA attualmente più diffuso nei dispositivi fotografici. In letteratura sono presenti numerosi metodi di interpolazione, ne analizzeremo 3. Nearest Neighbor Replication (NNR) Bilinear Interpolation (BI) Linear Interpolation with Laplacian Second-order Correction Terms (LIL2) Tommaso Guseo Lezione: 14 marzo 2006

Nearest Neighbor Replication Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione Nearest Neighbor Replication Le componenti mancanti vengono interpolate con i valori dei pixel vicini. Il più vicino può essere in qualsiasi delle quattro direzioni fondamentali, sopra, sotto, sinistra o destra. Tommaso Guseo Lezione: 14 marzo 2006

Nearest Neighbor Replication (cont.) Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione Nearest Neighbor Replication (cont.) PREGI: L’interpolazione computazionalmente più veloce. DIFETTI: Propagazione alcune componenti cromatiche. Creazione di molti falsi colori che possono creare problemi a livello di image processing. Zipper effect: transizioni a gradiente elevato risultano essere molto frastagliate. L'immagine interpolata tende ad essere rumorosa. Tommaso Guseo Lezione: 14 marzo 2006

Bilinear Interpolation Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione Bilinear Interpolation Le componenti mancanti vengono interpolate con un’interpolazione bilineare dei pixel vicini. Le componenti possono essere interpolate contemporaneamente. Tommaso Guseo Lezione: 14 marzo 2006

Bilinear Interpolation (cont.) Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione Bilinear Interpolation (cont.) Verde (b): Blu (c): Rosso (d): Rosso (e): Blu (f): Tommaso Guseo Lezione: 14 marzo 2006

Bilinear Interpolation (cont.) Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione Bilinear Interpolation (cont.) PREGI: Questo algoritmo risulta molto efficiente e spesso costituisce la base per altri migliori. DIFETTI: Il colore “puro” di pixel adiacenti può cambiare in maniera brusca. Effetto di blur: l'intera immagine è soggetta ad un filtraggio di tipo passa basso. Zipper effect ridotto ma non eliminato. Tommaso Guseo Lezione: 14 marzo 2006

Linear Interpolation w. Laplacian 2° Correction Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione Linear Interpolation w. Laplacian 2° Correction Le componenti mancanti vengono interpolate in maniera adattativa, seguendo i gradienti cromatici. Massime performance nel caso di immagini con edge verticali o orizzontali. Prioritaria l'interpolazione dei pixel verdi. Adattativo = opera in modo differente adattandosi alla variabilità tipica dell’immagine in esame. Tommaso Guseo Lezione: 14 marzo 2006

Linear Interpolation with Laplacian… (cont.) Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione Linear Interpolation with Laplacian… (cont.) VERDE: si definiscono i gradienti orizontale e verticale, L’interpolazione segue l’algoritmo Tommaso Guseo Lezione: 14 marzo 2006

Linear Interpolation with Laplacian… (cont.) Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione Linear Interpolation with Laplacian… (cont.) ROSSO/BLU: vi sono 3 possibili casi I due pixel più vicini dello stesso colore della componente mancante si trovano nella stessa colonna: R1 R4 R7 R1 R2 R3 Tommaso Guseo Lezione: 14 marzo 2006

Linear Interpolation with Laplacian… (cont.) Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione Linear Interpolation with Laplacian… (cont.) ROSSO/BLU: Si definiscono i gradienti orizontale e verticale, L’interpolazione segue l’algoritmo Tommaso Guseo Lezione: 14 marzo 2006

Comparison VGA Interpolation Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione Comparison VGA Interpolation Original Nearest Bilinear Laplace Tommaso Guseo Lezione: 14 marzo 2006

Comparison VGA Interpolation (cont.) Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione Comparison VGA Interpolation (cont.) Original Nearest Bilinear Laplace Tommaso Guseo Lezione: 14 marzo 2006

Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione QVGA Bayer pattern Accanto al funzionamento VGA con risoluzione (640x480) la maggior parte delle telecamere ne fornisce uno a risoluzione ridotta QVGA (320x240). Questa risoluzione è ottenuta campionando il Bayer pattern classico eliminando due colonne ogni quattro. L’interpolazione di questo tipo di Bayer pattern non è trattata in letteratura. Tommaso Guseo Lezione: 14 marzo 2006

Demosaicing QVGA Bayer pattern Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione Demosaicing QVGA Bayer pattern Nel funzionamento a risoluzione ridotta non si vuole ricostruire tutta l’immagine in alta risoluzione. Si considerano come unità base le celle in giallo centrate nei pallini. Si ricostruisce quindi la struttura a tre componenti all’interno di ogni cella. I primi due metodi di interpolazione presentati sono la naturale estensione dei precedenti al QVGA. Tommaso Guseo Lezione: 14 marzo 2006

Nearest Neighbor Replication Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione Nearest Neighbor Replication La componente verde non viene interpolata. Le componenti rosse e blu mancanti vengono interpolate con i valori dei pixel vicini. Il più vicino può essere in qualsiasi delle due direzioni fondamentali: sinistra o destra. Tommaso Guseo Lezione: 14 marzo 2006

Bilinear Interpolation Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione Bilinear Interpolation La componente verde non viene interpolata. Le componenti rosse e blu mancanti vengono interpolate con una bilineare. Tommaso Guseo Lezione: 14 marzo 2006

Periodic Reconstruction Interpolation Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione Periodic Reconstruction Interpolation Necessità di ricostruire una struttura periodica. Componente verde viene interpolata, per prima. Nella strutture precedenti la distanza fra due pixel verdi non è costante all'interno della matrice. Scelta di algoritmo adattativo. Tommaso Guseo Lezione: 14 marzo 2006

Periodic Reconstruction Interpolation Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione Periodic Reconstruction Interpolation VERDE: Si considera un interpolazione che approssimi una bilineare su un dominio non regolare: Si pesano i pixel inversamente in funzione della distanza. Tommaso Guseo Lezione: 14 marzo 2006

Periodic Reconstruction Interpolation Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione Periodic Reconstruction Interpolation ROSSO e BLU: Si definiscono i gradienti nelle direzioni negativa, positiva e orizzontale. Opera l’algoritmo seguente: Tommaso Guseo Lezione: 14 marzo 2006

Comparison QVGA Interpolation Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione Comparison QVGA Interpolation Original Nearest Bilinear Periodic Tommaso Guseo Lezione: 14 marzo 2006

Stima dell’efficacia dei metodi di interpolazione Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione Stima dell’efficacia dei metodi di interpolazione Il confronto non può svolgersi solo visivamente: palese soggettività; assenza di riproducibilità necessità di lavorare ad alta risoluzione; impossibilità di creare metodi automatici. ESEMPI DI FUNZIONI DI STIMA Mean Square Error (MSE) Peak Signal to Noise Ratio (PSNR) Normalized Difference Criterion (NCD) Tommaso Guseo Lezione: 14 marzo 2006

Stima dell’efficacia dei metodi di interpolazione Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione Stima dell’efficacia dei metodi di interpolazione non forniscono un indice normalizzato; MSE e PSNR sono indici assoluti; sono non significativi tra immagini di variabilità differente; non si possono confrontare immagini di dimensioni differenti; NCD introduce classi di equivalenza legate alla luminosità nell'immagine. Tommaso Guseo Lezione: 14 marzo 2006

Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione Indici di dipendenza L’indice di dipendenza normalizzato è definito come ove è l’informazione sulla prima mutabile fornita dalla seconda e ove sono l’entropie congiunte, residue e marginali. Tommaso Guseo Lezione: 14 marzo 2006

Il robot umanoide Leonardo Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Architettura software Visione Decisore dell’azione Movimentazione Il robot umanoide Leonardo Caratteristiche di Robovie-M Alto circa 290 mm e pesante circa 1,9 Kg. Dotato di 22 gradi di libertà così suddivisi: 6x2 DOF Gamba, 4x2 DOF Braccio, 2 DOF Busto. Accelerometro situtato nel busto. Gli attuatori sono servomotori. Robovie-M della VStone Tommaso Guseo Lezione: 14 marzo 2006

RobotCore: Firmware per la scheda VS-7054 Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Architettura software Visione Decisore dell’azione Movimentazione RobotCore: Firmware per la scheda VS-7054 Microprocessore SH7054 a 40MHz Renesas. Periferiche: RAM esterna, EEPROM esterna, accelerometro, telecamera digitale, 32 motori. Algoritmi di visione per l’individuazione del target rappresentato da una palla. Algoritmi di reasoning. Algoritmi di movimentazione. Scheda VS-7054 con Telecamera OV7620 Tommaso Guseo Lezione: 14 marzo 2006

Architettura software Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Architettura software Visione Decisore dell’azione Movimentazione Architettura software Classico paradigma Hierarchical SENSE REASONING ACT Tommaso Guseo Lezione: 14 marzo 2006

Architettura software Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Architettura software Visione Decisore dell’azione Movimentazione Architettura software ROUTE PROCESS MOTOR Struttura a tre anelli Motor: genera il segnale PWM per i servocomandi. Process: gestisce la ricezione di comandi da seriale e altre funzioni rapide e l’interpolazione delle posizioni dei motori. Route: è il processo più lento si occupa della cattura ed elaborazione dell’immagine e della scelta dell’azione da compiere. Tommaso Guseo Lezione: 14 marzo 2006

Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Architettura software Visione Decisore dell’azione Movimentazione Visione ACQUISIZIONE Scopo del sistema di visione è l’individuazione del target e di altre features nell’ambiente. SEGMENTAZIONE BLOB DETECTION FEATURES EXTRACTION Tommaso Guseo Lezione: 14 marzo 2006

Acquisizione Il processo di acquisizione è costituito di due fasi: Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Architettura software Visione Decisore dell’azione Movimentazione Acquisizione Il processo di acquisizione è costituito di due fasi: acquisizione nei formati RGB e YUV, tramite canale DMA; interpolazione del QVGA Bayer Pattern al fine di ricostruire un immagine. Tommaso Guseo Lezione: 14 marzo 2006

Immagine originaria Immagine quantizzata Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Architettura software Visione Decisore dell’azione Movimentazione Segmentazione Il processo di segmentazione è la fase di riconoscimento dei colori nell’immagine. Si utilizza una Look Up Table generata off-line su un insieme di immagini campione e salvata nella EEPROM del robot. Immagine originaria Immagine quantizzata L’immagine viene quantizzata in uno spazio a nove colori. Tommaso Guseo Lezione: 14 marzo 2006

Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Architettura software Visione Decisore dell’azione Movimentazione Blob Detection Componente rossa nell’immagine Blob detection con l’individuazione della palla L’operazione di Blob detection ha come scopo l’estrazione di componenti connesse del medesimo colore. Riduzione degli effetti del rumore mediante erosione e dilatazione. Si calcolano: baricentro (x,y); varianza (x,y); area; numero di pixel. Tommaso Guseo Lezione: 14 marzo 2006

Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Architettura software Visione Decisore dell’azione Movimentazione Decisore dell’azione Il decisore dell’azione da compiersi valuta la posizione della palla e decide l’azione. if ( blob_target is at right ) playMove(turnRight) else if ( blob_target is at left ) playMove(turnLeft) else if ( blob_target is in front and far ) playMove(walk) else if ( blob_target is in front and near ) playMove(kickAndStop) else if ( don’t see blob_ target ) playMove(rotateHead) Tommaso Guseo Lezione: 14 marzo 2006

Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Architettura software Visione Decisore dell’azione Movimentazione Movimentazione Il sistema di movimentazione implementa la camminata statica: in ogni istante il robot assume posizioni di equilibrio statico. La proiezione del baricentro sul piano di appoggio è sempre interna all’area della superficie d’appoggio. Tommaso Guseo Lezione: 14 marzo 2006

Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Architettura software Visione Decisore dell’azione Movimentazione Movimentazione La funzione utilizzata per interpolare due posizioni successive è una cubica: questo permette accensioni e spegnimenti dei motori dolci limitando le vibrazioni. Tommaso Guseo Lezione: 14 marzo 2006

Fine Domande? Tommaso Guseo Lezione: 14 marzo 2006 Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Architettura software Visione Decisore dell’azione Movimentazione Fine Domande? Tommaso Guseo Lezione: 14 marzo 2006