Semantics in Visual Information Retrieval Carlo Colombo, Alberto Del Bimbo, and Pietro Pala - University of Florence - Italy Approfondimento per il corso di Sistemi Informativi Multimediali Cappellazzo Pietro Università CaFoscari di Venezia A.A.2005/06

Cappellazzo Pietro Semantics in Visual Information Retrieval2 Introduzione Problema nel riuscire a rappresentare il contenuto di un immagine ad alto livello Per avere ricerche efficienti queste dovrebbero contenere un livello semantico che riflette il più possibile quello a cui luomo si riferisce durante linterrogazione Solitamente per arricchire immagini o video con una semantica questa viene immessa manualmente, comportando alcuni problemi: E molto costoso annotare manualmente grandi database. Lannotazione è soggettiva. Le Keywords solitamente non supportano la ricerca per somiglianza.

Cappellazzo Pietro Semantics in Visual Information Retrieval3 Una Soluzione Alternativa Si può accrescere in modo automatico il livello semantico di una rappresentazione visuale: Partendo da alcune caratteristiche percettive, lelemento atomico di uninformazione visuale. Si possono estrarre alcuni livelli semantici intermedi utilizzando delle regole di composizione. Attraverso un approccio di costruzione sintattica chiamato Compositional Semantics si costruisce una rappresentazione semantica basta su un concetto di gerarchia. Questo approccio permette di poter effettuare ricerche per somiglianza, oltre a ricerche basate su caratteristiche semantiche di alto livello.

Cappellazzo Pietro Semantics in Visual Information Retrieval4 Compositional Semantics Framework Questo processo prevede alcune regole di composizione che non sono indipendenti dal contesto, per questo sono stati presi in considerazione: Dipinti artistici Video commerciali (pubblicità) Inizialmente si descrive come organizzare le informazioni percettive per poi definire due livelli semantici distinti: Livello Espressivo Livello Emozionale

Cappellazzo Pietro Semantics in Visual Information Retrieval5 Proprietà Percettive Possono essere rappresentate con punteggi: φ i [0,1] Proprietà percettive per le immagini/video: Colori {φ red, φ orange, φ yellow, φ green, φ blue, φ purple, φ white, φ black }

Cappellazzo Pietro Semantics in Visual Information Retrieval6 Proprietà Percettive Proprietà percettive per le immagini/video: Bordi {φ hor/ver } Dove φ hor/ver, rappresenta la percentuale di bordi o linee orrizontali e verticali rispetto al totale.

Cappellazzo Pietro Semantics in Visual Information Retrieval7 Proprietà Percettive Proprietà percettive per i video: Tagli φ cuts =#cuts/#frames dove φ cuts [0,1] Dissolvenze φ dissolves =#dissolves/#frames dove φ dissolves [0,1]

Cappellazzo Pietro Semantics in Visual Information Retrieval8 Proprietà Percettive Proprietà percettive per i video: Movimento φ motion [0,1] Caratteristiche inter-shot φ recurrent [0,1], φ satured [0,1] φ rhythm (i 1,i 2 ) = (#cuts + #dissolves) / (i 2 – i 1 + 1) φ edit = φ rhythm (1,#frames) Le proprietà percettive di un messaggio visuale possono quindi essere rappresentate come: P = { φ i }, i 1,…,n

Cappellazzo Pietro Semantics in Visual Information Retrieval9 Livello Espressivo Le regole di livello Espressivo possono essere espresse come funzioni che agiscono nelle proprietà percettive. F j : [0,1] n [0,1] Il significato di queste regole può essere ulteriormente esteso attraverso luso di operatori logici. F 1 F 2 = min(F 1,F 2 ) F 1 F 2 = max(F 1,F 2 ) Le caratteristiche espressive di un messaggio visuale possono quindi essere rappresentate come un set di funzioni: F = {F 1,…, F m }

Cappellazzo Pietro Semantics in Visual Information Retrieval10 Livello Espressivo Immagini Basato sulla Itten theory relativa alluso dei colori nellarte e alla semantica a cui inducono. Tono, luminosità, calore, saturazione, contrasto, armonia, grandezza delle regioni, posizione di queste sono le caratteristiche espressive per un immagine.

Cappellazzo Pietro Semantics in Visual Information Retrieval11 Livello Espressivo Immagini Per riuscire a dare un livello espressivo ad un immagine, questa deve: Essere divisa in regioni, caratterizzate da colori uniformi. Devono essere rappresentate le proprietà cromatiche e spaziali di queste regioni. Ci sono due tipi di caratteristiche espressive relative alle regioni da considerare: Intra-regionali: calore, tonalità, luminosità, saturazione, posizione e dimensione. Inter-regionali: tonalità, saturazione, calore, contrasto e armonia. Ad esempio per descrivere la luminosità possiamo inserire tre valori (dark, medium, bright), il descrittore (0.0,0.1,0.9)descriverà quindi una regione molto chiara.

Cappellazzo Pietro Semantics in Visual Information Retrieval12 Livello Espressivo Immagini Semantica Φ:= region | hue = λ h | lum = λ l | sat = λ s | warmth = λ W | size = λ S | |position = λ p | Contrast γ (Φ 1, Φ 2 )| Harmony(Φ 1,…, Φ n )| |Φ 1 Φ 2 | Φ 1 Φ 2 Dove λ γ sono possibili valori delle caratteristiche γ con γ={h,l,s,w} Vengono quindi definite le clausole semantiche in termini di soddisfacibilità di una formula generica Φ in una regione R. La corrispondenza relativa a come Φ è verificata in una R sarà espressa da un valore ξ. Questi dati vengono quindi inseriti in un sistema di model checking, il quale dati in input una formula generica Φ e un immagine restituirà un valore che rappresenta come quella formula è verificata nellimmagine.

Cappellazzo Pietro Semantics in Visual Information Retrieval13 Model-Cheking Engine input: ( Φ,I ) Attraverso un approccio bottom-up, il model-Cheching engine etichetta le regioni con le sottoformule che soddisfano: Step 1: Etichetta R 2 e R 4 con Φ 1 Step 2: Etichetta R 1 con Φ 2 Step 3: Etichetta R 1,R 2 e R 3 con Φ 3

Cappellazzo Pietro Semantics in Visual Information Retrieval14 Livello Espressivo Video Basato su studi della semiologia, i video commerciali sono stati classificati in quattro categorie: Pratici (Il prodotto è descritto nel suo ambiente naturale, viene percepita la sua utilità), Critici (Il prodotto è il soggetto della storia, la scena appare più reale di quello che è), Utopici (storie irreali, scenari mistici, tutto succede in modo irreale), Vivaci (enfatizzato il rapporto fra quello che il prodotto offre e quello che lutente chiede). Φ:= F pratical k 1 | F critical k 2 | F utopic k 3 | F playful k 4 |Φ 1 Φ 2 | Φ 1 Φ 2

Cappellazzo Pietro Semantics in Visual Information Retrieval15 Livello Emozionale Il livello emozionale rappresenta il top della gerarchia semantica costruita, le regole per comporre questo livello possono essere rappresentate attraverso delle funzioni: G k :[0,1] n+m [0,1] che agiscono attraverso le proprietà percettive e le caratteristiche espressive. Le caratteristiche emozionali di un messaggio visuale possono quindi essere rappresentate come un set di funzioni: G = {G 1,…, G k }

Cappellazzo Pietro Semantics in Visual Information Retrieval16 Livello Emozionale Immagini Attraverso analisi psicologiche sono state identificate alcune emozioni primarie date dalle immagini artistiche: Azione,Rilassamento,Gioia,Disagio Si sono poi ricavate le regole per descrivere quali combinazioni di caratteristiche percettive ed espressive portano a queste:

Cappellazzo Pietro Semantics in Visual Information Retrieval17 Livello Emozionale Video

Cappellazzo Pietro Semantics in Visual Information Retrieval18 Retieval Sono stati catalogati quindi alcune immagini e video in modo automatico secondo le regole descritte. I valori ottenuti sono stati confrontati con quelli richiesti a dei team di esperti di arte, per quanto riguarda le immagini e semiologi ed esperti di marketing per i video. P(i)=rank dato dal sistema σ(i)=margine di errore tollerato Q(i,k)= % di persone che hanno valutato limmagine nellintervallo P(i) ± σ(i)

Cappellazzo Pietro Semantics in Visual Information Retrieval19 Image Retrieval Per quanto riguarda le immagini sono stati considerati: Luminosità(a), Saturazione(b), Calore(c), Armonia(d)

Cappellazzo Pietro Semantics in Visual Information Retrieval20 Video Retrieval Per i video commerciali sono state considerate: Praticità(a),Criticità(b),Utopia(c),Vivacità(d)

Cappellazzo Pietro Semantics in Visual Information Retrieval21 Esempi(1): Ricerca su un database di immagini Ricerca per: Luminosità(a), Saturazione(b), Calore(c), Armonia(d)

Cappellazzo Pietro Semantics in Visual Information Retrieval22 Esempi(2): Ricerca da unimmagine campione

Cappellazzo Pietro Semantics in Visual Information Retrieval23 Esempi(3): Ricerca di pubblicità vivaci

Cappellazzo Pietro Semantics in Visual Information Retrieval24 Esempi(3): Ricerca di pubblicità vivaci

Cappellazzo Pietro Semantics in Visual Information Retrieval25 Esempi(3): Ricerca di pubblicità vivaci

Cappellazzo Pietro Semantics in Visual Information Retrieval26 Esempi(4): Ricerca di pubblicità critiche

Cappellazzo Pietro Semantics in Visual Information Retrieval27 Esempi(4): Ricerca di pubblicità critiche

Cappellazzo Pietro Semantics in Visual Information Retrieval28 Esempi(4): Ricerca di pubblicità critiche