Visor Video Surveillance Online Repository Dott. Roberto Vezzani Imagelab – Dip. di Ingegneria dell’Informazione Università di Modena e Reggio Emilia

Laboratorio di Pattern Recognition, Visione Artificiale e Multimedia Analisi di video per videosorveglianza sia indoor che outdoor, applicazioni domotiche, sistemi di trasporto intelligenti Strumenti e tecniche multimediali per annotazione in video digital library, transcodifica di video e content-based video adaptation Analisi di immagini per automazione industriale Analisi di immagini per medical imaging Imagelab Dipartimento di Ingegneria dell’Informazione Università di Modena e Reggio Emilia.

Laboratorio di Pattern Recognition, Visione Artificiale e Multimedia STAFF Prof. Rita Cucchiara (Professore ordinario) Ing. Andrea Prati (Ricercatore) Ing. Costantino Grana (Ricercatore) Ing. Roberto Vezzani (Assegnista di Ricerca) Ing. Simone Calderara (Dottorando) Ing. Giovanni Gualdi (Dottorando) Ing. Borghesani Daniele (Collaboratore) Ing. Rudy Melli (Spin-off industriale Vision-E) Ing. Emanuele Perini (Spin-off industriale Vision-E) Ing. Giuliano Pistoni (Spin-off industriale Vision-E) Imagelab Dipartimento di Ingegneria dell’Informazione Università di Modena e Reggio Emilia.

Analisi di traffico veicolare Progetti con: UCSD – San Diego Traficon N.V. (Belgio) Digitek spa

Sorveglianza di persone Progetti: Fondazione Cassa Risparmio di Modena NATO - Israele (Besafe) FreeSurf (MUR)

Applicazioni forensi Collaborazioni con Polizia di Modena Carabinieri di Sassuolo

Progetti di ricerca @ Imagelab L.A.I.C.A.: Laboratorio di Ambient Intelligence per una Città Amica (2004-2006) – Videosorveglianza di parchi cittadini - Comune di Reggio Emilia BESAFE: Behavioral lEarning in Surveilled Areas with Feature Extraction (2006-2008) – NATO – collaborazione con Israele per controllo di comportamenti anomali FreeSURF: FREE SUrveillance in a pRivacy-respectFul way (2006-8) – MUR (Unimore, Unifi, Unipr, ITC-irst) – Tecniche innovative di visione artificiale per la sorveglianza VidiVideo: Interactive semantic video search with a large thesaurus of machine-learned audio-visual concepts (2007-2009) – Sottoprogetto VISOR (Unimore – IIT Bombay, India)

VISOR: Video Surveillance Online Repository Interactive semantic video search with a large thesaurus of machine-learned audio-visual concepts Visor Video Surveillance Online Repository Intelligent Systems Lab (Amsterdam) Informatics and Telematics Institute (Greece) Institute for Systems and Computer Engineering (Portugal) Centre for Vision, Speech and Signal Processing (University of Surrey UK) Media Integration and Communication Centre (Università degli Studi di Firenze) Computer Vision Center (Barcelona) Sound & Vision, the Dutch national audio and video archive (The Netherlands) FDR, Fondazione Rinascimento Digitale (Firenze) Università di Modena e Reggio Emilia Indian Institute of Technology, Bombay

Un problema reale: la mancanza di dati di Videosorveglianza Per valutare la bontà di un sistema: fase di test, ovvero sperimentazione su una grande mole di dati (video) Validazione e valutazione dei risultati: servono i dati reali/attesi (annotazioni) Confronto di prestazioni: servono video comuni e dati in un formato comune. Molte tecniche richiedono una fase di “addestramento” NIST – Trecvid I-Lids (Polizia inglese) PETSS Per valutare la bontà di un sistema o anche solo di un algoritmo è necessario sottoporlo ad una fase di test, ovvero sperimentarlo su una grande mole di dati (video) I risultati ottenuti devono essere controllati e validati; per analisi quantitative servono i dati reali/attesi (annotazioni) Per poter confrontare correttamente le prestazioni di diversi sistemi, sono necessari sia video comuni che dati in un formato comune. Molte tecniche richiedono una fase di “addestramento” basata anch’essa su grandi moli di video annotati (training del sistema) No videosorveglianza Non libera Limitata

Visor - VIdeo Surveillance Online Repository È una collezione condivisa di video relativi alla sorveglianza Per ogni video…. Contiene annotazioni sia manuali che automatiche Fornisce tali informazioni in un formato comune di annotazione (formato Viper – University of Maryland)

Formato Viper e Viper-GT

Contenuto delle Annotazioni Persone, oggetti fissi, oggetti mobili individuati nella scena Azioni di o tra persone, interazioni, eventi Autore del video, caratteristiche della telecamera, località, orario

Ricerca di video basata sul contenuto

Il rispetto della Privacy Accesso protetto consentito solo ad utenti registrati Abilitazione dell’account moderata Alcuni contenuti video modificati per eliminare informazioni utili alla identificazione Materiale a solo uso di ricerca Responsabilità a carico del proprietario (uploader) del video (cfr. youtube) Collaborazione in atto con la Facoltà di Giurisprudenza Centro Interdipartimentale per la Sicurezza (Modena)

System Features – Memorizzazione Video Supporto di diversi formati video Indicizzazione con parole chiave Informazioni video (autore, data di creazione, …) Caratteristiche del sistema di acquisizione (Tipo di telecamera, infrarossi, telecamera statica/mobile, dati di calibrazione, …) Annotazioni Memorizzate su Database Divise in due categorie: automatiche e manuali Completamente personalizzabile

System Features – Gestione Video Anteprima Screenshot singolo Sommario (sequenza dei frame salienti) Accesso protetto Ricerca per parola chiave, per contenuto, per metadati  Annotazioni Importazione ed Esportazione in diversi formati (Viper, MPEG7, custom) Esportazione di una sottoparte della annotazione Unione di differenti annotazioni provenienti da differenti autori

Usergroup e Forum Usergroup di quanti ricercano nell’ambito della videosorveglianza Creazione di un Forum Topic generici sulla videosorveglianza Topic su VISOR (es: richieste di video, annotazioni, commenti, suggerimenti, ecc…) Un topic per ogni video

http://imagelab.ing.unimore.it/visor Un invito per tutti… Contribuire alla nascita e alla espansione del portale condividendo i propri video (e le proprie annotazioni) Unirsi alla comunità, anche tramite il forum creato Inviare suggerimenti, critiche, richieste… http://imagelab.ing.unimore.it/visor Ing. Roberto Vezzani Dipartimento d’Ingegneria dell’informazione, Modena roberto.vezzani@unimore.it Tel +39-059-2056270 Prof. Rita Cucchiara Dipartimento d’Ingegneria dell’informazione, Modena rita.cucchiara@unimore.it Tel +39-059-2056136

Visor Video Surveillance Online Repository http://imagelab.ing.unimore.it/visor Ing. Roberto Vezzani Dipartimento d’Ingegneria dell’informazione, Modena roberto.vezzani@unimore.it Tel +39-059-2056270 Prof. Rita Cucchiara Dipartimento d’Ingegneria dell’informazione, Modena rita.cucchiara@unimore.it Tel +39-059-2056136

Grazie dell’attenzione

Annotation Format – Viper XML based Config and data are separated Widely diffused Easy to use Clear Documentation Compact Extensible Annotation Tool (VIPER-GT)