Pasquale FOGGIA | Projects

SEMANTIC VIDEO ANALYSIS AND BIG DATA

Il progetto di ricerca si articola su diversi livelli. In primo luogo, si mira alla definizione di nuovi algoritmi in grado di utilizzare informazioni di alto livello (descrizione degli elementi della scena e comportamento che tali elementi possono assumere) con informazioni di basso livello estratti dall’analisi dei pixel. Infatti, l’interazione sinergica tra approcci top-down (knowledge based) e bottom-up (from raw pixels) agevola in prima istanza l’identificazione di errori da cui sono tipicamente affetti gli algoritmi di analisi low-level (id switch, occlusion splits, spurious blobs…) consentendone il filtraggio o la correzione. In secondo luogo, si intende impiegare un approccio knowledge based con tecnologie proprie del Semantic Web allo scopo di modellare ed identificare eventi “atomici” o complessi (sequenze) all’interno di flussi video mediante la definizione di opportune ontologie (activity ontology) e regole definite con tecnologia standard come ad esempio SPARQL/SPIN. Come risultato del processo di annotazione e riconoscimento, sarà possibile realizzare sistemi caratterizzati da avanzate funzionalità di analytics con la possibilità, ad esempio, di ricercare persone che si aggirano in una data area per un certo tempo o che indossano un dato abbigliamento o che varcano ingressi non consentiti, etc. Naturalmente, i dati annotati necessitano di opportune infrastrutture per poter essere immagazzinati e gestiti in maniera efficiente. Parte dell’attività di ricerca sarà orientata all’individuazione e all’analisi di architetture distribuite per la gestione di database NoSQL e a grafo, molto diffusi in ambito Big Data management. In particolare saranno oggetto di studio i database a grafo che utilizzano il modello RDF, anche noti come Triple Store, Quad Store, o RDF Store, per i quali esiste un linguaggio standard di interrogazione (SPARQL). I DB Graph Based hanno mostrato di poter scalare più facilmente a grandi quantità di dati (rispetto ai relazionali) e risultano essere più adeguati per gestire dati mutevoli con schemi evolutivi. I sistemi di gestione delle basi di dati a grafo classici hanno l'obiettivo di gestire in maniera persistente il dato permettendo di archiviare transazionalmente. Laddove è richiesta un’elaborazione più spinta, esistono i cosiddetti “graph processing framework” che consentono l’esecuzione di processi batch su grandi grafi in ambiente distribuito con macchine multiple. Inoltre, tali database possono essere utilizzati per il supporto allo stream computing. Nell’ambito del presente progetto, in particolare, investigheremo l’utilizzo di tali approcci computazionali per l’analisi di eventi estratti dal video. [1] Rodríguez, N.D., Cuéllar, M.P., Lilius, J., Calvo-Flores, M.D. A survey on ontologies for human behavior recognition, in ACM Computing Surveys Volume 46, Issue 4, April 2014. [2] Poppe, R., A survey on vision-based human action recognition, journal of Image and Vision Computing,2010, volume 28,6, pages 976-990.¿ [3] Ye , J , Dasiopoulou , S , Stevenson , G T , Meditskos , G , Kontopoulos , E , Kompatsiaris , I & Dobson , S A, 'Semantic web technologies in pervasive computing : a survey and research roadmap ' Pervasive and Mobile Computing , vol 23 , pp. 1-25, 2015 . [4] Gómez-Romero, Juan, et al. "Context-based multi-level information fusion for harbor surveillance." Information Fusion 21 (2015): 173-186. [5] L Greco, P Ritrovato, A Saggese, M Vento “Abnormal Event Recognition: A Hybrid Approach Using Semantic Web” in the proceeding of Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition – Workshop on PETS2016, pp.58-65, Las Vegas (Nevada) 26 June, 1 July, 2016. [6] Modoni, Gianfranco E., Marco Sacco, and Walter Terkaj. "A survey of RDF store solutions." Engineering, Technology and Innovation (ICE), 2014 International ICE Conference on. IEEE, 2014.