Pasquale FOGGIA | Progetti

ALGORITMI E METODI PER L¿IDENTIFICAZIONE IN TEMPO REALE DI COMPORTAMENTI ANOMALI BASATO SULL¿ANALISI COMBINATA DI FLUSSI AUDIO E VIDEO

Il presente progetto di ricerca intende proseguire ed espandere le attività svolte nel progetto FARB2013 di cui il presente è continuazione.Per quanto concerne il sistema di riconoscimento di eventi in un video, generalmente in letteratura si identificano le seguenti fasi: - object detection e tracking: il compito di questa fase è estrarre da una immagine della sequenza video tutte le differenti tipologie di oggetti di interesse per l'applicazione e le relative traiettorie; per tale fase nel precedente progetto sono già stati individuati algoritmi le cui prestazioni sono soddisfacenti.- behaviour analysis: questa fase ha l'obiettivo di analizzare e riconoscere gli eventi di interesse per le diverse applicazioni e quindi per i diversi contesti applicativi grazie all’analisi delle traiettorie degli oggetti estratte nella precedente fase di object tracking. Come anticipato in precedenza, tale fase richiede l’utilizzo di un motore intelligente che, se opportunamente addestrato sulla particolare scena da analizzare, è in grado di identificare comportamenti “anomali”, e cioè differenti rispetto a quelli che tipicamente occorrono nella scena. Esempi di comportamenti di interesse possono riguardare tanto le persone (furto, bagaglio incustodito, rissa ecc) quanto i veicoli (incidente, veicolo che percorre una strada contromano, ecc).Per quanto concerne invece l’elaborazione dei flussi audio e il relativo riconoscimento degli eventi, l'architettura dei sistemi di analisi audio prevede la realizzazione di un motore intelligente che necessita di un preliminare fase di addestramento, in grado di riconoscere suoni acquisiti da un dato microfono.Sebbene la comunità scientifica stia approfondendo tali tematiche, soprattutto negli ultimi anni, una soluzione definitiva al problema non è stata ancora trovata. Ciò è ancor più vero per quanto concerne il modulo di analisi comportamentale: molto spesso, infatti, risulta estremamente complicato perfino per un operatore umano addetto alla sorveglianza di un luogo affollato, quale può essere una stazione o un aeroporto, riconoscere il particolare tipo di comportamento che sta occorrendo (una persona che corre, ad esempio, può essere associato tanto ad un ladro quanto ad un cittadino che sta perdendo il treno). La combinazione di informazioni audio e video invece può sicuramente avvantaggiare tale operazione (nell’esempio precedente, il furto potrà essere riconosciuto se accompagnato da urla della persona derubata).Nell’ambito dei precedenti progetti, sono state affrontate dal gruppo di ricerca le tematiche relative a object detection object tracking e audio recognition. In particolare, a valle di un dettagliato studio relativo allo stato dell’arte, sono stati realizzati i moduli sopra menzionati. Inoltre, un primo esempio di modulo capace di combinare le differenti tipologie di informazione è stato realizzato.Nell’ambito del presente progetto, si darà un maggiore impulso alla fase di interpretazione del comportamento; in particolare, le seguenti fasi caratterizzeranno il presente progetto: - sulla base dello studio dello stato dell'arte effettuato nell'ambito del precedente progetto FARB2013, saranno definiti e realizzati algoritmi di analisi dei comportamenti basati su paradigmi innovativi, quali il deep learning e i graph kernel.- aggiornamento del modulo di integrazione delle informazioni audio e video sulla base dei nuovi risultati ottenuti nella precedente fase; - valutazione delle prestazioni del sistema realizzato in ambienti reali; in particolare, verranno realizzati dei database di filmati, in condizioni d'uso reali del sistema, in collaborazione con le aziende precedentemente menzionate, in modo da consentire il confronto nelle stesse condizioni tra algoritmi differenti.Il presente progetto inoltre servirà a consolidare e estendere le attività di collaborazione internazionale su questi temi già avviate con l'università ENSICAEN.