Università degli Studi di Udine Corso di Laurea Specialistica in Linguaggi e Tecnologie dei Nuovi Media

________________________________________________________________________________

Progetto per l’esame di

Elaborazione di immagini e video

Dott. Gian Luca ForestiDott.ssa Ingrid Visentini

Progetto di videosorveglianza all’interno del centro polifunzionale di Pordenone

________________________________________________________________________________

Bortoli Marco matricola 87314

Canderan Alessandra matricola 89514

INDICE

1. La zona da sorvegliare

2. Funzionalità richieste

3. Inventario pre filmico, materiale pro filmico, illuminazione e nota sulle aperture

4. Requisiti funzionali del sistema

4.1 Posizionamento telecamere, gerarchia del sistema

4.2 Caratteristiche delle telecamere

5. Background updating

6. Schema logico del sistema

7. Analisi casi normali e anomali

8. Fase di elaborazione

9. Calibrazione

10. Proposte su filtri

1. LA ZONA DA SORVEGLIARE

L'area che abbiamo monitorato è la hall dell’edificio B che comprende (sulla pianta in senso orario dall'origine) le seguenti zone di interesse:

• Il vano dell’entrata principale (per entrata principale intendiamo l'accesso dal parcheggio incustodito a sud dell'edificio);

• La zona antistante lo schermo degli orari;

• Il passaggio verso le scale e i corridoi che conducono alle aule dell'edificio B;

• L'uscita di collegamento con l’edificio S;

• L’entrata della segreteria;

• L'uscita di emergenza.

In questo interno transitano centinaia di persone ogni giorno. Alcune sono dirette alle aule per attività di didattica, altre negli uffici della segreteria, altre ancora sono addette alla pulizia e alla manutenzione.

Fig. 1: pianta della hall con le zone di interesse.

2. FUNZIONALITÀ RICHIESTE

Le funzionalità secondo cui è progettato il nostro sistema di videosorveglianza sono le seguenti:

• Di giorno rilevamento di eventi anomali in scena;• Di notte rilevamento intrusioni;• (eventuale) inseguimento di persone per attivare altri sistemi correlati (ad esempio se i

soggetti entrano in segreteria vengono allertate le videocamere da quella parte).

3. INVENTARIO PREFILMICO, MATERIALE PROFILMICO, ILLUMINAZIONE E NOTA SULLE APERTURE.

Nella cartina non è inserito il mobilio che, precisiamo, non occlude le viste delle telecamere per come sono state posizionate. A titolo puramente informativo esplicitiamo che si tratta di sedie, porta-ombrelli, e tavoli che per il loro peso sarebbero scomodi strumenti per manomettere le telecamere (ad eccezione forse del cestino inquadrato dalla vista rossa). Inoltre presso una delle due colonne dell'ingresso alla segreteria è installato un estintore, mentre vicino all'altra sono presenti una grossa pianta da vaso e un cestino nero.

Il soffitto ha altezze variabili: da poco più di 2 metri del vano entrata principale, fino a circa 8 metri della zona centrale su cui si affacciano i corridoi dei piani superiori.

Le pareti sono tutte di colore bianco, gli infissi sono grigi, il pavimento grigio e opaco, le sedie marroni. I tavolini che reggono i treppiedi delle videocamere sono sul luogo solo nel giorno in cui effettuiamo le riprese.

Tutte le porte con apertura antipanico si aprono verso l'esterno.

Le fonti di luce artificiale a parete sono situate ad un altezza di 2,20 m. mentre le plafoniere sul soffitto nella zona centrale sono installate a circa 2,50m.

La luce naturale entra da sud-est: il vano entrata principale, l'uscita di sicurezza e i finestroni in alto.

La parete orientata a nord su cui si apre l'uscita di collegamento con l’edificio S è una vetrata molto alta che occupa per intero l'orizzonte dell'interno sorvegliato dalla vista blu.

4. REQUISITI FUNZIONALI DEL SISTEMA

4.1 POSIZIONAMENTO TELECAMERE, GERARCHIA DEL SISTEMA

Abbiamo stabilito che le telecamere siano 3, disposte come in figura:

Fig. 2: mappa hall con disposizione delle telecamere.

Fig. 3 – 4 – 5 esempio di vista rossa, vista verde e vista blu.

Il sistema è di tipo gerarchico ed è composto da due telecamere che registrano sempre (blu e verde) fornendo un’inquadratura generale della zona, e una telecamera (rossa) che si attiva solamente nel caso in cui:

• Qualcuno compia atti vandalici contro lo schermo: per darci un primo piano della persona che sta facendo il danno;

• Qualcuno valichi la linea segreteria (come ad esempio la sequenza “Oggetto abbandonato 2”) confermando l'ingresso in un’area non di nostra competenza.

Le telecamere sono posizionate in alto (verde 2.38 m, blu 2.30 m, rossa 1.73 m) in quanto questa posizione:

• Permette di coprire un'area più grande;

• Fa sì che le videocamere siano fuori dalla portata di "teppisti";• Fa in modo che siano meno probabili le occlusioni.

Il sistema visualizza in parallelo le tre viste in questo modo:

viste verde 16:9 e blu 4:3

vista rossa 16:9

Fig. 6: visualizzazione delle tre viste dai monitor della sala di controllo.

Abbiamo scartato l'idea di posizionare le videocamere sul soffitto del corridoio al terzo piano perché rendevano meno evidente la proporzione e la posizione dei blob che a noi interessava avere molto chiare. Una visione quasi perpendicolare:

• Schiacciava troppo le figure (vedi persone sedute Fig. 7);• Era colpita dal sole diretto entrante dalle grandi vetrate;• Era infastidita dall'illuminazione artificiale (Fig. 8);

Fig. 7 e 8: esempi di problemi dovuti al posizionamento delle telecamere troppo in alto.

4.2 CARATTERISTICHE DELLE TELECAMERE

Abbiamo scelto delle telecamere a colori (danno più informazioni rispetto a una telecamera b/n) che di notte “switchano” diventando ad infrarossi.

Le telecamere sono fisse, la loro visuale copre tutta l’area, non è necessario che seguano i soggetti. Eventualmente potremmo prevedere la funzione di remote controll (pan e tilt) e di zoom nei casi in cui fosse necessario.

Le telecamere acquisiscono direttamente in digitale per comodità (non c’è bisogno di schede di conversione, il segnale si processa direttamente).

Il formato di acquisizione è l’ Mini DV m-jpeg (essendo ogni fotogramma un key-frame indipendente rende il girato più facile da elaborare).

I filmati esportati singolarmente sono in formato .m4v. Nella vista blu sono visualizzate le barre laterali dovute al formato 4:3. I filmati delle tre viste sincronizzate sono in formato avi e mov.

La trasmissione dei dati dalle telecamere al centro di controllo avviene attraverso una rete wireless dedicata (come quelle comunemente usate che trasmettono i dati a 54 Mbit/sec). Il wireless ci permette di evitare di tirare cavi e riducendo le spese e le possibilità di danneggiare il sistema.

Le telecamere che abbiamo scelto utilizzano l’acquisizione progressiva. Rispetto all’interlacciato evitano l’effetto veneziana che potrebbe rendere difficile l’elaborazione ma hanno bisogno di più banda. Tuttavia il sistema è costituito di poche telecamere (2 trasmettono sempre, una si attiva solamente se necessario) per cui questo non rappresenta un problema nel nostro caso.

Le registrazioni vengono memorizzate e poi cancellate dopo 24 ore (anche per motivi di privacy oltre che di spazio).

Le telecamere sono dotate di Automatic Gain Control che regola automaticamente il guadagno in base alla luminosità della scena. Abbiamo aggiunto questa funzione perché la zona ha delle ampie finestre ed è quindi soggetta a grandi variazioni di luminosità.

5. BACKGROUND UPDATING

Come abbiamo detto le condizioni di luce nella scena variano molto a seconda del momento della giornata in cui ci troviamo o delle condizioni atmosferiche. Nelle figure 9, 10 e 11 vediamo bene come la luce entrando dalle finestre proietti ombre a terra che si spostano progressivamente. (Fenomeno sensibile nelle nostre riprese di circa un'ora.)

Fig. 9 – 10 – 11: esempio luminosità in una giornata soleggiata.

È quindi opportuno che il nostro sistema applichi un background updating alle immagini per ovviare a questi problemi di cambiamento di illuminazione dello scenario. Lo schema seguente illustra come questa funzione si inserisce nel procedimento di change detection:

La change detection funziona semplicemente confrontando le differenze tra il frame corrente e modello dello sfondo (cioè la scena vuota). Per evitare errori in questa identificazione dei blob sulla scena è opportuno che lo sfondo sia periodicamente aggiornato: come nel nostro caso, è necessario che il sistema “capisca” che le ombre e le luci fanno parte del background e non devono essere considerate nell’elaborazione delle immagini.

6. SCHEMA LOGICO DEL SISTEMA

Vediamo brevemente come funziona il nostro sistema:

- Le telecamere acquisiscono le immagini che, confrontate con lo sfondo aggiornato, identificano la comparsa sulla scena di oggetti in movimento (change detection);

- Il sistema rileva la posizione del blob utilizzando la mappa e la matrice di calibrazione;

- Nella fase di data fusion si confrontano le traiettorie estratte (è inevitabile una piccola discrepanza tra le diverse telecamere) e si traccia la traiettoria “risultante”;

- Il comportamento dell’oggetto viene confrontato con i prerequisiti su cui è impostato il sistema: quello che vediamo è una situazione anomala?

- In caso di situazione anomala il sistema si allerta;

- Se la situazione anomala riguarda la zona dello schermo viene accesa la telecamera rossa.

7. ANALISI CASI NORMALI E ANOMALI

Abbiamo distinto le seguenti situazioni comuni per cui il sistema non deve lanciare nessun tipo di allarme:

• ScenaNormale.avi : alcune persone transitano nella hall;

• Valigia.avi : una persona attraversa la hall trascinando una valigia.

Per quanto riguarda invece le situazioni anomale che possono verificarsi e che dovrebbero essere segnalate dal nostro sistema, abbiamo individuato:

• Bomba1.avi: una persona abbandona un oggetto sotto le sedie.

• Bomba2.avi : una persona abbandona un oggetto nei pressi della segreteria.

• Bomba3.avi : una persona abbandona un oggetto al centro della hall.

• Rissa.avi: due persone si picchiano.

• Svenimento.avi : una persona cade a terra.

• Vandalo.avi : una persona compie atti vandalici contro lo schermo.

Ci sono delle situazioni intermedie che andrebbero valutate:

• Blob Coppia.mov : due studenti entrano vicini e poi proseguono in direzioni diverse.

• (nel video in coda al precedente) Blob che cambia forma.mov : una persona si ferma ad allacciarsi le scarpe. L'orientamento dell'asse maggiore varia. Anche se il blob cambia forma il sistema non deve dare l’allerta. La discriminante sarà il tempo.

Passiamo ad una descrizione dettagliata dei singoli casi con l’analisi dei passi compiuti dal sistema per riconoscere l’eventuale anomalia.

PERSONA CON BAGAGLIO AL TRAINO

Una situazione ricorrente il passaggio di persone bagagli che il sistema non deve rilevare come situazione anomala. Il sistema potrebbe discriminare questa situazione in base al tempo di permanenza dell’oggetto nella hall oppure in base alla dimensione dell’oggetto stesso.

OGGETTO ABBANDONATO: BOMBA sotto sedile

Il soggetto entra con una borsa in spalla dall'entrata principale visibile dalla vista verde e la abbandona in disparte sotto le sedie nei pressi della segreteria. Esce dalla stessa porta da cui è entrato. La borsa rimane visibile dalla vista verde. Nella vista blu l’oggetto è occluso dalla sedia. Prevediamo che, dopo qualche secondo, se l’oggetto non viene recuperato, parta una verifica del bagaglio abbandonato.

Brevemente i passi logici che il nostro sistema compie sono i seguenti:

• Change detection ed estrazione del blob 1;

• Tracking del blob 1 ed estrazione delle sue coordinate x e y;

• Nelle stesse coordinate x e y del blob 1 appare un blob 2: questo significa che la persona ha abbandonato qualcosa e si è allontanata.

Sarebbe altresì interessante avere i mezzi per riconoscere se una persona diversa dalla prima passando prelevi il bagaglio.

OGGETTO ABBANDONATO: BOMBA 2

Il soggetto entra nella scena. La hall è deserta e si sfila vistosamente la borsa dalla spalla. Disturbato da passaggio di persone si accosta alla segreteria e se ne allontana correndo senza bagaglio. Né la vista verde né quella blu vedono il bagaglio abbandonato.

Sarebbe quindi interessante avere la telecamera rossa accesa dato che il bagaglio è ancora nella hall parzialmente nascosto.

Sarebbe anche utile poter effettuare uno zoom in remoto con la telecamera rossa sulla borsa.

Fig. 12: esempio di zoom dalla vista rossa.

OGGETTO ABBANDONATO: BOMBA 3

Il soggetto agisce indisturbato, lascia il bagaglio al centro della stanza visto sia dalla telecamera verde che da quella blu. Si allontana poi con una velocità elevata (e quindi per il nostro sistema sospetta).

RISSA

I soggetti proveniente da direzioni diverse entrano in conflitto: i loro blob hanno movimenti rapidi e collidono più volte. Il sistema calcola la quantità di movimento nel fotogramma e rileva una situazione di allarme.

SVENIMENTI 1 e 2

Svenimento 1 è più simile ad una caduta: il blob cambia forma e passa da verticale ad orizzontale, ma dopo meno di 8 secondi si rialza in piedi.

Svenimento 2 è contrassegnato da un cambiamento permanente della forma del blob.Il sistema riconosce l’anomalia dal cambiamento di forma del blob e dopo il tempo prestabilito, se il blob non torna alla sua forma normale dà l'allarme.

VANDALO

La vista verde registra un movimento rapido nei pressi dello schermo degli orari e allerta il sistema che accende la vista della telecamera rossa. Quest’ultima registra un primo piano della persona che sta compiendo il danno per l’eventuale riconoscimento.

Fig. 13 – 14 – 15 – 16 : sequenza di immagini tratta dalla scena del vandalo. La vista rossa ci permette di identificare chiaramente il volto della persona che sta compiendo il danno.

SDOPPIAMENTO BLOB: COPPIA

I soggetti entrano abbracciati, si fermano davanti allo schermo orari e dopo pochi secondi si separano in direzioni diverse. Entrambi sono in movimento.

Qui il problema potrebbe sorgere dal fatto che il sistema unisce in un unico blob le due persone vicine e di fronte a uno “sdoppiamento” non capisce cosa sta succedendo in scena. Per far sì che ciò non succeda ipotizziamo di lavorare sulle dimensioni del blob:

• ipotizziamo che un bagaglio sia più piccolo di un uomo (per non confonderli nel caso uno dei due soggetti abbracciati rimanga fermo per qualche secondo). Dall'alto magari non capisce, ecco purché abbiamo preferito non posizionare videocamere ai piani più alti che sarebbero risultate quasi alla verticale.

• il perimetro dei due oggetti in movimento raddoppia, l'area rimane pressoché invariata.

BLOB CHE CAMBIA FORMA E LA RIPRENDE.

In questa sequenza abbiamo ripreso un soggetto che si abbassa per allacciarsi una scarpa. Il blob muta: da rettangolo alto con base stretta passa a una forma quadrata per poi riprendere la forma iniziale e spostarsi. A differenza dello svenimento il soggetto si ferma in posizione anomala per un tempo limitato e non allerta il sistema.

8. FASE DI ELABORAZIONE

Prima di processare le immagini provenienti dalle telecamere, potrebbe essere utile inserire un filtro di rimozione del rumore (ad esempio uno smooth gaussiano) che rimuova le fluttuazioni nei valori dei pixel sempre presenti in ogni tipo di ripresa. Rimuovere il rumore garantisce un risultato migliore nelle fasi di successive.

9. CALIBRAZIONELa prima cosa da fare per procedere con la calibrazione delle telecamere è preparare la mappa, selezionando solamente le zone di nostro interesse (come in figura 17).

L’origine della mappa viene posizionata top - left. La posizione delle telecamere a partire dall’origine sono quindi:

Telecamera verde:x = 23.10 m y = 0.75 m z = 2.38 m

Telecamera blu: x = 7 m y = 10.3 m z = 2.30 m

Telecamera rossa: y = 0.6 m x = 10.41 m z = 1.73 m

Fig. 17: mappa con in evidenza la zona tagliata, l’origine e la posizione delle telecamere.

A questo punto prendiamo un fotogramma e creiamo (con il programma CalibTool) una corrispondenza tra alcuni punti notevoli della scena (noi ne abbiamo usati cinque) e i corrispondenti punti della mappa.

Fig. 18: corrispondenza tra i punti della mappa e i punti nel fotogramma.

Il programma calcola così la matrice di calibrazione che per le nostre due telecamere è:

Telecamera blu:

HomographicMatrix = -0.723261 -0.784582 0.769964 -0.630082 -0.427861 0.5745 -1.11085 -0.717232 1

InverseHomographicMatrix = 76.9135 -1130.22 590.089 39.4106 -642.371 338.697 113.706 -1716.23 899.424

camerapos_h = 0

camerapos_x = 0

camerapos_y = 0

focal_length = 13.643

map_x = 1

map_y = 1

Telecamera verde:

HomographicMatrix = -1.04148 -1.20163 1.64993 -0.150377 0.353267 0.409795 -1.26692 0.770418 1

InverseHomographicMatrix = 0.0394749 2.59924 -1.13029 -0.387662 1.10249 0.18782 0.348673 2.44364 -0.576678

camerapos_h = 0

camerapos_x = 0

camerapos_y = 0

focal_length = 3.43041

map_x = 1

map_y = 1

10. FILTRI

Per concludere presentiamo una serie di elaborazioni ottenute con photoshop su un fotogramma del video.

Si vuole così porre in evidenza alcuni delle difficoltà dovute a fonti di luce mista, indicarndo vie possibili per riduzioni del rumore, ed estrarre i contorni delle figure per seguirne i movimenti.

Riduciamo le sfumature possibili sul pavimento e riduciamo i chiaro scuri, si attenuano tutte le ombre.

Abbassando la soglia (scala colori 3 b&n) vengono evidenziate le due macroaree: molto chiaro e molto scuro, le figure umane però scompaiono.

Rimangono invece molto evidenti in questo secondo caso (scala colori 4 b&n).

Altra difficoltà nell'elaborazione è dovuta alla natura mista della luce. La foto che segue (interno-esterno) lo evidenzia: alcune parti risultano gialle per la temperatura della luce solare, altre prevalentemente blu per i neon, altre verdi come risultato della somma delle due componenti

In questa fase la luce solare sembra essere la componente maggiore, proviamo a esagerando l'esposizione:

e convertendo l'immagine in b&n otteniamo questo risultato

Filtro blu (+lum&contrasto) uniforma le due componenti di luce e mette in risalto le ombre umane.

lumiosità -60 e contrasto 80,poi tradotto in negativo:

Migliore il risultato convertendo in negativo e manipolando succesivamente lumiosità e contrasto:

I bordi sono visualizzabili al meglio con il filtro personale:

-6

-6 24 -6

-6