R. Gini*, D. Passoni**, D. Pagliari*, L. Pinto***, G. Sona***

DICA - Sez. Geodesia e Geomatica

Rilievi multispettrali da UAV per la modellizzazione di edifici e del territorio:

esperienze condotte al Politecnico di Milano

*Dottoranda; **Assegnista di ricerca; ***Docente

SOMMARIO2

• Motivazioni e prime esperienze: il progetto FoGLIE

• Primi test (di volo e di modellizzazione 3D)

• La scelta del velivolo

• La scelta delle camere

• Analisi della qualità geometrica della Tetracam ADClite

• Test sui sw per il trattamento dell immagini da UAV

(Fotogrammetria vs Computer Vision)

• Alcune realizzazioni significative

MOTIVAZIONI E PRIME ESPERIENZE: IL PROGETTO FoGLIE

SVILUPPAREuna nuova guida

multimediale anche con contenuti stereoscopici

INTEGRAREfruibilità e monitoraggio

dei beni

FoGLIE: Fruition of Goods Landscape in Interactive Environment

utente attivo

Progetto finanziato da Regione Lombardia (2011-2013)

• Differenti partner: 5 realtà imprenditoriali lombarde + Politecnico di Milano (DIIAR)

• Attività di ricerca e di sviluppo sperimentale di un prototipo

PARCO ADDA NORD

3

Contenuti e video scenici (anche in stereoscopia)

Immagini aeree ad alta risoluzione: RGB & NIR

generazione di DSM

individuazione specie arboree alloctone

Elicotteri Helicam

QuadrielicaMd-200

PRIME ESPERIENZE CON DRONI (2011)4

Modellizzazione 3D da nuvole di punti fotogrammetriche

Villa Castelbarcoa Vaprio d’Adda (MI) (2012)

5ESPERIENZE DI MODELLIZZAZIONI 3D

Vellutificio Velvis (Visconti di Modrone) a Vaprio d’Adda (MI) (2012)

6ESPERIENZE DI MODELLIZZAZIONI 3D

Modellizzazione 3D da nuvole di punti fotogrammetriche(con rilievi a terra)

Diga Poiret a Paderno d’Adda (MI) (2012)

ESPERIENZE DI MODELLIZZAZIONI 3D 7

Modellizzazione 3D da nuvole di punti fotogrammetriche (acquisite da aereo,

da UAV e da terra)

PRIMO TEST RILIEVO MULTISPETTRALE (2011)

MD4-200 Pentax Optio A40: RGB

Scopo geometrico (DSM)

• Triangolazione aerea con set RGB

• Confronto con telemetria → non usabile per orientamento diretto

• Immagini idonee per scopi di modellizzazione 3D

• Creazione DSM: 0,10x0,10 m2, da editare

8

• Parco Adda Nord: Medolago (BG)• Estensione: 120x100 m2

• Variazione di quota: 15 m• Differenti tipi di copertura del suolo

Sigma DP1: NIR

scopo radiometrico (classificazione)

• Ortofoto RGB & NIR: 0,05x0,05 m2

→ coregistrazione

• 10 variabili: 4 originali + 6 derivate• Classificazione speditiva

unsupervised (ISOCLASS)• Classificazione supervised

(con training samples)

9PRIMO TEST RILIEVO MULTISPETTRALE (2011)

MD4-200

TerrenoRobiniaErbaOmbraOlmoCarpinoCementoAilanto

MULTIROTORE

+ Budget+ Sistema aperto (camera,

navigazione, ecc.)+ Payload+ Governo della fotocamera+ Prese ravvicinate

- Autonomia di volo- Addestramento al pilotaggio

MULTIROTORE VS ALA FISSA

SCELTA DEL VELIVOLO “PoliMI”10

.ALA FISSA

+ Autonomia di volo+ Quota di volo+ Copertura fotogrammetrica+ Gestione del volo

- Payload- Sistema chiuso (commerciale)- Governo della fotocamera- Budget

• Esacottero MikroKopter (RestArt)• Dimensioni: 70 cm + eliche 12’’• Peso al decollo: 1.2 kg + payload• Alimentazione: 2 batterie al litio 4000 mAh• Velocità: fino a 5 m/sec• Payload: fino a 500 g• Sistema di navigazione: NAV Flight Control

GPS (MKGPS) LEA 4H Ublox• Firmware: in costante aggiornamento

Esacottero MikroKopter personalizzato

VELIVOLO PoliMI “WALL-P”11

.

17a Conferenza ASITA: 5-7 novembre 2013 Riva del Garda (TN)

12LA SCELTA DELLA FOTOCAMERA

Camere amatoriali con peso e dimensioni ridotte ottimali per UAV

Possibili limitazioni:

• Sensori più piccoli di una reflex (rapporto S/N sfavorevole)

• Ottiche di qualità inferiore e meno stabili• Non sempre possono montare focali fisse• Obiettivi talvolta retrattili• Focale e distanza principale hanno valori non stabili

poiché all’invio del scatto si ha spesso un riallineamento (seppur minimo) delle lenti

Distorsioni sulle immagini non trascurabili

• Peso: 310 g• Sensore: CMOS (3872x2592 pixel)• Mirrorless• Dimensione pixel: 3.5 m• Focale obiettivo: 10.5 mm• Immagini: RGB

Tetracam ADCLiteNikon 1 J1

CAMERE PoliMI

• Peso: 200 g• Sensore: CMOS (2048x1536 pixel)• Dimensione pixel: 2,9 m• Focale: 8.5 mm• Immagini: 8 o 10 bit CIR (NIR+R+G)

approssimativamente equivalenti alle bande TM2, TM3, TM4

13

pannello Siemens per analisi della risoluzione geometrica reale

↓diverse aperture del diaframma a

diverse distanze: 30 m e 50 m

30 m statico

1,4 4 8 16

I risultati migliori si ottengono con otturatore parzialmente chiusof/d = 4

30 m dinamico 1,4 4 8 16

14QUALCHE CONSIDERAZIONE SULLA QUALITA’ DELLA ADClite

QUALCHE CONSIDERAZIONE SULLA QUALITA’ DELLA ADClite

• Effetti di disallineamento cromatico(tra I canali R, G e NIR)

• Rolling shutter

• Risoluzione geometrica effettiva: Tetracam ADCLite• Caso statico: risoluzione reale ~ 80 lp/mm per immagini CIR con f/d = 4

risoluzione reale ~ 100 lp/mm per canale verde con f/d = 8• Caso dinamico: risultati confermati a meno di effetti di “trascinamento”

15

16

http://www.diyphotography.net

IL PROBLEMA DEL ROLLING SHUTTER (RS)

È un metodo per acquisire immagini (solitamente accoppiato con sensori CMOS) basato sull’esposizione non simultanea del sensore

Caratteristiche di un otturatore rolling shutter:

• Presenza di una slitta che si muove lungo il sensore• Esposizione di ogni parte del sensore per lo stesso tempo• Esposizione non simultanea delle diverse zone del sensore a

causa del movimento della slitta

http://www.wkumeling.net

Si notano gli effetti del rolling shutterquando c’è un movimento relativo non trascurabile tra camera e oggetto

17MODELLO FOTOGRAMMETRICO DI FRASER

∙

∙

∙ ∙ + ∙ 2 2 ∙ ∙ ∙ ∙

∙ ∙ + ∙ 2 2 ∙ ∙

, ,Coefficienti di distorsione radiale

,Coefficienti di distorsione tangenzialeDistorsione affine:

scala in x Distorsione affine:

taglio in y

18SIMULAZIONI

Camera: TetraCam ADC Lite• Camera CIR • CMOS 3,2 Megapixel• Focale 8,5 mm

Parametri simulazione:

• Quota di volo: 35 m• c:7.7734 m• VUAV: 2 m/s• Tempo scorrimento della finestra: 85,3 s• Tempo di esposizione: 688 s• 3 strisciate (tot 30 fotogrammi)• Ricoprimento longitudinale 75%• Ricoprimento trasversale 50%• GSD: 0.013 m• Precisione di stima: 4 m

19SIMULAZIONI: RS lungo la direzione di volo

∙ ∙ ∙ /dove:• : spostamento delle coord. immagini a causa del rolling shutter• : velocità di volo del drone• : indice che rappresentala la riga i-esima del sensore• : tempo impiegato dalla finestra per muoversi da una riga alla successiva• : tempo di esposizione• c: focale della camera• h: quota di volo ξ

0, 0,4VUAV

ξ

20RISULTATI DELLE SIMULAZIONI

Possiamo modellizzare l’effetto del rolling shutter(RS) lungo la direzione di volo con il parametro b1del modello di Fraser

Simulazioneprecisione

di stima [m]

RS 4.1RS + self-calib. (b1) 4.0

RS + OE fisso 8.8RS + self-calib. (b1) + OE fisso 4.6

Esiste una forte correlazione tra i parametri di calibrazione e l’orientamento esterno• Nel caso di solo RS l’errore viene assorbito spostando in quota le camere

(in media 0.38 m)• Con OE bloccato gli effetti sono assorbiti dal parametro b1

21

UN CASO REALE: MEDOLAGO• Fotocamera: Tetracam ADC Lite• 2 strisciate per un totale di 17 immagini (solo

canale Green)• h di volo strisciata 1: 50 m• h di volo strisciata 2: 60 m• Estrazione automatica dei punti di legame con

il sw EyeDEA (UniPr)

Blocco Medolagoprecisione

di stima [m]

No self-calibr. 38.2

Self-calib (+K1,K2,P1,P2) 33.7

Self-calib (+b1,b2) 12.6

c K1 K2 K3 P1 P2 b1 b2c 100

K1 0 100K2 1.2 -91.5 100K3 -1.1 85.3 -98.2 100P1 -0.2 -4.7 1.6 -2.4 100P2 -2.2 -2.1 -2.9 3.8 -12.3 100b1 3.6 7.8 -1.3 1.6 -29.7 31.5 100b2 26.2 26.2 -15.5 12.4 -5.1 9.8 61.8 100

Matrice di correlazione

DIIAR, Laboratorio di Geomatica del Polo Territoriale di Como

TEST SUI SW FOTOGRAMMETRICI

SW di Computer VisionSW fotogrammetrici

LPS → sw commerciale by ErdasEyeDEA+Dense Matcher → homemade (Università di Parma)PhotoModeler scanner → sw comm.by EOS

Agisoft Photoscan→ Agisoft LLCPix4UAV Desktop → Pix4D

1) Orientamento relativo delle immagini (S&M) con selfcalibration in un arbitrario SdR (grazie alla telemetria)

2) Estrazione automatica dei TPs3) Rototraslazione del blocco nel

SdR dei GCPs4) Realizzazione di DSM &

Ortofoto

1) Calibrazione della camera 2) Identificazione dei GCPs3) Ricerca dei TPs4) Orientamento esterno5) Realizzazione di DSM &

Ortofoto

VS

22

DIIAR, Laboratorio di Geomatica del Polo Territoriale di Como

RILIEVO DEL POLIGONO DI CISANO BERGAMASCO(BG)

• Quota di volo = 130 m• GSD = 4.5 cm• 5 strisciate• 49 immagini (RGB)• 15 GCP presegnalizzati

23

SwingletCAM SenseFlyProprietà: Studio di Ingegneria

Terradat di Paolo Dosso

Canon Ixus 220HS

DIIAR, Laboratorio di Geomatica del Polo Territoriale di Como

24RILIEVO DEL POLIGONO DI CISANO BERGAMASCO(BG)

Software TPs’

generator# TPs # obs.

points#

GCPs0

Theoretical Accuracy

(RMS of std.dev.) of TPs

Empirical accuracy (RMSE) of CPs

# raysper

point

Est Nord h Est Nord h

[mm] [mm] [mm] [mm] [mm] [mm] [mm]

LPS* 285 149215 2.6 109 89 215 - - - 5

5 2.6 119 101 259 50 50 130 5

EyeDEA** 1052 339515 1.4 57 50 142 - - - 3

5 1.4 68 61 181 73 81 329 3

PhotoModeler 13647 55887

15 1.1 23 21 57 - - - 4

5 1.1 26 23 66 54 50 114 4

Pix4UAV 1317 614615 1.0 25 23 61 - - - 5

5 1.0 30 28 76 39 54 213 5

Agisoft PhotoScan 6098 19097

15 0.3 8 7 20 - - - 3

5 0.3 9 8 23 50 19 55 3

DIIAR, Laboratorio di Geomatica del Polo Territoriale di Como

Compensazione con Calge con OE fisso

Analisi dei residuisui CPs

25RILIEVO DEL POLIGONO DI CISANO BERGAMASCO(BG)

LPS EyeDEA/PM

PhotoModeler Pix4UAV Agisoft

Photoscan

E [mm] 48 16 51 81 74

N [mm] 47 12 41 46 61

h [mm] 90 36 137 214 83

DIIAR, Laboratorio di Geomatica del Polo Territoriale di Como

26RILIEVO DEL POLIGONO DI CISANO BERGAMASCO(BG)

COMPLETEZZA DEI DSM

Pix4UAV

QUALITA’ DEI DSM

AgisoftPhotoscan

QUALCHE REALIZZAZIONE

27

Modelli 3D della Cascina Linterno (MI) (2013)

Hexakopter Mikrokopter con sistema di navigazione NAV Flight Control , GPS (MKGPS) LEA 4H Ublox.Raggio di operatività : 200mpayload: Nikon J1

Rilievo della cascina Linterno per una valutazione qualitativa e quantitativa dello stato di conservazione dei tetti

Inquadramento cartografico

Ortofoto e modello 3D

Immagine campione

Cascina LinternoMilano (MI)

Modelli 3D del Campus «Arata» (PC) (2013)

Hexakopter Mikrokopter con sistema di navigazione NAV Flight Control , GPS (MKGPS) LEA 4H Ublox.Raggio di operatività : 200mpayload: Nikon J1

Rilievo degli edifici del campus di architettura di Piacenza (ex macello), nell’ambito del laboratorio del Corso di Rappresentazione

Inquadramento cartografico

Modello 3D

Immagine campione

Campus architettura (PC)

Indagine visiva di ponti e viadotti (2014)

Hexakopter Mikrokopter con sistema di navigazione NAV Flight Control , GPS (MKGPS) LEA 4H Ublox.Raggio di operatività : 200mpayload: Nikon J1

Rilievo di un ponte/viadotto in località «Santa Giulia» come test per l’applicazione di UAV alla verifica di ponti e viadotti

Inquadramento cartografico

Modello 3D e DSM superfici

Immagine campione

Santa GiuliaMilano (MI)

Calcolo di volumi di cava (Gossolengo – PC) (2013)

Hexakopter Mikrokopter con sistema di navigazione NAV Flight Control , GPS (MKGPS) LEA 4H Ublox.Raggio di operatività : 200mpayload: Nikon J1

Rilievo per la misura di volumi di cava di Gossolengo..

Inquadramento cartografico

Modello 3D

Immagine campione

Gossolengo (PC)

Rilievo RGB + NIR multitemporale vivaio «Peverelli» (2013)

Hexakopter Mikrokopter con sistema di navigazione NAV Flight Control , GPS (MKGPS) LEA 4H Ublox.Raggio di operatività : 200mpayload: Nikon J1, ADCliteTetracam

Rilievo multispettrale-multitemporale al fine di valutare algoritmi automatici di riconoscimento di specie arboree da immagini RGB+NIR

Inquadramento cartografico

Ortofoto NIR

vivaio «Peverelli» Fino Mornasco (CO)

Immagini campione

Rilievo RGB + NIR multitemporale aree boscate Parco Adda Nord (2013‐14)

Sensefly swinglet CAM.Raggio di operatività : 1000mpayload: Canon IXUS 220HS

Rilievo multispettrale‐multitemporale su 10 aree al fine di valutare la presenza di specie arboree alloctone all’interno del parco Adda Nord da immagini RGB+NIROrtofoto NIR

Immagini campione

Parco Adda Nord

Inquadramento cartografico

Calcolo volume di coltre nevosa 2014

Sensefly swinglet CAM.Raggio di operatività : 1000mpayload: Canon IXUS 220HS

Rilievo realizzato per la valutazione dei volumi della coltre nevosa presso il nevaio Malghera in valgrosina per valutazioni idrologiche.

Modello 3D

Immagini campioneInquadramento cartografico

Malghera SO)

Test per applicazioni di fotogrammetria diretta  da UAV (2013)

Hexakopter Mikrokopter con sistema di navigazione NAV Flight Control , GPS (MKGPS) LEA 4H Ublox.Raggio di operatività : 200mpayload: Nikon J1

Voli con GPS Ublox L1 con possibilità di registrare i dati per elaborazione differenziale; confronti con telemetria drone e test di fotogrammetria diretta.

Inquadramento cartografico

Grafici di confronto

Immagine configurazione UAV

Parcheggio cimitero di LambrateMilano (MI)

Grazie per l’attenzione

36