Rilievi multispettrali da UAV per la modellizzazione di...
Transcript of Rilievi multispettrali da UAV per la modellizzazione di...
R. Gini*, D. Passoni**, D. Pagliari*, L. Pinto***, G. Sona***
DICA - Sez. Geodesia e Geomatica
Rilievi multispettrali da UAV per la modellizzazione di edifici e del territorio:
esperienze condotte al Politecnico di Milano
*Dottoranda; **Assegnista di ricerca; ***Docente
SOMMARIO2
• Motivazioni e prime esperienze: il progetto FoGLIE
• Primi test (di volo e di modellizzazione 3D)
• La scelta del velivolo
• La scelta delle camere
• Analisi della qualità geometrica della Tetracam ADClite
• Test sui sw per il trattamento dell immagini da UAV
(Fotogrammetria vs Computer Vision)
• Alcune realizzazioni significative
MOTIVAZIONI E PRIME ESPERIENZE: IL PROGETTO FoGLIE
SVILUPPAREuna nuova guida
multimediale anche con contenuti stereoscopici
INTEGRAREfruibilità e monitoraggio
dei beni
FoGLIE: Fruition of Goods Landscape in Interactive Environment
utente attivo
Progetto finanziato da Regione Lombardia (2011-2013)
• Differenti partner: 5 realtà imprenditoriali lombarde + Politecnico di Milano (DIIAR)
• Attività di ricerca e di sviluppo sperimentale di un prototipo
PARCO ADDA NORD
3
Contenuti e video scenici (anche in stereoscopia)
Immagini aeree ad alta risoluzione: RGB & NIR
generazione di DSM
individuazione specie arboree alloctone
Elicotteri Helicam
QuadrielicaMd-200
PRIME ESPERIENZE CON DRONI (2011)4
Modellizzazione 3D da nuvole di punti fotogrammetriche
Villa Castelbarcoa Vaprio d’Adda (MI) (2012)
5ESPERIENZE DI MODELLIZZAZIONI 3D
Vellutificio Velvis (Visconti di Modrone) a Vaprio d’Adda (MI) (2012)
6ESPERIENZE DI MODELLIZZAZIONI 3D
Modellizzazione 3D da nuvole di punti fotogrammetriche(con rilievi a terra)
Diga Poiret a Paderno d’Adda (MI) (2012)
ESPERIENZE DI MODELLIZZAZIONI 3D 7
Modellizzazione 3D da nuvole di punti fotogrammetriche (acquisite da aereo,
da UAV e da terra)
PRIMO TEST RILIEVO MULTISPETTRALE (2011)
MD4-200 Pentax Optio A40: RGB
Scopo geometrico (DSM)
• Triangolazione aerea con set RGB
• Confronto con telemetria → non usabile per orientamento diretto
• Immagini idonee per scopi di modellizzazione 3D
• Creazione DSM: 0,10x0,10 m2, da editare
8
• Parco Adda Nord: Medolago (BG)• Estensione: 120x100 m2
• Variazione di quota: 15 m• Differenti tipi di copertura del suolo
Sigma DP1: NIR
scopo radiometrico (classificazione)
• Ortofoto RGB & NIR: 0,05x0,05 m2
→ coregistrazione
• 10 variabili: 4 originali + 6 derivate• Classificazione speditiva
unsupervised (ISOCLASS)• Classificazione supervised
(con training samples)
9PRIMO TEST RILIEVO MULTISPETTRALE (2011)
MD4-200
TerrenoRobiniaErbaOmbraOlmoCarpinoCementoAilanto
MULTIROTORE
+ Budget+ Sistema aperto (camera,
navigazione, ecc.)+ Payload+ Governo della fotocamera+ Prese ravvicinate
- Autonomia di volo- Addestramento al pilotaggio
MULTIROTORE VS ALA FISSA
SCELTA DEL VELIVOLO “PoliMI”10
.ALA FISSA
+ Autonomia di volo+ Quota di volo+ Copertura fotogrammetrica+ Gestione del volo
- Payload- Sistema chiuso (commerciale)- Governo della fotocamera- Budget
• Esacottero MikroKopter (RestArt)• Dimensioni: 70 cm + eliche 12’’• Peso al decollo: 1.2 kg + payload• Alimentazione: 2 batterie al litio 4000 mAh• Velocità: fino a 5 m/sec• Payload: fino a 500 g• Sistema di navigazione: NAV Flight Control
GPS (MKGPS) LEA 4H Ublox• Firmware: in costante aggiornamento
Esacottero MikroKopter personalizzato
VELIVOLO PoliMI “WALL-P”11
.
17a Conferenza ASITA: 5-7 novembre 2013 Riva del Garda (TN)
12LA SCELTA DELLA FOTOCAMERA
Camere amatoriali con peso e dimensioni ridotte ottimali per UAV
Possibili limitazioni:
• Sensori più piccoli di una reflex (rapporto S/N sfavorevole)
• Ottiche di qualità inferiore e meno stabili• Non sempre possono montare focali fisse• Obiettivi talvolta retrattili• Focale e distanza principale hanno valori non stabili
poiché all’invio del scatto si ha spesso un riallineamento (seppur minimo) delle lenti
Distorsioni sulle immagini non trascurabili
• Peso: 310 g• Sensore: CMOS (3872x2592 pixel)• Mirrorless• Dimensione pixel: 3.5 m• Focale obiettivo: 10.5 mm• Immagini: RGB
Tetracam ADCLiteNikon 1 J1
CAMERE PoliMI
• Peso: 200 g• Sensore: CMOS (2048x1536 pixel)• Dimensione pixel: 2,9 m• Focale: 8.5 mm• Immagini: 8 o 10 bit CIR (NIR+R+G)
approssimativamente equivalenti alle bande TM2, TM3, TM4
13
pannello Siemens per analisi della risoluzione geometrica reale
↓diverse aperture del diaframma a
diverse distanze: 30 m e 50 m
30 m statico
1,4 4 8 16
I risultati migliori si ottengono con otturatore parzialmente chiusof/d = 4
30 m dinamico 1,4 4 8 16
14QUALCHE CONSIDERAZIONE SULLA QUALITA’ DELLA ADClite
QUALCHE CONSIDERAZIONE SULLA QUALITA’ DELLA ADClite
• Effetti di disallineamento cromatico(tra I canali R, G e NIR)
• Rolling shutter
• Risoluzione geometrica effettiva: Tetracam ADCLite• Caso statico: risoluzione reale ~ 80 lp/mm per immagini CIR con f/d = 4
risoluzione reale ~ 100 lp/mm per canale verde con f/d = 8• Caso dinamico: risultati confermati a meno di effetti di “trascinamento”
15
16
http://www.diyphotography.net
IL PROBLEMA DEL ROLLING SHUTTER (RS)
È un metodo per acquisire immagini (solitamente accoppiato con sensori CMOS) basato sull’esposizione non simultanea del sensore
Caratteristiche di un otturatore rolling shutter:
• Presenza di una slitta che si muove lungo il sensore• Esposizione di ogni parte del sensore per lo stesso tempo• Esposizione non simultanea delle diverse zone del sensore a
causa del movimento della slitta
http://www.wkumeling.net
Si notano gli effetti del rolling shutterquando c’è un movimento relativo non trascurabile tra camera e oggetto
17MODELLO FOTOGRAMMETRICO DI FRASER
∙
∙
∙ ∙ + ∙ 2 2 ∙ ∙ ∙ ∙
∙ ∙ + ∙ 2 2 ∙ ∙
, ,Coefficienti di distorsione radiale
,Coefficienti di distorsione tangenzialeDistorsione affine:
scala in x Distorsione affine:
taglio in y
18SIMULAZIONI
Camera: TetraCam ADC Lite• Camera CIR • CMOS 3,2 Megapixel• Focale 8,5 mm
Parametri simulazione:
• Quota di volo: 35 m• c:7.7734 m• VUAV: 2 m/s• Tempo scorrimento della finestra: 85,3 s• Tempo di esposizione: 688 s• 3 strisciate (tot 30 fotogrammi)• Ricoprimento longitudinale 75%• Ricoprimento trasversale 50%• GSD: 0.013 m• Precisione di stima: 4 m
19SIMULAZIONI: RS lungo la direzione di volo
∙ ∙ ∙ /dove:• : spostamento delle coord. immagini a causa del rolling shutter• : velocità di volo del drone• : indice che rappresentala la riga i-esima del sensore• : tempo impiegato dalla finestra per muoversi da una riga alla successiva• : tempo di esposizione• c: focale della camera• h: quota di volo ξ
0, 0,4VUAV
ξ
20RISULTATI DELLE SIMULAZIONI
Possiamo modellizzare l’effetto del rolling shutter(RS) lungo la direzione di volo con il parametro b1del modello di Fraser
Simulazioneprecisione
di stima [m]
RS 4.1RS + self-calib. (b1) 4.0
RS + OE fisso 8.8RS + self-calib. (b1) + OE fisso 4.6
Esiste una forte correlazione tra i parametri di calibrazione e l’orientamento esterno• Nel caso di solo RS l’errore viene assorbito spostando in quota le camere
(in media 0.38 m)• Con OE bloccato gli effetti sono assorbiti dal parametro b1
21
UN CASO REALE: MEDOLAGO• Fotocamera: Tetracam ADC Lite• 2 strisciate per un totale di 17 immagini (solo
canale Green)• h di volo strisciata 1: 50 m• h di volo strisciata 2: 60 m• Estrazione automatica dei punti di legame con
il sw EyeDEA (UniPr)
Blocco Medolagoprecisione
di stima [m]
No self-calibr. 38.2
Self-calib (+K1,K2,P1,P2) 33.7
Self-calib (+b1,b2) 12.6
c K1 K2 K3 P1 P2 b1 b2c 100
K1 0 100K2 1.2 -91.5 100K3 -1.1 85.3 -98.2 100P1 -0.2 -4.7 1.6 -2.4 100P2 -2.2 -2.1 -2.9 3.8 -12.3 100b1 3.6 7.8 -1.3 1.6 -29.7 31.5 100b2 26.2 26.2 -15.5 12.4 -5.1 9.8 61.8 100
Matrice di correlazione
DIIAR, Laboratorio di Geomatica del Polo Territoriale di Como
TEST SUI SW FOTOGRAMMETRICI
SW di Computer VisionSW fotogrammetrici
LPS → sw commerciale by ErdasEyeDEA+Dense Matcher → homemade (Università di Parma)PhotoModeler scanner → sw comm.by EOS
Agisoft Photoscan→ Agisoft LLCPix4UAV Desktop → Pix4D
1) Orientamento relativo delle immagini (S&M) con selfcalibration in un arbitrario SdR (grazie alla telemetria)
2) Estrazione automatica dei TPs3) Rototraslazione del blocco nel
SdR dei GCPs4) Realizzazione di DSM &
Ortofoto
1) Calibrazione della camera 2) Identificazione dei GCPs3) Ricerca dei TPs4) Orientamento esterno5) Realizzazione di DSM &
Ortofoto
VS
22
DIIAR, Laboratorio di Geomatica del Polo Territoriale di Como
RILIEVO DEL POLIGONO DI CISANO BERGAMASCO(BG)
• Quota di volo = 130 m• GSD = 4.5 cm• 5 strisciate• 49 immagini (RGB)• 15 GCP presegnalizzati
23
SwingletCAM SenseFlyProprietà: Studio di Ingegneria
Terradat di Paolo Dosso
Canon Ixus 220HS
DIIAR, Laboratorio di Geomatica del Polo Territoriale di Como
24RILIEVO DEL POLIGONO DI CISANO BERGAMASCO(BG)
Software TPs’
generator# TPs # obs.
points#
GCPs0
Theoretical Accuracy
(RMS of std.dev.) of TPs
Empirical accuracy (RMSE) of CPs
# raysper
point
Est Nord h Est Nord h
[mm] [mm] [mm] [mm] [mm] [mm] [mm]
LPS* 285 149215 2.6 109 89 215 - - - 5
5 2.6 119 101 259 50 50 130 5
EyeDEA** 1052 339515 1.4 57 50 142 - - - 3
5 1.4 68 61 181 73 81 329 3
PhotoModeler 13647 55887
15 1.1 23 21 57 - - - 4
5 1.1 26 23 66 54 50 114 4
Pix4UAV 1317 614615 1.0 25 23 61 - - - 5
5 1.0 30 28 76 39 54 213 5
Agisoft PhotoScan 6098 19097
15 0.3 8 7 20 - - - 3
5 0.3 9 8 23 50 19 55 3
DIIAR, Laboratorio di Geomatica del Polo Territoriale di Como
Compensazione con Calge con OE fisso
Analisi dei residuisui CPs
25RILIEVO DEL POLIGONO DI CISANO BERGAMASCO(BG)
LPS EyeDEA/PM
PhotoModeler Pix4UAV Agisoft
Photoscan
E [mm] 48 16 51 81 74
N [mm] 47 12 41 46 61
h [mm] 90 36 137 214 83
DIIAR, Laboratorio di Geomatica del Polo Territoriale di Como
26RILIEVO DEL POLIGONO DI CISANO BERGAMASCO(BG)
COMPLETEZZA DEI DSM
Pix4UAV
QUALITA’ DEI DSM
AgisoftPhotoscan
QUALCHE REALIZZAZIONE
27
Modelli 3D della Cascina Linterno (MI) (2013)
Hexakopter Mikrokopter con sistema di navigazione NAV Flight Control , GPS (MKGPS) LEA 4H Ublox.Raggio di operatività : 200mpayload: Nikon J1
Rilievo della cascina Linterno per una valutazione qualitativa e quantitativa dello stato di conservazione dei tetti
Inquadramento cartografico
Ortofoto e modello 3D
Immagine campione
Cascina LinternoMilano (MI)
Modelli 3D del Campus «Arata» (PC) (2013)
Hexakopter Mikrokopter con sistema di navigazione NAV Flight Control , GPS (MKGPS) LEA 4H Ublox.Raggio di operatività : 200mpayload: Nikon J1
Rilievo degli edifici del campus di architettura di Piacenza (ex macello), nell’ambito del laboratorio del Corso di Rappresentazione
Inquadramento cartografico
Modello 3D
Immagine campione
Campus architettura (PC)
Indagine visiva di ponti e viadotti (2014)
Hexakopter Mikrokopter con sistema di navigazione NAV Flight Control , GPS (MKGPS) LEA 4H Ublox.Raggio di operatività : 200mpayload: Nikon J1
Rilievo di un ponte/viadotto in località «Santa Giulia» come test per l’applicazione di UAV alla verifica di ponti e viadotti
Inquadramento cartografico
Modello 3D e DSM superfici
Immagine campione
Santa GiuliaMilano (MI)
Calcolo di volumi di cava (Gossolengo – PC) (2013)
Hexakopter Mikrokopter con sistema di navigazione NAV Flight Control , GPS (MKGPS) LEA 4H Ublox.Raggio di operatività : 200mpayload: Nikon J1
Rilievo per la misura di volumi di cava di Gossolengo..
Inquadramento cartografico
Modello 3D
Immagine campione
Gossolengo (PC)
Rilievo RGB + NIR multitemporale vivaio «Peverelli» (2013)
Hexakopter Mikrokopter con sistema di navigazione NAV Flight Control , GPS (MKGPS) LEA 4H Ublox.Raggio di operatività : 200mpayload: Nikon J1, ADCliteTetracam
Rilievo multispettrale-multitemporale al fine di valutare algoritmi automatici di riconoscimento di specie arboree da immagini RGB+NIR
Inquadramento cartografico
Ortofoto NIR
vivaio «Peverelli» Fino Mornasco (CO)
Immagini campione
Rilievo RGB + NIR multitemporale aree boscate Parco Adda Nord (2013‐14)
Sensefly swinglet CAM.Raggio di operatività : 1000mpayload: Canon IXUS 220HS
Rilievo multispettrale‐multitemporale su 10 aree al fine di valutare la presenza di specie arboree alloctone all’interno del parco Adda Nord da immagini RGB+NIROrtofoto NIR
Immagini campione
Parco Adda Nord
Inquadramento cartografico
Calcolo volume di coltre nevosa 2014
Sensefly swinglet CAM.Raggio di operatività : 1000mpayload: Canon IXUS 220HS
Rilievo realizzato per la valutazione dei volumi della coltre nevosa presso il nevaio Malghera in valgrosina per valutazioni idrologiche.
Modello 3D
Immagini campioneInquadramento cartografico
Malghera SO)
Test per applicazioni di fotogrammetria diretta da UAV (2013)
Hexakopter Mikrokopter con sistema di navigazione NAV Flight Control , GPS (MKGPS) LEA 4H Ublox.Raggio di operatività : 200mpayload: Nikon J1
Voli con GPS Ublox L1 con possibilità di registrare i dati per elaborazione differenziale; confronti con telemetria drone e test di fotogrammetria diretta.
Inquadramento cartografico
Grafici di confronto
Immagine configurazione UAV
Parcheggio cimitero di LambrateMilano (MI)
Grazie per l’attenzione
36