UNA PIATTAFORMA PER IL MONITORAGGIO … · ASI Big Data WS R. Monsorno 10 Architettura ‐Storage...

ASI Big Data WS R. Monsorno

UNA PIATTAFORMA PER IL MONITORAGGIO AMBIENTALE IN

‘CLOUD’Roberto Monsorno

1

I n s t i t u t e f o r A p p l i e d R e m o t e S e n s i n gT e c h n o l o g y f o r E n v i r o n m e n t a l M o n i t o r i n g

ASI Big Data WS R. Monsorno2

Overview• Introduzione EURAC

• Esperienza e Futuro• Ground Segment• Monitoraggio Ambientale

Integrato (MONALISA)

• Architettura: Private UpscalableCloud

• Outlook


Introduzione

EURAC Research• European Academy of Bolzano ‐ 11 Research Institutes

Institute for Applied Remote Sensing• Integrated Environmental Monitoring in Mountain Regions


Ground Segment


Ground SegmentSistema di ricezione dati• Antenna in banda X, dish 5,2 m (satelliti orbita polare NASA –Aqua ‐ Terra ‐ Suomi NPP)

• 80 GB raw & Level0 Data / DAY

Sistema di Archiviazione ed Elaborazione• Archivi digitali in tecnologia mista NAS/SAN e Archivio LTO4• Storage servers• Virtual Workstation/NRT Processing Cluster• PDS modulare e scalabile

Sistema di pubblicazione e disseminazione dati• Basato su Eurac T‐SDI (WMS – WPS ‐ CSW)• GeoSpatal Catalog Service (Geonetwork)• Automazione generazione Metadati tramite plug‐in technology• Applicazioni WebGIS


Istituto

Research and services

• research on environmental dynamicsin mountain regions

• development regional adapted geoapplications and services

Receiving Station and Data Centre

Land, Vegetation, Snow

Risk and Vulnerability

& Climate Change

model creation and data integration application

validation quality control

RS data (satellite, airborne)

in-situ data

optical, radar,

ancillary data

engineeringsystem

integration

environmental measurements


Scale di monitoraggio

Plot scale Mountain range scale

Upscaling

Downscaling

Landscape scale


Monitoraggio Integrato

IntgrationIntegrated

Environmental Monitoring

Modelling

Validation

Satellite

Optical

MR HR VHR

RADAR

Proximal Sensing

Ground Measurements


Esigenze

80 – 120 GB giornalmente ricevuti da Receiving Station

EO Data provenienti da diverse fonti di fornitori:• (ex. Landsat, Rapideye, Cosmo Skymed, ENVISAT; MeteoSWISS, Lidar)

Dati EO – Remote, Proximal e Ground Sensing

Necessità di scambiare dati con partners di ricerca

Fornitura Dati (mappe) e servizi alla locale PA e Protezione Civile

Accesso e Interrogazione del dato grezzo ed elaborato

Elaborazione lunghe serie temporali

Elaborazione complesse e per NRT richiedono alte prestazioni

Storage

Performance


Architettura ‐ Storage

Cluster eterogeneo e scalabileche combina High performance storage High capacity, low cost storage

Trasferimento dato in modotrasparente Quando processo ad alte

prestazioni è concluso il dato sisposta su storage freddo

Un nuovo progetto che ne farichiesta sposta il dato su storage ad alte prestazioni

NO tape backup

ASI Big Data WS R. Monsorno

EGPF DES DMI

11

Architettura - Performance

DES

Data

TasksSDI

Processor

Wrapper

Generic

DMI

Storage

Cloud

Tape

HPC

EURAC Generic Processor Framework:permette di assegnare attività di elaborazione in maniera dinamica, sfruttando tecnologie che utilizzano il calcolo parallelo (hadoop e MapReduce, MPI, Open MP, torque)

Data Exchange Servermultithreading task manager organizza i processi e assegna jobs a vari sottosistemi

Data Management Interface:permette un facile interazione con i dati per predisporli alla fase di elaborazione, permettendo al gestione di storage distribuito e parallelo (OneFS, HDFS, Lustre)

Java Based in-house developed applications


Architettura ‐ SDI

ricerca, archiviazione, visione, download, e scambio di informazioni (dati) geografiche tra istituti di ricerca, PA, project partners e parti interessate


Eurac Cloud Platform


Outlook


Outlook

Sentinel Data ?

Helix Nebula ?

EGI ?

AWS ?

Footprint

16

EOS DataEOS Data

MetadataMetadata

ARF

Archive Facility

ARF

Archive Facility

Data Acquisition (Satellite Antenna or

Environmental Sensors)

Data Acquisition (Satellite Antenna or

Environmental Sensors)

Remote Sensing Processor Node RSPRSP Test

RSP SNOW

TerascanMODIS

Processor

TerascanMODIS

ProcessorCatalogue• OGC• GML• ebRIM• HMA

Catalogue• OGC• GML• ebRIM• HMA

SDI

(s)FTP

KML

WFSWMS

WebGIS

PDS Data

Exchange Server

PDS Data

Exchange Server

DES

Data Exchange Server

DES

Data Exchange Server

CSPP

SuomiNPP

CSPP

SuomiNPP

Marc Zebisch 18

UNA PIATTAFORMA PER IL MONITORAGGIO … · ASI Big Data WS R. Monsorno 10 Architettura ‐Storage...

Documents

Transcript of UNA PIATTAFORMA PER IL MONITORAGGIO … · ASI Big Data WS R. Monsorno 10 Architettura ‐Storage...