Slide Soru - Collana Seminari CRS4 2015
-
Upload
crs4-research-center-in-sardinia -
Category
Technology
-
view
81 -
download
0
Transcript of Slide Soru - Collana Seminari CRS4 2015
Soluzioni software per l'analisi su web di dati ambientali a componente
geografica
Costantino [email protected]
Outline
➔ Introduzione: Applicazioni web a vocazione geografica
➔ Procedure ETL➔ Esempi applicativi
➔ Progetto Bilancio Idrologico – Sidro➔ Progetto EnviroGRIDS – Bashyt➔ Progetto Acque Costiere – OMT
Introduzione
Il gruppo si occupa di progettare e implementare soluzioni innovative per l'analisi di problematiche ambientali complesse come lo studio del ciclo dell'acqua o l'idrodinamica marina.
Le applicazioni sviluppate sono tipicamente utilizzate nel campo della pianificazione ambientale e del supporto decisionale e sono fruibili dal web.
Alla base delle applicazioni vi è l'utilizzo di strumenti di analisi numerica (modelli) ad approccio fisico.
Modelli ambientali
I modelli ambientali utilizzati necessitano di lunghi tempi di calcolo e risorse di storage elevate, ad esempio:
➔ Nell'ambito dell'analisi del ciclo dell'acqua la calibrazione del modello della regione Sardegna ha richiesto più di 2000 simulazioni. Per singolo run:
➔ Tempo di calcolo: 1h 40m➔ Dimensione dell'output: >10GB
➔ Previsione idrodinamica marina:
➔ Tempo di calcolo: 5h (media) ➔ Dimensione dell'output: >1GB
I codici vengono eseguiti su piattaforme di calcolo ad alte prestazioni (HPC).
Modelli ambientali
I software dei modelli richiedono complesse operazioni di creazione dell'input.
Modelli ambientali
I software dei modelli richiedono complesse operazioni di creazione dell'input.
Download dei dati di input dal web
Modelli ambientali
I software dei modelli richiedono complesse operazioni di creazione dell'input.
Download dei dati di input dal web
Elaborazione input (Condizioni Iniziali, a
contorno ecc)
Modelli ambientali
I software dei modelli richiedono complesse operazioni di creazione dell'input.
Download dei dati di input dal web
Elaborazione input (Condizioni Iniziali, a
contorno ecc) Run del modello
Modelli ambientali
I software dei modelli richiedono complesse operazioni di creazione dell'input.
Il pre-processing dell'input è risolto in modo automatico e temporizzato, senza intervento da parte dell'utente.
Download dei dati di input dal web
Elaborazione input (Condizioni Iniziali, a
contorno ecc) Run del modello
Extract Transform Load (ETL)
L'output dei modelli non è adatto per l'utilizzo su web; è richiesta una selezione dei dati e la loro trasformazione in un formato più performante.
Extract Transform Load (ETL)
L'output dei modelli non è adatto per l'utilizzo su web; è richiesta una selezione dei dati e la loro trasformazione in un formato più performante.
Run del modello
Extract Transform Load (ETL)
L'output dei modelli non è adatto per l'utilizzo su web; è richiesta una selezione dei dati e la loro trasformazione in un formato più performante.
Elaborazione dell'output (Extract e Transform)Run del modello
Extract Transform Load (ETL)
L'output dei modelli non è adatto per l'utilizzo su web; è richiesta una selezione dei dati e la loro trasformazione in un formato più performante.
Elaborazione dell'output (Extract e Transform)Run del modello
Creazione Database (Load)
Extract Transform Load (ETL)
L'output dei modelli non è adatto per l'utilizzo su web; è richiesta una selezione dei dati e la loro trasformazione in un formato più performante.
Elaborazione dell'output (Extract e Transform)Run del modello
Esposizione su web
Creazione Database (Load)
Extract Transform Load (ETL)
L'output dei modelli non è adatto per l'utilizzo su web; è richiesta una selezione dei dati e la loro trasformazione in un formato più performante.
Il post-processing dell'output è risolto in modo automatico e trasparente per l'utente finale.
Elaborazione dell'output (Extract e Transform)Run del modello
Esposizione su web
Creazione Database (Load)
ETL SWAT: Strutture Dati
L'output del modello SWAT viene scritto in file di testo con un struttura tabellare.
Ulteriori informazioni utilizzate nel processo di elaborazione del modello sono memorizzate in file di tipo DBF, Shapefile e Raster.
Per la rappresentazione web dei risultati di SWAT è necessario acquisire e rendere accessibili tutte le informazioni disponibili.
ETL SWAT: Sprite
Il software Sprite implementa la prima fase (Extract e Transform) della procedura ETL per Swat.
➔ Permette la selezione dei dati di interesse.
➔ Estrae i dati geografici (Raster e Shapefile) e climatologici (DBF) dal pre-processore ArcSwat.
➔ Normalizza e converte le informazioni secondo uno schema univoco.
➔ Crea un archivio compresso contenente le informazioni elaborate.
ETL SWAT: SwatSL
Swatsl (Swat to SpatiaLite) esegue le ultime fasi di trasformazione e la fase caricamento (Load) dei dati Swat.
➔ Esegue la trasformazione dei sistemi di riferimento sui dati spaziali.
➔ Legge i file testuali dell'output e li inserisce in tabelle relazionali.
➔ Normalizza i dati su uno schema relazionale univoco per garantire l'integrità e la coerenza delle informazioni.
➔ Salva tutti i dati in uno o più database SQLite con estensione spaziale Spatialite.
Rappresentazione dei dati
Una web-application consente di esporre sul web funzionalità proprie di software standalone, rendendole fruibili attraverso web browser, applicazioni per smartphone e servizi di rete.
Rappresentazione dei dati
Una web-application consente di esporre sul web funzionalità proprie di software standalone, rendendole fruibili attraverso web browser, applicazioni per smartphone e servizi di rete.
Un'architettura classica prevede tre elementi:
Una web-application consente di esporre sul web funzionalità proprie di software standalone, rendendole fruibili attraverso web browser, applicazioni per smartphone e servizi di rete.
Un'architettura classica prevede tre elementi:
Rappresentazione dei dati
Client (Browser / App)
Una web-application consente di esporre sul web funzionalità proprie di software standalone, rendendole fruibili attraverso web browser, applicazioni per smartphone e servizi di rete.
Un'architettura classica prevede tre elementi:
Application Server
Rappresentazione dei dati
Client (Browser / App)
Una web-application consente di esporre sul web funzionalità proprie di software standalone, rendendole fruibili attraverso web browser, applicazioni per smartphone e servizi di rete.
Un'architettura classica prevede tre elementi:
Database Server
Rappresentazione dei dati
Application ServerClient (Browser / App)
Una web-application consente di esporre sul web funzionalità proprie di software standalone, rendendole fruibili attraverso web browser, applicazioni per smartphone e servizi di rete.
Un'architettura classica prevede tre elementi:
Rappresentazione dei dati
Map Server
Application ServerClient (Browser / App)
Database Server
Esempi di Web-Application per l'analisi idrologica e oceanografica
Esempi Applicativi: Sidro
Obiettivo del progetto Bilancio Idrologico è lo studio e la valutazione delle risorse idriche della regione Sardegna, per il periodo 1924 – 2008.
Nell'ambito del progetto è stata eseguita la calibrazione del modello idrologico e sviluppata la web-application Sidro per la consultazione via web dei dati di simulazione prodotti.
Esempi Applicativi: Sidro
Esempi Applicativi: Sidro
Esempi Applicativi: Sidro
Esempi Applicativi: Sidro
Tecnologie impiegate:
Backend
➔ Sprite + Swatsl
➔ SQLite
➔ PostgreSQL + PostGIS
➔ Geoserver
➔ NodeJS
Frontend
➔ JQuery
➔ Bootstrap
➔ OpenLayers
Esempi Applicativi: Bashyt
Il progetto EnviroGRIDS ha l'obiettivo di monitorare e analizzare le risorse idriche dell'intero bacino del mar nero (2.2 milioni di km², 24 nazioni) attraverso tecnologie avanzate.
Nell'ambito del progetto è stata sviluppata l'applicazione Bashyt (BAsin Scale HYdrological Toolkit) che ha permesso di analizzare via web e con strumenti user-friendly la grande mole di dati di simulazione e studio prodotta dai 30 partner coinvolti.
Esempi Applicativi: Bashyt
Esempi Applicativi: Bashyt
Esempi Applicativi: Bashyt
Esempi Applicativi: Bashyt
Tecnologie impiegate:
Backend
➔ Glite (Grid)
➔ Sprite + Swatsl
➔ SQLite
➔ Mapserver
➔ Tomcat
Frontend
➔ JQuery
➔ mscross
Esempi Applicativi: OMT
Il progetto Acque Costiere ha l'obiettivo di studiare l’idrodinamica costiera per l’intera regione Sardegna e di consentire la previsione di fenomeni di inquinamento derivanti da Oil Spill.
Nell'ambito del progetto è stata messa in opera una infrastruttura modellistica allo stato dell'arte per la previsione operazionale delle dinamiche oceanografiche.
L'applicazione web-based OMT (Operational Marine Tool) accede all'infrastruttura di calcolo ed espone i risultati in maniera semplice e intuitiva.
Esempi Applicativi: OMT
Esempi Applicativi: OMT
Esempi Applicativi: OMT
Esempi Applicativi: OMT
Esempi Applicativi: OMT
Tecnologie impiegate:
Backend
➔ Python
➔ Linux
➔ Tomcat
Frontend
➔ JQuery
➔ Bootstrap
Conclusioni
➔ L'integrazione di competenze, dati e strumenti di interpretazione affidabili consente di ottenere una visione olistica e intuitiva di problemi complessi.
➔ L'utilizzo del web attraverso lo studio di front-end usabili e ergonomici permette di rendere trasparente agli utenti la complessità architetturale di back-end complessi come quelli descritti.
➔ Le soluzioni e le tecnologie mostrate possono essere estese ed applicate in ambiti di natura diversa.