Post on 06-Mar-2018
Uso previsto di un modello e suoi riflessi sulla procedura di validazione
Massimo Greco
DIGA - Università degli Studi di Napoli “Federico II”
2/27
M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione
Introduzione (1)
Qui si vuole fare riferimento soltanto a modelli “idraulici”, unicamente e completamente derivati
dalle equazioni fondamentali della fisica.
Ma qualsiasi modello deriva comunque da una qualche schematizzazione o semplificazione della
realtà.
3/27
M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione
Introduzione (2)
Inoltre, tra gli usi previsti che qui si vorranno considerare, si darà anche spazio a modelli
destinati alla ricerca.
Nel prosieguo si cercherà di distinguere, ove necessario, tra la validazione della
implementazione del modello, cioè il metodo numerico ed il codice di calcolo, e la validazione del modello in senso stretto, cioè le equazioni e leggi che si assumono
rappresentare il fenomeno.
4/27
Introduzione (3)
Si vuole anche discutere delle procedure di calibrazione, necessarie praticamente sempre anche per modelli di stretta derivazione dai principi fondamentali della fisica, e della connessione che la calibrazione può avere con la validazione del modello. In un certo senso, quindi, si darà più spazio ai problemi, spesso concettuali, che alle soluzioni, che non sempre sono individuabili oggettivamente.
M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione
5/27
Introduzione (4)
La parte generale di questa presentazione si deve ritenere riferita a modelli di processi idraulici in generale, in cui le grandezze da determinare sono variabili nello spazio e nel tempo. Però poi si analizzeranno in dettaglio le esigenze specifiche per la validazione di modelli di sistemi fluviali, ivi comprese le variazioni geomorfologiche.
M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione
Il primo problema è di definire la “validazione”.
6/27
M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione
Cosa si debba intendere per validazione di un modello ci è perfettamente chiaro finchè non proviamo a definirlo. La definizione che qui si propone del concetto di validazione di un modello non può, dunque, che essere ambigua ed operativa. Ogni altro tentativo è foriero di conseguenze anche peggiori.
Cosa è la validazione di un modello? (1)
7/27
M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione
Proposta di definizione….
La validazione di un modello è la procedura attraverso cui si determina una stima dei potenziali errori del modello, e se ne convalida l’uso in relazione a particolari applicazioni in dipendenza della ridotta rilevanza degli errori massimi stimati per l’applicazione considerata.
8/27
M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione
Cosa è la validazione di un modello? (2)
Un problema particolare nei modelli idraulici è che l’output del modello è normalmente un insieme di funzioni di più variabili, ad esempio i valori di pressione o velocità in una regione dello spazio e per un certo arco di tempo. Come va determinato allora l’errore? Quale è la norma da impiegarsi? Il problema non è affatto banale, e nel seguito si avanzerà una proposta personale, aperta alla discussione.
9/27
M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione
Cosa è la validazione di un modello? (3)
E’ possibile validare separatamente il modello matematico e la sua implementazione numerica in
un codice di calcolo?
Come si vede, già la definizione dell’errore atteso dall’impiego del modello non è scevra di problematiche. Inoltre, per l’utente, un modello è rappresentato da un programma su computer. Ma in realtà esso e’ composto di tre parti separate….
10/27
M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione
Come si può eseguire la validazione? (1)
Ogni validazione non può che eseguirsi per confronto. Se l’obiettivo è validare un codice di calcolo o una tecnica numerica, il termine di confronto sarà preferibilmente rappresentato da una soluzione analitica, se essa esiste per qualche caso semplice o dai risultati ottenuti da altra implementazione dello stesso modello matematico con altri metodi numerici e altri codici di calcolo.
11/27
M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione
Come si può eseguire la validazione? (2)
In pratica, quasi sempre ci si troverà nella condizione di dover validare simultaneamente
modello e schema numerico e codice
La validazione di un modello matematico, invece, non può che ottenersi confrontando i risultati con quelli di modelli già validati e più sofisticati, che non includano le assunzioni specifiche del modello in esame. Ad esempio un codice per la LES può essere validato confrontando i risultati con una DNS, etc…
12/27
Come si può eseguire la validazione? (3)
Quando si debba procedere alla validazione contestuale di tutte le componenti del
modello, il confronto migliore è con osservazioni in natura, siano esse esperimenti
di laboratorio o casi reali a scala di campo. Esse dovrebbero essere scelte in maniera da costituire una suite di validazione, in grado di verificare progressivamente le diverse parti
del modello.
M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione
13/27
Come si può eseguire la validazione? (4)
Con riferimento in particolare ai modelli fluviali, dunque, una suite interessante
potrebbe essere composta da test monodimensionali di fenomeni lenti di sola
idrodinamica, di fenomeni idrodinamici impulsivi, di processi morfodinamici lenti e
infine rapidi. Lo stesso poi ripetuto per fenomeni bi- e tridimensionali.
M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione
14/27
Come si può eseguire la validazione? (5)
Non dimenticando di verificare la conservazione delle condizioni di quiete su
topografie irregolari!
Ovvero il possesso da parte del modello della cosiddetta C-property, o well-balancedness.
Questa proprietà risulta essenziale nei modelli che includano l’evoluzione
morfodinamica.
M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione
15/27
Come assegnare i parametri? (1)
Ogni modello incorpora alcuni parametri la cui determinazione non è sempre
immediata, anche perché essi possono essere solo degli “artifici” del metodo
numerico. Come per la più nota grid independence (o convergenza di griglia), i parametri del metodo numerico vanno solo verificati per la loro irrilevanza al
valore standard.
M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione
16/27
Come assegnare i parametri? (2)
Più complesso è il caso dei parametri che intervengono nelle “chiusure” del modello, e quindi già nel modello matematico, come ad
esempio il coefficiente di resistenza (Chezy o simili) o le proprietà dei sedimenti. Questi parametri, non
direttamente misurabili in maniera indipendente, vanno di solito determinati
per calibrazione.
M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione
17/27
Come si effettua la calibrazione? (1)
Qualunque tecnica si voglia impiegare per la calibrazione (metodi del gradiente,
algoritmi genetici, etc.), il procedimento è sostanzialmente lo stesso di quello che
corrisponde alla validazione.
Durante la calibrazione si tenta di ridurre l’errore del modello rispetto al “confronto”
variando i parametri del modello fino ad ottenere un “buon” accordo.
M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione
18/27
Come si effettua la calibrazione? (2)
E ancora una volta qui diventa fondamentale la scelta delle grandezze, prima, e poi della
norma, con cui riferire i risultati del confronto. Ferma restando la consolidata utilità di norme quali quella euleriana o la
norma del massimo, si accenna ad una proposta che il relatore considera tuttora
interessante.
M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione
19/27
Una possibile f.o. per la calibrazione
Per un insieme di istanti in un processo dipendente dal tempo si calcolino sia per i
risultati del modello che per il “confronto” i momenti statistici di ordine crescente fino al 4° o 5°. Si cerchi di ridurre lo scarto di questi con una tecnica di ottimizzazione
multiobiettivo, dando maggior peso ai momenti di ordine inferiore, a partire da quello di ordine zero (che rappresenta la conservazione integrale delle variabili).
M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione
20/27
Combinare validazione e calibrazione
Ottenuta la calibrazione, comunque ciò avvenga, si può passare alla validazione.
Sorge ora un annosa questione, se i dati per la calibrazione possano essere parte della suite di validazione e viceversa. Questa
scelta è solitamente dettata dalla scarsa disponibilità di dati, specie sperimentali.
A mio avviso ciò dipende dal numero di gradi di libertà del modello: solo se sono pochi la risposta può essere affermativa.
M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione
21/27
Nuovi modelli creati dalla ricerca (1)
I modelli sviluppati da una attività di ricerca hanno solitamente innovazioni o
nella matematica, o nei metodi numerici. Le tecniche da impiegare preferibilmente,
pertanto, saranno quelle della validazione separata della teoria e del metodo
numerico. Resta comunque significativo sempre il confronto globale con risultati
sperimentali. .
M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione
22/27
Nuovi modelli creati dalla ricerca (2)
La loro validazione, però, può essere solo “relativa”, occorre cioè unicamente
individuare che essi rappresentino un miglioramento rispetto agli standard
precedenti.
Ancora una volta il vero problema è determinare come misurare la adeguatezza
di un modello, assumendo che in questi confronti alcune cose risulteranno migliorate,
ma altre probabilmente no.
M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione
23/27
Modelli per impieghi professionali (1)
Per le applicazioni professionali, invece, il fattore chiave della validazione è la
possibilità di riconoscere se il modello può indurre errori tecnicamente rilevanti per l’uso a cui e’ destinato. In tal caso risulta
anche opportuno disporre di una dettagliata analisi di sensitività ai parametri del
modello di valore incerto.
M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione
24/27
Modelli per impieghi professionali (2)
Una “scheda” di validazione dovrebbe quindi riportare :
1. gli errori massimi attesi, 2. la indicazione, in relazione a tali valori, degli usi
per cui il modello può essere considerato validato,
3. la indicazione di quelli per cui e’ necessario impiegare modelli più sofisticati,
4. una indicazione della sensitività del modello ai parametri.
M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione
25/27
M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione
Conclusioni (1)
Il senso fondamentale di quanto quì esposto è che non si può considerare la
validazione di un modello indipendentemente dall’impiego atteso per
esso. Ma che anche assunta questa premessa essa non può mai essere una
procedura oggettiva ed indipendente dalla sensibilità di chi la effettua.
26/27
M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione
Conclusioni (2)
Si spera che quanto esposto sia spunto per una discussione, che porti eventualmente ad una standardizzazione almeno di alcuni
aspetti, quali l’adozione di suite di validazione certificate, di soglie di errore per i diversi impieghi, di formati tipo per
la compilazione di una “scheda” di validazione.
27/27
E finalmente ho concluso
…. E per la pazienza …
(Nonche’ grazie a Stefania Evangelista, PhD, RTD per la preziosa collaborazione)
M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione
Grazie per l’attenzione !!