Uso previsto di un modello e suoi riflessi sulla procedura di validazione

Massimo Greco

DIGA - Università degli Studi di Napoli “Federico II”

2/27

M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione

Introduzione (1)

Qui si vuole fare riferimento soltanto a modelli “idraulici”, unicamente e completamente derivati

dalle equazioni fondamentali della fisica.

Ma qualsiasi modello deriva comunque da una qualche schematizzazione o semplificazione della

realtà.

3/27

M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione

Introduzione (2)

Inoltre, tra gli usi previsti che qui si vorranno considerare, si darà anche spazio a modelli

destinati alla ricerca.

Nel prosieguo si cercherà di distinguere, ove necessario, tra la validazione della

implementazione del modello, cioè il metodo numerico ed il codice di calcolo, e la validazione del modello in senso stretto, cioè le equazioni e leggi che si assumono

rappresentare il fenomeno.

4/27

Introduzione (3)

Si vuole anche discutere delle procedure di calibrazione, necessarie praticamente sempre anche per modelli di stretta derivazione dai principi fondamentali della fisica, e della connessione che la calibrazione può avere con la validazione del modello. In un certo senso, quindi, si darà più spazio ai problemi, spesso concettuali, che alle soluzioni, che non sempre sono individuabili oggettivamente.

M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione

5/27

Introduzione (4)

La parte generale di questa presentazione si deve ritenere riferita a modelli di processi idraulici in generale, in cui le grandezze da determinare sono variabili nello spazio e nel tempo. Però poi si analizzeranno in dettaglio le esigenze specifiche per la validazione di modelli di sistemi fluviali, ivi comprese le variazioni geomorfologiche.

M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione

Il primo problema è di definire la “validazione”.

6/27

M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione

Cosa si debba intendere per validazione di un modello ci è perfettamente chiaro finchè non proviamo a definirlo. La definizione che qui si propone del concetto di validazione di un modello non può, dunque, che essere ambigua ed operativa. Ogni altro tentativo è foriero di conseguenze anche peggiori.

Cosa è la validazione di un modello? (1)

7/27

M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione

Proposta di definizione….

La validazione di un modello è la procedura attraverso cui si determina una stima dei potenziali errori del modello, e se ne convalida l’uso in relazione a particolari applicazioni in dipendenza della ridotta rilevanza degli errori massimi stimati per l’applicazione considerata.

8/27

M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione

Cosa è la validazione di un modello? (2)

Un problema particolare nei modelli idraulici è che l’output del modello è normalmente un insieme di funzioni di più variabili, ad esempio i valori di pressione o velocità in una regione dello spazio e per un certo arco di tempo. Come va determinato allora l’errore? Quale è la norma da impiegarsi? Il problema non è affatto banale, e nel seguito si avanzerà una proposta personale, aperta alla discussione.

9/27

M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione

Cosa è la validazione di un modello? (3)

E’ possibile validare separatamente il modello matematico e la sua implementazione numerica in

un codice di calcolo?

Come si vede, già la definizione dell’errore atteso dall’impiego del modello non è scevra di problematiche. Inoltre, per l’utente, un modello è rappresentato da un programma su computer. Ma in realtà esso e’ composto di tre parti separate….

10/27

M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione

Come si può eseguire la validazione? (1)

Ogni validazione non può che eseguirsi per confronto. Se l’obiettivo è validare un codice di calcolo o una tecnica numerica, il termine di confronto sarà preferibilmente rappresentato da una soluzione analitica, se essa esiste per qualche caso semplice o dai risultati ottenuti da altra implementazione dello stesso modello matematico con altri metodi numerici e altri codici di calcolo.

11/27

M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione

Come si può eseguire la validazione? (2)

In pratica, quasi sempre ci si troverà nella condizione di dover validare simultaneamente

modello e schema numerico e codice

La validazione di un modello matematico, invece, non può che ottenersi confrontando i risultati con quelli di modelli già validati e più sofisticati, che non includano le assunzioni specifiche del modello in esame. Ad esempio un codice per la LES può essere validato confrontando i risultati con una DNS, etc…

12/27

Come si può eseguire la validazione? (3)

Quando si debba procedere alla validazione contestuale di tutte le componenti del

modello, il confronto migliore è con osservazioni in natura, siano esse esperimenti

di laboratorio o casi reali a scala di campo. Esse dovrebbero essere scelte in maniera da costituire una suite di validazione, in grado di verificare progressivamente le diverse parti

del modello.

M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione

13/27

Come si può eseguire la validazione? (4)

Con riferimento in particolare ai modelli fluviali, dunque, una suite interessante

potrebbe essere composta da test monodimensionali di fenomeni lenti di sola

idrodinamica, di fenomeni idrodinamici impulsivi, di processi morfodinamici lenti e

infine rapidi. Lo stesso poi ripetuto per fenomeni bi- e tridimensionali.

M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione

14/27

Come si può eseguire la validazione? (5)

Non dimenticando di verificare la conservazione delle condizioni di quiete su

topografie irregolari!

Ovvero il possesso da parte del modello della cosiddetta C-property, o well-balancedness.

Questa proprietà risulta essenziale nei modelli che includano l’evoluzione

morfodinamica.

M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione

15/27

Come assegnare i parametri? (1)

Ogni modello incorpora alcuni parametri la cui determinazione non è sempre

immediata, anche perché essi possono essere solo degli “artifici” del metodo

numerico. Come per la più nota grid independence (o convergenza di griglia), i parametri del metodo numerico vanno solo verificati per la loro irrilevanza al

valore standard.

M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione

16/27

Come assegnare i parametri? (2)

Più complesso è il caso dei parametri che intervengono nelle “chiusure” del modello, e quindi già nel modello matematico, come ad

esempio il coefficiente di resistenza (Chezy o simili) o le proprietà dei sedimenti. Questi parametri, non

direttamente misurabili in maniera indipendente, vanno di solito determinati

per calibrazione.

M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione

17/27

Come si effettua la calibrazione? (1)

Qualunque tecnica si voglia impiegare per la calibrazione (metodi del gradiente,

algoritmi genetici, etc.), il procedimento è sostanzialmente lo stesso di quello che

corrisponde alla validazione.

Durante la calibrazione si tenta di ridurre l’errore del modello rispetto al “confronto”

variando i parametri del modello fino ad ottenere un “buon” accordo.

M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione

18/27

Come si effettua la calibrazione? (2)

E ancora una volta qui diventa fondamentale la scelta delle grandezze, prima, e poi della

norma, con cui riferire i risultati del confronto. Ferma restando la consolidata utilità di norme quali quella euleriana o la

norma del massimo, si accenna ad una proposta che il relatore considera tuttora

interessante.

M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione

19/27

Una possibile f.o. per la calibrazione

Per un insieme di istanti in un processo dipendente dal tempo si calcolino sia per i

risultati del modello che per il “confronto” i momenti statistici di ordine crescente fino al 4° o 5°. Si cerchi di ridurre lo scarto di questi con una tecnica di ottimizzazione

multiobiettivo, dando maggior peso ai momenti di ordine inferiore, a partire da quello di ordine zero (che rappresenta la conservazione integrale delle variabili).

M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione

20/27

Combinare validazione e calibrazione

Ottenuta la calibrazione, comunque ciò avvenga, si può passare alla validazione.

Sorge ora un annosa questione, se i dati per la calibrazione possano essere parte della suite di validazione e viceversa. Questa

scelta è solitamente dettata dalla scarsa disponibilità di dati, specie sperimentali.

A mio avviso ciò dipende dal numero di gradi di libertà del modello: solo se sono pochi la risposta può essere affermativa.

M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione

21/27

Nuovi modelli creati dalla ricerca (1)

I modelli sviluppati da una attività di ricerca hanno solitamente innovazioni o

nella matematica, o nei metodi numerici. Le tecniche da impiegare preferibilmente,

pertanto, saranno quelle della validazione separata della teoria e del metodo

numerico. Resta comunque significativo sempre il confronto globale con risultati

sperimentali. .

M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione

22/27

Nuovi modelli creati dalla ricerca (2)

La loro validazione, però, può essere solo “relativa”, occorre cioè unicamente

individuare che essi rappresentino un miglioramento rispetto agli standard

precedenti.

Ancora una volta il vero problema è determinare come misurare la adeguatezza

di un modello, assumendo che in questi confronti alcune cose risulteranno migliorate,

ma altre probabilmente no.

M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione

23/27

Modelli per impieghi professionali (1)

Per le applicazioni professionali, invece, il fattore chiave della validazione è la

possibilità di riconoscere se il modello può indurre errori tecnicamente rilevanti per l’uso a cui e’ destinato. In tal caso risulta

anche opportuno disporre di una dettagliata analisi di sensitività ai parametri del

modello di valore incerto.

M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione

24/27

Modelli per impieghi professionali (2)

Una “scheda” di validazione dovrebbe quindi riportare :

1. gli errori massimi attesi, 2. la indicazione, in relazione a tali valori, degli usi

per cui il modello può essere considerato validato,

3. la indicazione di quelli per cui e’ necessario impiegare modelli più sofisticati,

4. una indicazione della sensitività del modello ai parametri.

M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione

25/27

M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione

Conclusioni (1)

Il senso fondamentale di quanto quì esposto è che non si può considerare la

validazione di un modello indipendentemente dall’impiego atteso per

esso. Ma che anche assunta questa premessa essa non può mai essere una

procedura oggettiva ed indipendente dalla sensibilità di chi la effettua.

26/27

M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione

Conclusioni (2)

Si spera che quanto esposto sia spunto per una discussione, che porti eventualmente ad una standardizzazione almeno di alcuni

aspetti, quali l’adozione di suite di validazione certificate, di soglie di errore per i diversi impieghi, di formati tipo per

la compilazione di una “scheda” di validazione.

27/27

E finalmente ho concluso

…. E per la pazienza …

(Nonche’ grazie a Stefania Evangelista, PhD, RTD per la preziosa collaborazione)

M. Greco – Uso previsto di un modello e suoi riflessi sulla procedura di validazione

Grazie per l’attenzione !!