Progetto e realizzazione di Progetto e realizzazione di stimatori predittivi con tecniche di stimatori predittivi con tecniche di

Genetic ProgrammingGenetic Programming

Relatore:

Prof. Alberto BARTOLI

Correlatore:

Ing. Giorgio DAVANZO

Laureando:

Gabriele Del Prete

IntroduzioneIntroduzione

ProblemaProblema

Mercato elettricità liberalizzatoMercato elettricità liberalizzato Acquisto/vendita elettricità tramite asteAcquisto/vendita elettricità tramite aste

aste Day-Aheadaste Day-Ahead

Importante saper predirre andamentoImportante saper predirre andamento dei consumidei consumi dei prezzidei prezzi fini economici/finanziarifini economici/finanziari altri finialtri fini

Come creo lo stimatore?Come creo lo stimatore?

Metodi statisticiMetodi statistici

Soluzione classica: stimatori per serie temporali Soluzione classica: stimatori per serie temporali con metodi statisticicon metodi statistici

Necessarie ipotesi a priori sul sistemaNecessarie ipotesi a priori sul sistema Ipotesi a priori non possono essere verificate a posterioriIpotesi a priori non possono essere verificate a posteriori

Spesso necessario preprocessingSpesso necessario preprocessing Sostituzione valori con log(valori)Sostituzione valori con log(valori) Eliminazione di valori outlierEliminazione di valori outlier Eliminazione giornate problematicheEliminazione giornate problematiche

Spesso necessarie variabili esogeneSpesso necessarie variabili esogene Spesso realizzo molteplici modelliSpesso realizzo molteplici modelli

1 modello per ogni ora del giorno1 modello per ogni ora del giorno

Regressione simbolica con GPRegressione simbolica con GP

Soluzione proposta: regressione Soluzione proposta: regressione simbolicasimbolica:: ho numerose osservazioni;ho numerose osservazioni; desidero una forma desidero una forma analiticaanalitica che le riassume che le riassume

GP è un modo per risolvere il problemaGP è un modo per risolvere il problema TipicamenteTipicamente

Sequenza osservazioni variabile indipendenteSequenza osservazioni variabile indipendente(o variabili indipendenti)(o variabili indipendenti)

Sequenza osservazioni variabile dipendenteSequenza osservazioni variabile dipendente Scopro f che lega var. indipendenti e var. dipendenteScopro f che lega var. indipendenti e var. dipendente

Genetic ProgrammingGenetic Programming

Paradigma di calcolo per la generazione automatica di Paradigma di calcolo per la generazione automatica di algoritmi (algoritmi (individuiindividui) fortemente ispirato alla selezione ) fortemente ispirato alla selezione naturale.naturale.

GP per regressione simbolica:GP per regressione simbolica:individuoindividuo == == Abstract Syntax Tree (AST)Abstract Syntax Tree (AST)

Nodi interni: funzioni 1 o 2 argomentiNodi interni: funzioni 1 o 2 argomenti

Nodi foglia: costanti, var. indipendenti, backshift var. dipendenteNodi foglia: costanti, var. indipendenti, backshift var. dipendente

xyx

xyx

3.1

)1()3.01()(

Genetic ProgrammingGenetic Programming

PopolazionePopolazione iniziale di iniziale di individuiindividui casuali ( casuali (500).500). Ripetizione:Ripetizione:

Valuta individui, sceglie migliori (prestazioni su training Valuta individui, sceglie migliori (prestazioni su training set)set)

““Mescola” individui migliori e crea nuova popolazioneMescola” individui migliori e crea nuova popolazione

Criterio di terminazione:Criterio di terminazione: Prestazioni “ottime”;Prestazioni “ottime”; Numero massimo predefinito di iterazioni Numero massimo predefinito di iterazioni

((generazionigenerazioni);); Timeout.Timeout.

Genetic ProgrammingGenetic Programming

MetodologiaMetodologia

MetodologiaMetodologia

Istanze problema: Istanze problema: consumiconsumi California, New California, New York City; York City; prezziprezzi California California

1.1. GP stocastico GP stocastico → N evoluzioni→ N evoluzioni (su training set) (su training set)

2.2. Scelta migliore stimatore tra gli N (prestazioni su Scelta migliore stimatore tra gli N (prestazioni su validation set)validation set)

3.3. Valutazione capacità predittive (prestazioni su testing Valutazione capacità predittive (prestazioni su testing set)set)

GP → Evolutionary DesignGP → Evolutionary Design Resto → script bash, R, gnuplotResto → script bash, R, gnuplot

ttTrainingTraining ValidationValidation TestingTesting

Scelta miglioreScelta migliore

Processo di evoluzione stocasticoProcesso di evoluzione stocastico

Necessario fare molte prove/evoluzioni (Necessario fare molte prove/evoluzioni ( jobjob) )

N job N job → N individui → N soluzioni→ N individui → N soluzioni

Necessario criterio per scegliere migliore tra gli Necessario criterio per scegliere migliore tra gli NN

Scelta miglioreScelta migliore Criterio di scelta: minima WMAE mediaCriterio di scelta: minima WMAE media

su validation set (criterio della letteratura)su validation set (criterio della letteratura) WMAE: Weekly-weighted Mean Absolute WMAE: Weekly-weighted Mean Absolute

ErrorError

YYii serie osservata, serie osservata, ŶŶii serie prodotta da serie prodotta da

individuoindividuo

168

1

168

1

1681

ˆ168

1

ii

iii

Y

YYWMAE

Capacità predittivaCapacità predittiva

Applicazione migliore su “serie di dati mai vista Applicazione migliore su “serie di dati mai vista prima” (testing set)prima” (testing set)

Estrazione statistiche, graficiEstrazione statistiche, grafici

Confronto con risultati in letteraturaConfronto con risultati in letteratura Scelta intervalli di training, validation, testing Scelta intervalli di training, validation, testing

coincidenti con riferimenticoincidenti con riferimenti

ttTestingTestingValidationValidationTrainingTraining

RisultatiRisultati

California, consumi: configurazioneCalifornia, consumi: configurazione

5/7/99 – 20/10/005/7/99 – 20/10/00 8 sett. / 2 sett. / 31 giorni8 sett. / 2 sett. / 31 giorni Configurazione per GPConfigurazione per GP

500 individui, 900 generazioni500 individui, 900 generazioni +, -, *, /+, -, *, / Costanti: 0.1, 1, 10Costanti: 0.1, 1, 10 HOUR(0), ISHOLISATSUN(0, -24, -25, -168)HOUR(0), ISHOLISATSUN(0, -24, -25, -168) Osservazioni passate: (-24, -25, -168)Osservazioni passate: (-24, -25, -168)

California, consumi: risultatiCalifornia, consumi: risultati

TargetTarget WMAE media su testing: 2,95%WMAE media su testing: 2,95%

(IEEE Transactions on Power Systems, Vol. 17, No. 2, May 02)(IEEE Transactions on Power Systems, Vol. 17, No. 2, May 02)

RisultatiRisultati WMAE media su testing: 3,62%WMAE media su testing: 3,62%

California, consumi: testing setCalifornia, consumi: testing set

California, prezzi: configurazioneCalifornia, prezzi: configurazione

5/7/99 – 11/6/005/7/99 – 11/6/00 29 sett. / 9 sett. / 70 giorni29 sett. / 9 sett. / 70 giorni Configurazione per GPConfigurazione per GP

500 individui, 900 generazioni500 individui, 900 generazioni +, -, *, /+, -, *, / Costanti: 0.1, 1, 10Costanti: 0.1, 1, 10 HOUR(0), ISHOLISATSUN(0, -24, -25, -168), HOUR(0), ISHOLISATSUN(0, -24, -25, -168),

ISNIGHT(0, -24, -25, -168)ISNIGHT(0, -24, -25, -168) Osservazioni passate: (-24, -25, -168)Osservazioni passate: (-24, -25, -168)

California, prezzi:California, prezzi:premessa sul targetpremessa sul target

Target Target (International Journal of Forecasting 2008)(International Journal of Forecasting 2008) 12 modelli diversi12 modelli diversi Ognuno calibrato 24 volte, per ogni ora del giornoOgnuno calibrato 24 volte, per ogni ora del giorno Ognuno ri-calibrato ogni giornoOgnuno ri-calibrato ogni giorno Il WMAE settimanale è il migliore fra i 12 modelliIl WMAE settimanale è il migliore fra i 12 modelli

Nostro approccioNostro approccio 1 modello1 modello valido su tutte le 24 orevalido su tutte le 24 ore 1 calibrazione1 calibrazione

California, prezzi: risultatiCalifornia, prezzi: risultati

TargetTarget WMAE media su testing: 12,65%WMAE media su testing: 12,65% WMAE massima su testing: 43,43%WMAE massima su testing: 43,43%

(disponibile WMAE singole settimane)(disponibile WMAE singole settimane)

RisultatiRisultati WMAE media su testing: 15,14%WMAE media su testing: 15,14% WMAE massima su testing: 44,01%WMAE massima su testing: 44,01%

California, prezzi: testing setCalifornia, prezzi: testing set

New York, consumi: configurazioneNew York, consumi: configurazione

15/9/03 – 28/2/04 15/9/03 – 28/2/04 8 sett. / 2 sett. / 31 giorni 8 sett. / 2 sett. / 31 giorni no Ott 03no Ott 03

Configurazione per GPConfigurazione per GP 500 individui, 900 generazioni500 individui, 900 generazioni +, -, *, /+, -, *, / Osservazioni passate: (-24, -25, -168)Osservazioni passate: (-24, -25, -168) Costanti: 0.1, 1, 10Costanti: 0.1, 1, 10 HOUR(0), ISHOLISATSUN(0, -24, -25, -168)HOUR(0), ISHOLISATSUN(0, -24, -25, -168)

New York, consumi:New York, consumi:premessa sul targetpremessa sul target

TargetTarget (IEEE Transactions on Power Systems, Vol. 21, No. 1, Feb 06)(IEEE Transactions on Power Systems, Vol. 21, No. 1, Feb 06) 2 stadi (self-organizing map, support vector machine)2 stadi (self-organizing map, support vector machine) Ognuno calibrato 24 volte, per ogni ora del giornoOgnuno calibrato 24 volte, per ogni ora del giorno Secondo stadio duplicato, per giorni Secondo stadio duplicato, per giorni

“normali”/“anormali”“normali”/“anormali” Numerose variabili esogene (temperatura, umidità,…) Numerose variabili esogene (temperatura, umidità,…)

e calibrazione molto complessae calibrazione molto complessa Variabili esogene distinte per primo e secondo stadioVariabili esogene distinte per primo e secondo stadio

New York, consumi: risultatiNew York, consumi: risultati

TargetTarget WMAE media su testing: 1,82%WMAE media su testing: 1,82%

RisultatiRisultati WMAE media su testing: 3,14%WMAE media su testing: 3,14%

New York, consumi: testing setNew York, consumi: testing set

ConclusioniConclusioni

ConclusioniConclusioni

Risultati non “definitivi” ma estremamente promettentiRisultati non “definitivi” ma estremamente promettenti Prestazioni quasi uguali – poco peggiori – dei riferimentiPrestazioni quasi uguali – poco peggiori – dei riferimenti Ma nessun uso di:Ma nessun uso di:

Variabili esogeneVariabili esogene PreprocessingPreprocessing

Modelli differenziati (ora, giorno, etc)Modelli differenziati (ora, giorno, etc)

In corso approfondimentiIn corso approfondimenti Altre variabili indipendenti non esogene?Altre variabili indipendenti non esogene?

(max sul giorno precedente; errore sul giorno precedente)(max sul giorno precedente; errore sul giorno precedente)