1

RICCARDO ZOPPOLI – CURRICULUM VITAE

Maggio 2016

1. DATI BIOGRAFICI E PERCORSO FORMATIVO/ACCADEMICO

Nato a Genova il 28 settembre 1940.

Maturità classica conseguita con il massimo dei voti.

Laureato in Ingegneria Elettronica presso l’Università di Genova (UNIGE) nel 1965 con il voto 110/110

e lode. Tesi di laurea: “Progettazione e costruzione di un controllo automatico di frequenza, di alta

precisione e di tipo numerico, per un piccolo gruppo generatore”. Relatore: Prof: E. Volta (cattedra di

Controlli Automatici).

Assistente volontario presso la cattedra di Controlli Automatici dell’Istituto di Elettrotecnica di UNIGE

dall’1/11/1965 al 31/1/1966.

Assistente incaricato di Controlli Automatici presso l’Istituto di cui sopra dall’1/2/1966 al 15/10/1966.

Assistente ordinario di Controlli Automatici a partire dal 16/10/1966.

Abilitato alla libera docenza in Controlli Automatici con D.M. del 1971.

Professore incaricato presso la Facoltà di Ingegneria di UNIGE per i corsi di

Elettronica Generale ed Applicata dall’a.a. 1968/69 all’a.a. 1971/72;

Tecnica della Regolazione negli a.a. 1972/73 e 1973/74;

Teoria della Regolazione dall’a.a. 1974/75 e 1976/77;

Programmazione Matematica e Ottimizzazione a partire dall’a.a. 1977/78.

Professore ordinario di Teoria della Regolazione (oggi SSD ING-INF/04 Automatica) nel 1980.

Ho mantenuto il compito didattico di Programmazione Matematica e Ottimizzazione fino all’a.a.

1988/89.

Nel 1989 sono passato al SSD MAT/09 Ricerca Operativa.

Dall’a.a. 1989/90 fino al termine della docenza sono stato Professore di Ricerca Operativa.

Raggiunto il 70° anno di età il 28 settembre 2010, sono rimasto in servizio per gli a.a. 2010/11 e

2011/12 grazie ai benefici relativi al cosiddetto “Biennio Amato”. Tali benefici mi sono stati concessi in

virtù del superamento di 3 “soglie” fissate dal S.A. (13/4/2010) e dal C.d.A. (20/4/2010). Le 3 soglie

erano legate 1) alla produzione scientifica nel quinquennio 2005-2009, 2) all’ammontare dei

finanziamenti di ricerca acquisiti nel medesimo quinquennio, 3) all’indice di gradimento della docenza

espresso dagli studenti sempre nel periodo suddetto. Da quanto mi risulta, solo 4 docenti dell’Ateneo

(io ad Ingegneria) hanno superato le 3 soglie.

Collocato a riposo l’1/11/2012.

Professore a contratto di Operations Research nella LM in Ing. Informatica (DIBRIS) negli a.a. 2012/13 e

2013/14.

Professore a contratto di Ricerca Operativa nella LM in Ing. della Sicurezza – Trasporti e Sistemi

Territoriali (DIME) nell’a.a. 2014-15.

Ho stipulato con il DIBRIS contratti di collaborazione per attività di ricerca a titolo gratuito dalla

collocazione a riposo ad oggi.

Coordinatore del Dottorato di Ricerca in Ingegneria Elettronica e Informatica dal 1983 al 2002.

2

2. ALTRE ATTIVITÀ DI STUDIO E DI COLLABORAZIONE CON ENTI PUBBLICI

“Visiting scholar” con una borsa di studio NATO presso il Systems Science Department dell’Università

della California a Los Angeles (UCLA) dal Luglio 1972 all’inizio del 1973. Ho collaborato con Masanao

Aoki sui sistemi di controllo ad informazione decentralizzata e sul “controllo a squadra” (“team

theory”).

Dal 1973 al 1978 membro del Consiglio Scientifico del Gruppo Nazionale di Automatica e Sistemistica

(GNAS) del CNR.

Nel 1977 e nel 1978 membro della Commissione Tecnica del traffico e del trasporto urbano del

Comune di Genova.

Nel 1977 e nel 1978 membro della Commissione Italiana per i rapporti con lo IIASA (International

Institute for Applied Systems Analysis), Laxenburg, Austria.

Ho partecipato, con relazioni invitate, a vari convegni internazionali. Tra questi segnalo: 3rd e 4th

Italian-Polish Conference on Applications of Systems Theory to Economy, Management and

Technology, Bialoweza, 1976 e Bergamo, 1978 (su invito del Prof. A. Ruberti); 3rd USA-Italy Seminar on

Variable Structure Systems, Taormina, 1977 (su invito del Prof. A. Ruberti); International Symposium

on Locational Decisions, Banff (Canada), 1978 (su invito del Prof. J. Halpern); 2nd Workshop on

Decentralized Control and Large Scale Systems, Udine, 1979 (su invito del Prof. G. Guardabassi); Italy-

USA Conference on Systems, Models and Feedback: Theory and Applications, Capri, 1992 (su invito del

Prof. Ruberti).

Nel 1980 venne avviato dal CNR il Progetto Finalizzato Informatica (PFI) (durata 5 anni) per il rilancio

dell’industria nazionale dell’Informatica. Direttore del PFI fu Angelo Raffaele Meo (Politecnico di

Torino). Il PFI era suddiviso in tre sottoprogetti: 1) “Industria nazionale del settore” (responsabile Ugo

Montanari, Università di Pisa), 2) “Informatizzazione della Pubblica Amministrazione” (responsabile

Paolo Bronzoni, CNR-CNUCE), 3) “Automazione del lavoro e controllo dei processi industriali”

(responsabile il sottoscritto). Con il primo termine si intendevano gli strumenti CAD per la

progettazione di componenti VLSI, meccanici e modellabili mediante le tecniche degli elementi finiti. Il

terzo sottoprogetto ebbe a disposizione (nell’arco del quinquennio) un finanziamento di quasi 11 MLD

di lire. Concentrai il terzo sottoprogetto nella realizzazione del calcolatore di processo MODIAC

(MODular Integrated System for Automation and Control). Il MODIAC rimase in produzione presso

l’Esacontrol ed altre aziende per numerosi anni. Per una sua descrizione si vedano gli Allegati

“Conferenza 2011” e “IL SOLE – 24 ore”.

Ho organizzato il Convegno nazionale dell’ANIPLA (Associazione Nazionale Italiana per l’Automazione)

nel 1985 (Genova, 3/5 Dicembre, “Sistemi integrati per l’automazione industriale”) e nel 1992

(Genova, 16/18 Novembre, “Automation 1992”). Di entrambi i Convegni ho curato gli atti.

Dal 1981 al 1989 membro dell’IFAC Technical Commitee on Computers

Membro del Consorzio Interuniversitario di Ricerca Operativa (CIRO) dal 2005 al 2010.

N.B.: per una esposizione più dettagliata di fasi particolarmente significative della mia attività scientifico-

accademica, rinvio all’All. “Conferenza 2011”.

3

3. ACQUISIZIONE DI FINANZIAMENTI DI RICERCA

Il mio primo contratto di ricerca tra il Centro di Ricerche di Automatica (CRA) e l’Ist. di Elettrotecnica di

UNIGE risale all’inizio degli anni ’70. Importo: 10 ML.

Negli anni ’70 ottenni (insieme con P.P. Puliafito) vari finanziamenti di ricerca nell’ambito del

coordinamento effettuato dal Gruppo dei Ricercatori di Automatica (GRA), diventato poi GNAS, GNASII

e infine CIRA (oggi SIDRA).

Nel 1988 ho promosso la stipula di un contratto tra Aeritalia S.p.A. (oggi Alenia, stabilimento di Torino)

e il DIST per la progettazione del regolatore della turbina secondaria di potenza dell’EFA (oggi

“Eurofighter Typhoon”). Importo: 100 ML.

Nel 1984 la Comunità europea avviò il Programma ESPRIT per la ricerca nelle tecnologie

dell’informazione. Nell’ambito del primo di tali programmi (1984-1987), con l’aiuto di altri Colleghi,

presentai una proposta per lo studio di robot di saldatura nel settore della cantieristica navale (“The

Application of CIM to Welded Fabrication”). La proposta fu accettata ed ottenni un finanziamento di

400 ML. Dopo di me, il responsabile fu G. Casalino. Fu uno dei primi finanziamenti della Comunità

europea ottenuti da Università Italiane.

A metà degli anni ’90 fui responsabile di due progetti tra Comunità europea e DIST nel settore della

classificazione di immagini: 1) “Classification of marine phytoplankton (dinoflagellates) using neural

networks”. Importo: 188.000 euro. 2) “Dinoflagellates categorization by artificial networks”. Importo:

18.300 euro.

Ho ottenuto vari finanziamenti PRIN. Si segnalano in particolare: anno 2004: “Stima dello stato e

approssimatori neurali per il controllo ottimo adattativo”, importo 28.600 euro; anno 2006: “Controllo

ottimo adattativo e stima dello stato”, importo 42.857 euro; anno 2008: “Stima dello stato adattativo”,

importo 28.571 euro.

Nel triennio Novembre 2002 – Novembre 2005 fui responsabile di un contratto di ricerca tra Marconi

Mobile S.p.A. e DIST sul tema “Studio, progettazione e sperimentazione di protocolli di linea, di rete, di

trasporto e di applicativi in sistemi multi-piattaforma orientati alla qualità del servizio”. Importo:

511.000 euro.

4. AVVIAMENTO DI GIOVANI ALLA RICERCA

Le molte tesi che ho seguito mi hanno permesso di conoscere giovani di qualità anche molto elevata. Alcuni

tra i più bravi hanno poi deciso di fermarsi all’Università. Con loro ho avviato attività di ricerca nei settori

dell’Automatica e della Ricerca Operativa. A loro volta, essi hanno costituito validi gruppi di ricerca su

nuove e importanti tematiche. Alcuni sono restati a Genova ed altri sono “migrati” in altre sedi. Elencarli

tutti sarebbe complicato (al proposito, rinvio all’All. “Conferenza 2011”). Mi limito quindi a citare i giovani,

che fecero con me la tesi di laurea e di dottorato, suddividendoli in tre fasi temporali successive.

Alla prima fase (metà anni ‘70) appartengono: 1) Giuseppe Casalino, uno dei fondatori della robotica

italiana; fu Direttore del DIST; 2) Riccardo Minciardi: costituì gruppi molto attivi nella logistica, nei sistemi di

trasporto, nella gestione dei sistemi ambientali; fu anch’egli Direttore del DIST. 3) Franco Davoli: si occupò

del controllo delle reti di comunicazioni, dove avviò molti giovani alla ricerca; passò poi da Automatica al

SSD di Telecomunicazioni. Nella seconda fase va inserito Thomas Parisini (alla fine degli anni ’80), con il

4

quale cominciai a studiare il controllo neurale; su questo tema, avviai con Parisini il progetto per il libro di

ricerca per Springer descritto nell’All. “Libro”. Chiamato prima al Politecnico di Milano e poi a Trieste (per

una cattedra finanziatagli dalla Danieli), è oggi “Chair of Industrial Control and Director of Research”

all’Imperial College. Alla terza fase appartengono infine Angelo Alessandri, Marcello Sanguineti e Marco

Baglietto, che si laurearono a metà degli anni ’90; sono tutti idonei per la posizione di professore ordinario;

anch’essi avviarono alla ricerca giovani eccellenti.

E’ doveroso segnalare che la crescita del gruppo di Automatica e di Ricerca Operativa fu grandemente

agevolato dalla fondazione del DIST nel 1983. V. Tagliasco fu il primo Direttore. P. P. Puliafito fu il secondo

Direttore. Puliafito impostò la struttura organizzativa e scientifica, che consentì la suddetta crescita per

tutti i settori disciplinari del Dipartimento.

5. ATTIVITÀ SCIENTIFICA

A documentazione dell’attività scientifica, si riportano i principali lavori pubblicati su riviste internazionali e

qualche pubblicazione apparsa come capitolo in libri internazionali o selezionata per tali libri. Non si

riportano le molte decine di lavori presentati a congressi internazionali.

L’assenza dei lavori presentati a congressi si spiega in parte con il desiderio di non appesantire il CV. Si

osserva poi che, nelle parti centrale e finale della mia attività di ricerca (e cioè dopo i primi anni ’70), si era

soliti presentare nei congressi risultati scientifici, che sarebbero poi stati pubblicati su riviste. Prima, era

consuetudine abbastanza diffusa attribuire grande importanza a congressi addirittura nazionali come quelli

organizzati dalla già citata ANIPLA o dall’AEI (Associazione Elettrotecnica Italiana, oggi AEIT) o dall’AICA

(Associazione Italiana per il Calcolo Automatico). Lo stesso dicasi per le riviste pubblicate da tali

Associazioni, quali L’Elettrotecnica, Alta Frequenza ed altre. Si tenga del resto presente che i Controlli

Automatici erano una disciplina accademicamente assai “giovane”, se confrontata con molte altre aree di

Ingegneria. Il primo concorso a cattedra si tenne infatti nel 1964 e fu vinto da A. Ruberti con A. Lepschy ed

E. Belardinelli inseriti nella terna degli idonei.

Con le mie pubblicazioni iniziali vinsi l’ultimo concorso per il titolo di “Libero Docente”, bandito nel 1969 e

svoltosi nel 1971. Nel seguito, grazie anche alla collaborazione con i giovani citati nel paragrafo precedente

(ed a quella con i loro allievi), i miei lavori apparvero su sedi editoriali di livello spesso elevato. Ciò si

verificò, in particolare dopo il mio impegno nel Progetto Finalizzato Informatica e soprattutto negli anni ’90

e nei primi anni 2000. Molti lavori risultano ben citati. Si segnala, tra questi, /4.4/, che ha 117 citazioni su

Google Scholar, /4.7/ con 86 citazioni e /4.3/ con 73 citazioni. Si segnala anche il lavoro /4.15/, che ha vinto

il 2004 IEEE Transactions on Neural Networks Outstanding Paper Award della IEEE Networks Society come

miglior articolo comparso sulla rivista nel biennio 2001-2002. A partire dall’inizio del 2000, la mia

produzione scientifica è progressivamente diminuita a causa dell’impegno richiesto dalla scrittura del

volume di cui all’All. “Libro”, ormai pressochè concluso.

Per indicare la sede di pubblicazione dei lavori, si è adottata la seguente convenzione.

5

Le numerazioni senza lettere aggiuntive indicano riviste internazionali.

Le numerazioni seguite dalla lettera “l” indicano libri.

Le numerazioni seguite dalla lettera “c” indicano congressi.

Le numerazioni seguite dalla lettera “n” indicano riviste nazionali.

5.1. AUTOMAZIONE NAVALE

5.1.1. Modellamento e identificazione della nave

Sotto l’azione degli organi di governo e del moto ondoso, il comportamento dinamico di una nave può

essere schematizzato, nell’intorno di un punto di equilibrio, mediante un sistema dinamico lineare

stazionario del tipo ẋ = Ax + Bu + r. Poiche’ la nave è un corpo rigido a 6 giorni di libertà, dim(x) = 12 (in

realtà - linearizzazione a parte - a tale modello si perviene mediante forti semplificazioni sulle interazioni tra

la nave e il fluido che la circonda). In /1.1/ si determinano (sulla base dei dati forniti dalla letteratura di

architettura navale) gli elementi delle matrici A e B e si analizzano i principali fenomeni di non linearità.

L’esigenza di una verifica sperimentale del modello matematico di cui sopra ha richiesto la messa a punto di

particolari tecniche di identificazione. Le sequenze binarie pseudo-casuali (Binary Maximum Length

Sequences o BMLS) presentano notevoli vantaggi per la possibilità di usare variabili di controllo, che

assumono solo due valori (ciò è molto utile nel caso dell’angolo del timone). Per quanto riguarda la

determinazione degli operatori di risposta della nave al moto ondoso e alle variabili di controllo (angolo del

timone, n. di giri/min dell’elica ed angolo delle eventuali pinne stabilizzatrici), l’analisi spettrale risulta

semplice ed efficace. Tecniche di acquisizione ed elaborazione dei dati, essenzialmente basate sull’impiego

della Fast Fourier Transform, sono succintamente riportate in /1.2/.

5.1.2. Determinazione della rotta di tempo minimo

Un secondo argomento nel settore dell’automazione navale, di cui mi sono occupato, riguarda il

tracciamento di rotte di tempo minimo. La nave viene considerata come un punto mobile, che deve essere

trasferito da un porto A di partenza ad un porto B di arrivo. E’ quindi un semplice sistema dinamico di

dimensione 2 dato da x(t+1) = u(t), t = 0,1,… N-1, con x(t) = col (x1(t),x2(t)); x1(t) e x2(t) sono

rispettivamente la latitudine e la longitudine della nave. N è un numero prefissato di stadi. Sia

T(x(t),x(t+1),r(t),t) il tempo di transito da un generico nodo x(t) ad un nodo successivo x(t+1), misurato su

un arco di cerchio massimo. Detti nodi sono individuati da un opportuno reticolo “regolare”, costruito tra A

e B. Il vettore r(t) “riassume” le perturbazioni metereologiche, note probabilisticamente e “osservabili “

nella zona di mare raggiunta (si noti che, nel tempo delle ricerche descritte, non vi era l’attuale copertura

satellitare metereologica; gli algoritmi ideati mantengono tuttavia la loro validità). In condizioni

meteorologiche ideali e in assenza di correnti, la rotta di tempo minimo sarebbe ovviamente costituita dal

percorso di cerchio massimo tra A e B.

Il contesto stocastico, imposto dalle condizioni meteorologiche perturbate, rende invece il problema molto

più complesso. In /1.3/ si affrontano problematiche preliminari, connesse con aspetti di architettura navale.

Ad esempio, la velocità massima sostenibile per date condizioni di mare (definite dal numero di Beaufort e

6

dall’angolo di avanzamento delle onde, supponendo che queste si muovano a creste parallele) richiede la

descrizione i) del moto ondoso in termini di densità spettrale di potenza, ii) dello spettro del momento

eccitante di rollio, iii) dello spettro del rollio stesso. Ciò al fine di evitare che tale angolo raggiunga valori

non accettabili. In /1.4/ si descrivono poi alcuni algoritmi, basati sulla programmazione dinamica, per la

determinazione della rotta di tempo minimo.

Le metodologie esposte nei punti 5.1.1 e 5.1.2 sono state applicate nell’ambito di un ampio programma di

ricerche sull’automazione navale, finanziato dal C.N.R., noto come “Progetto Equilino” dal nome della nave

su cui sono state condotte le campagne sperimentali. A bordo della m/n. Esquilino, sulla quale era installato

un calcolatore di processo IBM 1800, ho eseguito una serie di prove sperimentali nel periodo Luglio-Agosto

1970, durante un viaggio di linea dall’Italia alla Cina. Alla conclusione del “Progetto Esquilino”, gli algoritmi

esposti in /1.4/ (ed il relativo S/W) vennero acquisiti dall’IBM. Detti algoritmi risultano frequentemente

citati nella letteratura specializzata in tempi anche recenti.

/1.1-c/ E. Volta, R. Zoppoli, G. Basile, S. Marsich, “La nave come “Sistema” soggetto a controllo: definizione

di un modello matematico”. Simposio Internazionale sull’Automazione della Nave, 13-15 Giugno

1966, Pubblicazioni Ist. Int. delle Telecomunicazioni, pp. 554-612.

/1.2-n/ G. Sartirana, V. Tagliasco, R. Zoppoli, “Tecniche di acquisizione ed elaborazione dei dati”.

L’Elettrotecnica, vol. LVI, n. 12, 1969.

/1.3-c/ R. Zoppoli, R. Molfino, G. Scarano, “Ottimizzazione della rotta di una nave mediante

programmazione dinamica”. Symposium on Ship Building Automation, Opatiya (YU), 22-24 Nov.

1967, Inst. for the Research and the Promotion of the Yugoslav Shipping.

/1.4/ R. Zoppoli, “Minimun-time routing as an N-Stage decision process”. J. of Applied Meteorology, vol.

2, pp. 429-435, 1972.

5.2 GESTIONE OTTIMA DELL’ACQUISIZIONE E DELLO SCAMBIO DI INFORMAZIONI NEI SISTEMI DI

CONTROLLO

5.2.1. Sistemi a struttura centralizzata

Si suppone che vi sia un unico agente decisionale (DM), che i) stabilisce se e quando effettuare misure (non

rumorose) sul vettore di stato (o, equivalentemente, “chiudere” il canale “feedback”) e sul vettore di

disturbo (o, equivalentemente, chiudere il canale “feedforword”), ii) generare azioni di controllo sul

sistema dinamico. Il problema si pone allorchè effettuare una misura implica il pagamento di un certo

costo. Vi è dunque la necessità di porre a confronto tale costo con il beneficio che ne consegue nel

controllo ottimo di un sistema stocastico. In economia, la differenza tra costo “senza” l’informazione e

costo “con” l’informazione prende il nome di “Expected Value of Perfect Information” (EVPI). In /2.1/ il

problema è risolto nel caso generale di controllo ottimo a N stadi; si perviene ad una soluzione analitica al

verificarsi delle classiche ipotesi LQ (sistema dinamico lineare e costo quadratico). In /2.2/ la

determinazione della strategia ottima per l’effettuazione di osservazioni (costose) sulle variabili aleatorie

viene esteso ad un problema di percorso minimo in un grafo non orientato, nel quale siano presenti archi

caratterizzati da costi noti solo probabilisticamente.

7

5.2.2. Sistemi a struttura decentralizzata

Proseguendo una ricerca iniziata nel 1972 presso l’Università della California a Los Angeles (UCLA), è stato

esaminato il caso in cui, oltre ai costi connessi con l’acquisizione delle informazioni, si debbano prevedere

costi o vincoli di vario genere associati allo scambio di informazioni tra agenti decisionali in possesso di

insiemi informativi diversi, ma cooperanti alla minimizzazione di un medesimo funzionale di costo

(“controllo squadra” o “team theory”).

In /2.3/ si prende in considerazione una squadra a struttura molto semplice, costituita da due agenti

decisionali (DM1 e DM2) con compiti distinti. DM1 osserva il vettore di stato e DM2 controlla il sistema

dinamico. Poiché l’invio di messaggi dal primo agente al secondo può essere affetto da costi e/o disturbato

da rumori, può essere conveniente non inviare alcun messaggio. Si pone quindi il problema di coordinare le

strategie dei due agenti. Supponendo che il problema sia di tipo LQG (oltre alle già citate ipotesi LQ, si

aggiunge l’ipotesi che le variabili aleatorie siano gaussiane) e che la struttura informativa sia “a parziale

inclusione” (vedi più oltre il significato di tale termine). Si dimostra allora che DM2 può controllare il

sistema sulla base di un classico teorema di separazione, basato sul filtro di Kalman, mentre la strategia di

DM1 può essere determinata risolvendo con la programmazione dinamica un certo problema di

programmazione non lineare.

Tale problema è stato successivamente esteso a strutture informative a topologia più complessa, onde

poter applicare le metodologie della “team theory” a settori di particolare interesse applicativo, quali le reti

di calcolatori, le reti di telecomunicazione, le strutture a molti regolatori, ecc.. In /2.4/ si considera una

struttura a stella costituita da un complesso di sensori remoti e, per problemi statici (o riconducibili a casi

statici), si stabiliscono le leggi decisionali sulla base delle quali i sensori devono inviare al centro le

informazioni acquisiste. In altre parole, i sensori risultano dotati di capacità decisionali autonome: tale

struttura a “intelligenza distribuita” consente, in generale, di diminuire il valore medio del costo del

processo di una quantità che, nei lavori in questione (a più agenti decisionali), è stata definita “Expected

Value of Task Decentralization” (EVTD).

/2.1/ P.P. Puliafito and R. Zoppoli, “Optimization of costly measurements in stochastic decision

processes”. Zeitschrift für Operations Research , vol. 17, pp. 129-142, 1973.

/2.2/ G. Barla, G. Bartolini, and R. R. Zoppoli, “Optimization of moves and measurements in networks

with stochastic costs”, Zeitschrift für Operations Research, vol. 21, pp. 131-141, 1977.

/2.3/ R. Zoppoli, “Communication problem in decentralized control systems”, J. of Cybernetics, vol. 4, pp.

63-79, 1974.

/2.4/ G. Casalino, F. Davoli, P.P. Puliafito and R. Zoppoli, “Models of communication network in large

scale systems”. Ricerche di Automatica, vol. 7, pp. 60-91, 1976.

5.2. CONTROLLO A SQUADRA (“TEAM THEORY”)

Come si è accennato nel paragrafo 5.2.2, i sistemi a grandi dimensioni sono spesso caratterizzati dalla

presenza di più agenti decisionali che, pur non condividendo i medesimi insiemi informativi a causa delle

limitate capacità dei canali di comunicazione, perseguono tuttavia un obiettivo comune. La teoria del

controllo a squadra consente un inquadramento formalmente corretto ed operativamente efficace di tali

sistemi.

8

I risultati riportati dalla letteratura consentono di risolvere problemi di controllo ottimo, (sotto ipotesi

LQG), i) in corrispondenza di squadre “statiche” (le decisioni di un agente non influenzano l’insieme

informativo di un altro), ii) in squadre “dinamiche” caratterizzate da strutture informative “a parziale

inclusione”. Quest’ultima proprietà risulta verificata quando gli agenti sono in grado di ricostruire gli insiemi

informativi dei decisori che, con le loro azioni di controllo, ne hanno influenzato l’insieme informativo. Tale

struttura è infatti presente ogniqualvolta gli scambi di informazioni tra gli agenti avvengono ad una velocità

inferiore o eguale alla velocità di propagazione del fenomeno fisico controllato. Verificandosi detta ipotesi,

la determinazione delle strategie ottime per squadre dinamiche avviene riducendo queste a squadre

statiche.

In /3.1/ si analizzano sistemi di controllo a squadra caratterizzati non solo dalla proprietà di parziale

inclusione della struttura informativa, ma anche dalla possibilità di condividere un “insieme informativo

comune” dopo un certo numero di istati decisionali. Per detti sistemi di controllo, si dimostra l’esistenza di

statistiche sufficienti, che consentono di esprimere le strategie ottime in una semplice forma ricorrente. In

/3.2/ il problema è stato esteso dal caso di orizzonte finito al caso di orizzonte infinito. Approssimando il

problema con un costo definito su un “orizzonte mobile”, si dimostra che la legge di controllo ottimo è

stazionaria.

/3.1/ G. Casalino, F. Davoli R. Minciardi, P.P. Puliafito, and R. Zoppoli, “Partially nested information

structures with a common past”. IEEE Trans. on Automatic Control, vol. 29, pp. 846-950, 1984.

/3.2/ M. Aicardi, G. Casalino, R. Minciardi, and R. Zoppoli, “On the existence of stationary optimal

receding-horizon strategies for dynamic teams with common past information. IEEE Trans. on

Automatic Control, vol. 37, pp.1767-1771, 1992.

5.4. APPROSSIMAZIONE DI PROBLEMI DI OTTIMIZZAZIONE A DIMENSIONE INFINITA (OTTIMIZZAZIONE

FUNZIONALE) MEDIANTE PROBLEMI DI OTTIMIZZAZIONE A DIMENSIONE FINITA

(PROGRAMMAZIONE NON LINEARE): IL METODO DI RITZ ESTESO O EXTENDED RITZ METHOD (ERIM)

I problemi di ottimizzazione funzionale comprendono una gamma estremamente estesa di problemi di

controllo ottimo, di stima dello stato, di filtraggio, di “artificial intelligence”, di “pattern recognition” e così

via. Tali problemi si pongono ogniqualvolta le soluzioni ottime sono costituite da funzioni appartenenti a

spazi di dimensione infinita (“Infinite-Dimensional Optimization” o “problemi IDO”). Ben difficilmente le

soluzioni ottime possono essere determinate per via analitica o “in forma chiusa”. Ad esempio, nei

problemi di controllo ottimo in ambiente stocastico, ciò è possibile al verificarsi delle tradizionali ipotesi

LQG. Si pone allora la necessità di cercare soluzioni approssimate.

L’approssimazione proposta nei lavori di questo paragrafo (e nell’All. “Libro”) consiste nel ridurre il

problema funzionale di origine (problema IDO) ad un problema di dimensione finita (problema FDO),

costituito da un problema di programmazione non lineare (problema PNL). Come è noto, per tale problema

esistono potenti algoritmi risolutivi, generalmente codificati in S/W commerciale. Detta riduzione di un

problema IDO ad un problema FDO consiste nel vincolare le funzioni incognite ad assumere strutture

prefissate, contenenti parametri liberi da ottimizzare. Tali parametri liberi sono le componenti del vettore

incognito (di dimensione finita) del problema di PNL. La tecnica approssimata proposta trae quindi origine

dal classico metodo di Ritz, presentato all’inizio del ‘900. In tale metodo, le funzioni ammissibili sono

costituite da combinazioni lineari di funzioni di base fissate indipendenti tra loro (ad esempio, da espansioni

9

polinominali o trigonometriche). I coefficienti delle combinazioni lineari sono dunque i parametri liberi da

ottimizzare.

Le funzioni “innovative” a struttura prefissata che si introducono (e che sono state chiamate “Fixed-

Structure Parametrized Functions” o “funzioni FSP”) sono invece combinazioni lineari di funzioni di base

contenenti esse stesse parametri ”liberi”. Tali sono le reti neurali “feedforward” con un solo “livello

nascosto”, le “radial basis functions” con centri e matrici di covarianza liberi, le sinusoidi a pulsazioni mobili,

ecc.. Detti parametri liberi si aggiungono ai coefficienti delle combinazioni lineari.

Alla tecnica proposta è stato quindi dato il nome di metodo Ritz esteso o Extended Ritz Method (ERIM). Il

termine ERIM ha assunto poi un significato ancora più ampio al fine di includere altre funzioni più

complesse delle combinazioni lineari. Tali sono le funzioni neurali “feedforward” a più livelli ”nascosti”, le

funzioni basate su “kernel” ed altre ancora.

Alle funzioni FSP si richiede preliminarmente i) di approssimare con un errore arbitrariamente piccolo

(misurato secondo una qualche norma) le funzioni ammissibili dei problemi IDO a condizione di utilizzare un

numero sufficientemente grande di parametri liberi (“proprietà di densità”), ii) che il numero di tali

parametri liberi cresca al più polinomialmente con la dimensione del vettore argomento delle funzioni

ammissibili, che si vogliono approssimare (si veda il Teorema di Maurey - Jones - Barron). Le proprietà di cui

ai punti i) e ii) valgono al verificarsi di opportune ipotesi di regolarità delle funzioni ammissibili dei problemi

IDO. Al verificarsi di ulteriori ipotesi di regolarità, si può poi richiedere alle funzioni FSP iii) di essere

“funzioni ottimizzanti” e cioè di approssimare arbitrariamente bene le soluzioni ottime dei problemi IDO

pur di utilizzare un numero adeguato di parametri liberi, iv) di essere “funzioni ottimizzanti

polinomialmente complesse” e cioè che il numero di parametri liberi impiegati cresca al più

polinomialmente con la dimensione dei vettori argomento delle funzioni.

Impedire che il numero dei parametri liberi cresca più che polinomialmente con il numero delle variabili

argomento delle funzioni candidate a risolvere i problemi IDO è strettamente connesso con il tentativo di

mitigare il cosiddetto fenomeno della maledizione della dimensionalità (nel senso di Bellman). Come è

noto, tale tentativo è un argomento consolidato nella teoria dell’approssimazione di funzioni (si consideri il

teorema sopra citato). Con riferimento al punto ii) di cui sopra, si è ad esempio osservato che, a parità di

errore di approssimazione, le combinazioni lineari di poche sinusoidi a pulsazioni mobili richiedono un

numero complessivo di parametri inferiore al numero di coefficienti delle combinazioni lineari di molte

sinusoidi a pulsazioni fisse.

Il tentativo di mitigare la maledizione della dimensionalità risulta un problema nuovo nella soluzione

approssimata dei problemi di ottimizzazione funzionale. E’ fondamentale porre in rilievo che si è verificato

sia teoricamente sia per via numerica che l’ERIM mitiga realmente la maledizione della dimensionalità in

problemi dove il metodo di Ritz fallisce. Si esporranno nel seguito problemi IDO risolti mediante l’ERIM.

5.4.1. Controllo ottimo su orizzonte finito con stato perfettamente misurabile

Il primo problema IDO, in cui l’ERIM è stato applicato, è il controllo ottimo stocastico su T stadi decisionali.

Lo stato è perfettamente misurabile. Il sistema dinamico controllato è non lineare e la funzione di costo

non è quadratica. Il venir meno delle ipotesi LQ rende in generale impossibile determinare la legge ottima

di controllo per via analitica. Il problema è risolvibile in forma approssimata mediante la programmazione

10

dinamica (PD) (per l’impiego della PD anche in altri problemi a stadi – e per un confronto tra PD ed ERIM –

si veda l’All. “Libro”).

Il problema è stato affrontato in /4.1/, /4.2/, /4.3/, /4.4/, prendendo in considerazione anche la possibilità

che i disturbi siano perfettamente misurabili e che si disponga cioè di un canale di tipo “feedforward” oltre

che di tipo “feedback”. La legge di controllo è costituita da una sequenza di T funzioni FSP di controllo.

Particolare attenzione è stata dedicata all’impiego di reti neurali “feedforward” a più livelli nascosti. I

parametri “liberi” sono stati ottimizzati mediate tecniche basate sul gradiente stocastico. Per il calcolo di

tale gradiente è interessante osservare che si è fatto uso di un’equazione ricorrente “a ritroso” simile al

“sistema aggiunto” del controllo ottimo classico. Si è tuttavia riscontrata la necessità di inserire un termine

aggiuntivo (da specializzarsi a seconda del tipo di funzioni FSP utilizzate), che risulterà sempre presente

quando i problemi IDO verranno risolti mediante l’ERIM.

/4.1-l/ T. Parisini and R. Zoppoli, “Neural networks for the solution of N-stage optimal control problems”.

In Artificial Neural Networks, T. Kohonen, K. MäKisara, O. Simula, and J. Kangas (Eds.), Elsevier

Science Publishers B. V., pp. 333-338, 1991.

/4.2-l/ R. Zoppoli and T. Parisini, “Learning tecniques and neural networks for the solution of N-stage

nonlinear nonquadratic optimal control problems”. In Systems, Models and Feedback: Theory and

Applications, A. Isidori and T. J. Tarn (Eds.), Birkhäuser, Boston, pp. 193-210, 1992.

/4.3/ T. Parisini and R. Zoppoli, “Neural networks for feedback feedforward nonlinear control systems”.

IEEE Trans. on Neural Networks, vol. 5. pp. 436-449, 1994.

5.4.2. Controllo ottimo su orizzonte infinito con stato perfettamente misurabile

L’impiego di funzioni FSP di controllo di tipo neurale su orizzonte infinito richiede preliminarmente la

determinazione di una legge di controllo stazionaria (tale legge deve avere una struttura ad “anello chiuso”

anche se il problema è formulato in termini deterministici). In tal modo ad ogni stadio decisionale può

essere associato un approssimatore neurale. Un approccio rivelatosi efficace consiste nell’approssimare il

problema di controllo ottimo ad orizzonte infinito con un problema ad orizzonte mobile o di tipo “receding-

horizon” (RH).

In /4.4/, /4.5/, /4.6/ è stato proposto uno schema di controllo con proprietà stabilizzanti, che differisce da

altri schemi (introdotti ad esempio da Mayne e Michalska e da Keerthy e Gilbert) per la possibilità di

calcolare “fuori linea” il regolatore ottimo RH. Negli stessi lavori, si è dimostrato che, sotto opportune

ipotesi, le proprietà stabilizzanti possono essere “garantite” anche se il regolatore RH viene approssimato

con un regolatore neurale. La tecnica approssimante si basa sull’applicazione di un criterio mini-max.

/4.4/ T. Parisini and R. Zoppoli, “A receding-horizon regulator for nonlinear sytems and a neural

approximation”. Automatica, vol. 31, pp. 1443-1451, 1995.

/4.5/ R. Zoppoli and T. Parisini, “Neural approximations for finite- and infinite-horizon control”. In Neural

Systems for Control, O. Omidvar and D. L. Elliott (Eds.), Academic Press, pp. 317-348, 1997.

/4.6/ T. Parisini, M. Sanguineti, and R. Zoppoli, “Nonlinear stabilization by receding-horizon neural

regulators”. Int. J. of Control, vol. 70, pp. 341-362, 1998.

11

5.4.3. Controllo ottimo con stato non perfettamente misurabile

Come è noto, la presenza di disturbi nel canale di retroazione (per giunta non lineare) rende il problema del

controllo ottimo assai più difficile. Al verificarsi delle ipotesi LQG, la legge di controllo ottimo può essere

determinata per via analitica nei casi di orizzonte sia finito che infinito. Se dette ipotesi non sono

soddisfatte, è necessario calcolare le densità di probabilità condizionate p(x(t)/I(t)), dove I(t) è il vettore

delle informazioni sui controlli fino all’istante t-1 e sulle misure (imperfette), dello stato fino all’istante t. In

generale, la determinazione di dette densità di probabilità è pressochè impossibile. Inoltre, la dimensione

di I(t) cresce con il tempo.

Nel caso di orizzonte finito, in /4.7/ si propone l’applicazione dell’ERIM supponendo che il numero di stadi

non sia troppo elevato. Qualora tale ipotesi non sia accettabile, in /4.8/ si approssima il problema evitando

la crescita della dimensione di I(t) mediante l’impiego di una “memoria limitata” (LM). Non si ricorre

tuttavia alla “proprietà di separazione”, che non sarebbe corretta. Si introduce invece un vettore z(t) (di

dimensione opportuna), che, insieme alle misure ed ai controlli memorizzati in una “finestra mobile” di M

stadi, riassume il passato fino allo stadio t-M. La medesima approssimazione viene utilizzata nel caso di

orizzonte infinito, dove si ricorre all’approssimazione dell’”orizzonte mobile”. Si applica poi il principio della

“certezza equivalente” per tener conto del variare dell’ingresso di riferimento dell’anello di regolazione. In

condizioni così generali, non è possibile determinare condizioni per la stabilità, ma numerose simulazioni

indicano che tale proprietà è per lo più assicurata.

/4.7/ R. Zoppoli, M. Sanguineti, and T. Parisini, “Approximation networks and extended Ritz method for

the solution of functional optimization problems”. J. of Optimization Theory and Applications, vol.

112, pp. 403-439, 2002.

/4.8/ T. Parisini and R. Zoppoli, “Neural approximations for multistage optimal control of nonlinear

stochastic systems”. IEEE Trans. on Automatic Control, vol.41, pp. 889-895, 1996.

/4.9/ T. Parisini and R. Zoppoli. “Neural approximations for infinite-horizon optimal control of nonlinear

stochastic systems” IEEE Trans. on Neural Networks, vol. 9, pp. 1388-1408, 1998.

5.4.4. Stima dello stato

Utilizzando la tecnica a “finestra mobile” con LM, descritta nel paragrafo precedente, l’ERIM è stato

applicato ad un problema di stima dello stato. L’osservatore è finalizzato alla minimizzazione di un certo

indice di costo. Le ipotesi LG non sono verificate e si suppone che le densità di probabilità dello stato

iniziale e dei disturbi non siano note. Valutazioni sperimentali confermano che le prestazioni ottenute

mediante lo stimatore in oggetto sono caratterizzate da prestazioni spesso superiori a quelli di altri schemi

di stima, tipicamente costituite dalle molteplici varianti del filtro di Kalman esteso /4.10/, /4.11/.

Con ipotesi analoghe a quanto sopra riportato, ma supponendo che l’indice di costo sia quadratico, che

l’equazione di stato sia deterministica, che il rumore di misura sia additivo e che le variabili aleatorie

appartengano a compatti, in /4.12/ si determinano condizioni di convergenza per l’errore di stima.

/4.10/ T. Parisini and R. Zoppoli, “Neural networks for nonlinear state estimation”. Int. J. of Robust and

Nonlinear control, vol. 4, pp. 231-248, 1994.

/4.11/ A. Alessandri, T. Parisini, and R. Zoppoli, “Neural approximation for nonlinear finite-memory state

estimation”. Int. J. of Control, vol. 67, pp. 275-302,1997.

12

/4.12/ A. Alessandri, M. Baglietto, T. Parisini, and R. Zoppoli, “A neural state estimator with bounded

errors for nonlinear systems”. IEEE Trans. on Automatic Control, vol. 44, pp.2028-2042, 1999.

5.4.5. Applicazione dell’ERIM al controllo a squadra

Come si è già osservato, le ipotesi LQG non sono sufficienti per determinare analiticamente la soluzione

ottima del controllo a squadra nel caso in cui la struttura informativa della squadra non sia a parziale

inclusione. Un problema particolarmente attraente è costituito dal celebre (e tuttora irrisolto)

controesempio di Witsenhausen: un primo decisore (DM1) osserva una variabile aleatoria x e decide che

segnale inviare ad un decisore (DM2) cercando di far fronte ad una variabile di rumore che si inserisce nel

canale di comunicazione tra DM1 e DM2. Tale rumore impedisce alla struttura informativa di essere a

parziale inclusione (le ipotesi LQG sono invece soddisfatte). In /4.13/ si è constatato per via numerica che la

funzione, con cui DM1 genera il segnale da trasmettere a DM2, ha una forma non del tutto intuitiva: essa è

costante a tratti con segmenti lievemente inclinati. Altri autori hanno analizzato tale forma.

In /4.14/, /4.15/, /4.16/ si è affrontato il problema (certamente di più rilevante interesse applicativo) del

controllo di reti di traffico con “routing” dinamico (reti di comunicazioni e di calcolatori, reti di traffico

stradale, ecc.). Tali reti sono costituite da più nodi di “routing”, ciascuno controllato da un DM, che conosce

(realisticamente) solo lo stato del nodo e cioè la “lunghezza” del traffico in coda (vi possono naturalmente

essere più code; si pensi, ad esempio, a più nodi di destinazione nel caso di reti di comunicazione “packet

switching”). Ogni DM segnala lo stato del suo nodo ai DM situati “a valle” con un passo di ritardo (nel caso

di reti “packet switching” con decisioni sincrone, tale segnalazione può avvenire inserendo le informazioni

sul nodo nel pacchetto inoltrato). Poiché i DM condividono l’obiettivo di minimizzare il tempo medio di

attesa globale nelle code, essi sono i membri di una squadra. I DM “a valle” vengono a conoscenza dello

stato dei nodi dei DM “a monte” in ritardo: la struttura informativa non può quindi essere a parziale

inclusione. Per giunta, le ipotesi LQG non sono verificate. L’ERIM ed il gradiente stocastico consentono

tuttavia di risolvere il problema in oggetto con un’efficacia non inferiore a quella riscontrata nei problemi

esposti nel paragrafo 5.4.

/4.13/ M. Baglietto, T. Parisini, and R. Zoppoli, “Numerical solutions to the Witsenhausen

counterexample by approximating networks”. IEEE Trans. on Automatic Control, vol. 46, pp. 1471-

1477, 2001.

/4.14/ T. Parisini and R. Zoppoli, “Team theory and neural networks for dynamic routing in traffic and

communication networks”. Information and Decision Technologies, vol. 19, pp. 1-18, 1993.

/4.15/ M. Baglietto, T. Parisini, and R. Zoppoli, “Distributed-information neural control: the case of

dynamic routing in traffic networks”. IEEE Trans. on Neural Networks, vol. 12, pp. 485-502, 2001.

/4.16-l/ M. Baglietto, M. Sanguineti, and R. Zoppoli, “Facing the curse of dimensionality by the Extended

Ritz Method in stochastic functional optimization”. In Applied Optimization, G. Di Pillo and A.

Murli, Kluwer Academic Publishers, pp. 22-55, 2003.

13

5.5. APPLICAZIONE DELL’ERIM IN VARI SETTORI DI CONTROLLO OTTIMO E DI STIMA

Gestione del traffico autostradale

/5.1/ A. Di Febbraro, T. Parisini, S. Sacone, and R. Zoppoli, “Neural approximations for feedback

optimal control of freeway systems”. IEEE Trans. on Vehicular Technology, vol. 50, pp. 302-313,

2001.

Gestione di reti di dighe

/5.2-l/ M. Baglietto, C. Cervellera, M. Sanguineti, and R. Zoppoli, “Water reservoirs management under

uncertainty by approximating networks and learning from data”. In Topics on System Analysis and

Integrated Water Resource Management, A. Castelletti and R. Soncini Sessa (Eds.), Elsevier, pp.

117-119, 2007.

/5.3/ M. Baglietto, M. Sanguineti, and R. Zoppoli, “The Extended Ritz Method for functional

optimization: New developments and applications to single-person and team optimal decision

problems”. Optimization Methods and Software, vol. 24, pp. 15-43, 2009.

/5.4/ M. Baglietto, C. Cervellera, M. Sanguineti, and R. Zoppoli. “Management of water resources

systems in the presence of uncertainties by nonlinear approximators and deterministic sampling

techniques”. Computational Optimization and Applications, vol. 47, pp. 349-376, 2010.

Sistemi di controllo a parametri distribuiti

/5.5/ A. Alessandri, M. Gaggero, and R. Zoppoli, “Feedback optimal control of distributed parameter

systems by using finite-dimensional approximation schemes”. IEEE Trans. on Neural Networks and

Learning Systems, vol. 23, pp. 984-996, 2012.

Sistemi per la produzione di energia elettrica

/5.6/ A. Alessandri, T.Parisini, and R. Zoppoli, “Sliding-window neural state estimation in a power plant

heater line”. Int. J. of Adaptive Control and Signal Processing, vol. 15, pp. 815-836, 2001.

In /5.6/ si applica la teoria di stima dello stato proposta in /4.11/: le proprietà di convergenza

dell’osservatore appaiono migliori di quelle del filtro di Kalman esteso.

5.6. RICERCHE IN ALTRI SETTORI

Descrizione del sistema MODIAC

/6.1-c/ M. Di Manzo, G. Menga, G. Neri, S. Rivoira, A. Serra, and R. Zoppoli, “MODIAC – A modular

integrated microprocessor system for industrial automation and process control”. Proc. 6th IFAC

Workshop on Distributed Computer Control Systems, Monterey (Ca), May 1985, Pergamon Press,

pp. 203-216.

Metodi di programmazione matematica per problemi di “districting”

14

/6.2/ R. Minciardi, P.P. Puliafito, and R. Zoppoli, “A districting procedure for social organizations”.

European J. of Operational Research, vol.8, pp. 47-57, 1981.

Classificazioni di immagini

/6.3/ P. F. Culverhouse, R.G. Simpson, R. Ellis, R. Williams, T. Parisini, B. Reguera, I.T. Bravo, and R.

Zoppoli, “Automatic classification of field collected dinoflagellates by artificial neural network”.

Marine Ecology-Progress Series, vol. 39, pp. 281-287, 1996.

6. LEZIONI DI DIDATTICA AVANZATA

/1/ R. Zoppoli, “La teoria delle squadre nel controllo ottimo dei sistemi ad informazione

decentralizzata”. In Metodi e Algoritmi per l’Ottimizzazione, Atti della Scuola GRIS, Bologna 11-13

Ottobre 1982, a cura di G. Carpaneto e G. Di Pillo, Pitagora Editrice, Bologna, pp. 441-506, 1984.

/2/ M. Sanguineti, R. Zoppoli, “Le reti neurali e altre reti approssimanti nei problemi di ottimizzazione

funzionale”. In Modelli e Algoritmi per l’Ottimizzazione di Sistemi Complessi”, Atti della Scuola CIRO,

Siena, 17-21 Giugno 2002, a cura di A. Agnetis e G. Di Pillo, Pitagora Editrice, Bologna, pp. 355-392,

2003.

7. DISPENSE

/1/ R. Zoppoli, “Problemi di sintesi nei sistemi di controllo con ingressi casuali”. Capitoli: 1) Premessa.

2) Un esempio introduttivo. 3) Ottimizzazione di un processo decisionale in condizioni

deterministiche. 4) Ottimizzazione di un processo decisionale con informazione completa sullo

stato. 5) Ottimizzazione di un processo decisionale con informazione incompleta sullo stato. 6)

Relazioni tra il problema del contratto ottimo e il problema del filtraggio ottimo. Seguono 6

appendici (1976, 104 pagg.).

/2/ R. Zoppoli, “Sistemi di controllo con regolatori digitali”. Capitoli: 1) Considerazioni introduttive. 2)

Struttura gerarchica di un sistema complesso di controllo. 3) Caratteristiche generali dei sistemi di

controllo con regolatori digitali. 4) Regolatore a minima varianza. 5) Tecniche di identificazione

mediante il metodo dei minimi quadrati. 6) Aspetti numerici nell’applicazione del metodo dei

minimi quadrati. 7) Il metodo dei minimi quadrati estesi. 8) Adattamento di un regolatore MV

mediante stimatori ai minimi quadrati (1979, 84 pagg.).

ELENCO E CONTENUTI DEGLI ALLEGATI

L’All. “Conferenza 2011” riporta un mio intervento nella Conferenza dell’11 Marzo 2011 su “Elettronica

industriale e Automazione: testimonianze sul ruolo dei genovesi”, tenutasi presso la nostra Facoltà. F.

Saccomanno ed io ci eravamo divisi i compiti: Saccomanno avrebbe esposto la “storia” dei Controlli

Automatici nella nostra Facoltà dai primordi fino agli anni ’60. Io l’avrei completata per gli anni

successivi. Il titolo del mio intervento era “Tre eventi dagli anni ’60 ad oggi: il Progetto Esquilino, il

calcolatore MODIAC, la diaspora dei controllisti genovesi”. I tre momenti ricordati nell’intervento

15

descrivono eventi che considero “importanti” nella mia vita accademica. Possono quindi essere un

utile complemento al mio CV.

Nell’All. “IL SOLE – 24 ore” si descrive il calcolatore di processo MODIAC ed il contesto accademico-

industriale, in cui tale calcolatore fu progettato e sviluppato fino alla fase pre-competitiva (per una

descrizione tecnica più dettagliata si veda /6.1-c/). Numerose industrie italiane (di tipo elettronico,

informatico ed impiantistico) parteciparono alla realizzazione del sistema, che entrò in produzione e vi

rimase per molti anni. Tra queste, va citata l’Ansaldo Divisione Elettronica (poi Esacontrol), che

rappresentava in quegli anni una realtà industriale d’avanguardia.

Nell’All. “Libro” si riporta il titolo e l’indice del volume per la collana “Communications and Control

Engineering” di Springer, che conto di portare a compimento entro quest’anno. I primi 7 capitoli sono

già stati consegnati all’Editor in forma definitiva; gli ultimi 3 sono in fase di rilettura. Il libro costituisce

il maggior impegno della mia attività scientifica. L’ERIM è il metodo proposto per la risoluzione dei

problemi di controllo ottimo e, più in generale, di ottimizzazione funzionale. Cenni sul metodo sono

riportati all’inizio del paragrafo 5.4.

giassai

Casella di testo

All. “Conferenza 2011

giassai

Casella di testo

All. “IL SOLE – 24 ore”

Riccardo Zoppoli, Marcello Sanguineti, and

Thomas Parisini

Neural Approximations forOptimal Control and Decision

March 18, 2016

Springer

Berlin Heidelberg NewYorkHongKong LondonMilan Paris Tokyo

Page: 1 job: book macro: svmono.cls date/time:18-Mar-2016/8:05

Contents

1 The Basic Infinite-Dimensional or FunctionalOptimization Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.1 General Comments on Infinite-Dimensional or Functional

Optimization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31.1.1 IDO and FDO Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . 31.1.2 From the Ritz Method to the Extended Ritz Method

(ERIM) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81.1.3 Approximation of Functions . . . . . . . . . . . . . . . . . . . . . . . . 121.1.4 From Function Approximation to Approximate

Infinite-Dimensional Optimization . . . . . . . . . . . . . . . . . . 141.1.5 Relationships with Parametric Control Approaches . . . . 15

1.2 Contents and Structure of the Book. . . . . . . . . . . . . . . . . . . . . . . . 161.3 Infinite-Dimensional Optimization . . . . . . . . . . . . . . . . . . . . . . . . . 22

1.3.1 Statement of the Problem . . . . . . . . . . . . . . . . . . . . . . . . . . 221.3.2 Finite-Dimensional vs Infinite-Dimensional Optimization 25

1.4 General Conventions and Assumptions . . . . . . . . . . . . . . . . . . . . . 271.4.1 Existence and Uniqueness of Minimizers . . . . . . . . . . . . . . 281.4.2 Other Definitions and Assumptions . . . . . . . . . . . . . . . . . . 30

1.5 Examples of Infinite-Dimensional Optimization Problems . . . . 311.5.1 A deterministic continuous-time optimal control

problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321.5.2 A Continuous-Time Network Flow Problem . . . . . . . . . . . 331.5.3 A T -Stage Stochastic Optimal Control Problem . . . . . . 341.5.4 An Optimal Estimation Problem . . . . . . . . . . . . . . . . . . . 351.5.5 A Static Team Optimal Control Problem . . . . . . . . . . . . 371.5.6 Parametrized Nonlinear Programming Problems . . . . . . . 38

2 From Functional Optimization to Nonlinear Programmingby the Extended Ritz Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . 412.1 Fixed-Structure Parametrized (FSP) Functions . . . . . . . . . . . . . 43

Page: IX job: book macro:svmono.cls date/time:18-Mar-2016/8:05

X Contents

2.2 The Sequence of Nonlinear Programming Problems Obtainedby FSP Functions of Increasing Complexity . . . . . . . . . . . . . . . . 452.2.1 The Case of Problem P . . . . . . . . . . . . . . . . . . . . . . . . . . . . 462.2.2 The Case of Problem PM . . . . . . . . . . . . . . . . . . . . . . . . . . 48

2.3 Solution of the Nonlinear Programming Problem Pn . . . . . . . . 512.4 Optimizing FSP Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 552.5 Polynomially Complex Optimizing FSP Functions . . . . . . . . . . . 58

2.5.1 The Growth of the Dimension d . . . . . . . . . . . . . . . . . . . . 602.5.2 Polynomial and Exponential Growths of the Model

Complexity n with the Dimension d . . . . . . . . . . . . . . . . . 632.6 Approximating Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 682.7 Polynomially Complex Approximating Sequences of Sets . . . . . 72

2.7.1 The Worst-Case Error Approximation of Functions . . . . 732.7.2 Polynomial and Exponential Growth of the Model

Complexity n with the Dimension d . . . . . . . . . . . . . . . . . 742.8 Connections Between Approximating Sequences and

Optimizing Sequences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 762.8.1 From Sd-Approximating Sequences of Sets to

Pd-Optimizing Sequences of FSP Functions . . . . . . . . . . . 772.8.2 From Pd-Optimizing Sequences of FSP Functions to

ε-Polynomially Complex Pd-Optimizing Sequences ofFSP Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81

2.8.3 Final Remarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86

3 Approximating Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 893.1 Linear Combinations of Fixed-Basis Functions (LCFBFs) . . . . . 903.2 One-Hidden-Layer Networks (OHL Networks) . . . . . . . . . . . . . . . 91

3.2.1 The Structure of OHL Networks . . . . . . . . . . . . . . . . . . . . . 913.2.2 Ridge and Radial Contructions . . . . . . . . . . . . . . . . . . . . . . 92

3.3 Multiple-Hidden-Layer Networks (MHL networks) . . . . . . . . . . 953.3.1 Historical Notes and Terminology . . . . . . . . . . . . . . . . . . . 97

3.4 Nadaraya–Watson Models (NWMs) . . . . . . . . . . . . . . . . . . . . . . . 983.4.1 Use of LCFBFs, OHLNs, MHLNs, and NWMs in the

Book . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1033.5 The ERIM vs the Classical Ritz Method . . . . . . . . . . . . . . . . . . . 103

3.5.1 Limitations of the Ritz Method . . . . . . . . . . . . . . . . . . . . . 1043.5.2 Some Concepts from the Theory of Hilbert Spaces . . . . . 1053.5.3 The Ritz Method and the Curse of Dimensionality . . . . . 109

3.6 The Structure of Approximation by Nonlinear OHL Networks . 1143.7 Density Properties: the Case of OHL Ridge Networks . . . . . . . 1173.8 Density Properties: the Case of OHL Networks with Radial

Basis Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1223.9 From Universality of Approximation to Moderate Network

Complexity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1243.9.1 A Lower Bound for Ridge OHL Networks . . . . . . . . . . . . . 127

Page: X job: book macro: svmono.cls date/time:18-Mar-2016/8:05

Contents XI

3.9.2 Maurey-Jones-Barron’s Theorem . . . . . . . . . . . . . . . . . . . . 1283.9.3 Lavretsky’s and Kurkova-Sanguineti’s Theorems on

Approximation: Towards a Geometric Rate . . . . . . . . . . . 1323.9.4 Norms Tailored to Nonlinear OHL Networks . . . . . . . . . . 1343.9.5 Summing Up: Dependence on Dimension and

Tractability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1383.10 Case Study: Feedforward Sigmoidal Neural Networks . . . . . . . . . 139

3.10.1 An Upper Bound on Deviation and a Lower Bound onn-width . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139

3.10.2 Consequences of the Bounds . . . . . . . . . . . . . . . . . . . . . . . . 1413.11 Rates of Optimization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143

3.11.1 Kurkova-Sanguineti’s Theorem on Optimization Ratesby the ERIM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144

3.12 Estimates in Terms of Spectral Norms for Ridge OHL Networks1473.13 Comparisons for Ridge OHL Networks . . . . . . . . . . . . . . . . . . . . . 149

3.13.1 Relationships Among the Spaces Θ, Γ , Λ, and L2 . . . . 1503.14 Materiale sulle multilayer da spostare nel Cap. 3 . . . . . . . . . . . . 155

3.14.1 n-Width . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1553.14.2 Esempio Barron . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1563.14.3 Proprieta’ approssimanti di MHLNs . . . . . . . . . . . . . . . . . 158

4 Design of Mathematical Models by Learning from Dataand Approximating Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1614.1 Learning From Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1624.2 Expected Risk, Empirical Risk, and Generalization Error in

Statistical Learning Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1664.2.1 The Expected Risk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1664.2.2 The Empirical Risk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1684.2.3 The Generalization Error . . . . . . . . . . . . . . . . . . . . . . . . . . 1704.2.4 The Approximation and Estimation Errors are

Components of the Generalization Error . . . . . . . . . . . . . 1714.3 Bounds on the Generalization Error in Statistical Learning

Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1744.3.1 Probabilistic convergence of the empirical risk . . . . . . . . 1754.3.2 The VC Dimension of a Set of Functions . . . . . . . . . . . . . 1774.3.3 Bounds on the Estimation Error . . . . . . . . . . . . . . . . . . . . 1814.3.4 Bounds on the Generalization Error for Gaussian

OHL Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1864.3.5 Bounds on the Generalization Error for Sigmoidal

OHL Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1914.4 Deterministic Learning Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . 197

4.4.1 Estimation of Functions Without Noise: The ExpectedRisk, the Empirical Risk, and the Generalization Error 198

4.4.2 Deterministic Convergence of the Empirical Error . . . . . 1994.4.3 Discrepancy of a Sequence . . . . . . . . . . . . . . . . . . . . . . . . . 200

Page: XI job: book macro:svmono.cls date/time:18-Mar-2016/8:05

XII Contents

4.4.4 Variation of a Function and Conditions for BoundedVariations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201

4.4.5 Examples of Functions with Bounded Hardy andKrause Variation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205

4.4.6 The Koksma–Hlawka Inequality . . . . . . . . . . . . . . . . . . . . . 2074.4.7 Sample Sets Coming from (t, d)-sequences . . . . . . . . . . . . 2094.4.8 Bounds on Rate of Convergence of the Estimation

Error . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2104.4.9 Estimation of Functions in the Presence of Additive

Noise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213

5 Numerical Methods for Integration and Search for Minima 2175.1 Numerical Computation of Integrals . . . . . . . . . . . . . . . . . . . . . . . 218

5.1.1 Integration by Regular Grids . . . . . . . . . . . . . . . . . . . . . . . 2185.1.2 Integration by MC Methods . . . . . . . . . . . . . . . . . . . . . . . . 2205.1.3 Integration by Quasi-MC Methods . . . . . . . . . . . . . . . . . . 2235.1.4 Limitations of the Quasi-MC Integration with Respect

to the MC one . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2255.2 Numerical Computation of Expected Values . . . . . . . . . . . . . . . . 227

5.2.1 Computation of Expected Values by Quasi-MCMethods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227

5.2.2 Improving MC and Quasi-MC Estimates of Integralsand Expected Values . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229

5.3 Minimization Techniques for the Solution of Problem Pn . . . . . 2315.3.1 Direct Search Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2315.3.2 Gradient-based Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . 2325.3.3 Stochastic Approximation: Robbins–Monro Algorithm

for the Solution of Nonlinear Root-find Problems . . . . . 2355.3.4 Robbins–Monro Algorithm and the Stochastic

Gradient method are Particular Cases of a GeneralStochastic Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238

5.3.5 Convergence of the General Stochastic Algorithm . . . . . 2405.3.6 Convergence of Root-finding Robbins–Monro

Stochastic Approximation Algorithm . . . . . . . . . . . . . . . . 2445.3.7 Choice of the Stepsize Sequence . . . . . . . . . . . . . . . . . . . . 2465.3.8 Convergence of the Stochastic Gradient Algorithm . . . . 2485.3.9 Stochastic Approximation with Averaging and

Feedback . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2515.3.10 Global Optimization via Stochastic Approximation . . . . 253

5.4 Monte Carlo and Quasi-Monte Carlo Search for Minima . . . . . . 2565.4.1 Monte Carlo Random Search . . . . . . . . . . . . . . . . . . . . . . . 2565.4.2 Quasi-Monte Carlo Search . . . . . . . . . . . . . . . . . . . . . . . . . 260

Page: XII job:book macro: svmono.cls date/time:18-Mar-2016/8:05

Contents XIII

6 Deterministic Optimal Control Over a Finite Horizon . . . . . 2636.1 Statement of Problem C1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2646.2 A Constructive Example for Understanding the Basic

Concepts of Dynamic Programming . . . . . . . . . . . . . . . . . . . . . . . 2656.3 Solution of Problem C1 by Dynamic Programming: The

Exact Approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2726.4 Sampling of the State Space and Application of FSP

Functions: The Approximate Dynamic Programming . . . . . . . . 2776.4.1 Sampling of the State Space . . . . . . . . . . . . . . . . . . . . . . . . 2776.4.2 The Recursive Equation of ADP . . . . . . . . . . . . . . . . . . . . 2796.4.3 Solving the Minimization Problems in the ADP

Equation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2846.4.4 The Kernel Smoothing Models in ADP . . . . . . . . . . . . . . 285

6.5 Computation of the Optimal Controls in the Forward Phaseof ADP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2906.5.1 Computation of the Optimal Control Functions by

Reoptimization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2916.5.2 Approximation by Parametrized Nonlinear

Programming . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2936.6 Generalization Error Owing to the Use of Sampling

Procedures and FSP Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . 2946.6.1 Approximation Errors and Approximating FSP

Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2966.6.2 Estimation Errors in the Context of Deterministic

Learning Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3006.7 Reduction of Problem C1 to a NLP Problem . . . . . . . . . . . . . . . 302

6.7.1 Solution of Problem C1 by Gradient-Based Algorithms 3036.7.2 The Final Time of Problem C1 is not Fixed . . . . . . . . . . 306

7 Stochastic Optimal Control with Perfect StateInformation Over Finite Horizon . . . . . . . . . . . . . . . . . . . . . . . . . . 3097.1 Statement of Problems C2 and C2′ . . . . . . . . . . . . . . . . . . . . . . . . 3097.2 Solution of Problem C2 and C2′ by Dynamic Programming:

the Exact Approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3127.2.1 Minimax control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 315

7.3 Sampling of the State Space, Application of FSP Functions,and Computation of Expected values: Approximate DynamicProgramming . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3177.3.1 Sampling of the state space and approximations by

FSP functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3177.3.2 Computation of Expected Values in ADP Recursive

Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3207.3.3 Computation of the optimal controls in the forward

phase of dynamic programming . . . . . . . . . . . . . . . . . . . . . 324

Page: XIII job: book macro: svmono.cls date/time:18-Mar-2016/8:05

XIV Contents

7.3.4 Error Propagation of the Optimal Cost-to-goFunctions Starting from Approximations of theOptimal Control Functions . . . . . . . . . . . . . . . . . . . . . . . . . 327

7.4 Some Notes on Approximate Dynamic Programming . . . . . . . . 3317.4.1 Discretization issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3317.4.2 Approximation issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3347.4.3 Some Structural Properties of the Optimal Cost-to-go

and Control Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3357.4.4 Reinforcement Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . 3377.4.5 Q-Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 342

7.5 Approximate solution of Problems C2 and C2′ by the ERIM . 3447.5.1 Approximation of the Functional Optimization or

IDO Problem C2 by the Nonlinear ProgrammingProblems C2n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 345

7.5.2 Approximation of Problems C2′ by the NonlinearProgramming Problems C2′n . . . . . . . . . . . . . . . . . . . . . . . 346

7.6 Solution of Problems C2n and C2′n . . . . . . . . . . . . . . . . . . . . . . . . 3507.6.1 Solution of Problem C2n by Nonlinear Programming . . 3507.6.2 Computation of the Gradient ∇u0,wn J(u0,wn,x0, ξ) . 3537.6.3 Computation of the Gradient ∇u0,wnJ(u0,wn,x0, ξ)

When Feedforward Neural Networks Are Used . . . . . . . . 3587.7 Comparison between approximate dynamic programming

and the ERIM in solving an example of Problem C2 . . . . . . . . . 3667.7.1 The model of the reservoir system . . . . . . . . . . . . . . . . . . . 3667.7.2 Computational aspects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3717.7.3 Computational aspects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3717.7.4 Computational requirements . . . . . . . . . . . . . . . . . . . . . . . . 3737.7.5 Comments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374

7.8 Approximating properties of the suboptimal control functionsderived by the ERIM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3757.8.1 Existence of St-approximating sequences of sets for

Problem C2′ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3767.8.2 Existence of pc St-approximating sequences of sets . . . . 3777.8.3 Existence of pc P-optimizing sequences for

Problem C2′ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3817.9 Extensions of Problem C2′ when other random variables are

present and/or other measures are available . . . . . . . . . . . . . . . . 3837.9.1 Measurable time-invariant random variables . . . . . . . . . . 3837.9.2 The random variables ξ0, ξ1, . . . , ξT−1 are measurable . 3897.9.3 Tracking a stochastic reference . . . . . . . . . . . . . . . . . . . . . . 392

8 Stochastic Optimal Control with Imperfect StateInformation Over a Finite Horizon . . . . . . . . . . . . . . . . . . . . . . . . 3958.1 Statement of Problem C3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3968.2 Solution of Problem C3 by dynamic programming . . . . . . . . . . . 398

Page: XIV job:book macro: svmono.cls date/time:18-Mar-2016/8:05

Contents XV

8.2.1 Reduction of Problem C3 to Problem C2 . . . . . . . . . . . . 3988.2.2 Derivation of the conditional probability densities

needed by dynamic programming . . . . . . . . . . . . . . . . . . . 4018.3 Approximate solution of Problem C3 by the ERIM . . . . . . . . . . 403

8.3.1 Approximation of Problem C3 by a sequence ofnonlinear programming problems . . . . . . . . . . . . . . . . . . . 404

8.3.2 Solution of Problem C3n by stochastic approximation . 4058.3.3 Specialization of stochastic approximation when

feedforward neural networks are used . . . . . . . . . . . . . . . . 4068.4 Approximation of Problem C3 by limiting the dimension of

the information state vector and by applying the ERIM . . . . . 4108.4.1 Limited-memory information vector IMt . . . . . . . . . . . . . . 4108.4.2 Approximate solution of Problem C3–LM by the ERIM 4148.4.3 Solution of Problem C3n–LM by stochastic

approximation and specialization to feedforwardneural networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 415

8.5 Examples of optimal control problems that can be stated asProblem C3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4208.5.1 The state xt is perfectly measurable, ξ0, ξ1, . . . , ξT−1

constitute a Markov process but cannot be measured . . 4218.6 Other control schemes for the approximate solution of

Problem C3-LM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4238.6.1 Certainty equivalence principle . . . . . . . . . . . . . . . . . . . . . . 4238.6.2 Open-loop feedback control, limited lookahead,

rollout, and model predictive control laws . . . . . . . . . . . . 4278.6.3 Enforcing the separation property and the CE

principle to the LM controller . . . . . . . . . . . . . . . . . . . . . . 4278.7 Numerical results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433

8.7.1 Comparison between an LQG optimal control lawderived analytically and limited-memory optimalcontrol laws . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 434

8.7.2 Freeway traffic optimal control . . . . . . . . . . . . . . . . . . . . . 4358.7.3 A problem of target motion analysis (TMA) . . . . . . . . . . 442

9 Team Optimal Control Problems . . . . . . . . . . . . . . . . . . . . . . . . . . 4479.1 Basic concepts of team theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 449

9.1.1 Statement of the team optimal control problem . . . . . . . 4499.1.2 Partially nested information structures . . . . . . . . . . . . . . . 451

9.2 The Witsenhausen counterexample . . . . . . . . . . . . . . . . . . . . . . . . 4549.2.1 Statement of the problem . . . . . . . . . . . . . . . . . . . . . . . . . . 4549.2.2 Application of the ERIM for the approximate solution

of Problem W. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4569.2.3 Numerical results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 461

9.3 Dynamic routing in traffic networks . . . . . . . . . . . . . . . . . . . . . . . . 4689.3.1 Modeling the communication network . . . . . . . . . . . . . . . 469

Page: XV job: book macro:svmono.cls date/time:18-Mar-2016/8:05

XVI Contents

9.3.2 Statement of the dynamic routing problem . . . . . . . . . . . 4719.3.3 Approximating properties of the neural routing functions4759.3.4 Distributed computation of the neural routing

functions via stochastic approximation . . . . . . . . . . . . . . 4789.3.5 Numerical results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 482

10 Optimal Control Problems Over an Infinite Horizon . . . . . . 48510.1 Statement of the basic infinite–horizon optimal control

problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48510.1.1 Infinite–horizon optimal control: the deterministic case 48510.1.2 Infinite–horizon optimal control: the perfect

state–information stochastic case . . . . . . . . . . . . . . . . . . . 49010.1.3 Infinite–horizon optimal control: the imperfect

state–information stochastic case . . . . . . . . . . . . . . . . . . . 49410.2 From finite to infinite horizon: the receding–horizon

approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49610.2.1 Statement of the receding–horizon control problem:

the deterministic case . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49710.2.2 Statement of the receding–horizon control problem:

the perfect state–information stochastic case . . . . . . . . . 49910.2.3 Statement of the receding–horizon control problem:

the imperfect state–information stochastic case . . . . . . . 50110.3 Stabilizing properties of deterministic RH control laws . . . . . . . 503

10.3.1 Main notations and background on useful ISS stabilityresults . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 503

10.3.2 Closed-loop stability analysis under the action of anapproximate RH control law . . . . . . . . . . . . . . . . . . . . . . . . 510

10.3.3 Design of the stabilizing approximate RH control law . . 51210.3.4 Numerical results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 516

10.4 An extension to the stochastic case: optimal tracking of anunpredictable reference variable . . . . . . . . . . . . . . . . . . . . . . . . . . . 52010.4.1 Three approximations for the tracking problem:

certainty equivalence principle, receding-horizoncontrol scheme, and finite-memory information vectors 521

10.4.2 Approximate solution of the RH optimization scheme 1 52410.4.3 Numerical results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 527

A Appendix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 533A.1 Optimization in finite–dimensional spaces and infinite–

dimensional spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 533A.1.1 *** Titolino da mettere *** . . . . . . . . . . . . . . . . . . . . . . . . 535

A.2 Epi–convergence of approximating Problems Pν . . . . . . . . . . . . 536A.3 Background mathematics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 540

A.3.1 Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 541A.3.2 Vector spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 541

Page: XVI job:book macro: svmono.cls date/time:18-Mar-2016/8:05

Contents XVII

A.3.3 Normed spaces. Banach spaces . . . . . . . . . . . . . . . . . . . . . . 542A.3.4 Inner product spaces. Hilbert spaces . . . . . . . . . . . . . . . . . 543A.3.5 Best approximation in normed spaces . . . . . . . . . . . . . . . . 543A.3.6 Some classical normed spaces . . . . . . . . . . . . . . . . . . . . . . . 543A.3.7 Functionals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 544A.3.8 Algebras of functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 544A.3.9 Orders: the notations Ω, O , and Θ . . . . . . . . . . . . . . . . 545A.3.10 Miscellaneous theorems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 545A.3.11 Miscellaneous definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . 546

A.4 Summary of notations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 546References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 549

Page: XVII job: book macro: svmono.cls date/time:18-Mar-2016/8:05