Tesi Corretta (16_10_14)

FACOLTÀ DI SCIENZE MM.FF.NN.

CORSO DI LAUREA IN MATEMATICA

A.A. 2013/2014

Tesi di Laurea

Processi di puro salto Markoviano:legge degli intertempi e caratterizzazione della non esplosività

RELATORE CANDIDATO

Dott.ssa Barbara Torti Eugenio Liaci

CONTRORELATORE

Dott.ssa Barbara Pacchiarotti

Dedicato alla mia Famiglia: ad Elle che mi è accanto ogni giorno e mi tiene d’occhio,

ad Eri che è lo stimolo di ogni giorno, a Mamma e Papà che sono stupendi e impre-

scindibili ogni giorno.

Dedicato a tutti i miei parenti presenti ma anche agli assenti, perchè, sicuramente,

sarebbero voluti essere qui.

Dedicato ad Arianna e alla sua infinita pazienza...ne avrai bisogno!!

Dedicato a chi ha condiviso con me tante esperienze in questi anni di università: Cì ,

Red, Checco, Mattia, Peppone, il Presidente, Nello, Lupo, Este, Fede, Wood, Arianna,

Giuseppe, Veronica, Balo, Ale, Alex, Elisa, i Luca, Mario, Samuel e tutti quelli che

ho scordato....scusate non volevo!

Indice

Introduzione 1

1 Richiami e definizioni 4

1.1 Generalità sulle catene di Markov a tempo discreto . . . . . . . . . . 4

1.2 Introduzione ai processi stocastici a parametro continuo . . . . . . . . 10

2 Processi Markoviani di puro salto 12

2.1 Processi di salto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

2.2 Processi di nascita e morte . . . . . . . . . . . . . . . . . . . . . . . . 22

2.3 Processi di Poisson . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

3 Risultati notevoli 29

3.1 Caratterizzazione intertempi di salto . . . . . . . . . . . . . . . . . . 29

3.2 Costruzione di un processo di salto . . . . . . . . . . . . . . . . . . . 34

3.3 Non esplosività . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

Bibliografia 41

INDICE I

Introduzione

I processi Markoviani sono una classe particolare di processi stocastici, che trovano

la loro applicazione in molti campi tra cui l’informatica, la biologia e l’economia. La

caratteristica principale di questi processi è la possibilità di fare previsioni sul “futuro”

del processo, basandosi esclusivamente sul “presente” e dimenticando il “passato”. Il

primo a svilupparne la teoria fu il matematico russo Andrej Andreevič Markov(1856-

1922), da cui questi prendono il nome.

La trattazione che segue ha come soggetto i così detti processi di puro salto Mar-

koviani omogenei : in generale un processo di salto descrive l’evolvere di un sistema

dipendente da un parametro discreto, o continuo, di solito il tempo, che mantiene una

configurazione costante per un intervallo di tempo aleatorio e poi cambia configurazio-

ne, essendo il numero delle configurazioni al più numerabili. Tali processi assumono

al più una infinità numerabile di valori e hanno traiettorie nell’insieme delle funzioni

costanti a tratti. L’aggettivo puro (o non esplosivo) indica che non si può fare una

infinità numerabile di salti in un intervallo di tempo finito; mentre l’aggettivo omo-

geneo indica che la legge di un tale processo in un intervallo di tempo (s, t) dipende

dal tempo solo tramite la lunghezza dell’intervallo (t− s).

Lo scopo principale di questo lavoro è stato di indagare sulla legge seguita dagli in-

tertempi di salto di un processo di puro salto Markoviano che, essendo differenze di

variabili aleatorie, rimangono ancora variabili aleatorie.

Introduzione 1

Introduzione

Questo lavoro è suddiviso in tre capitoli; nel primo si descrivono brevemente le catene

di Markov e si introducono i processi stocastici a parametro continuo, fornendo delle

utili definizioni come quella di tempi di arresto e filtrazioni, che risultano fondamen-

tali nello studio di tali processi.

Nel secondo capitolo si definiscono i processi di puro salto e i processi di puro salto

Markoviani. Più precisamente si introduce per i processi di puro salto la “proprietà

di Markov” che stabilisce l’uguaglianza tra la legge condizionale del processo ad un

tempo fissato t dato il suo valore ad un istante precedente s < t e la legge condizio-

nale del processo al tempo t dato il valore assunto dal processo negli istanti di tempo

s > tn > tn−1 > · · · > t1 > t0 = 0 al variare di n, t1, . . . , tn, e delle configurazioni

assunte x0, x1, . . . , xn.

Si definisce poi la famiglia delle funzioni di transizione del processo

Pxy(t) = P(Xt = y|X0 = x).

Assumendo che le leggi degli intertempi di salto siano esponenziali e che valga una

condizione di indipendenza condizionale degli intertempi di salto dato il valore assunto

dal processo sui salti, si ricavano delle equazioni differenziali (backward, forward), la

cui soluzione è appunto Pxy(t).

Si riscrivono poi tali equazioni in termini di una particolare matrice nota con il nome

di “generatore infinitesimale” del processo; in seguito si presentano i processi di nascita

e morte che sono processi di puro salto Markoviani omogenei caratterizzati dal fatto

che da uno stato x ∈ N il processo può solo andare in x + 1 o x − 1. Infine, sono

presentati ed analizzati i processi di Poisson, che sono un noto esempio di processo di

pura nascita.

Nel terzo capitolo si dimostra che le assunzioni fatte per ricavare le equazioni backward

Introduzione 2

Introduzione

e forward sono sovrabbondanti. La parte centrale di questa tesi è appunto dimostrare

che la sola proprietà di Markov è sufficiente per caratterizzare la legge degli intertempi

e l’indipendenza condizionale degli intertempi dato i valori assunti dal processo sui

tempi di salto. Più precisamente l’ultimo capitolo è suddiviso in tre paragrafi: ognuno

di questi contiene un teorema, con relativa dimostrazione, che fissa delle caratteristiche

dei processi di salto Markoviani; si è dapprima indagato circa il legame che sussiste

tra la proprietà di Markov e la legge degli intertempi di salto; si è poi dimostrato

come sia possibile associare ad una matrice quadrata, con determinate proprietà, un

processo di salto Markoviano, che abbia quella matrice come generatore infinitesimale,

ed infine, è esposta una condizione necessaria e sufficiente affinchè un processo di salto

Markoviano sia non esplosivo.

Introduzione 3

Capitolo 1

Richiami e definizioni

1.1 Generalità sulle catene di Markov a tempo di-screto

Sia (Ω,F ,P) uno spazio di probabilità, e sia (E,E ) uno spazio misurabile.

Definizione 1.1.1. Un processo stocastico è una famiglia di variabili aleatorie

X(t)t∈T a valori in uno spazio comune (E,E ), dove T è un insieme di indici. Se T

è un insieme discreto, il processo si dirà a parametro discreto, o più semplicemente,

catena; si indica un processo stocastico così fatto con Xnn∈N. Il processo si dirà a

parametro continuo se l’insieme T , è un sottoinsieme continuo di R+.

In questo paragrafo si considera un processo stocastico a tempo discreto Xnn∈N

che assume valori in un insieme finito o numerabile (E,E ). Senza perdita di generalità

si può assumere l’insieme E = 0, 1, 2, . . . . Tale insieme E è detto spazio degli

stati.

Definizione 1.1.2. Si chiama catena di Markov un processo stocastico a tempo

discreto a valori in E, tale che valga la proprietà seguente: per ogni n ≥ 0 e per ogni

i0, i1, . . . , in−1, i, j ∈ E

P(Xn+1 = j|Xn = i,Xn−1 = in−1, . . . , X0 = i0) = P(Xn+1 = j|Xn = i). (1.1.1)

4

Cap. 1 Richiami e definizioni §1.1 Generalità sulle catene di Markov a tempo discreto

Se inoltre il membro a destra dell’ultima equazione è indipendente da n allora la catena

di Markov si dice omogenea.

La proprietà 1.1.1 è chiamata proprietà di Markov.

Ad ogni catena di Markov omogenea si associa la matrice P = (Qij)i,j∈E il cui elemento

generico è definito dalla relazione:

Qij = P(Xn+1 = j|Xn = i) = P(X1 = j|X0 = i). (1.1.2)

Tale matrice è detta matrice di transizione ad un passo, o più semplicemente

matrice di transizione.

In modo analogo, si definisce lamatrice di transizione ad m passi, Pm = (Qmij )i,j∈E,

il cui elemento generico è definito da:

Qmij = P(Xn+m = j|Xn = i) = P(Xm = j|X0 = i). (1.1.3)

Si vedrà nel Teorema 1.1.1 che Pm coindide con il prodotto matriciale P×P×· · ·×P

m volte.

Osservazione 1.1.1. Ogni riga della matrice di transizione P, è una distribuzione

di probabilità sull’insieme E. Più precisamente per ogni i, j ∈ E,

Qij ≥ 0,∑j∈E

Qij = 1. (1.1.4)

La variabile aleatoria X0 è chiamata stato iniziale del processo e la sua distribu-

zione ν0(i) = P(X0 = i) è chiamata distribuzione iniziale. La distribuzione della

catena di Markov al tempo n è un vettore νn definito da:

νn(i) = P(Xn = i), i ∈ E. (1.1.5)

5


Osservazione 1.1.2. La legge di una catena di Markov Xnn≥0 è univocamente

determinata dalla distribuzione iniziale ν0 e dalla matrice di transizione P; infatti

risulta per ogni n ∈ N, e per ogni x0, x1, . . . , xn ∈ E:

P(X0 = x0, X1 = x1, . . . , Xn = xn) = ν0(x0)Qx0x1Qx1x2 · · ·Qxn−2xn−1Qxn−1xn . (1.1.6)

Dimostrazione. Grazie a 1.1.1 risulta

P(X0 = x0, X1 = x1, . . . , Xn = xn) =

= P(Xn = xn|Xn−1 = xn−1, . . . , X0 = x0)P(Xn−1 = xn−1|Xn−2 = xn−2, . . . , X0 = x0) · · ·

· · ·P(X2 = x2|X1 = x1, X0 = x0)P(X1 = x1|X0 = x0)P(X0 = x0) =

= P(Xn = xn|Xn−1 = xn−1)P(Xn−1 = xn−1|Xn−2 = xn−2) · · ·

· · ·P(X2 = x2|X1 = x1)P(X1 = x1|X0 = x0)P(X0 = x0) =

= ν0(x0)Qx0x1Qx1x2 · · ·Qxn−2xn−1Qxn−1xn .

Proposizione 1.1.1. L’equazione 1.1.1 è equivalente alla seguente relazione, per ogni

n, k ∈ N e per ogni j1, . . . , jk, i0, . . . in−1, i ∈ E,

P(Xn+1 = j1, Xn+2 = j2, . . . , Xn+k = jk|Xn = i,Xn−1 = in−1, . . . , X0 = i0) =

= P(Xn+1 = j1, Xn+2 = j2, . . . , Xn+k = jk|Xn = i). (1.1.7)

Dimostrazione. Sviluppando il primo membro dell’equazione precedente, utilizzando

la relazione 1.1.6, semplificando e infine utilizzando la proprietà di Markov 1.1.1 si

6


ottiene:

P(Xn+1 = j1, Xn+2 = j2, . . . , Xn+k = jk|Xn = i,Xn−1 = in−1, . . . , X0 = i0) =

=P(X0 = i0, X1 = i1, . . . , Xn = i,Xn+1 = j1, Xn+2 = j2, . . . , Xn+k = jk)

P(X0 = i0, X1 = i1, . . . , Xn = i)=

=ν0(i0)Qi0i1 · · ·Qin−1iQij1Qj1j2 · · ·Qjk−1jk

ν0(i0)Qi0i1 · · ·Qin−1i

= Qij1Qj1j2 · · ·Qjk−1jk =

=P(Xn = i,Xn+1 = j1, . . . Xn+k = jk)

P(Xn = i)=

= P(Xn+1 = j1, Xn+2 = j2, . . . , Xn+k = jk|Xn = i).

In altre parole la proprietà di Markov 1.1.1 garantisce che: se si vuole fare inferenza

sullo stato futuro della catenaXn+m, la conoscenza dello stato presenteXn o dell’intera

storia del processo dal tempo 0 a tempo n, è equivalente. Diamo di seguito un esempio

di catena di Markov.

Esempio 1.1. Siano E e F due insiemi numerabili, e sia f : E × F → E una

funzione. Siano Ymm≥1 variabili aleatorie indipendenti identicamente distribuite

(i.i.d.) a valori in F, e X0 una v.a., indipendente da ogni Ymm≥1, a valori in E.

Per ogni n ≥ 1, si definisce la catena per ricorrenza come

Xn+1 = f(Xn, Yn+1). (1.1.8)

Allora il processo Xnn≥0 è una catena di Markov.

Dimostrazione. Per ogni n ≥ 0, per ogni x0, x1, . . . , xn, xn+1 ∈ E vale la seguente

7


catena di uguaglianze

P(Xn+1 = xn+1|X0 = x0, X1 = x1, . . . , Xn = xn) =

=P(X0 = x0, . . . , Xn = xn, Xn+1 = xn+1)

P(X0 = x0, . . . , Xn = xn)=

=∑

y:f(xn,y)=xn+1

P(X0 = x0, . . . , Xn = xn, Yn+1 = y)

P(X0 = x0, . . . , Xn = xn)=

=∑

y:f(xn,y)=xn+1

P(Yn+1 = y) =

=P(Xn = xn, Xn+1 = xn+1)

P(Xn = xn)= P(Xn+1 = xn+1|Xn = xn).

Teorema 1.1.1. Una catena di Markov omogenea Xnn≥0 con matrice di transizione

P gode delle seguenti proprietà:

1. P(Xn = y|X0 = x) = P(Xn+p = y|Xp = x) = (Pn)xy, (1.1.9)

dove Pn è il prodotto matriciale di P× P× · · · × P n volte;

2. P(Xn = y) = (ν0Pn)y y ∈ E. (1.1.10)

Dimostrazione. 1 ): utilizzando la 1.1.6

P(Xn = y|X0 = x) =∑

x1,··· ,xn−1

P(Xn = y,Xn−1 = xn−1, . . . , X1 = x1|X0 = x) =

=∑

x1,··· ,xn−1

ν0(x)Qx,x1 · · ·Qxn−1y

ν0(x)=

=∑

x1,··· ,xn−1

Qx,x1 · · ·Qxn−1y = (Pn)xy.

2 ):

P(Xn = y) =∑x∈E

P(Xn = y|X0 = x)ν0(x),

usando ora i risultato del punto 1, l’asserto risulta dimostrato.

8


Si farà spesso ricorso alla scrittura Px(·) per far riferimento alla misura di proba-

bilità di un processo che parte dallo stato x, e conseguentemente alla scrittura Ex(·)

per riferirsi all’aspettazione sotto la misura di probabilità di un processo che parte

dallo stato x. Più precisamente,

Px(A) = P(A|X0 = x), A ∈ F .

Per un processo che parte da uno stato x, risulta utile definire la v.a. Tx, che indica

il tempo di primo ritorno allo stato x, ovvero:

Tx =

inf n ≥ 1;Xn = x se n ≥ 1 : Xn = x 6= ∅,+∞ altrimenti.

(1.1.11)

Per completezza si ricorda la classificazione degli stati per una catena di Markov

omogenea a valori in E:

1. Uno stato y si dice accessibile a partire dallo stato x se esiste n ≥ 0 tale che

Px(Xn = y) > 0;

2. Uno stato x si dice ricorrente se Px(Tx <∞) = 1;

3. Uno stato x si dice transiente se Px(Tx <∞) < 1;

4. Uno stato x si dice assorbente se Px(Xn = x) = 1 ∀n ≥ 0;

5. Uno stato x si dice ricorrente positivo se Ex(Tx) <∞;

6. Uno stato x si dice ricorrente nullo se Ex(Tx) =∞;

9

Cap. 1 Richiami e definizioni §1.2 Introduzione ai processi stocastici a parametro continuo

1.2 Introduzione ai processi stocastici a parametrocontinuo

Sia T un sottoinsieme continuo di R+.

Si ricorda che un processo stocastico a parametro continuo, è una famiglia di variabili

aleatorie Xtt∈T , a valore in uno spazio comune (E,E ).

Definizione 1.2.1. Si chiama filtrazione una successione Ftt∈T crescente di

sotto− σ − algebre di F , cioè tale che,∀s, t ∈ T con s ≤ t, risulta Fs ⊆ Ft ⊆ F .

Definizione 1.2.2. Sia Xtt∈R+ un processo stocastico. Si indica con FXt la più

piccola σ-algebra che rende misurabile ciascuna variabile aleatoria Xs per ogni s ≤ t.

Usualmente FXt si indica con σ(Xs, s ≤ t).

Osservazione 1.2.1.FXt

t∈T è una filtrazione dal momento che FX

s ⊆ FXt per

ogni s ≤ t.

Definizione 1.2.3. La famiglia crescente di σ-algebreFXt

t∈T è nota con il nome

di filtrazione generata dal processo X(t).

Intuitivamente la σ-algebra FXt raccoglie l’informazione generata dall’evolversi del

processo fino a tempo t.

Definizione 1.2.4. Si chiama tempo di arresto associato al processo Xt una

v.a. S a valori in R+ ∪ +∞, tale che ∀t ∈ R+

S ≤ t ∈ FXt .

Sia S un tempo di d’arresto associato al processo Xt; sia FXS la seguente famiglia

di insiemi:

FXS =

A ∈ FX

∞ ;A ∩ S ≤ t ∈ FXt , ∀t ≥ 0

. (1.2.12)

10

Cap. 1 Richiami e definizioni §1.2 Introduzione ai processi stocastici a parametro continuo

Osservazione 1.2.2. FXS è una σ-algebra.

Dimostrazione. Risulta infatti

1. Ω ∈ FXS perchè per definizione di tempo di arresto,

Ω ∩ S ≤ t = S ≤ t ∈ FXt ;

2. A ∈ FXS , allora AC ∩ S ≤ t = S ≤ t − (A ∩ S ≤ t) ∈ FX

t e quindi

AC ∈ FXS ;

3. An ∈ FXS ⇒ ∪nAn ∈ FX

S . Infatti

∪nAn ∩ S ≤ t = ∪n An ∩ S ≤ t ∈ FXt .

Si può dimostrare ([5] Lemma 1.3.3) che FXS è la storia generata dal processo

stoppato

Xt∧S =

Xt t ≤ S

XS t > S,

ovvero FXS = σ Xt∧S, t ∈ [0,+∞).

11

Capitolo 2

Processi Markoviani di puro salto

Si considera nel seguito un sistema che evolvendo nel tempo, possa assumere un

insieme finito oppure numerabile, di configurazioni. In accordo con le notazioni in-

trodotte nel primo capitolo, si indica con E l’insieme che raccoglie tutte le possibili

configurazioni del sistema (spazio degli stati), e conseguentemente si chiama ogni ele-

mento di E = xn, n ∈ N, stato del sistema. Le variabili aleatorie che si introducono

si supporranno definite su uno spazio di probabilità (Ω,F ,P).

2.1 Processi di salto

Sia Tnn∈N+ una successione strettamente crescente di variabili aleatorie continue

a valori in R+, e sia Znn∈N una successione di variabili aleatorie a valori in E. Si

assuma T0 = 0 q.c..

Definizione 2.1.1. Si chiama processo di salto, una famiglia di v.a. X(t)t∈R+

a valori in E, definita come segue:

Xt(ω) =∑

n≥0:Tn(ω)<∞

Zn(ω)1[Tn(ω),Tn+1(ω)[(t). (2.1.1)

Evidentemente

Zn(ω) = XTn(ω). (2.1.2)

12

Cap. 2 Processi Markoviani di puro salto §2.1 Processi di salto

X(t) è un processo stocastico che descrive l’evoluzione di un sistema: il sistema

parte dallo stato Z0 e resta in questa configurazione per un tempo aleatorio T1, quando

il sistema salta, passa allo stato Z1 6= Z0. Il sistema a questo punto, resta nello stato

Z1 fino ad un tempo T2 > T1, quando il sistema salta allo stato Z2 6= Z1. Il processo

appena descritto può ripetersi un numero anche infinito di volte. Se il sistema resta

in uno stato Zn per un tempo infinito, allora si pone Tn+1 = +∞ e si chiama lo stato

Zn assorbente.

Il processo X(t) descritto in 2.1.1, a differenza di quanto si possa pensare, non è in

generale definito per ogni t ≥ 0. A tal proposito si consideri il seguente esempio:

Esempio 2.1. Si consideri una palla che rimbalza su un pavimento. Si assuma che

E = N dove lo stato i indica l’i-esimo rimbalzo. Si può ragionevolmente assumere

che il tempo trascorso per passare dallo stato n allo stato n+ 1 sia 2−n. Il tempo cui

avviene l’n-esimo salto è

Tn = 1 +1

2+ · · ·+ 1

2n−1= 2− 1

2n−1,

che risulta sempre una quantità minore di 2 e tale che Tn → 2 per n → +∞. In

questo caso quindi 2.1.1 definisce il processo X(t) solo per 0 ≤ t < 2. Al tempo t = 2,

la palla avrà fatto un numero infinito di rimbalzi e si pone di conseguenza X(t) = +∞

per t ≥ 2.

Si dirà che un processo di salto per cui vale

limn→+∞

Tn < +∞ q.c.

esplode; al contrario si dice che il processo non esplode se

limn→+∞

Tn = +∞ q.c..

13


Analogamente a quanto scritto nel capitolo 1, per ogni x ∈ E, sia Px la misura

di probabilità condizionata all’evento X0 = x, ovvero tale che per ogni A ∈ F ,

Px(A) = P(A|X0 = x).

Definizione 2.1.2. Si dirà che il processo X(t) definito in 2.1.1 è puro o non

esplosivo se

Px( limn→+∞

Tn = +∞) = 1 (2.1.3)

per ogni stato iniziale x ∈ E.

Uno stato x ∈ E è detto assorbente, se Px(T1 = +∞) = 1, per ogni n ∈ N.

Agli stati non assorbenti si associano:

1. una funzione di ripartizione Fx(t): nulla per tutti i t ≤ 0, che indica la probabi-

lità dell’evento T1 ≤ t condizionata a X0 = x, ovvero

Fx(t) = Px(T1 ≤ t). (2.1.4)

2. la probabilità di transizione Qxy = Px(X(T1) = y), y ∈ E, che indica la misura

di probabilità del salto dallo stato x allo stato y in un tempo finito;

Nel seguito si faranno le seguenti ipotesi:

(I) Qxx = 0 e di conseguenza∑

y∈E−xQxy = 1;

(II) il tempo di salto T1 sia indipendente da X(T1) condizionatamente a X0 = x, per

ogni x ∈ E;

(III) la legge condizionale di T1 dato l’evento X0 = x è una legge esponenziale di

parametro qx.

14


Con la scrittura introdotta, se si vuole sapere qual è la probabilità di fare un salto

dallo stato x allo stato y in un tempo finito t, scriveremo:

Px(T1 ≤ t,X(T1) = y) = Fx(t) ·Qxy.

Analogamente al caso delle catene, si introduce la famiglia di matrici P(t)t∈R+

di elemento generico Pxy(t) = P(X(t) = y|X(0) = x), per ogni x, y ∈ E. Questa

matrice è detta matrice di transizione al tempo t, ∀t ∈ R+.

Osservazione 2.1.1. Se x, y ∈ E, allora Pxy(0) = δxy, dove δxy = 0 se y 6= x e

δxy = 1 se x = y.

Dimostrazione. Risulta per ogni t ≥ 0,∑

y∈E Pxy(t) = 1, e quindi in particolare vale∑y∈E Pxy(0) = 1; ∀h ∈ R+ e y 6= x vale però la seguente relazione:

0 ≤ Pxy(h) ≤ Px(T1 ≤ h),

e passando al limite per h→ 0, assumendo la continuità a destra di Pxy(t) in t = 0,

limh→0

Pxy(h) ≤ limh→0

Px(T1 ≤ h) = limh→0

Fx(h) = 0

ed in conclusione si ricava l’asserto.

Definizione 2.1.3. Un processo di puro salto che gode della proprietà

P(Xtn+1 = xn+1|Xtn = xn, Xtn−1 = xn−1, . . . , X(0) = x0) =

= P(Xtn+1 = xn+1|Xtn = xn), (2.1.5)

per ogni n ∈ N, 0 < t1 < t2 < · · · < tn < tn+1 e x0, x1, . . . , xn, xn+1 ∈ E, è detto

un processo Markoviano di puro salto. Inoltre se l’ultimo membro dell’equazione

15


precedente dipende da (tn, tn+1) solo tramite la distanza tn+1 − tn, il processo è detto

omogeneo. In tal caso si indica con

P(Xtn+1 = xn+1|Xtn = xn) = P(Xtn+1−tn = xn+1|X0 = xn) = Pxnxn+1(tn+1 − tn).

(2.1.6)

Nel seguito si farà riferimento solo a processi di tipo omogeneo.

Una diretta conseguenza della proprietà di Markov per un processo omogeneo è

illustrata nella seguente proposizione:

Proposizione 2.1.1. Sia Xt : t ≥ 0 un processo di salto Markoviano, con legge

iniziale µ0 e matrici di transizione Pxy(t) : t > 0, x e y ∈ E. Per ogni n ∈ N,

0 < t1 < t2 < · · · < tn la legge del vettore aleatorio (X0, Xt1 , . . . , Xtn) è determinata

dalle relazioni

P(X0 = x0, Xt1 = x1, Xt2 = x2, . . . , Xtn = xn) =

= µ0(x0)Px0x1(t1)Px1x2(t2 − t1) · · ·Pxn−1xn(tn − tn−1),

per tutti gli x0, x1, . . . , xn ∈ E.

Inoltre la legge µt della v.a. Xt è data dalla relazione

µt(y) =∑x∈E

µ0(x)Pxy(t) y ∈ E.

Dimostrazione. Dalla proprietà di Markov 2.1.5, si ricava

P(X0 = x0, Xt1 = x1, Xt2 = x2, . . . , Xtn = xn) =

= P(X0 = x0)P(Xt1 = x1|X0 = x0)P(Xt2 = x2|X0 = x0, Xt1 = x1) · · · · · ·P(Xtn = xn|X0 = x0, Xt1 = x1 . . . Xtn−1=xn−1) =

= P(X0 = x0)P(Xt1 = x1|X0 = x0)P(Xt2 = x2|Xt1 = x1) · · ·P(Xtn = xn|Xtn−1=xn−1) =

= µ0(x0)Px0x1(t1)Px1x2(t2 − t1) · · ·Pxn−1xn(tn − tn−1).

16


Il secondo assunto si ottiene ponendo n = 1 nella formula precedente:

P(X0 = x,Xt = y) = µ0(x)Pxy(t)

e infine sommando su tutti gli x ∈ E

µt(y) =∑x∈E

P(X0 = x,Xt = y) =∑x∈E

µ0(x)Pxy(t).

Dalla proposizione precedente si ricava

Pxy(t+ s) =∑z∈E

Pxz(t) · Pzy(s) ∀t, s ≥ 0. (2.1.7)

Tale relazione è nota come equazione di Chapman-Kolmogorov.

Tenendo presenti le ipotesi (I), (II), (III) introdotte a pagina 14 vale il seguente

Teorema 2.1.1. La funzione di transizione Pxy(t) per un processo di puro salto

Markoviano soddisfa la seguente equazione integrale:

Pxy(t) = δxye−qxt +

∫ t

0

qxe−qxs

∑z 6=x

QxzPzy(t− s) ds. (2.1.8)

Dimostrazione. Sia x sia uno stato assorbente. Allora, banalmente, l’equazione pre-

cedente si riduce ad Pxy(t) = δxy. Sia ora x uno stato non assorbente. Per un processo

che parte dallo stato x l’evento T1 ≤ t,X(T1) = z,X(t) = y si verifica se e solo se

si verifica il primo salto dallo stato x allo stato z in un tempo T1 ≤ t e poi il salto

dallo stato z allo stato y nel restante tempo t−T1. Più precisamente si ha la seguente

catena di uguaglianze:

Px(T1 ≤ t,X(T1) = z,X(t) = y) = P(T1 ≤ t,X(T1) = z,X(t) = y|X0 = x) =

=

∫RP(T1 ≤ t,X(T1) = z,X(t) = y|T1 = s,X0 = x)fx(s) ds =

=

∫ t

0

P(X(T1) = z,X(t) = y|T1 = s,X0 = x)qxe−qxs ds. (2.1.9)

17


Sviluppando il primo fattore all’interno dell’integrale si scrive

P(X(T1) = z,X(t) = y|T1 = s,X0 = x) =

= P(X(t) = y|X(T1) = z, T1 = s,X0 = x)P(X(T1) = z|T1 = s,X0 = x);

grazie alla proprietà di Markov 2.1.5

P(X(t) = y|X(T1) = z, T1 = s,X0 = x) = P(X(t) = y|X(s) = z),

mentre, grazie all’ipotesi (III) a pagina 14 risulta

P(X(T1) = z|T1 = s,X0 = x) = P(X(T1) = z|X0 = x),

quindi in conclusione

P(X(T1) = z,X(t) = y|T1 = s,X0 = x) =

= P(X(t) = y|X(s) = z)P(X(T1) = z|X0 = x) = Pzy(t− s)Qxz.

Sostituendo quanto appena trovato in 2.1.9 e sommando su tutti gli z 6= x, si scrive

Px(T1 ≤ t,X(t) = y) =∑z 6=x

Px(T1 ≤ t,X(T1) = z,X(t) = y) =

=∑z 6=x

∫ t

0

Pzy(t− s)Qxzqxe−qxs ds =

∫ t

0

qxe−qxs

∑z 6=x

QxzPzy(t− s) ds.

Mentre

Px(T1 > t,X(t) = y) = δxyPx(T1 > t) = δxye−qxt.

In conclusione

Pxy(t) = Px(X(t) = y) = Px(T1 > t,X(t) = y) + Px(T1 ≤ t,X(t) = y) =

= δxye−qxt +

∫ t

0

qxe−qxs

∑z 6=x

QxzPzy(t− s) ds.

18


Osservazione 2.1.2. La formula 2.1.8 può essere riscritta, dopo il cambio di variabile

t− s = w, come:

Pxy(t) = δxye−qxt + qxe

−qxt∫ t

0

eqxw∑z 6=x

QxzPzy(w) dw. (2.1.10)

Osservazione 2.1.3. Il secondo membro in 2.1.10 dice che Pxy(t) è una funzione

derivabile in t per ogni t ≥ 0; differenziando 2.1.10 otteniamo quindi:

P′xy(t) = −qxPxy(t) + qx∑z 6=x

QxzPzy(t). (2.1.11)

Ponendo nella precedente formula t = 0 si ottiene P′xy(0).

Definizione 2.1.4. Le quantità qxy = P′xy(0) si chiamano parametri infinitesimali

del processo. L’equazione 2.1.11 insieme all’osservazione 2.1.1 fanno scrivere:

P′xy(0) = qxy =

−qx y = x

qxQxy y 6= x(2.1.12)

I parametri infinitesimali determinano i parametri qx e la matrice di transizione

Qxy(x,y)∈E×E.

Osservazione 2.1.4. Si noti che se y 6= x da 2.1.12 risulta:

∑y 6=x

qxy =∑y 6=x

qxQxy = qx∑y 6=x

Qxy = qx = −qxx (2.1.13)

Definizione 2.1.5. La matrice G = (qxy)(x,y)∈E×E si chiama generatore infinite-

simale del processo Xt.

Si sottolineano le proprietà principali del generatore infinitesimale che scaturiscono

direttamente dalla definizione precedente e dalle relazioni 2.1.13:

1. P′xy(0) = qxy ≥ 0 y 6= x, (2.1.14)

2. qxx = −qx = −∑y 6=x

qxy. (2.1.15)

19


Proposizione 2.1.2. Sia G = (qxy)(x,y)∈E×E il generatore infinitesimale di un pro-

cesso di puro salto Markoviano; allora per h ≈ 0:

Pxy(h) = P(Xh = y|X0 = x) =

hqxy + o(h) se x 6= y

1 + hqxx + o(h) se x = y. (2.1.16)

Dimostrazione. Si verifica facilmente utilizzando lo sviluppo in serie di Taylor della

funzione di transizione Pxy(h) centrato in zero e troncato al primo ordine, infatti

Pxy(h) = Pxy(0) +P′xy(0)

1!h+ o(h) =

hqxy + o(h) se x 6= y

1 + hqxx + o(h) se x = y.(2.1.17)

Osservazione 2.1.5. Riscrivendo la formula 2.1.11 in funzione dei parametri infini-

tesimali del processo si ottiene:

P′xy(t) =∑z∈E

qxzPzy(t) (2.1.18)

definita per ogni t ≥ 0, detta equazione backward.

Osservazione 2.1.6. Differenziando rispetto ad s la formula di Chapman-Kolmogorov

2.1.7 e ponendo conseguentemente s = 0 otteniamo:

P′xy(t) =∑z∈E

Pxz(t)qzy (2.1.19)

definita per ogni t ≥ 0, detta equazione forward.

Evidentemente da 2.1.18 si ricava che la legge di un processo di puro salto Mar-

koviano dipende unicamente dal generatore.

Questa proprietà insieme alle ipotesi (II), (III) a pagina 14 saranno formalmente

dimostrate nel terzo capitolo nel teorema 3.1.1 e 3.1.2 a partire dalla sola assunzione

di Markovianità 2.1.5.

A tal proposito avremo bisogno di utilizzare una proprietà più forte della 2.1.5 detta

20


proprietà forte di Markov che i processi di puro salto Markoviani soddisfano (per

i dettagli della dimostrazione, si rimanda al teorema 3.1 pag. 142 di [3]).

Definizione 2.1.6. Sia S un tempo d’arresto per il processo Xt. Si dice che

Xt soddisfa la proprietà forte di Markov se condizionatamente a S < +∞

e XS = x, il processo XS+t, t ≥ 0 è indipendente da FXS ed inoltre segue la stessa

legge condizionale del processo Xt; t ≥ 0 dato X0 = x.

La proprietà di Markov forte implica che ∀A ∈ FXS , x, y ∈ E, t > 0

P(A ∩ Xt+S = y | S < +∞ ∩ XS = x) =

= P(A| S < +∞ ∩ XS = x)P(Xt+S = y| S < +∞ ∩ XS = x) =

= P(A| S < +∞ ∩ XS = x)P(Xt = y|X0 = x); (2.1.20)

quest’ultima uguaglianza in particolare si esprime anche tramite la relazione

P(Xt+S = y| XS = x ∩ A, S < +∞) = P(Xt = y|X0 = x) ∀A ∈ FXS .

(2.1.21)

Dal momento che un processo di puro salto Markoviano gode della proprietà di Markov

forte, segue che la catena Zn definita in 2.1.2 è una catena di Markov a tempo discreto,

che assume valori in E, chiamata catena embedded, tale che Zn 6= Zn+1 q.c., per

ogni n ≥ 0. La sua matrice di transizione P è facilmente individuata in termini di

parametri infinitesimali 2.1.12 del processo Xt:

Qxy =

qxy−qxx y 6= x

0 y = x.(2.1.22)

21

Cap. 2 Processi Markoviani di puro salto §2.2 Processi di nascita e morte

Figura 2.1: Classico esempio di catena di Markov a tempo continuo

2.2 Processi di nascita e morte

Si vedrà ora una classe particolare di processi di puro salto Markoviano.

Sia E = 0, 1, . . . , d oppure E = N+.

Definizione 2.2.1. Un processo di nascita e morte su un insieme E, è un processo

di puro salto Markoviano su E con parametri infinitesimali qxy tali che:

P′xy(0) = qxy = 0 |y − x| > 1.

In altre parole un processo di nascita e morte che parte dallo stato x può saltare

nello stato x+ 1 oppure x− 1.

Definizione 2.2.2. Si chiama

• tasso di nascita del processo la quantità λx = qx,x+1 = P′x,x+1(0);

• tasso di morte del processo la quantità µx = qx,x−1 = P′x,x−1(0).

Osservazione 2.2.1. Grazie a 2.1.13 possiamo scrivere:

P′xx(0) = qxx = −qx = −(λx + µx) (2.2.23)

22

Cap. 2 Processi Markoviani di puro salto §2.2 Processi di nascita e morte

Osservazione 2.2.2. Notiamo subito che

• uno stato è assorbente se e solo se λx = µx = 0;

• per uno stato non assorbente, utilizzando 2.1.12, si ottiene:

Qxy =qxyqx

=

µx

λx+µxy = x− 1

λxλx+µx

y = x+ 1

0 altrimenti

Definizione 2.2.3. Un processo di nascita e morte è detto:

• processo di pura nascita se µx = 0 per ogni x ∈ E;

• processo di pura morte se λx = 0 per ogni x ∈ E

Si descriverà nel prossimo paragrafo un noto esempio di processo di pura nascita:

il processo di Poisson.

Si premette un risultato utile ai nostri scopi.

Osservazione 2.2.3. Si ricorda che l’equazione differenziale f ′(t) = −αf(t) + g(t)

ha soluzione:

f(t) = f(0)e−αt +

∫ t

0

e−α(t−s)g(s) ds.

Dimostrazione. Dimostrazione: Si cerca una soluzione della forma f(t) = A(t)e−αt.

Risulta f ′(t) = A′(t)e−αt − αA(t)e−αt che sostituita nell’equazione iniziale restitui-

sce A′(t) = g(t)eαt ovvero A(t) = A(0) +∫ t0eαsg(s) ds. Riscriviamo quindi f(t) =

A(0)e−αt+∫ t0e−α(t−s)g(s) ds, infine ponendo t = 0 in quest’ultima equazione otteniamo

f(0) = A(0) e quindi la formula risolutiva cercata.

23

Cap. 2 Processi Markoviani di puro salto §2.3 Processi di Poisson

2.3 Processi di Poisson

Definizione 2.3.1. Si chiama processo di conteggio, un processo di pura nascita,

che parte dallo stato N0 = 0, tale che,

Nt = sup n : Tn ≤ t =∑j≥1

1Tj≤t, (2.3.24)

ovvero un processo che conta il numero di salti, o che è lo stesso di cambi di stato,

per un processo di puro salto fino a tempo t.

Figura 2.2: Classico esempio di un processo di conteggio

Osservazione 2.3.1. Il processo Nt : t ≥ 0 è univocamente determinato dei tempi

di salto Tn : n ∈ N, infatti, per 0 ≤ s < t,

Nt ≥ n = Tn ≤ t (2.3.25)

Nt = n = Tn ≤ t < Tn+1 (2.3.26)

Ns < n ≤ Nt = s < Tn ≤ t (2.3.27)

24


Definizione 2.3.2. Si chiama processo di Poisson, un processo di pura nascita

Markoviano con tasso di nascita λx = λ per ogni x ∈ E.

Si esplicita di seguito la funzione di transizione per un processo di pura nascita

Markoviano con tasso di nascita costante, al fine di giustificare il nome processo di

Poisson. Dal momento che un processo di pura nascita può evolvere in una sola

direzione, risulta

Pxy(t) = 0 y < x t ≥ 0. (2.3.28)

Se y = x, si scrive l’equazione forward 2.1.19 per questo processo

P′xx(t) = −λPxx(t);

grazie all’osservazione 2.2.3 la soluzione dell’equazione differenziale precedente ha la

forma

Pxx(t) = e−λt. (2.3.29)

Infine, se y > x, si scrive l’equazione forward 2.1.19, che questa volta assume la forma

P′xy(t) = −λPxy(t) + λPx,y−1(t)

che ancora grazie all’osservazione 2.2.3 ha la soluzione

Pxy(t) = e−λtPxy(0) + λ

∫ t

0

e−λ(t−s)Px,y−1(s) ds.

Osservando che Pxy(0) = δxy, se y > x, troviamo quindi

Pxy(t) = λ

∫ t

0

e−λ(t−s)Px,y−1(s) ds. (2.3.30)

Osservazione 2.3.2. Si verifica per induzione che

Pxy(t) =(λt)y−x

(y − x)!e−λt. (2.3.31)

25


Per un processo di pura nascita che parte da uno stato non assorbente x, verificare

la base induttiva vuol dire verificare che Px,x+1(t) = λte−λt; per verificare ciò grazie a

2.3.30 e 2.3.29, si può scrivere

Px,x+1(t) = λ

∫ t

0

e−λ(t−s)Px,x(s) ds = λ

∫ t

0

e−λ(t−s)e−λs ds = λe−λt∫ t

0

ds = λte−λt.

Ora che la base induttiva è stata verificata, si suppone che valga Px,y−1(t) = (λt)y−1−x

(y−1−x)! e−λt

e si dimostra che vale la 2.3.31. Si sostituisce nell’integrale 2.3.30 l’espressione

esplicita di Px,y−1(s):

Pxy(t) = λ

∫ t

0

e−λ(t−s)Px,y−1(s) ds = λ

∫ t

0

e−λ(t−s)(λs)y−1−x

(y − 1− x)!e−λs ds =

=λy−x

(y − 1− x)!e−λt

∫ t

0

sy−1−x ds =(λt)y−x

(y − x)!e−λt.

Quest’ultima espressione giustifica il nome processo di Poisson. Inoltre, un processo

di Poisson che parte dallo stato 0, al tempo t > 0 segue una distribuzione di Poisson

di parametro λt.

Osservazione 2.3.3. Si tenga in considerazione che 2.3.28 unitamente a 2.3.31 fanno

si che si possa scrivere

Pxy(t) = P0,y−x(t). (2.3.32)

Teorema 2.3.1. Sia Ntt≥0 un processo di Poisson. Allora per ogni scelta di

0 ≤ s < t, la legge della variabile aleatoria Nt−Ns è una legge di Poisson di parametro

λ(t− s)

Dimostrazione.

P(Nt−Ns = y) =∑x∈E

P(Ns = x,Nt = x+y) =∑x∈E

P(Nt = x+y|Ns = x)P(Ns = x) =

=∑

x∈E P(Ns = x)Px,x+y(t− s) =∑

x∈E P(Ns = x)P0,y(t− s) = P0,y(t− s) = (λ(t−s))yy!

e−λ(t−s).

26


Osservazione 2.3.4. (Prima caratterizzazione) Dall’osservazione 2.3.3 e dal teore-

ma precedente si ricavano delle proprietà per Ntt≥0 che si possono dimostrare essere

caratterizzanti per un processo di Poisson:

P(Nt+h −Nt = 0) = P(Nh = 0) = e−λh = 1− λh+ o(h).

P(Nt+h −Nt = 1) = P(Nh = 1) = λhe−λh = λh+ o(h).

P(Nt+h −Nt ≥ 2) = P(Nh ≥ 2) = 1− P(Nh < 2) =

= 1− P(Nh = 1)− P(Nh = 0) = 1− 1 + λh+ o(h)− λh+ o(h) = o(h).

Prima di chiudere questa sezione, si ricorda (senza dimostrazione, per maggiori

dettagli si rimanda a [3]) una ulteriore caratterizzazione del processo di Poisson:

Osservazione 2.3.5. (Seconda caratterizzazione) Sia dato un processo di conteggio

Ntt≥0 ad incrementi stazionari e indipendenti, ovvero tale che

1. ∀n ≥ 2, se 0 < t1 < t2 < · · · < tn, gli incrementiNtj −Ntj−1

: 1 ≤ j ≤ n

sono reciprocamente indipendenti ;

2. per ogni scelta 0 ≤ s < t, la legge della variabile aleatoria Nt−Ns, dipende solo

dalla distanza t− s.

Allora Ntt≥0 è un processo di Poisson.

Osservazione 2.3.6. E’ bene porre l’accento sulla principale differenza tra un pro-

cesso di Poisson ed una catena di Markov a tempo continuo: abbiamo visto che un

processo di Poisson Ntt≥0 è un processo di pura nascita, ovvero che può evolve-

re solo in una direzione, e che tale processo è univocamente determinato dai tempi

di salto (vedi osservazione 2.3.1). Per una catena di Markov a tempo continuo in-

vece, la conoscenza del tempo di salto e della configurazione del processo prima del

27


salto, non danno informazioni sulla futura configurazione del processo che potrebbe

anche regredire in una configurazione già assunta. In questo caso quindi la conoscen-

za della legge del processo Xt : t ≥ 0, equivale alla conoscenza della legge congiunta

Tn, Zn : n ≥ 0.

28

Capitolo 3

Risultati notevoli

Quest’ultimo capitolo è stato diviso in tre paragrafi; ogni paragrafo contiene l’e-

sposizione e la dimostrazione di teoremi caratterizzanti i processi di salto.

Nel primo paragrafo, si dimostra che gli intertempi di salto per un processo Marko-

viano di puro salto omogeneo, sono esponenzialmente distribuiti e condizionatamente

indipendenti dato il valore che il processo assume sui tempi di salto.

Nel secondo paragrafo, si dimostra che data una matrice quadrata G su E × E che

soddisfa le condizioni 2.1.14 e 2.1.15, è sempre possibile costruire un processo Xtt≥0

che ha G come generatore infinitesimale.

Infine, nel terzo paragrafo, daremo una condizione necessaria e sufficiente affinchè un

processo di salto Xtt≥0 definito come in 2.1.1 sia non esplosivo, ovvero soddisfi la

condizione 2.1.3.

3.1 Caratterizzazione intertempi di salto

Il risultato che scaturisce dai teoremi successivi, è il nucleo di questo lavoro di tesi,

nonché risultato fondamentale per le applicazioni dei processi di salto Markoviani alle

situazioni reali.

Si ricorda che la famiglia di matrici di transizione P(t)t≥0 è tale che P(0) = I e

29

Cap. 3 Risultati notevoli §3.1 Caratterizzazione intertempi di salto

P(t+ s) = P(t)P(s), come dall’equazione di Chapman-Kolmogorov 2.1.7.

Teorema 3.1.1. Sia P(t); t > 0 la famiglia delle matrici di transizione di un pro-

cesso di salto Markoviano Xt : t ≥ 0. Il generatore infinitesimale del processo,

G = (qxy)(x,y)∈E×E, è tale che, per h ≈ 0,

Pxy(h) = hqxy + o(h), x 6= y, (3.1.1)

Pxx(h) = 1 + hqxx + o(h). (3.1.2)

Inoltre, condizionatamente all’evento X0 = x, il tempo T1 di primo salto e la po-

sizione Z1 = XT1 dopo il salto sono indipendenti, la legge di T1 è esponenziale di

parametro qx = −qxx, e la legge di Z1 su E ha densità

P(Z1 = y|X0 = x) =

qxyqx

se x 6= y;

0 altrimenti.

Dimostrazione. Si noti che

T1 > nh ⊆ X0 = Xh = · · · = Xnh ⊆

⊆ T1 > nh ∪ (T1 ≤ nh ∩ T2 − T1 ≤ h) ⊆

⊆ T1 > nh ∪ T2 − T1 ≤ h ,

e quindi

Px(T1 > nh) ≤ Px(T1 > nh ∪ (T1 ≤ nh ∩ T2 − T1 ≤ h)) ≤

≤ Px(T1 > nh ∪ T2 − T1 ≤ h) ≤ Px(T1 > nh) + Px(T2 − T1 ≤ h).

Dal momento che T1 < T2 allora P(T2 − T1 > 0) = 1 ⇒ FT2−T1(0) = 0 e, per la

continuità a destra di FT2−T1(t) risulta il

limh→0

FT2−T1(h) = P(T2 − T1 ≤ h) = 0.

30


Pertanto passando al limite per h→ 0 e nh→ t (con nh ≥ t) e utilizzando il teorema

del confronto, si ottiene

P(T1 > t|X0 = x) = limh→0,nh↓t

P(T1 > nh|X0 = x) =

= limh→0,nh↓t

P(X0 = Xh = · · · = Xnh|X0 = x) = limh→0,nh↓t

Pnxx(h). (3.1.3)

L’argomento dell’ultimo limite può essere riscritto come

Pnxx(h) = en log(Pxx(h)) = enhlog(Pxx(h))

h = enhlog(1−(1−Pxx(h)))

h .

Svilluppando in serie di Taylor troncato al primo ordine l’ultimo fattore dell’esponente,

si ottiene

log(1− (1− Pxx(h))) = −(1− Pxx(h)) + o(−(1 − Pxx (h))),

passando ora al limh→0, si ottiene

limh→0

log(1− (1− Pxx(h)))

h= qxx = −qx.

Ritornando all’equazione 3.1.3, e sostituendo quanto appena ottenuto si trova

P(T1 > t|X0 = x) = limh→0,nh↓t

enhlog(1−(1−Pxx(h)))

h = e−qxt,

e quindi necessariamente qx <∞ e qx = 0 se e solo se lo stato x è assorbente.

In maniera simile si dimostra che qxy = limh→0,nh→tPxy(h)

h; infatti ∀t, ∀n risulta [2nt]

2n≤

t ≤ [2nt]+12n

ed inoltre limn→+∞[2nt]2n

= limn→+∞[2nt]+1

2n= t. Pertanto si può scrivere

(per approfondimenti si rimanda al teorema 2.1 pag.139 di [3])

Px(T1 ≤ t, Z0 = x, Z1 = y) = limn→+∞

Px(∪[2nt]+1

m=1

X0 = X 1

2n= · · · = Xm−1

2n= x,X m

2n= y

).

Detto An = ∪[2nt]+1

m=1

X0 = X 1

2n= · · · = Xm−1

2n= x,X m

2n= y, si ha pertanto

Px(T1 ≤ t, Z0 = x, Z1 = y) = limn→+∞

Px(An).

31


D’altra parte An = ∪[2nt]+1

m=1 Bm, dove Bmm=1,...,[2nt]+1 sono eventi disgiunti. Per-

tanto

Px(An) =

[2nt]+1∑m=1

Pxx(1

2n)mPxy(

1

2n) =

1− Pxx( 12n

)[2nt]+1

1− Pxx( 12n

)Pxy(

1

2n).

La probabilità richiesta si ottiene passando al limite per n→ +∞:

P(T1 ≤ t, Z1 = y|X0 = x) = limn→+∞

Px(An) =

= limn→+∞

(1− Pxx(1

2n)[2

nt]+1)12n

1− Pxx( 12n

)

Pxy( 12n

)12n

= (1− e−qxt) 1

qxqxy;

passando ora al limite per t→ +∞, si ottiene

limt→+∞

P(T1 ≤ t, Z1 = y|X0 = x) = P(Z1 = y|X0 = x) =qxyqx.

Quanto appena visto conclude la dimostrazione del teorema: T1 e Z1 sono condiziona-

tamente indipendenti dato X0 = x perchè vale P(T1 ≤ t, Z1 = y|X0 = x) = Px(T1 ≤

t)Px(Z1 = y).

Sia Xt un processo Markoviano di puro salto di generatore G . Il teorema 3.1.1

garantisce che T1 e XT1 sono condizionatamente indipendenti dato X0 = x, mentre,

dalla proprietà forte di Markov 2.1.21 se S è un tempo d’arresto per Xt, allora XS+t e

FXS sono condizionatamente indipendenti dato XS = x, S < +∞. Questa proprietà

unitamente al precedente teorema permettono di dimostrare il seguente

Teorema 3.1.2. Per ogni scelta di x0, x1, · · · ∈ E, gli intertempi di salto T1, T2 −

T1, . . . di un processo di puro salto Markoviano sono condizionatamente indipen-

denti dato XT0 = x0, XT1 = x1, . . . di legge esponenziale di parametro qx0 , qx1 , . . .

rispettivamente.

Dimostrazione. Per ogni n ∈ N si definisca il processo X(n)t = Xt+Tn . La proprietà

forte di Markov garantisce che X(n)t ed FX

Tnsono condizionatamente indipendenti

32


dato XTn = xn, ed inoltre P(Xt+Tn = y|XTn = x) = P(Xt = y|X0 = x). Questo in

particolare significa che i processi della famigliaX

(n)t

n∈N

hanno la stesse probabilità

di transizione del processo Xt e quindi lo stesso generatore infinitesimale.

Da queste considerazioni si sviluppa la seguente catena di uguaglianze

P(Tn − Tn−1 > tn, Tn−1 − Tn−2 > tn−1, · · · , T1 > t1|XTn = xn, XTn−1 = xn−1, XTn−2 = xn−2, · · · , X0 = x0) =

= E[1(tn,+∞)(Tn − Tn−1)1(tn−1,+∞)(Tn−1 − Tn−2) · · ·1(t1,+∞)(T1)|XTn = xn, XTn−1 = xn−1, · · · , X0 = x0] =

=E[1(tn,+∞)(Tn−Tn−1)1(tn−1,+∞)(Tn−1−Tn−2)···1(t1,+∞)(T1)1xn (XTn )|XTn−1

=xn−1,··· ,X0=x0]

P(XTn=xn|XTn−1=xn−1,··· ,X0=x0)

=

=E[E[1(tn,+∞)(Tn−Tn−1)1(tn−1,+∞)(Tn−1−Tn−2)···1(t1,+∞)(T1)1xn (XTn )|FX

Tn−1]|XTn−1

=xn−1,··· ,X0=x0]

Qxn−1,xn.

(3.1.4)

La media condizionale interna al numeratore dell’ultimo membro della precedente

espressione si può scrivere come

1(tn−1,+∞)(Tn−1 − Tn−2) · · ·1(t1,+∞)(T1)E[1(tn,+∞)(Tn − Tn−1)1xn(XTn)|FXTn−1

]

dal momento che 1(tn−1,+∞)(Tn−1−Tn−2) · · ·1(t1,+∞)(T1) è FXTn−1

-misurabile. Inol-

tre sempre dalla Markovianità forte del processo in esame e dal Teorema 3.1.1 si

deduce che

E[1xn(XTn)1(tn,+∞)(Tn − Tn−1)|FXTn−1

] =

= E[1xn(XT1)1(tn,+∞)(T1)|X0 = xn−1] = Qxn−1xne−qxn−1tn ,

dove l’ultima uguaglianza deriva dal Teorema 3.1.1. Sostituendo si ottiene

P(Tn − Tn−1 > tn, Tn−1 − Tn−2 > tn−1, · · · , T1 > t1|XTn = xn, XTn−1 = xn−1, XTn−2 = xn−2, · · · , X0 = x0) =

= e−qxn−1tnE[1(tn−1,+∞)(Tn−1 − Tn−2) · · ·1(t1,+∞)(T1)|XTn−1 = xn−1, · · · , X0 = x0].(3.1.5)

Iterando il procedimento si ottiene la tesi.

33

Cap. 3 Risultati notevoli §3.2 Costruzione di un processo di salto

3.2 Costruzione di un processo di salto

Sia Xt un processo Markoviano di puro salto i cui tempi di salto sono T1, T2, . . . ,

e sia Zn = XTn la catena embedded che ha la proprietà Zn 6= Zn+1 q.c. per ogni

n ≥ 0. La matrice di transizione per la catena Zn, P = Qxy : x, y ∈ E, si esplicita

in funzione dei parametri infinitesimali come:

Qxy =

qxyqx

= − qxyqxx

se y 6= x

0 se y = x.

Allora

Proposizione 3.2.1. posto Sn = qZn−1(Tn − Tn−1), il processo

Nt = sup

n :

n∑k=1

Sk ≤ t

è un processo di Poisson di parametro 1 indipendente dalla catena Znn∈N.

Dimostrazione. Basta dimostrare che le v.a. Sn sono i.i.d. e seguono una legge

esponenziale di parametro 1. Per ogni n ≥ 0

P(S1 > t1, . . . , Sn > tn) =

=∑

x1,...xn−1∈E

P(S1 > t1, . . . , Sn > tn|XT0 = x0, . . . , XTn−1 = xn−1)·Qx0x1 · · ·Qxn−2xn−1 ;

sviluppando il primo termine all’interno della sommatoria, otteniamo

P(S1 > t1, . . . , Sn > tn|XT0 = x0, . . . , XTn−1 = xn−1) =

= P(T1 − T0 >t1qZ0

, . . . , Tn − Tn−1 >tn

qZn−1

|XT0 = x0, . . . , XTn−1 = xn−1) =

= P(T1 − T0 >t1qx0

, . . . , Tn − Tn−1 >tnqxn−1

|XT0 = x0, . . . , XTn−1 = xn−1) =

= P(T1 − T0 >t1qx0|XT0 = x0) · · ·P(Tn − Tn−1 >

tnqxn−1

|XTn−1 = xn−1) =

= e−qx0

t1qx0 · · · e−qxn−1

tnqxn−1 = et1et2 · · · etn .

34

Cap. 3 Risultati notevoli §3.2 Costruzione di un processo di salto

Quanto appena ottenuto, oltre a dimostrare l’indipendenza tra le Sn, mostra anche

l’indipendenza condizionale delle Sn dato i valori assunti dalla catena embedded per

n ≥ 0.

Teorema 3.2.1. Sia G una matrice quadrata definita su E × E che soddisfa le con-

dizioni 2.1.14 e 2.1.15. Esiste un processo di puro salto Markoviano che ha G come

generatore infinitesimale.

Dimostrazione. G soddisfa per ipotesi le condizioni,

• Gxy = qxy ≥ 0 se y 6= x,

• Gxx = qxx = −qx = −∑

y 6=x qxy = −∑

y 6=x Gxy;

definiamo la matrice di transizione

Qxy =

qxyqx

= − qxyqxx

se y 6= x

0 se y = x,(3.2.6)

usando la convenzione che se qxx = 0, si pone Qxy = 0 e Qxx = 1. Ad ogni condizione

iniziale x ∈ E, si associa la catena di Markov Zn : n ∈ N, con matrice di transi-

zione Qxy : x, y ∈ E. Sia ora Nt : t ≥ 0 un processo di Poisson di parametro 1 ,

indipendente dalla catena Zn : n ∈ N. Siano 0 < T1 < T2 < . . . i tempi di salto per

tale processo di Poisson, si definiscono per n ≥ 1,

Sn =Tn − Tn−1qZn−1

, (3.2.7)

T ′n = S1 + S2 + · · ·+ Sn. (3.2.8)

Se la sequenza T ′n soddisfa la condizione di non esplosività limn→∞ Tn = +∞ q.c.,

allora

Xt =∑n≥0

Zn1[T ′n,T′n+1[

(t), t ≥ 0, (3.2.9)

35

Cap. 3 Risultati notevoli §3.3 Non esplosività

è un processo di salto Markoviano con generatore infinitesimale G .

A tale proposito, basta dimostrare che gli intertempi di salto sono condizionatamente

indipendenti ed esponenziali di parametro qx dato i valori assunti dal processo Xt sui

salti. Questo permette di ricostruire la legge congiunta di Zn e Sn che determina la

legge del processo (vedi osservazione 2.3.6)

P(S1 > t1, . . . , Sn > tn|Z0 = x0, . . . , Zn−1 = xn−1) =

= P(T1 − T0 > t1qZ0 , . . . , Tn − Tn−1 > tnqZn−1|Z0 = x0, . . . , Zn−1 = xn−1) =

= P(T1 − T0 > t1qx0 , . . . , Tn − Tn−1 > tnqxn−1|Z0 = x0, . . . , Zn−1 = xn−1) =

= P(T1 − T0 > t1qx0 , . . . , Tn − Tn−1 > tnqxn−1) = e−qx0

t1qx0 · · · e−qxn−1

tnqxn−1 =

= et1et2 · · · etn .

3.3 Non esplosività

Dalla dimostrazione del teorema nel precedente paragrafo, sorge naturale porsi la

domanda: quando la sequenza dei tempi d’arresto T ′n : n ≥ 0 soddisfa effettivamente

la condizione di non esplosività limn→∞ T′n = +∞ q.c.

Il teorema che si espone in questo capitolo risponde precisamente a questa domanda.

Si anticipa un risultato che risulta essenziale per la dimostrazione del teorema.

Proposizione 3.3.1. Siano An : n ≥ 1 e Bn : n ≥ 1 due sequenze di variabili

aleatorie a valori in R+∪+∞ reciprocamente indipendenti; siano le An i.i.d. con

legge esponenziale di parametro 1 .

Sotto queste ipotesi le due seguenti affermazioni sono equivalenti:

1.+∞∑n=1

AnBn = +∞ q.c.; 2.+∞∑n=1

Bn = +∞ q.c..

36


Dimostrazione. Dal momento che le due sequenze sono reciprocamente indipenden-

ti, la proposizione è dimostrata se per ogni successione bn : n ≥ 1 di numeri reali

strettamente positivi (per maggiori dettagli si rimanda a [3]),

+∞∑n=1

Anbn = +∞ q.c. ⇐⇒+∞∑n=1

bn = +∞.

Risulta

E[+∞∑n=1

Anbn] =+∞∑n=1

E[An]E[bn] =+∞∑n=1

bn;

se fosse∑+∞

n=1 bn < +∞, allora∑+∞

n=1Anbn < +∞ q.c. e quindi vale l’implicazione

+∞∑n=1

Anbn = +∞⇒+∞∑n=1

bn = +∞.

Resta da dimostrare che se∑+∞

n=1 bn = +∞, allora∑+∞

n=1Anbn = +∞. A tale

proposito, posto Λn =∑n

k=1Akbk, occorre mostrare che

limn→+∞

Λn = +∞. (3.3.10)

Nel caso in cui esiste una sottosuccessione di indici nj tale che bnj→ +∞, chiaramente∑

nAnbn ≥∑

j Anjbnj

= +∞ dal momento che le Anjsono i.i.d. e molte tra queste

assumono un valore maggiore di 1 1 .L’ultimo caso che resta da esaminare è quello

di una successione dove 0 ≤ bn ≤ C e∑

n bn = +∞. In quest’ultimo caso, per ogni

M > 0, ∃n sufficientemente grande tale che E[Λn] =∑n

k=1 bk > 2M , allora vale

P(Λn ≤M) ≤ P(|Λn − E[Λn]| ≥ E[Λn]

2).

1Anj> 1 per infiniti indici ovvero ∀n, ∃m > n : Am > 1.

Dimostrazione. Si deve mostrare che P(∩n≥1 ∪m≥n Am > 1) = 1 o equivalentemente cheP(∪n≥1 ∩m≥n Am ≤ 1) = 0. Ora Cn = ∩m≥n Am ≤ 1 è una successione crescente e quin-di P(∪n≥1Cn) = limn→+∞ P(Cn). Ma P(Cn) = P(∩m≥n Am ≤ 1) =

∏m≥n P(Am ≤ 1) =∏

m≥n(1− e−1) = 0.

37


Infatti

|Λn − E[Λn]| ≥ E[Λn]

2

=

=

Λn − E[Λn] ≤ −E[Λn]

2

∪

Λn − E[Λn] ≥ E[Λn]

2

=

=

Λn ≤

E[Λn]

2

∪

Λn ≥3E[Λn]

2

,

quindi in particolare|Λn − E[Λn]| ≥ E[Λn]

2

⊇

Λn ≤E[Λn]

2

⊇ Λn ≤M . (3.3.11)

Inoltre dalla disuguaglianza di Chebyshev risulta

P(|Λn − E[Λn]| ≥ E[Λn]

2) ≤ 4

var(Λn)

(E[Λn])2= 4

∑nk=1 b

2k

(∑n

k=1 bk)2≤

≤ 4C

∑nk=1 bk

(∑n

k=1 bk)2

=4C∑nk=1 bk

→ 0, (3.3.12)

e quindi Λn → +∞ in probabilità, e dal momento che la successione Λn è monotona

diverge anche q.c.. Infatti per quanto appena dimostrato, la divergenza in probabilità

di Λn è garantita visto che ∀M

limn→+∞

P(Λn > M) = 1;

ciò che si deve dimostrare è che Λn diverge anche q.c., ovvero che

P(ω : limn→+∞

Λn(ω) = +∞) = 1,

o equivalentemente che la probabilità dell’evento ∀M∃n : ∀m > n,Λm > M sia 1.

A tale proposito si riscrive il precedente evento come

∩M∈N ∪+∞n=1 ∩m≥n Λm > M

;

38


quest’evento ha probabilità 1 se e solo se ciascun evento∪+∞n=1 ∩m≥n Λm > M

ha

probabilità 1. Per dimostrare che quest’ultima affermazione è verificata, si osserva

che Λm è crescente allora vale la seguente inclusione:

Λm > M ⊆ Λm+p > M p > 0,

e quindi

∩m≥n Λm > M = Λn > M .

A questo punto risulta

∪+∞n=1 ∩m≥n Λm > M

= ∪+∞n=1 Λn > M ,

ancora una volta si sfrutta l’osservazione che Λn è una successione crescente e quindi

la successione di eventi Λn > M è crescente. Quindi dalla proprietà di continuità

della misura di probabilità si conclude che

P(∪+∞n=1 Λn > M) = limn→+∞

P(Λn > M) = 1.

Si consideri nel seguito un generatore infinitesimale G = Gxyx,y∈E. Nel teorema

seguente si utilizzano le notazioni del Teorema 3.2.1 in particolare le Sn e Tn sono

definite rispettivamente dalle 3.2.7 e 3.2.8 rispettivamente.

Teorema 3.3.1. La condizione di non esplosività limn→∞ T′n = +∞ è soddisfatta

se e solo se ∑n≥0

1

qZn

= +∞ q.c.. (3.3.13)

Dimostrazione. Si definisce

An = Tn+1 − Tn, Bn =1

qZn

, n ≥ 0. (3.3.14)

39


A questo punto basta applicare semplicemente i risultati della proposizione 3.3.1 ed

osservare che, per Sn = AnBn,

+∞∑n=1

Sn = +∞ ⇐⇒+∞∑n=1

Bn = +∞ q.c.. (3.3.15)

Osservazione 3.3.1. Condizione sufficiente affinchè una matrice quadrata G , che

soddisfa le condizioni 2.1.14 e 2.1.15, sia un generatore infinitesimale per un processo

di Markov, è che soddisfi una delle seguenti condizioni:

1. sup qx = −Gxx : x ∈ E < +∞,

2. La catena di Markov Zn con matrice di transizione definita in 3.2.6 è ricor-

rente.

Dimostrazione. Per dimostrare 1) basta applicare il teorema precedente.

Per dimostrare il punto 2) basta ragionare come segue

+∞∑n=1

1

qZn

≥+∞∑n=1

1

qZn

1x(Zn) =1

qx

+∞∑n=1

1x(Zn) = +∞;

a questo punto la tesi deriva dal Teorema 3.3.1.

40

Bibliografia

[1] Paul G. Hoel, Sidney C. Port, Charles J. Stone, Introduction To Probability

Theory, Mifflin, Houghton, 1971

[2] Paul G. Hoel, Sidney C. Port, Charles J. Stone, Introduction To Stochastic

Processes, Mifflin, Houghton, 1972

[3] Etienne Pardoux, Markov Processes and Applications: Algorithms, Networks,

Genome and Finance, John Wiley and Sons, 1947

[4] Paolo Baldi, Lucia Caramellino, Appunti del corso Probabilità e Finanza, 2007

[5] Strook, Varadhan, Multidimensional Diffusion Processes, Springer-Verlag, 1979

41

Tesi Corretta (16_10_14)

Documents

Transcript of Tesi Corretta (16_10_14)