Capitolo 1

Variabili Discrete

Supponiamo di avere una variabile x che possa assumere i valori x = x1, x2, x3, ..., xm, e facciamoun estrazione:

N x

1 x1

2 x1

3 xm4 x5...

...N x7

dove N rappresenta il numero dell’estrazione e x il valore che la variabile ha assunto in quel-la determinata estrazione. Se andiamo a raccogliere in una tabella il risultato dell’estrazione,vediamo che, ad esempio, la variabile xi si è presentata ri volte:

r x

r1 x1

r2 x2

r3 x3

r4 x4...

...rm xm

Ovviamente è immediato che la sommatoria di tutti gli ri sarà

N =∑i

ri

Possiamo anche associare una frequenza f

fi =riN

che rappresenta il rapporto tra il numero di volte che viene estratta la variabile xi rispetto alnumero totale N delle estrazioni. A questo punto possiamo definire una quantità importante,il valor medio della variabile x, che rappresenta la media dei valori assunti da da x dopo Nestrazioni, e viene indicata con < x >

< x >=r1x1 + r2x2 + r3x3 + · · ·+ rmxm

N=∑i

fixi

1

CAPITOLO 1. VARIABILI DISCRETE 2

Per N molto grandi possiamo definire una nuova quantità, Pi:

limN→∞

riN

Pi è la probabilità associata al valore xi, e rappresenta la frazione di volte che viene estratto ilvalore xi per un numero di estrazioni tendente a infinito. Questa è la interpretazione frequentistadella probabilità.Appare evidente come < x > sarà uguale a:

< x >=∑i

Pixi

Sia abbia una variabile y tale che essa sia y = g(x), allora:

< g(x) >=∑i

Pig(xi)

Si possono definire altre quantità come i momenti di ordine k:

< xk >=∑i

Pixki

e la Varianza

V ar(x) =< (xi− < x >)2 >=∑i

[Pixi − 2Pixi < x > +Pi < x >2

]=< x2 > − < x >2

Capitolo 2

Variabili Continue

Nel caso di variabili continue, non si può associare a un punto una probabilità finita.Bisogna infatti associare la probabilità a a un segmentino dell’intervallo ∆i . La probabilità chela variabile x ∈ ∆Γi sarà ∆Pi Di conseguenza ∆Pi = f(∆xi) e possiamo svilupparla in serie diMclaurin

∆Pi = f(∆xi) = f ′(0)∆xi (2.1)

=∆Pi

∆xi∆xi (2.2)

= dP (x0 ≤ x ≤ x0 + dx) = p(x0)dx (2.3)

dovep(x0) =

dP

dx

∣∣∣∣x=x0

p(x) è la funzione densità di probabilità e consiste nella probabilità che la variabile continua xsia contenuta in dx. Adesso ci possiamo chiedere quale sia la probabilità che la variabile x siacontenuta in un intervallo compreso tra due valori x1 e x2. Essa sarà

P (x1 ≤ x ≤ x2) =∑k

∆Pk

dove Pk è la probabilità che la variabile x sia compresa nell’intervallo ∆k compreso fra x1 e x2.Dalle considerazioni precedenti, per intervalli ∆xk molto piccoli∑

k

∆Pk =∑k

p(xk)∆xk∆k→0−−−−→

∫ x2

x1

p(x)dx

Segue la definizione del valore medio per una variabile aleatoria continua:

≤ x ≥=∑k

xk∆Pk =∑k

xkp(xk)∆xk =

∫ +∞

−∞xp(x)dx

Mentre per una funzione della variabile aleatoria, analogamente al caso discreto

≤ f(x) ≥=

∫ +∞

−∞p(x)f(x)dx

3

CAPITOLO 2. VARIABILI CONTINUE 4

2.1 Probabilità Condizionata

Supponiamo di avere due variabili discrete X e Y .

X Yx1 y1

x2 y2

x3 y3...

...xm yn

Estraendo un valore xi con i = 1, . . . ,m e un valore yj con j = 1, . . . , n, otterremo una coppia(xi, yj) a cui possiamo associare una probabilità Pij . Supponiamo esista una relazione statisticache lega i valori estratti da x rispetto ai valori estratti da y.P (xi|yj) indica la probabilità che venga estratto il valore xi essendo già stato estratto il valoreyj . P (yj |xi) indica la probabilità che venga estratto il valore xj essendo già stato estratto ilvalore yi. Supponisamo di avere x = {x1, x2} e y = {y1, y2}, e di estrarre prima un valore da xe poi da y N volte, in modo tale da creare N coppie.

x1 y1 r11

x1 y2 r12

x2 y1 r21

x2 y2 r22

La probabilità y2 sia estratta sarà ovviamente:

P (y2) =r12 + r22

N=r12

N+r22

N= P (x1, y2) + P (x2, y2)

Mentre la probabilità che esca x2 avendo estratto y1 sarà dato da:

P (x2|y1) =r21

N1=

r21

r11 + r21

Quindi mettendo insieme le due espressioni e dividendo per N

r21 = P (x2|y1)(r21 + r11)divido per N−−−−−−−→ (2.4)

r21

NP (x2|y1)

(r21 + r11)

N(2.5)

= P (x2|y1)P (y1) = P (x2, y1) (2.6)

Otteniamo quindi il Teorema di Bayes

P (X,Y ) = P (X|Y )P (Y ) = P (Y |X)P (X)

Questo teorema può essere esteso per variabili continue. Infatti

P [(x, y) ∈ D] =

∫ D

p(x, y)dxdy

edP (y) = dy

∫p(x, y)dx⇒ dP

dy= p(y) =

∫p(x, y)dx

Fissato y la probabilità condizionata di avere x sarà:

P (x|y)dx =dP (x, y)

dP (y)=P (x, y)dxdy

p(y)dy

CAPITOLO 2. VARIABILI CONTINUE 5

Quindi

P (x, y)dx =P (x, y)dx

P (y)⇒ p(x, y) = p(y)p(x|y)

Se abbiamo un legame deterministico tra x e y, y = g(x), allora è ovvio che

p(y|x) =

{0, quando y = g(x)

6= 0, quando y = g(x)

ed è quindi rappresentabile da una Delta di Dirac

p(y|x) = δ[y − g(x)]

Quindi per il teorema di Bayesp(x, y) = δ[y − g(x)]p(x)

p(y) =

∫p(x, y)dx =

∫δ[y − g(x)]p(x)dx

Se poniamo f(x) = y − g(x)

δ[f(x)] =

{0 x 6=≡ x0

6= 0x = x0

Se poniamo

y = f(x)⇒ x = f−1(y) e dx =dy

f ′[f−1(y)]

allora: ∫δ(y)

f ′[f−1(y)]dy =

1

f ′(x0)

per la proprietà di estrazione della delta. Quindi essendo:

1

f ′(x0)=

∫δ(x− x0)

|f ′(x0)|

δ[f(x)] =δ(x− x0)

|f ′(x0|Se vogliamo quindi trovare la densita di probabilità di una variabile y = f(x)

p(y|x) = δ(y − f(x)) =δ(x− x0(y))

|f ′(x0(y))|

con f(x0) = 0

p(x, y) =1

|f ′(x0(y))|δ(x− x0(y))p(x)

La stessa relazione si sarebbe potuta trovare in modo differente. Supponendo y = f(x) con f(x)strettamente crescente, sappiamo che

dP (x0 ≤ x ≤ x0 + dx) = p(x0)dx

Avendo imposto f(x) strettamente crescente

f(x0) ≤ y ≤ f(x0 + dx)

CAPITOLO 2. VARIABILI CONTINUE 6

I1 I2 I3 I4 I5 I6

x1 x2 x3 x4

che sviluppando in serie di taylor

f(x0) ≤ y ≤ f(x0) + f ′(x)dx

Siccome c’è un legame deterministico, nell’intervallo:

dP (f(x0) ≤ y ≤ f(x0) + f ′(x)dx) = dP (x0 ≤ x ≤ x0 + dx

dP (f(x0) ≤ y ≤ f(x0) + f ′(x)dx) = p(y0)dy = p(y0)f ′(x0)dx

perchè dy = f ′(x0)dx Allora

p(y0)f ′(x0)dx = p(x0)dx⇒ p(y0)f ′(x0) = p(x0)

Quindi:

p(y0) =p(x0(y))

f ′(x0(y))

Quando y = f(x) non è invertibile, si può comunque utilizzare un approccio diverso. Sia infattixk con k = 1, . . . , n tale che f(xk = 0). Allora:{

δ[f(x)] = 0 quando f(x) 6= 0

6= 0 quando f(x) = 0

Siccome la funzione se suddivisa in tratti tra i punti di massimo e minimo relativo è invertibile:∫ +∞

−∞δ[f(x)]dx =

∑k

∫Ik

δ[f(x)]dx

=∑k

∫Ik

δ[x− xk]

|f ′(xk)|dx

Quindi se ho y = h(x)

p(y) =

∫p(x, y)dx =

∫p(y|x)p(x)dx

=

∫δ(y − h(x))p(x)dx

=

∫ ∑k

δ[x− xk(y)]

|f ′(xk(y))|dx

Se porto la sommatoria fuori dal segno dell’integrale∑k

∫δ[x− xk(y)]

|f ′(xk(y))|dx =

∑k

p(xk(y))

|f ′(xk(y))|

Capitolo 3

Processi Stocastici

Un processo stocastico X(t) è una famiglia di variabili casuali indicizzate da un parametro t,solitamente rappresentante il tempo, ma che può rappresentare anche la posizione, unidimensio-nale e non, della variabile X nello spazio. In questo caso parliamo di processo stocastico spaziale.Un esempio può essere l’altitudine rappresentata da h(x) di un volo tra Bari e Milano. Esso èun processo stocastico con varie realizzazioni hi(x), infatti per ogni viaggio la posizione a unadeterminata x non sarà fissata, ma sarà diversa per ogni realizzazione, con una certa variabilità.Passiamo ora a caratterizzare il processo stocastico.Ad esempio è immediato che il valore medio

Bari Trani Milano

della quota < h(x) > non è costante rispetto a x, ma è funzione di x. Se ci riferiamo invece alledensità di probabilità anche esse varieranno in funzione della x. Ad esempio, per x = 0, ovverol’aereo è a Bari, la funzione densità di probabilità sarà una delta di Dirac:

p(h(0)) = 1

Mentre ad esempio se per la coordinata x1 che rappresenta la posizione di Trani sarà, ad esempio,una gaussiana. Per questo il processo si dice non stazionario Chiameremo un processo stazionarioin senso stretto quando, la p(h) sarà indipendente da x. Stazionario in senso largo quando < h >sarà indipendente da x. Si può usare un’altra quantità l’autocorrelazione. Per un processostazionario in cui h(x1) = h1 e h(x2) = h2 chiameremo autocorrelazione:

< h1h2 >=

∫p(h1, h2)h1h2dh1dh2

Sappiamo dal Teorema di Bayes che

p(h1, h2) = p(h1|h2)p(h2)

7

CAPITOLO 3. PROCESSI STOCASTICI 8

Se poniamo x = x1 − x2 allora, il coefficiente di autocorrelazione sarà una funzione di x, R(x):

R(x) =< h1h2 >=< h(x1)h(x1 + x) >=

∫p(h1, h2)h1h2dh1dh2

Come si nota, per stimare le proprietà statistiche di un processo stocastico c’è bisogno di ripeterelo stesso esperimento più volte. Questo in molte applicazioni pratiche non è sempre possibile, ea volte si ha a disposizione una sola realizzazione, per cui le proprietà statistiche devono essereottenute da quel singolo procedimento. Ciò è possibile per un processo stazionario. Infatto comeabbiamo detto per un processo stazionario h(x1) e h(x2) hanno la stessa distribuzione. Per unarealizzazione h(x) possiamo fare una stima della media del processo in un intervallo [0, L] con:

1

L

∫ L

0h(x)dx

Intuitivamente, ci può sembrare una media ragionevole, infatti è una media tra variabili identi-camente distribuite. Il problema è che non sono indipendenti fra di loro, per questo la legge deigrandi numeri non è applicabile. Ma è ragionevole pensare che per L→∞ l’integrale convergeràal valore atteso. Questa proprietà è detta ergodicità e sostanzialmente prescrive che le medie dih(xi) con x ∈ [−∞,+∞] convergano alla media complessiva. Ci aspettiamo che per una distanzax = x2−x1 abbastanza grande, h(x1) e h(x2) siano non correlate fra loro, per questo la funzonedi autocorrelazione di un processo ergodico sarà una legge esponenziale decrescente del tipo:

R(x) = e−x

Per un processo ergodico, la funzione di autocorrelazione potra essere calcolata come

R(x) = limL→∞

1

L

∫h(x1)h(x1 + x)dx1

3.1 Relazione fra Autocorrelazione e Power spectrum

La trasformata di Fourier di una funzione h(x) sarà:

h(q) =1

2π

∫ +∞

−∞dxh(x)e−iqx

Se calcolo < h(q)h(q′) >:

< h(q)h(q′) > =<1

2π

∫ +∞

−∞dxh(x)e−iqx

∫ +∞

−∞dx′h(x′)e−iq

′x =

=<1

(2π)2

∫ +∞

−∞dxdx′h(x)h(x′)e−iqxe−iq

′x

Siccome la media è un applicazione lineare la posso portare sotto il segno dell’integrale, l’espres-sione precedente diventa:

1

(2π)2

∫ +∞

−∞dxdx′ < h(x)h(x′) > e−iqxe−iq

′x

Riconosciamo in < h(x)h(x′) > l’autocorrelazione R(x − x′). Se ora effettuiamo un cambio divariabili {

x = s+ t

x′ = t

CAPITOLO 3. PROCESSI STOCASTICI 9

Sappiamo che

dxdx′ =

∣∣∣∣∂(x, x′)

∂(s, t)

∣∣∣∣ dsdtDove

∂(x, x′)

∂(s, t)= |J | =

∣∣∣∣1 10 1

∣∣∣∣ = 1

determinante della matrice Jacobiana. Se sostituiamo

< h(q)h(q′) > =<1

2π2

∫ +∞

−∞dsdtR(s)e−iqse−iqte−iq

′t >=

=<1

2π2

∫ +∞

−∞dsdtR(s)e−iqse−i(q+q′)t >=

=<1

2π

∫ +∞

−∞dsR(s)e−iqs

1

2π

∫ +∞

−∞dte−i(q+q′)t >

Riconosciamo nel secondo termine la l’inversa della trasformata di Fourier

<1

2π

∫ +∞

−∞dte−i(q+q′)t = δ(q + q′)

quindi:< h(q)h(q′) >= δ(q + q′)C(q)

dove

C(q) =<1

2π

∫ +∞

−∞dsR(s)e−iqs

è la trasformata di R(s). Da questa espressione notiamo come le due variabili sono incorrelate.Infatti