Modelli probabilistici - static.gest.unipd.itstatic.gest.unipd.it/~livio/PDF/PDF_CIVILE/Modelli...

1

1MODELLO PROBABILISTICI

Metodi Statistici e Probabilistici per l’Ingegneria

MODELLI PROBABILISTICI

Corso di Laurea in Ingegneria Civile

Facoltà di Ingegneria, Università di Padova

Docente: Dott. L. CorainE-mail: [email protected] Home page: www.gest.unipd.it/~livio/Corso_Civile.html


SOMMARIO

Teoria della probabilità: concetti generaliModelli probabilistici per le variabili discrete:

distribuzione binomiale e binomiale negativadistribuzione di Poisson

Modelli probabilistici per le variabili continue:distribuzione normale (o gaussiana)distribuzione log-normaledistribuzione di Gumbel e GEVtrasformazioni dei dati discreti

Procedure di goodness-of-fit:test Chi-quadratotest di Anderson-Darling

2


TEORIA DELLA PROBABILITÀ: CONCETTI GENERALILa probabilità può essere definita come un numero che esprime la possibilità, il grado di verosimiglianza con cui un evento è destinato a verificarsi.Si parla così della probabilità di pescare una carta nera da un mazzo di carte, della probabilità che in un campione d’aria siano presenti 10 particelle di amianto per unità di volume o della probabilità che un processo produttivo realizzi prodotti rispondenti ai requisiti (di legge, di progetto, di contratto, ecc.).La probabilità è una proporzione o frazione che varia tra i valori 0 e 1, estremi inclusi. Associamo il valore zero a un evento che non ha nessuna possibilità di verificarsi (evento impossibile) e il valore uno a un evento che si verificheràsicuramente (evento certo). Tra due estremi, si collocano eventi più o meno probabili.


TEORIA DELLA PROBABILITÀ: CONCETTI GENERALI

In teoria della probabilità, una variabile casuale (o variabile aleatoria – v.a.) può essere pensata come il risultato numerico di un esperimento quando questo non èprevedibile con certezza (ossia non è deterministico).Ad una variabile casuale X si associa la sua distribuzione, o legge di probabilità PX, che assegna ad ogni sottoinsieme dell'insieme dei possibili valori di X (eventi) la probabilità che la variabile casuale X assuma valore in esso. Le variabili ca-suali si dividono principalmente in due grandi classi:

discrete, se l'insieme dei possibili valori (o supporto di X) è finito o numerabile;continue, se l'insieme dei possibili valori è l’insieme dei numeri reali.

3


TEORIA DELLA PROBABILITÀ: CONCETTI GENERALIPer caratterizzare una variabile casuale X, dobbiamo specificarne la sua distribuzione, o legge di probabilità PX, che può essere, in base al tipo di variabile casuale, di due tipi:

funzione di probabilità: p(x) = P(X=x), se la variabile aleatoria è discreta;funzione di densità di probabilità: f(x), tale per cui P(X ∈ A) = ∫A f(x) dx, se la variabile aleatoria è continua.

Le due funzioni p(x) e f(x) dipenderanno da uno o piùparametri (p, µ, σ, ecc.). Fissati i valori dei parametri, èpossibile calcolare la probabilità di eventi di interesse, ovvero che la variabile X assume dei valori specifici.Si noti che nelle applicazioni reali i parametri sono ovviamente ignoti e non osservabili, ma possono essere stimati attraverso una procedura di inferenziale di stima.



Il valore atteso di una variabile aleatoria discreta è una media ponderata delle modalità (valori) assunte dalla variabile, dove i coefficienti di ponderazione sono rappresentati dalle probabilità associate a ciascuna modalità

La media µ di una distribuzione di probabilità si dice valore medio (o valore atteso) della variabile aleatoria.

Valore atteso di una variabile aleatoria discreta

dove Xi = i-esima modalità della variabile aleatoria XP(Xi) = probabilità associata alla modalità Xi

1( ) ( )

N

i ii

E X X P Xµ=

= =∑

4



La varianza σ2 di una variabile aleatoria discreta è definita come la media ponderata dei quadrati delle differenze tra ciascuna modalità e il valore atteso della variabile, dove i coefficienti di ponderazione sono rappresentati dalle probabilità associate a ciascuna modalità.

Varianza di una variabile aleatoria discreta

dove Xi = i-esima modalità della variabile aleatoria XP(Xi) = probabilità associata alla modalità Xi

2 2

1[ ( )] ( )

N

i ii

X E X P Xσ=

= −∑

Lo scarto quadratico medio σ di una variabile aleatoria discreta è dato dalla radice quadrata della varianza: σ=√σ2



La media (o valore atteso) µ e la varianza σ2 (e la deviazione standard σ) di una v.a. X sono i parametri di maggiore interesse della distribuzione di probabilità di X, in quanto essi esprimono rispettivamente la tendenza centrale e la variabilità della v.a. X.Nel caso la v.a. X sia continua, per il calcolo di µ e la varianza σ2, l’operatore sommatoria va sostituito con l’integrale:

La probabilità che la v.a. assuma valori minori od uguali ad un valore specificato, viene detta funzione di ripartizione:FX = P (X ≤ x).

5


Tra i modelli probabilistici discreti più utilizzati vi è la distribuzione binomiale, caratterizzata da 4 proprietà:

Si considera un numero prefissato di n osservazioni.Ciascuna osservazione può essere classificata in due categorie incompatibili ed esaustive, chiamate per convenzione successo e insuccessoLa probabilità di ottenere un successo, p, è costante per ogni osservazione, così come la probabilità che si verifichi un insuccesso, q = (1 – p).Il risultato di un’osservazione, successo o insuccesso, èindipendente dal risultato di qualsiasi altra.

La funzione di probabilità della distribuzione binomiale èdefinita dall’espressione:

LA DISTRIBUZIONE BINOMIALE


LA DISTRIBUZIONE BINOMIALEMedia e varianza della distribuzione binomiale sono rispettivamente µ = np e σ2 = npq = np(1-p). Una distribuzione binomiale può essere simmetrica o asimmetrica in base ai valori assunti dai parametri. Per qualsiasi valore di n, la distribuzione è simmetrica se p=0.5 e asimmetrica per valori di p diversi da 0.5. L’asimmetria diminuisce all’avvicinarsi di p a 0.5 e all’aumentare del numero di osservazioni n.

6


LA DISTRIBUZIONE BINOMIALE

La distribuzione binomiale è utilizzata come modello quando una specifica caratteristica in un campione può essere riconosciuta (ad esempio la presenza di elementi difettosi in un lotto).La distribuzione binomiale è spesso usata come base per l'elaborazione di schemi di campionamento in accettazione materia prime e altri materiali.In tali schemi, q è definito come la probabilità che un generico campione non sia difettoso (ad esempio, che non vi siano contaminanti), mentre p è la probabilità che il campione sia difettoso (ad esempio, vi è almeno un elemento contaminante) e dove n rappresenta il numero di totale campioni esaminati.


LA DISTRIBUZIONE DI POISSON

In molte applicazioni si è interessati a contare il numero di volte in cui si osserva la realizzazione di un evento (contaminazione, incidente, rottura, ecc.) in una certa area di opportunità. Un’area di opportunità è un intervallo continuo quale un tempo, una lunghezza, una superficie, un volume o in generale un’area nella quale un certo evento può verificarsi più volte.Un esempio può essere quello di dello studio degli infortuni nei cantieri edili: se il numero di medio di incidenti mortali nel settore edile è pari a 2 incidenti alla settimana, qual è la probabilità che in due settimane ci siano più di 5 incidenti?(evento: P(X > 5))?

7



Per poter utilizzare la distribuzione di Poisson come modello probabilistico per un problema ingegneristico, alcune condizioni devono essere soddisfatte:

Il numero di singoli eventi per unità di campionamento (x) deve essere ben al di sotto del numero max possibile che potrebbe verificarsi (x→∝); La probabilità che si verifichi un evento in una determinata frazione dell’unità di campionamento deve essere allo stesso tempo costante e molto piccola; Il verificarsi di un singolo evento in una qualsiasi frazione dell’unità di campionamento deve né aumentare nédiminuire la probabilità che un altro evento si verifichi; La dimensione dell’area di opportunità del campione deve essere piccola rispetto a quella di tutta la popolazione.



La funzione di probabilità della distribuzione di Poisson, il suo valore atteso e la sua varianza, sono definite dalle seguenti espressioni:

8


DISTRIBUZIONE POISSON


Se la seconda e la terza condizione per l'uso della distribuzione di Poisson non sono soddisfatte, la varianza della popolazione di solito è maggiore della media (µ < σ2 ). Tra i vari modelli probabilistici disponibili, la distribuzionebinomiale negativa è spesso il miglior modello per descrivere la distribuzione delle frequenze ottenute.La distribuzione binomiale negativa è ampiamente usata per modellare dati di conteggio degli incidenti automobilistici, che spesso presentano bassi valori medi campionari e campioni di piccole dimensioni.La distribuzione binomiale negativa, che descrive il numero di fallimenti prima del x-esimo successo, quando n è il numero intero, è definita dall’espressione:

LA DISTRIBUZIONE BINOMIALE NEGATIVA

9


Un metodo molto semplice per ottenere un valore approssimativo per il k può essere ottenuta riordinando l'equazione per la varianza di una binomiale negativa:

Per ottenere stime più affidabili è opportuno utilizzare il metodo di stima della massima verosimiglianza.Il metodo della massima verosimiglianza è implementato dal software statistico R (non Minitab), tuttavia esiste la possibilità di effettuare i calcoli usando degli applet presenti sul web:http://www.wessa.net/rwasp_fitdistrnegbin.wasp#output

LA DISTRIBUZIONE BINOMIALE NEGATIVA


Una funzione di densità di probabilità continua è un modello che definisce analiticamente come si distribuiscono i valori assunti da una variabile aleatoria continua.Quando si dispone di un’espressione matematica adatta alla rappresentazione di un fenomeno continuo, siamo in grado di calcolare la probabilità che la variabile aleatoria assuma valori compresi in intervalli (gli intervalli sono gli eventi di interesse, per una v.a. continua).Tuttavia, si noti che la probabilità che la variabile aleatoria continua assuma un particolare valore è pari a zero.I modelli continui hanno importanti applicazioni in ingegneria, scienze fisiche e naturale e scienze sociali.

MODELLI PROBABILISTICI PER VARIABILI CONTINUE

10


Alcuni tipici fenomeni continui sono gli aspetti dimensionali dei campioni/prelievi (volume, peso, ecc.) o il tempo che intercorre fra il verificarsi di due eventi di interesse (ad esempio un incidente).La figura rappresenta graficamente tre funzioni di densità di probabilità: normale, uniforme ed esponenziale.

MODELLI PROBABILISTICI PER VARIABILI CONTINUE


La distribuzione normale (o distribuzione Gaussiana) èla distribuzione continua più utilizzata in statistica.La distribuzione normale è importante in statistica per tre motivi fondamentali:

1. Diversi fenomeni continui sembrano seguire, almeno approssimativamente, una distribuzione normale.

2. La distribuzione normale può essere utilizzata per approssimare numerose distribuzioni di probabilitàdiscrete.

3. La distribuzione normale è alla base dell’inferenza statistica classica in virtù del teorema del limite centrale.

DISTRIBUZIONE NORMALE O GAUSSIANA

11


La distribuzione normale ha alcune importanti caratteristiche:

La distribuzione normale ha una forma campanulare e simmetrica.Le sue misure di posizione centrale (valore atteso, mediana) coincidono.Il suo range interquartile è pari a 1.33 volte lo scarto quadratico medio, cioè copre un intervallo compreso tra µ – 2/3σ e µ + 2/3σ.La variabile aleatoria con distribuzione normale assume valori compresi tra -∞ e + ∞.




12


Notiamo che, essendo e e π delle costanti matematiche, le probabilità di una distribuzione normale dipendono soltanto dai valori assunti dai due parametri µ e σ. Specificando particolari combinazioni di µ e σ, otteniamo differenti distribuzioni di probabilità normali.



Poiché esiste un numero infinito di combinazioni dei parametri µ e σ, per poter rispondere a quesiti relativi a una qualsiasi distribuzione normale avremmo bisogno di in numero infinito di tavole.Introduciamo ora una formula di trasformazione delle osservazioni, chiamata standardizzazione, che consente appunto di trasformare una generica variabile aleatoria normale in una variabile aleatoria normale standardizzata.

La standardizzazione

Z è la variabile ottenuta sottraendo ad X il suo valore atteso µ e rapportando il risultato allo scarto quadratico medio, σ.

XZ µσ−

=


13


DISTRIBUZIONE LOG-NORMALEIn probabilità la distribuzione lognormale, o log-normale, èla distribuzione di probabilità di una variabile aleatoria X il cui logaritmo logX segue una distribuzione normale. La funzione di densità di probabilità della distribuzione log-normale è data daCosì come la distribuzione normale può fornire un'approssimazione per la somma di "molte" variabili aleatorie IID X1,...,Xn (teorema del limite centrale), la distribuzione log-normale, se le Xi sono positive, puòfornire un'approssimazione per il loro prodotto.Nell’ambito dell’ingegneria Civile vi sono molti fenomeni che possono essere ben interpretati dalla distribuzione log-normale, tra questi la dissipazione delle piogge, la dispersione dell’amianto, così come anche la resistenza allo snervamento dell’acciaio è tipicamente modellata in modo log-normale.


DISTRIBUZIONE LOG-NORMALE

14


DISTRIBUZIONE DI GUMBEL E GEVLa distribuzione Gumbel viene utilizzata per modellare la distribuzione del massimo (o il minimo) numero di campioni, che possono essere estratti da distribuzioni diverse.Per esempio potremmo utilizzarla per rappresentare la distribuzione del livello massimo di un fiume in un particolare anno, se avessimo a disposizione l'elenco dei valori massimi degli ultimi anni.La distribuzione Gumbel risulta utile nel predire la probabilità di accadimento di eventi estremi quali terremoti di grande intensità, alluvioni o altri disastri naturali.La potenziale applicabilità della distribuzione Gumbel per rappresentare la distribuzione dei massimi si riferisce alla teoria dei valori estremi che ci suggerisce che essa può essere di aiuto quando la distribuzione sottostante ai dati campionari è di tipo normale o esponenziale.


DISTRIBUZIONE DI GUMBEL E GEVLa distribuzione di Gumbel può essere vista come un caso particolare di distribuzione GEV − Generalized ExtremeValue (dei valori estremi generalizzata, anche conosciuta come distribuzione Fisher-Tippett). La distribuzione èanche nota come log-Weibull e distribuzione doppio esponenziale (che viene talvolta usata per riferirsi alla distribuzione di Laplace).La funzione di densità f e di ripartizione F (densitàcumulata), dipendenti dai due parametri µ (location) e β(scale) della distribuzione di Gumbel sono

f = dove ;

15


DISTRIBUZIONE DI GUMBEL E GEV


DISTRIBUZIONE DI GUMBEL E GEVIn idrologia, quindi, la distribuzione di Gumbel è utilizzata per analizzare variabili come valori massimi mensili e annuali delle piogge giornaliere e volumi di portata dei fiumi.Gumbel ha dimostrato che il valore massimo in un campione di una variabile casuale che segue una distribuzione esponenziale si avvicina sempre più alla distribuzione di Gumbel al crescere della dimensione del campione.Gumbel ha anche dimostrato che lo stimatore r/(n+1) per la probabilità di un evento - dove r è il numero di rango del valore osservato nella serie di dati e n è il numero totale di osservazioni - è uno stimatore corretto della probabilitàcumulata della moda della distribuzione. Pertanto, questo stimatore è spesso usato come plotting position del probability plot.

16


DISTRIBUZIONE DI GUMBEL E GEV

In probabilità e statistica, distribuzione dei valori estremi (GEV) è una famiglia di distribuzioni di probabilitàcontinue sviluppata all'interno della teoria dei valori estremi che include le famiglie Gumbel, Fréchet e Weibull, note anche come distribuzione dei valori estremi di tipo I, II e III.Dal teorema dei valori estremi la distribuzione GEV è la distribuzione limite dei massimi, normalizzati in modo opportuno, di una sequenza variabili aleatorie IID (indipendenti e identicamente distribuite).Per questo motivo, la distribuzione GEV è usato come approssimazione per modellare i massimi di lunghe (finite) sequenze di variabili aleatorie.


DISTRIBUZIONE DI GUMBEL E GEVLa funzione di densità f e di ripartizione F (densitàcumulata), dipendenti dai tre parametri µ ∈ R — location,σ > 0 — scale, ξ ∈ R — shape, della distribuzione GEV sono:Il parametro di forma ξgoverna il comportamento della coda della distribuzione. Le sub-famiglie definite da ξ→0, ξ> 0 e ξ <0 corrispondono, rispettivamente, alle famiglie Gumbel, Fréchete Weibull, le cui funzioni di distribuzione cumulativa sono riportate a destra.

17


TRASFORMAZIONI DEI DATI DISCRETINon sempre la distribuzione normale si presta ad essere un modello appropriato per variabili di natura discreta e di interesse ingegneristico. Questa spesso è però una condizione importante perché i metodi inferenziali parametrici sono basati sull’assunzione di normalità (tra questo, i test ANOVA e t-test per la significatività delle differenze). Per superare questo problematica, possono essere prese in considerazione delle trasformazioni dei dati discreti dette'normalizzanti‘,ovvero tali darendere latrasformazioneapprossimativa-mente normale.


PROCEDURE DI GOODNESS-OF-FIT

Una volta assunta una funzione p(x) e f(x) adeguata a rappresentare un problema reale (discreto o continuo), e disponendo di stime plausibili per i suoi parametri, èpossibile calcolare la probabilità di un qualsiasi evento di interesse.Tuttavia, dal momento che la vera legge di probabilità PX di un fenomeno X rappresenta una caratteristica ignota e non osservabile della popolazione (come per altro lo sono i anche i suoi parametri), risulta di interesse valutare la bontàdi adattamento (goodness of fit) di uno specifico modello probabilistico rispetto ad un campione di dati osservati.Più propriamente, un test statistico di goodness of fitconsente di prendere una decisione in merito all’ipotesi che il vero modello della popolazione sia o meno uno pre-specificato modello probabilistico.

18


Per verifica l’ipotesi nulla secondo cui legge di probabilità PX di un fenomeno X è uguale a P0,

H0: PX = P0contro l’alternativa

H1: PX ≠ P0si può considerare la statistica χ2

La statistica χ2 si ottiene calcolando per ogni cella di una tabella di contingenza la differenza al quadrato fra la frequenza osservata (f0) e quella attesa (fe), divisa per fe, e sommando quindi il risultato ottenuto per ogni cella.

Statistica test χ2 per il confronto tra leggi di probabilità:

( )202

le celle

e

tutte e

f ff

χ−

= ∑

TEST CHI-QUADRATO


TEST CHI-QUADRATO

X Fr_att_Poiss Fr_oss (Att-Oss)^2/Att4 0.5 0 0.56 2.6 6 4.38 8.4 11 0.810 16.4 12 1.212 21.8 18 0.714 20.9 12 3.816 15.1 11 1.118 8.5 11 0.820 3.8 11 13.422 1.4 3 1.824 0.4 0 0.426 0.1 3 73.028 0.0 2 122.9

Chi-Sq.Stat. = 101.728DF = 12

alpha = 0.05Crit. value = 18.74

Fissato α, l’ipotesi nulla dovrà essere rifiutata se il valore osservato della statistica χ2 è maggiore del valore critico χ2

Udi una distribuzione χ2 con (r-1) gradi di libertà.Field No. bacteria Conteggio di No. bacteria

1 19 No. bacteria Totale2 12 4-5 63 7 6-7 114 11 8-9 125 9 10-11 186 9 12-13 127 7 14-15 118 7 16-17 119 9 18-19 11

10 13 20-21 311 18 22-23 312 13 24-26 213 10 Totale complessivo 10014 1215 12 Num. medio di batteri 12.69

19


TEST CHI-QUADRATO

Chi-Sq. Stat. = 101.728DF = 12


Conteggio dei batteri: frequenze osservate vs distribuzione di Poisson

0

2

4

6

8

10

12

14

16

18

20

22

1 2 3 4 5 6 7 8 9 10 11 12 13

Numero di batteri

Freq

uenz

a

Fr_ossFr_att


TEST CHI-QUADRATO

Conteggio dei batteri: frequenze osservate vs distribuzione binomiale negativa

0

2

4

6

8

10

12

14

16

18

20

22

1 2 3 4 5 6 7 8 9 10 11 12 13

Numero di batteri

Freq

uenz

a

Fr_ossFr_att

Chi-Sq. Stat. = 14.5DF = 12


20


TEST DI ANDERSON-DARLINGLa statistica di Anderson-Darling (A2) misura l'area il modello previsto (in base alla distribuzione scelta) e la funzione di ripartizione empirica. Più precisamente, la statistica Anderson-Darling è una distanza al quadrato che avrà un peso maggiore nelle code della distribuzione.Valori bassi della statistica Anderson-Darling indicano che la distribuzione ipotizzata si adatta bene i dati.La statistica A2 può essere applicata sia a modelli discreti sia continui, ma tradizionalmente viene applicata a variabili continue.La statistica test Anderson-Darling A2 è definita comeA2 = – n – S, doveS=∑n

i=1((2*i – 1)/n)*[ln(F(Y(i)) + ln(1 – F(Y(N+1-i))]F è la funzione di distribuzione cumulativa della distribuzione specificata


TEST DI ANDERSON-DARLING

3000000225000015000007500000

Median

Mean

900000800000700000600000500000400000300000

Anderson-Darling Normality Test

Variance 5.17897E+11Skewness 1.99001Kurtosis 4.14066N 80

Minimum 26303

A-Squared

1st Quartile 270721Median 5191103rd Quartile 971676Maximum 3467369

95% Confidence Interval for Mean

571312

5.08

891612

95% Confidence Interval for Median

369663 640945

95% Confidence Interval for StDev

622824 852407

P-Value < 0.005

Mean 731462StDev 719651

95 % Confidence Intervals

Summary for Counts

Counts

Perc

ent

40000003000000200000010000000-1000000-2000000

99.9

99

9590

80706050403020

10

5

1

0.1

Mean

<0.005

731462StDev 719651N 80AD 5.081P-Value

Probability Plot of CountsNormal - 95% CI

Counts

Perc

ent

10000000100000010000010000

99.9

99

9590

80706050403020

10

5

1

0.1

Loc

0.183

13.05Scale 1.037N 80AD 0.518P-Value

Probability Plot of CountsLognormal - 95% CI

21


TEST DI ANDERSON-DARLING

1.081.061.041.021.000.980.96

Median

Mean

0.9900.9850.9800.9750.970

Anderson-Darling Normality Test

Variance 0.00082Skewness 1.61433Kurtosis 3.20499N 50

Minimum 0.94500

A-Squared

1st Quartile 0.96275Median 0.977003rd Quartile 0.99425Maximum 1.08500

95% Confidence Interval for Mean

0.97487

1.77

0.99117

95% Confidence Interval for Median

0.96867 0.98500

95% Confidence Interval for StDev

0 02396 0 03574

P-Value < 0.005

Mean 0.98302StDev 0.02868

95 % Confidence Intervals

Summary for Peso

Peso

Perc

ent

1.101.051.000.950.90

99

95

90

80

70

60504030

20

10

5

1

Mean

<0.005

0.9830StDev 0.02868N 50AD 1.768P-Value

Probability Plot of PesoNormal - 95% CI

Peso

Perc

ent

1.101.051.000.950.90

99

95

90

80

70

60504030

20

10

5

1

Loc

<0.005

-0.01753Scale 0.02857N 50AD 1.592P-Value

Probability Plot of PesoLognormal - 95% CI

Modelli probabilistici - static.gest.unipd.itstatic.gest.unipd.it/~livio/PDF/PDF_CIVILE/Modelli...

Documents

Transcript of Modelli probabilistici - static.gest.unipd.itstatic.gest.unipd.it/~livio/PDF/PDF_CIVILE/Modelli...