Giacinto Gelli - UniNa STiDuE: l'universita a casa tua! Materiale unina. di Analisi...

download Giacinto Gelli - UniNa STiDuE: l'universita a casa tua! Materiale unina. di Analisi Matematica... ·

of 140

  • date post

    15-Feb-2019
  • Category

    Documents

  • view

    215
  • download

    0

Embed Size (px)

Transcript of Giacinto Gelli - UniNa STiDuE: l'universita a casa tua! Materiale unina. di Analisi...

Giacinto Gelli

Probabilit e informazioneManuale per il corso di Teoria dei Fenomeni Aleatori

abcefg

NAPOLI 2002

c Giacinto Gelli gelli@unina.itLautore consente la riproduzione anche parziale del testo agli studenti del corso. Non con-sentito modificare il testo, diffonderlo, pubblicarlo anche con mezzi telematici senza il consensoscritto dellautore.

Prima versione (1.0): settembre 2001.Seconda versione (2.0): febbraio 2002.Terza versione (3.0): ottobre 2002.Quarta versione (3.1): marzo 2003.Quinta versione (3.2): settembre 2003.

Dedicato ad Annalisa, Andrea, ed Alice.

Prefazione

Poich non dal lavoro che nasce la civilt:essa nasce dal tempo libero e dal giuoco.

Alexandre Koyr, I filosofi e la macchina

Questo libro costituisce un tentativo di fornire unintroduzione snella, ma rigorosa, ai concet-ti fondamentali di probabilit ed informazione per gli allievi dei corsi di laurea dellIngegneriadellInformazione.

Il libro organizzato in 10 capitoli ed alcune appendici; nei capitoli 1 e 2 si espongono le basi dellateoria della probabilit; i capitoli 3, 4 e 5 sono dedicati allo studio della teoria di una variabilealeatoria; i capitoli 6 e 7 si occupano della teoria di due variabili aleatorie; il capitolo 8 generalizzamolti dei concetti esposti nei capitoli precedenti al caso di n > 2 variabili aleatorie e discutebrevemente i teoremi limite (legge dei grandi numeri e teorema limite fondamentale); nel capitolo9 sono introdotte le distribuzioni condizionali; infine, il capitolo 10 dedicato allintroduzionedei concetti fondamentali della teoria dellinformazione (entropia, codifica di sorgente, primoteorema di Shannon, codici di Huffmann). Gli argomenti marcati con il simbolo possono esseresaltati ad una prima lettura, senza pregiudicare la comprensione del resto. Il libro corredatoda numerosi esempi svolti e da oltre 200 esercizi proposti, suddivisi per capitolo; gli esercizicontrassegnati con il simbolo sono di maggiore difficolt.

Per la comprensione del testo, sono richieste conoscenze di base di calcolo combinatorio, di ana-lisi reale (teoria delle funzioni di una e pi variabili, integrazione delle funzioni di una e pivariabili, derivazione delle funzioni di una e pi variabili, successioni e serie) e di algebra li-neare e geometria (vettori, matrici, determinanti). necessaria anche una conoscenza operativadellimpulso di Dirac (le propriet fondamentali sono richiamate nellappendice D).

Il libro disponibile su Internet in formato pdf alla seguente URL:

http://www.die.unina.it/GruppoTLC/gelli/didattica/CorsoFAlaurea/materiale

ed stato composto dallautore utilizzando LATEX2e. Commenti, segnalazioni di errori e suggeri-menti possono essere indirizzati a gelli@unina.it.

ii

Si ringraziano gli studenti della Facolt di Ingegneria dellUniversit di Napoli per il loro in-coraggiamento, la loro inesauribile curiosit, e particolarmente per le osservazioni che hannoconsentito di correggere molti degli errori presenti nelle precedenti versioni.

Giacinto Gelli, ottobre 2002

iii

Principali notazioni

A, B, C insiemiA, B, C classi (collezioni di insiemi) insieme vuoto A appartiene ad A A non appartiene ad AA B A un sottoinsieme di BA B A un sottoinsieme proprio di BA B, A + B unione di A e BA B, AB intersezione di A e BA B differenza tra A e BA complemento di AA B prodotto cartesiano di A e B uguale per definizioneN insieme dei numeri naturali {1, 2, . . . , }N0 = N {0} insieme dei numeri naturali, zero incluso {0, 1, 2, . . .}Z insieme dei numeri interi relativi {. . . ,2,1, 0, 1, 2, . . .}R insieme dei numeri realiR = R {, } insieme ampliato dei numeri reali[a, b] intervallo a x b[a, b[ intervallo a x < b]a, b] intervallo a < x b]a, b[ intervallo a < x < b] , b[ intervallo x < b] , b] intervallo x b]a, [ intervallo x > a[a, [ intervallo x a(a, b) indica indifferentemente un qualunque intervallo di estremi a e b spazio campioneS -campo costruito su uno spazio campione P() collezione delle parti di P(A) probabilit dellevento AP(A|B) probabilit condizionata dellevento A dato levento BX, Y, Z variabili aleatoriex, y, z vettoriA, B, C matricidet(A) determinante della matrice AA1 inversa della matrice AAT trasposta della matrice A

iv

Indice

1 Probabilit elementare 11.1 Introduzione . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.2 Richiami di teoria degli insiemi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31.3 Probabilit: definizioni preliminari . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61.4 Probabilit assiomatica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

1.4.1 Campi e -campi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81.4.2 Assiomi di Kolmogorov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91.4.3 Propriet elementari della probabilit . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101.4.4 Spazi di probabilit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121.4.5 Propriet di continuit della probabilit . . . . . . . . . . . . . . . . . . . . . . . . . . 12

1.5 Altri approcci alla teoria della probabilit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131.5.1 Approccio frequentista . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141.5.2 Approccio classico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141.5.3 Vantaggi (e svantaggi) dellapproccio assiomatico . . . . . . . . . . . . . . . . . . . . . 15

1.6 Esempi di costruzione di spazi di probabilit . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161.6.1 Spazi di probabilit discreti . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161.6.2 Spazi di probabilit continui . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

1.7 Esercizi proposti . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

2 Probabilit condizionale e indipendenza 272.1 Introduzione . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272.2 Probabilit condizionale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

2.2.1 Interpretazioni della probabilit condizionale . . . . . . . . . . . . . . . . . . . . . . . 292.2.2 Legge della probabilit composta . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302.2.3 Regola della catena . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 312.2.4 Teorema della probabilit totale e teorema di Bayes . . . . . . . . . . . . . . . . . . . . 32

2.3 Indipendenza tra eventi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 352.3.1 Indipendenza di tre o pi eventi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362.3.2 Indipendenza condizionale tra eventi . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

2.4 Esperimenti combinati . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 372.4.1 Esperimenti indipendenti . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

2.5 Elementi di un sistema di comunicazione . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 412.5.1 Sorgente di informazione . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 422.5.2 Canale di comunicazione e canale binario simmetrico (BSC) . . . . . . . . . . . . . . . 422.5.3 Sorgenti e canali senza memoria . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

2.6 Esercizi proposti . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48

vi INDICE

3 Variabili aleatorie 513.1 Introduzione . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

3.1.1 Definizione formale di variabile aleatoria . . . . . . . . . . . . . . . . . . . . . . . . . . 543.2 Funzione di distribuzione cumulativa (CDF) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54

3.2.1 Propriet della CDF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 563.2.2 Variabili aleatorie discrete, continue, miste . . . . . . . . . . . . . . . . . . . . . . . . . 583.2.3 Percentile e mediana . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59

3.3 Funzione densit di probabilit (pdf) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 613.3.1 Propriet della pdf . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62

3.4 Funzione distribuzione di probabilit (DF) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 643.4.1 Propriet della DF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65

3.5 Variabili aleatorie notevoli . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 663.5.1 Variabile aleatoria di Bernoulli . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 673.5.2 Variabile aleatoria binomiale e problema delle prove ripetute . . . . . . . . . . . . . . 673.5.3 Variabile aleatoria binomiale negativa . . . . . . . . . . . . . . . . . . . . . . . . . . . . 703.5.4 Variabile aleatoria geometrica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 713.5.5 Variabile aleatoria di Poisson . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 723.5.6 Variabile aleatoria uniforme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 723.5.7 Variabile aleatoria gaussiana o normale . . . . .