1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection,...

49
1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE f. ‘Detection, Estimation and Modulation Theory, Part I’, H.L.Van Trees, ed. John Wiley&Sons, Inc. 1968 Prof. Carlo S. Regazzoni

Transcript of 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection,...

Page 1: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

1

Corso di Sistemi di Telecomunicazione 1A.A 2009/2010

TEORIA DELLA DECISIONE

Ref. ‘Detection, Estimation and Modulation Theory, Part I’, H.L.Van Trees, ed. John Wiley&Sons, Inc. 1968

Prof. Carlo S. Regazzoni

Page 2: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

2

CONTENUTI

• Introduzione

• Test di ipotesi binaria

• Criteri di decisione

• Misure di prestazione: curve ROC

• M-ipotesi

Page 3: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

3

INTRODUZIONE: Il problema della decisione

• Componenti del problema della decisione:

1. Sorgente

2. Meccanismo probabilistico di rumore

3. Spazio dell’osservazione

4. Regola di decisione

Sorgente

H0

H1

Meccanismoprobabilistico

di rumore

Spaziodella

osservazione

DECISIONE

Regola didecisione

Page 4: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

4

INTRODUZIONE: Il problema della decisione

• Sorgente

La sorgenete genera un’uscita che, nel caso più sempliceè una tra due possibili scelte 1H0H e

ESEMPIOUn sistema di comunicazione digitale trasmette informazioni mandando ‘0’ e ‘1’:

1H = è stato trasmesso ‘1’

0H = è stato trasmesso ‘0’

• Meccanismo probabilistico di rumore

Può essere visto come un dispositivo che saquale ipotesi è vera. Sulla base di questa conoscenza, genera un punto nello spazio delleosservazioni, in accordo con date leggiprobabilistiche.

• Spazio delle osservazioni: ESEMPIO

• Quando H1 è vera, la sorgente genera +1.

• Quando H0 è vera, la sorgente genera -1.

Page 5: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

5

INTRODUZIONE: Il problema della decisione

Un problema di decisione:

Fig. a: Modello

Fig. b: Densità di probabilità

• Una variabile casuale discreta indipendente n la cui densità di probabilità è mostrata nella figura (b) è aggiunta all’uscita della sorgente.• L’osservazione r è data dalla somma dell’uscita della sorgente con n.

• Sotto le due ipotesi abbiamo due possibili osservazioni r le cui densità di probabilità sono mostrate in figura (b).

• Regola di decisione

La regola di decisione assegna ogni punto dello spazio dell’osservazione ad una delle ipotesi

Page 6: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

6

IPOTESI BINARIA

• Ognuna delle due uscite della sorgente corrisponde ad una ipotesi

• Ogni ipotesi viene mappata in un punto dello spazio delle osservazioni

• Assumiamo che lo spazio delle osservazioni corrisponde a un insieme di N osservazioni:

, ...... Nr,r,r 21

Ogni insieme può essere pensato come un punto in uno spazio N-dimensionale e può essere denotato da un vettore r:

Nr.

.r

r

2

1

r

• Il meccanismo probabilistico di rumore genera punti in accordo con due densità di probabilità condizionali

note e

• OBIETTIVO: usare questa informazione per sviluppare una buona regola di decisione

vediamo diversi criteri di decisione

00H|p |H Rr 11

H|p |H Rr

Page 7: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

7

CRITERI DI DECISIONE

• Nell’ipotesi binaria sappiamo che una delle ipotesi H1

o H0 è vera.

• Confiniamo la discussione sulle regole di decisione che sono richieste per prendere una decisione.

• Ogni volta che l’esperimento viene condotto, può verificarsi una delle seguenti 4 situazioni:

1. H0 è vera - scelgo H0;

2. H0 è vera - scelgo H1;

3. H1 è vera - scelgo H1;

4. H1 è vera - scelgo H0;

• La prima e la terza alternativa corrispondono a scelte corrette.

• La seconda e la quarta alternativa corrispondono a scelte sbagliate.

• Lo scopo di un criterio di decisione è quello di dare una importanza relativa ai possibili quattro eventi.

Page 8: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

8

CRITERIO DI BAYES

• Il test di Bayes è basato si due assunzioni:

1. Prima assunzione

Le uscite sono governate da assegnazioni probabilistiche, che sono denotate da P1 e P0 e sono chiamate probabilità a priori. Queste probabilità rappresentano l’informazione che ha l’osservatore sulla sorgente, prima che l’esperimento sia condotto.

2. Seconda assunzione

Ad ogni possibile azione viene associato un costo C00, C10, C11, C01, dove il primo pedice indica l’ipotesi scelta e il secondo l’ipotesi vera. Ogni volta che l’esperimento viene eseguito, si paga un certo costo.

• Vogliamo progettare la nostra regola di decisione in modo tale che il costo medio sia minimizzato.

1011

0100

CC

CCC 0Cij

Page 9: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

9

CRITERIO DI BAYES

• Per minimizzare il costo medio, scriviamo un’espressione per il costo aspettato (rischio):

veraH|HdecidoPrPC

veraH|HdecidoPrPC

veraH|HdecidoPrPC

veraH|HdecidoPrPC

R

10101

11111

01010

00000

• Siccome abbiamo assunto che la regola di decisione possa decidere per H0 o per H1, questa può essere vista come una regola che divide lo spazio di osservazione Z in due parti, Z0 e Z1:

Sorgente R

R

00H|p |H Rr

11H|p |H Rr

Z0

Z0

Z1

Decido per Z0

Decido per Z1

dove:

veraHpp 0r0

veraH/H.decpveraH/H.decpp 00r00r0

Page 10: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

10

CRITERIO DI BAYES

• Possiamo scrivere l’espressione per il rischio in termini di probabilità di transizione e di regioni di decisione:

RR

RR

RR

RR

r

r

r

r

d)H|(pPC

d)H|(pPC

d)H|(pPC

d)H|(pPC

Z H|

Z H|

Z H|

Z H|

0 1

1 1

1 0

0 0

1101

1111

0010

0000

R

• Assumiamo che il costo relativo ad una decisione sbagliata sia più alto del costo relativo ad una decisione corretta(data la stessa Hi vera):

11010010 CCCC

• Per trovare il test di Bayes dobbiamo scegliere le regioni di decisione in modo tale che il rischio sia minimizzato

• Siccome vogliamo che una decisione venga comunque presa, occorre che lo spazio di osservazione Z sia tale che:

1010 ZZZZZ

(1)

(2)

Page 11: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

11

CRITERIO DI BAYES

• La (1) può essere riscritta nel seguente modo:

RRRR

RRRR

rr

rr

d)H|(pPCd)H|(pPC

d)H|(pPCd)H|(pPC

Z H|ZZ H|

ZZ H|Z H|

0 10 1

0 00 0

11011111

00100000

R

• Osserviamo che:

• I primi due termini rappresentano il costo fissato se decido H1 sempree l’ integrale rappresenta il costo controllato da quei punti R che assegniamo a Zo.

• L’assunzione (2) implica che i due termini dentro le parentesi tonde siano positivi.

tutti i valori di R per cui il secondo termine è più grande del primo dovrebbero essere inclusi in Zo perché danno contributo negativo all’integranda;

tutti i valori di R per cui il primo termine è più grande del secondo dovrebbero essere esclusi da Zo (assegnati a Z1).

110 10 RRRR rr d)H|(pd)H|(p Z H|Z H|

RR

R

r

r

d)]H|(p)CC(P

)]H|(p)CC(P[PCPC

H|

Z H|

000100

111011111010

0

0 1

[-

R

(3)

Page 12: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

12

CRITERIO DI BAYES

• Le regioni di decisione sono definite dalla seguente relazione:

)H|(p)CC(P)H|(p)CC(P H|H| 000100111011 01RR rr

• La (4) può essere riscritta nel seguente modo:

(4)

SE

ASSEGNIAMO R A Z1, QUINDI SCELGO L’IPOTESI H1 E’ VERA.

)CC(P

)CC(P

)H|(p

)H|(p)(

H

HH|

H|

11011

00100

0

1 1

00

1

R

RR

r

r (5)

• (R) è chiamato rapporto di verosimiglianza ed è una variabile aleatoria.

• La quantità a destra della (5) è la soglia del test:

)CC(P

)CC(P

11011

00100

Page 13: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

13

CRITERIO DI BAYES

OSSERVAZIONI

• Il criterio di Bayes può essere riscritto come segue:

• Tutta l’elaborazione è contenuta nel calcolo del rapporto di verosimiglianza e non dipende dalle probabilità a priori o dall’assegnazione dei costi.

• Siccome il logaritmo naturale è una funzione monotona ed entrambi i termini della (6) sono positivi, un test equivalente è il seguente:

1

0

H

H

)( R (6)

ln)(lnH

H

1

0

R (7)

Page 14: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

14

CRITERIO DI BAYESEsempio 1

• Ipotesi H1 uscita della sorgente = tensione m

• Ipotesi H0 uscita della sorgente = tensione 0

• Prima dell’osservazione la tensione è corrotta da un rumore additivo.

• Campioniamo la forma d’onda in uscita ogni secondo e otteniamo N campioni.

• Ogni campione di rumore è una variabile aleatoria

Gaussiana a media nulla e varianza

• I campioni di rumore sono indipendenti tra di loro e sono indipendenti dall’uscita della sorgente.

2

Page 15: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

15

CRITERIO DI BAYESEsempio 1

• Le osservazioni sotto le due ipotesi sono:

N, ... ,2,1i nr:H

N, ... ,2,1i nmr:H

ii0

ii1

e

2

2

22

1

X

exp)X(pin

• La densità di probabilità dell’osservazione sotto le due ipotesi risulta essere:

2

2

122

11

)mR(exp)H|R(p i

iH|ri

2

2

022

10

iiH|r

Rexp)H|R(p

i

e

Page 16: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

16

CRITERIO DI BAYESEsempio 1

• Siccome i campioni di rumore sono statisticamente indipendenti, è possibile scrivere:

N

i

iH|

)mR(exp)H|(p

12

2

122

11 Rr

e

N

i

iH|

Rexp)H|(p

12

2

022

10 Rr

• Il rapporto di verosimiglianza risulta essere:

N

i

i

N

i

i

Rexp

)mR(exp

)(

12

21

2

2

221

221

R

2

2

12 2

NmR

m)(ln

N

ii

R

Page 17: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

17

CRITERIO DI BAYESEsempio 1

• Il test di verosimiglianza è:

o, equivalentemente:

• Il processore semplicemente somma i campioni osservati e confronta la somma con una soglia.

• L’operazione:

lnNm

Rm

H

H

N

ii

1

02

2

12 2

2

2

1

1

0

Nmln

mR

H

H

N

ii

N

iiR)(l

1R

è chiamata statistica sufficiente.

Page 18: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

18

CRITERIO DI BAYESEsempio 2

• L’osservazione consiste di un insieme di N valori:

che sono indipendenti, identicamente distribuiti, condistribuzione Gaussiana a media nulla.

• Sotto l’ipotesi H1, i campioni osservati hanno varianza

e sotto l’ipotesi Ho

Nr,r,r , ... 21

21

20

• Siccome le variabili sono indipendenti:

N

i

iH|

Rexp)H|(p

121

2

11

22

11 Rr

N

i

iH|

Rexp)H|(p

120

2

00

22

10 Rr

• Il test di verosimiglianza diventa:

lnlnNR

H

H

N

ii

1

01

0

1

221

20

11

2

1

Page 19: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

19

CRITERIO DI BAYESEsempio 2

• In questo caso la statistica sufficiente è data da:

• Un test equivalente per è:

2

1

20

20

21

21

2021

0

lnNln)(lH

H

R

N

iiR)(l

1

2R

20

21 • Per si ha invece:

lnlnN)(l

H

H21

20

21

20

21

2020

1

R

Page 20: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

20

CRITERIO DI BAYESCaso particolare:

ricevitore a minima probabilità di errore

• Supponiamo che:

• La funzione di rischio (1) diventa:

01100 CC

• L’espressione (8) rappresenta la probabilità totale di fare un errore, che viene perciò minimizzata.

• Il test di verosimiglianza è:

)Pln(PlnP

Pln)(ln

H

H00

1

0 11

0

R

11001 CC

0 11 0 1100 Z H|Z H| d)H|(pPd)H|(pP RRRR rrR (8)

• Quando le due ipotesi sono equiprobabili, la soglia è nulla. Questa ipotesi è generalmente vera nei sistemi di comunicazione digitale. Questo tipo di criterio viene normalmente chiamato ricevitore a minima probabilità di errore.

1

0

1H

0H01

10

P

P

HRP

HRP

MAPHRPPH

RPP0

01

1

Page 21: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

21

CRITERIO MINIMAX

• Il criterio minimax è un caso particolare del test di Bayes in cui le probabilità a priori non sono note.

• Introduciamo le seguenti quantità, con analogia al problema del radar, in cui l’ipotesi H1 corrisponde alla presenza di un target, e l’ipotesi Ho corrisponde alla sua assenza:

1 0 0Z H|F d)H|(pP RRr (9)

• PF è la probabilità di falso allarme (il target è rilevato quando in realtà non c’è);

• PM è la probabilità di mancato allarme (il target non è rilevato quando in realtà c’è);

• PD è la probabilità di detection (il target è rilevato correttamente).

1 1 1Z H|D d)H|(pP RRr (10)

0 1

11Z DH|M Pd)H|(pP RRr (11)

Page 22: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

22

CRITERIO MINIMAX

• La funzione di rischio (3) può essere riscritta nel seguente modo:

)P)(CC(P

P)CC(PCPCP

F

M

100100

11011111100

R

• Poiché , è possibile scrivere:

(13)

10 1 PP

]P)CC(P)CC()CC[(P

PC)P(C)(P

FM

FF

0010110100111

10001 1

R

• In figura è riportata la funzione di rischio Bayesiana in funzione di P1; si può osservare come P1 cambia le regioni di decisione e quindi le probabilità PF e PM.

(12)

Page 23: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

23

CRITERIO MINIMAX

• Fissiamo P1=P1* e costruiamo il corrispondente test di Bayes;• Fissiamo la soglia e ora assumiamo che P1 possa cambiare;• Denotiamo il rischio per questa soglia fissata come:

)P,P( *F 11R

• Siccome la soglia è fissata, allora PF e PM sono fissate e la (13) rappresenta una retta;• Se vediamo come è definita la soglia , osserviamo che questa cambia continuamente al variare di P1

ogni volta che , la soglia nel test di Bayes sarà differente. • Siccome il test di Bayes minimizza il rischio, allora:

*PP 11

)P()P,P( B*

F 111 RR • Se è una variabile aleatoria continua con funzione di distribuzione probabilistica strettamente monotona, allora cambiando viene cambiato il rischio;• RB ha concavità verso il basso;

• RF è tangente a RB nel punto .• Queste curve dimostrano l’effetto della conoscenza errata delle probabilità a priori.

*PP 11

)P(R)P,P(R *1B

*1

*1F

Page 24: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

24

CRITERIO MINIMAX

• Il criterio minimax minimizza il massimo rischio

P1 è scelto in modo da massimizzare il rischio RF.

ESEMPIO 1

Il massimo di Rb si ha inP1=1 per minimizzareil massimo rischio usiamo il test di Bayes con P1=1.

ESEMPIO 2

Il massimo di Rb si ha inP1=0 per minimizzareil massimo rischio usiamo il test di Bayes con P1=0.

Page 25: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

25

CRITERIO MINIMAX

ESEMPIO 3

• Il massimo di RB cade nell’intervallo (0,1), quindi

scegliamo RF orizzontale. Questop implica che il coefficiente di P1 nella (13) deve essere nullo (equazione del minimax)

0001011010011 FM P)CC(P)CC()CC(

• Nel caso particolare in cui , indicando: 00011 CC

MCC 01 FCC 10

l’equazione del minimax è:

FFMM PCPC

*1

*1

P

)P1(R

*1P

?P*1

11ct

Page 26: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

26

CRITERIO DI NEYMAN-PEARSON

'PF

• In molti casi reali è difficile assegnare costi realistici o probabilità a priori;

• Una procedura semplice per evitare questo problema è lavorare con le probabilità condizionali PF e PD;

• In generale, vogliamo minimizzare PF e massimizzare PD;

• In molti casi pratici questi due obiettivi sono in conflitto

un criterio ovvio consiste nel limitare una delle probabilità e massimizzare o minimizzare l’altra.

• Il criterio di Neyman-Pearson la probabilità di falso allarme:

e progetta un test per massimizzare la probabilitàdi detection (o minimizzare la probabilità dimancato allarme), con questo vincolo.

Page 27: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

27

CRITERIO DI NEYMAN-PEARSON

]'P[PF FM

• La soluzione è facilmente ottenuta usando i moltiplicatori di Lagrange.; costruiamo la funzione F:

o

]'d)H|(P[d)H|(PF Z H|Z H| 1 00 1 01 RRRR rr

• Se , minimizzare F equivale a minimizzare PM.• Per ogni valore positivo di , un rapporto di verosimiglianza minimizzerà F, infatti per minimizzare F noi assegniamo un punto R a Zo solo quando il termine tra parentesi è negativo; questo equivale al test:

'PF

0 01 011 Z H|H| d)]H|(P)H|(P[)'(F RRR rr

)H|(P

)H|(P

H|

H|

0

1

0

1

R

R

r

r assegno il punto a Zo

F è minimizzata dal test di verosimiglianza:

0H

1H

)R(

Page 28: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

28

CRITERIO DI NEYMAN-PEARSON

'PF

• Per soddisfare il vincolo scegliamo in modo tale che:

• Se indichiamo la densità di probabilità di quando Ho è vera come:

)H|(P H| 00

allora deve essere:

'

'd)H|(PP H|F 00

(14)

• Risolvendo la (14), si ottiene la soglia

• Osserviamo che diminuire è equivalente ad aumentare Z1, la regione in cui decidiamo per H1;

PD aumenta al diminuire di

diminuiamo finché non otteniamo il valore più alto possibile

Page 29: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

29

PERFORMANCES:Receiver Operating Characteristic

• Per il test di Neyman-Pearson i valori di PF e PD

specifica completamente le prestazioni del test;

• Osservando l’equazione (12), vediamo che il rischio di

Bayes RB è dato, se sono note le probabilità PF e PD

ci concentriamo sul calcolo di PF e PD

• Riprendiamo l’esempio 1, in cui il test di verosimiglianza è rappresentato da:

2

2

1

1

0

Nmln

mR

H

H

N

ii

• Equivalentemente, il test di verosimiglianza può essere espresso dalla seguente espressione:

2

1 1

01

mNln

mNR

Nl

H

H

N

ii

• Sotto l’ipotesi Ho, l è ottenuto aggiungendo N

variabili indipendenti con varianza e quindi dividendo per

l ha distribuzione Gaussiana normalizzata N(0,1)

2N

Page 30: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

30

PERFORMANCES:Receiver Operating Characteristic

• Sotto l’ipotesi H1, l ha distribuzione Gaussiana

con media e varianza 1.

• Le densità di probabilità di l sono mostrate nella seguente figura, in cui è riportata anche la soglia del test di verosimiglianza:

mN

Page 31: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

31

PERFORMANCES:Receiver Operating Characteristic

• La probabilità di falso allarme PF è l’integrale di

a destra della soglia, cioè:

)H|L(P H|l 00

dxx

expP/dd/)(ln

F

22

1 2

2

dove:

mN

d

• d rappresenta la distanza tra i valori medi delle due densità di probabilità.

• Introduciamo la seguente notazione:

dx2

xexp

2

1)X(erfcxQ

2

X

2

d

d

lnerfcPF

(15)

Page 32: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

32

PERFORMANCES:Receiver Operating Characteristic

• Analogamente, la probabilità di detection PD è l’integrale di:

a destra della soglia; dopo qualche calcolo elementaresi può ottenere che:

)H|L(P H|l 11

2

d

d

lnerfcPD

Page 33: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

33

PERFORMANCES:Receiver Operating Characteristic

• Nella seguente figura abbiamo tracciato PF per diversi valori di d al variare di .

• Quando = 0, ln -, quindi il ricevitore decide sempre per H1, quindi PF = 1 e PD = 1;

• quando -, il decisore sceglie sempre H0, per cui PF = 0 e PD = 0.

Page 34: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

34

PERFORMANCES:Receiver Operating Characteristic

• Come ci si aspetta dalle figure delle densità di probabilità, le prestazioni crescono monotonicamente con d.

• Le curve tracciate nel lucido precedente vengono chiamate curve ROC (Receiver Operating Characteristic);

• le curve ROC descrivono completamente le prestazioni del test in funzione dei parametri di interesse.

• CASO PARTICOLARE: volgiamo minimizzare la probabilità di errore totale:

• Quando P1 = Po la probabilità di errore totale è:

MF PPPP)Pr( 10

222

1

2

1 2

2

derfcdx

xexp)PP()Pr(

/dMF

Page 35: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

35

PERFORMANCES:Receiver Operating Characteristic

LIMITI DI ERFC*

• Il calcolo dei limiti della funzione erfc* ci permettono di discutere analiticamente il suo comportamento approssimato.

• Per X > 0, risolvendo l’integrale (15) per parti, si trova che:

• Un altro limite è, sempre per X > 0:

22

1

2

11

2

1 22

2X

expX

)X(erfcX

expXX

22

1 2Xexp)X(erfc

Page 36: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

36

PERFORMANCES:Receiver Operating Characteristic

• La seguente figura mostra le 4 curve di interesse:

• Notiamo che erfc* decresce esponenzialmente.

Page 37: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

37

PERFORMANCES:Receiver Operating Characteristic

Esempio

Riprendiamo l’esempio 2 del test di Bayes in cui avevamo ricavato che:

• Per valutare l’espressione sopra, consideriamo le coordinate polari:

0121

20

20

21

21

20

1

2 21

0

lnNlnR)(l

H

H

N

iiR

• Il calcolo delle prestazioni per N arbitrario è molto difficile. Consideriamo per semplicità il caso di N=2.

• Sotto l’ipotesi Ho, i valori ri sono variabili indipendenti

Gaussiane a media nulla e con varianza uguale a :20

)H/rrPr()H/lPr(PF 022

210

coszr 1

zsinr 2

22

21 rrz

1

21r

rtan

Page 38: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

38

PERFORMANCES:Receiver Operating Characteristic

Esempio

• Analogamente si trova che:

• Integrando rispetto a otteniamo:

dZZ

expZd)H/zPr(

2

22

020

02

22

1

dZZ

expZPF

2

2

20 2

1

• Osserviamo che la statistica sufficiente l è uguale a z2. Facendo un cambiamento di variabili, otteniamo:

20

220 222

1

expdL

LexpPF

212

expPD

(16)

(17)

Page 39: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

39

PERFORMANCES:Receiver Operating Characteristic

Esempio

• Come ci si poteva aspettare, le prestazioni aumentano in modo monotono con il rapporto:

• Per costruire le curve ROC, combiniamo le equazioni (16) e (17) per eliminare la soglia :

21

20

)P(P FD

• Applicando il il logaritmo naturale si ha::

FD PlnPln21

20

20

21

Page 40: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

40

PERFORMANCES:Receiver Operating Characteristic

Proprietà • Riprendiamo l’espressione (14) della probabilità di falso allarme e denotiamo la soglia con ; abbiamo che:

dX)H|X(pP H|F 00

• Se PF() è una funzione continua di , è possibile raggiungere un valore desiderato compreso tra 0 e 1 per la probabilità di falso allarme, scegliendo opportunamente ;

• Supponendo vera l’ipotesi precedente (test di verosimiglianza continuo), è possibile ricavare alcune propietà generali delle curve ROC.

PROPRIETA’ 1

Tutti i test di verosimiglianza continui hanno curve ROC con concavità verso il basso.Se così non fosse, allora sarebbe meglio usare un test discreto, e questo è in contraddizione con l’ottimalitàdel test di verosimiglianza.

Page 41: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

41

PERFORMANCES:Receiver Operating Characteristic

Proprietà

d)H|(pP H|F 00

PROPRIETA’ 2

Tutti i test di verosimiglianza continui hanno curve ROC che stanno sopra la retta PF = PD.Questo è un caso particolare della proprietà 1, perchétutte le curve ROC contengono i punti (PF = 0, PD = 0) e(PF = 1, PD = 1).

PROPRIETA’ 3

La pendenza in ogni punto delle curve ROC è uguale al valore della soglia richiesta per raggiungere leprobabilità PF e PD in quel punto.

Dim.

d)H|(pP H|D 11

Page 42: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

42

PERFORMANCES:Receiver Operating Characteristic

Proprietà

)(H|

)(H|D

d)H|(p)(

d)H|(pH/)(Pr)(P

RRR

RRR

r

r

0

11

0

1

Differenziando rispetto a e facendo il rapportotra le due equazioni si ottiene:

F

D

00H|

11H|

F

D

dP

dP

)H|(p

)H|(p

d/dP

d/dP

Dobbiamo dimostrare che:

)H|(p

)H|(p

0H|

1H|

0

1

Poniamo:

)H|(p

)H|(pR)R(|R)(

0H|

1H|

0

1

Quindi:

L’ultima uguaglianza segue dalla definizione del rapporto di verosimiglianza.

(18)

Page 43: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

43

PERFORMANCES:Receiver Operating Characteristic

Proprietà

d)H|(pRd)H|R(p)R()(P 0H|

)(0H|rD 00

Usando la definizione di (), l’ultimo integrale può essere riscritto nel seguente modo:

Differenziando rispetto a otteniamo:

)H|(pd

dPH|

D00

Tenendo conto dell’equazione (18) possiamo ottenereil risultato desiderato.

PROPRIETA’ 4

Ogni volta che il massimo valore del rischio di Bayes èinterno all’intervallo (0,1) sull’asse P1, il punto del minimax è dato dall’intersezione tra la curva ROCappropriata e la retta

01 001011010011 FD P)CC()P)(CC()CC(

inH/RE 0

Page 44: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

44

PERFORMANCES:Receiver Operating Characteristic

Proprietà

Nella figura seguente, osserviamo il caso speciale del minimax definito dalla seguente espressione:

Osserviamo che la retta del minimax parte dal punto(PF = 0, PD = 1) e interseca la linea PF = 1 nel punto:

)P(CPCPC DMMMFF 1

M

FF C

CP 1

Page 45: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

45

M-IPOTESI

• Generalizziamo i concetti della teoria della decisione al caso in cui noi dobbiamo scegliere una tra M ipotesi possibili.

• Abbiamo una sorgente che genera M uscite;

• assumiamo di dovere fare comunque una scelta, quindi ci sono M2 possibili alternative che possono verificarsi ogni volta che l’esperimento viene eseguito;

• il criterio di Bayes assegna un costo ad ognuna di queste alternative, assume un insieme di probabilità a priori, P0, P1, … PM e minimizza il rischio;

• la generalizzazione di Neyman-Pearson è possibile, ma in pratica viene poco usata, quindi vediamo solo il caso del test di Bayes.

Page 46: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

46

M-IPOTESI

• Indichiamo i costi con la notazione Cij, analogamente al caso binario;

• Il modello è mostrato nella seguente figura:

Sorgente

Ho

HM-1

Zo

Zo

Zo

ZM-1

Z1

• L’espressione per il rischio è:

1

0

1

0

M

i

M

j ZjH|ijj

ij

d)H|(pCP RRrR

• Il minimo rischio viene determinato facendo variare Zi (equivalent a def. La regola di decisione).

ji Z j i

osservazspazioi

1M

0i

Page 47: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

47

M-IPOTESI

ESEMPIO: =3

• Si ha che: Z0=Z – Z1 - Z2

perché le regioni sono disgiunte e coprono tutto Z

• Facendo qualche calcolo si ottiene:

RR

R

RR

R

RR

R

r

r

r

r

r

r

d)H|(p)CC(P

)H|(p)CC(P[

d)H|(p)CC(P

)H|(p)CC(P[

d)]H|(p)CC(P

)H|(p)CC(P[

CPCPCP

H|

ZH|

H|

ZH|

H|

ZH|

111211

000200

222122

000100

111011

222022

222111000

1

20

2

10

1

02

R

(19)

ji,jCCijji

Page 48: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

48

M-IPOTESI

• Indicando le funzioni integrande con I0(R), I1(R) e I2(R), abbiamo la seguente regola di decisione :

0210 H scelgo )R(I e )R(I)R(I se

11201 H scelgo )R(I e )R(I)R(I se

22102 H scelgo )R(I e )R(I)R(I se

• Questi termini possono essere scritti in termini di rapporti di verosimiglianza definendo:

)H|(p

)H|(p)(

H|

H|

0

11

0

1

R

RR

r

r

)H|(p

)H|(p)(

H|

H|

0

22

0

2

R

RR

r

r

(20)

R,i)R(I1

(In generale M-1 rapporti di verosimiglianza)

Page 49: 1 Corso di Sistemi di Telecomunicazione 1 A.A 2009/2010 TEORIA DELLA DECISIONE Ref. Detection, Estimation and Modulation Theory, Part I, H.L.Van Trees,

49

M-IPOTESI

• Usando le espressioni (19) e (20), si ottiene:

)()C(CP)C(CP)()C(CPHorH

HorH

RR 20212200100111011

21

20

• Le regole di decisione corrispondono a tre linee nel piano 1, 2 (in generale,

)()C(CP)C(CP)()C(CPHorH

HorH

RR 10121100200222022

12

10

)()C(CP)C(CP)()C(CPHorH

HorH

RR 11121110200222122

12

10

dim)1spazio(Mquindi,,H 1M10

2

10

in.defsonoi