QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose.

40
QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose

Transcript of QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose.

Page 1: QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose.

QUALCHE PASSO AL DI LÀ

Cose utili, ma pericolose

Page 2: QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose.

Flavio Waldner - Dipt.di Fisica - UDINE - Italy 2

Dati e segnali

• Dati sperimentali– Cose di cui non si sa nulla– Si cerca di interpretarli con modelli

teorici– Si cerca di validare i modelli teorici– Si stabiliscono CL e simili

Page 3: QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose.

Flavio Waldner - Dipt.di Fisica - UDINE - Italy 3

Dati e segnali

• Segnali– Dati di cui si sa già qualcosa

– La digitalizzazione di una forma d’onda sinusoidale» Il suono di un diapason

– Dati sporcati dal rumore– Segnale non voluto e casuale

» Chi dice che è rumore?

– Dati con buchi da riempire– Dati con qualcosa di sbagliato da togliere

Page 4: QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose.

Flavio Waldner - Dipt.di Fisica - UDINE - Italy 4

Dati e segnali

• Dati così così– Dati che non sono “segnali”

» Non ne sappiamo ancora niente

– Dati di cui non abbiamo ancora modelli» Vedi sopra

– Dati sui quali dobbiamo orientarci in qualche modo

» ...e non sappiamo nemmeno come...

SPESSO LA MAGGIORANZA DEI CASI!

Page 5: QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose.

BONTÀ DI UN FIT

Dati sperimentali con tanto di modello teorico

Page 6: QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose.

Flavio Waldner - Dipt.di Fisica - UDINE - Italy 6

Dati e segnali

• Esistono molte ricette– Quindi nemmeno una...

RIASSUNTO1. Calcolo del minimo

• Probabilità e livello di confidenza• Decisione sulla bontà del fit• Notate che c’è

SEMPRE UN CERTO GRADO DI ARBITRARIETÀ

2

Page 7: QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose.

Flavio Waldner - Dipt.di Fisica - UDINE - Italy 7

Dati e segnali

2. Calcolo del minimo– Calcolo per grado di libertà– Probabilità e livello di confidenza– Decisione in merito

3. Calcolo del minimo– Calcolo della funzione coi parametri del fit– Calcolo delle differenze

2

2

sperimentale teorico

sperimentale teorico k kk k

k

y Yy Y

Page 8: QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose.

Flavio Waldner - Dipt.di Fisica - UDINE - Italy 8

Dati e segnali

• Sono gli scarti e gli scarti ridotti• Di solito si procede con

• Verifica di “come vanno”• Fit con una retta y=0

Page 9: QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose.

Flavio Waldner - Dipt.di Fisica - UDINE - Italy 9

Dati e segnali

4. Calcolo con la Maximum Likelihood– Quasi mai usato

• Troppo complicato• Ipotesi sulle distribuzioni molto difficili

– Da scegliere– Da verificare

Page 10: QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose.

Flavio Waldner - Dipt.di Fisica - UDINE - Italy 10

Dati e segnali

Ecco degli esempi:• Una risonanza in cui si suppone la

presenza – Di un fondo con andamento lineare

– E poi parabolico

– Un profilo alla Breit-Wigner– E poi gaussiano

Page 11: QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose.

Flavio Waldner - Dipt.di Fisica - UDINE - Italy 11

Page 12: QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose.

Flavio Waldner - Dipt.di Fisica - UDINE - Italy 12

Page 13: QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose.

Flavio Waldner - Dipt.di Fisica - UDINE - Italy 13

Page 14: QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose.

Flavio Waldner - Dipt.di Fisica - UDINE - Italy 14

Dati e segnali

• Un caso con un fit migliore– Il fondo è supposto con andamento

parabolico– La risonanza è supposta gaussiana

Page 15: QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose.

Flavio Waldner - Dipt.di Fisica - UDINE - Italy 15

Page 16: QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose.

Flavio Waldner - Dipt.di Fisica - UDINE - Italy 16

Page 17: QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose.

Flavio Waldner - Dipt.di Fisica - UDINE - Italy 17

Page 18: QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose.

Flavio Waldner - Dipt.di Fisica - UDINE - Italy 18

Page 19: QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose.

Flavio Waldner - Dipt.di Fisica - UDINE - Italy 19

Dati e segnali

• Un caso ancora migliore– Stesse ipotesi del caso precedente– Si lasciano liberi i parametri del fondo

Page 20: QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose.

Flavio Waldner - Dipt.di Fisica - UDINE - Italy 20

Page 21: QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose.

Flavio Waldner - Dipt.di Fisica - UDINE - Italy 21

Page 22: QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose.

Flavio Waldner - Dipt.di Fisica - UDINE - Italy 22

Page 23: QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose.

Flavio Waldner - Dipt.di Fisica - UDINE - Italy 23

Page 24: QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose.

Lo smoothing

Molto usato e molto pericoloso

Page 25: QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose.

Flavio Waldner - Dipt.di Fisica - UDINE - Italy 25

Lo smoothing

• Ci si trova davanti a serie – Con delle ipotesi ragionevoli sul segnale

vero– Con delle ipotesi ragionevoli sulla

sovrapposizione di rumore– Con delle ipotesi ragionevoli sul rumore

• Casuale• Ad alta frequenza rispetto al segnale

• Si vuole togliere il rumore

Page 26: QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose.

Flavio Waldner - Dipt.di Fisica - UDINE - Italy 26

Lo smoothing

• Prima domanda: sono ragionevoli le nostre ipotesi?

• Seconda domanda: cosa succede se non lo sono?

Page 27: QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose.

Flavio Waldner - Dipt.di Fisica - UDINE - Italy 27

Lo smoothing

SE

siamo sicuri di ciò che facciamo possiamo

ad esempio...• Sostituire ad un dato la quantità

(ad esempio)

kx

1 1

3k k kx x x

Page 28: QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose.

Flavio Waldner - Dipt.di Fisica - UDINE - Italy 28

Lo smoothing

• È il metodo della media corrente • (running mean)

OPPURE• Sostituire ad la mediana dei valori

adiacenti (sempre in numero dispari!)

kx

1.8, 3.7,1.2, 2.4,1.9 1.9

Page 29: QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose.

Flavio Waldner - Dipt.di Fisica - UDINE - Italy 29

Lo smoothing

• Il metodo è molto efficace• ... e non lineare...

OPPURE• Prendere la trasformata di Fourier del

segnale e togliere le componenti ad alta frequenza

Page 30: QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose.

Flavio Waldner - Dipt.di Fisica - UDINE - Italy 30

Lo smoothing

OPPURE• Dividere il campione in sottocampioni

e sostituire al valore centrale la media del campione

OPPURE• Dividere il campione in sottocampioni

e sostituire al valore centrale la media pesata dei valori del campione

Page 31: QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose.

Flavio Waldner - Dipt.di Fisica - UDINE - Italy 31

Lo smoothing

• PESATA COME?– Si fa l’ipotesi che i valori centrali siano

più probabili dei laterali (!)– Peso di tipo quadratico

201 t t

Page 32: QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose.

Flavio Waldner - Dipt.di Fisica - UDINE - Italy 32

Lo smoothing

OPPURE• Dividere il campione in sottocampioni

e sostituire al valore centrale la media pesata dei valori del campione

• PESATA COME?

Page 33: QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose.

Flavio Waldner - Dipt.di Fisica - UDINE - Italy 33

Lo smoothing

• Con – Una retta– Un polinomio di II grado– Un polinomio di III grado

• È il metodo del loess• Loess: (tedesco = rado, poroso)

» Arenaria (calcite, quarzo, ossidi ferrosi, argille finissime) depositata dal vento su superfici irregolari, predesertiche, che finisce per spianare il tutto

» Molto fertile -> molte pianure cinesi

Page 34: QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose.

Flavio Waldner - Dipt.di Fisica - UDINE - Italy 34

Lo smoothing

• Ecco un peso

• Eccone un altro

• Si può pensarlo come un fit di cui non abbiamo idea del modello, quindi come uno dei tanti...

3

01 t t

33

01 t t

Page 35: QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose.

Fit non parametrici

... roba sempre più rischiosa...

Page 36: QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose.

Flavio Waldner - Dipt.di Fisica - UDINE - Italy 36

Fit non parametrici

• Si va a tentativi– Rette, parabole, splines

• Curve di III grado– Raccordate agli estremi

• Si fanno poi controlli a posteriori:– Numero di parametri liberi– Calcolo del– Livello di confidenza– Plot degli scarti

2

Page 37: QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose.

Flavio Waldner - Dipt.di Fisica - UDINE - Italy 37

Fit non parametrici

• Spesso non si può far di meglioInutile dire che bisogna porre

MOLTA attenzione ed avere

MOLTA prudenza

Page 38: QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose.

Flavio Waldner - Dipt.di Fisica - UDINE - Italy 38

Fit non parametrici

• Una cosa pericolosa

Dopo il trattamento i dati sembrano

migliori di prima

Page 39: QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose.

Flavio Waldner - Dipt.di Fisica - UDINE - Italy 39

Fit non parametrici

MA INSOMMA

ALLORA QUANDO SI USANO

?

Page 40: QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose.

Flavio Waldner - Dipt.di Fisica - UDINE - Italy 40

Fit non parametrici

• Quando si sa a priori la forma del segnale

• Quando si sa a priori che gli è sovrapposto un rumore

• Quando si sa a priori almeno qualche caratteristica del rumore

• Gaussiano, bianco, non correlato...

• Quando non si sa nulla e si cerca di chiarirsi le idee

» Economia, sociologia, indagini di mercato...