I dati tridimensionali. Flavio Waldner - Dipt.di Fisica - UDINE - Italy 70 I dati tridimensionali Si...

I dati tridimensionali

Flavio Waldner - Dipt.di Fisica - UDINE - Italy 2

I dati tridimensionali

Si misura un dato funzione di due variabili Spessore di un tavolo in funzione di x ed y Altezza slm in funzione di longitudine e

latitudine Densità di galassie in funzione delle

coordinate celesti ...

Quindi si campiona una

,F X Y

Gli istogrammi tridimensionali



Si divide una porzione di piano con un reticolo

In ogni celletta si riporta un parallelepipedo proporzionale ad Si ottiene una sorta di selva di grattacieli

Un Lego-Plot

,F X Y



Ecco una funzione binormale, ed un campione isrogrammato



Alcuni problemi: Rappresentazione degli errori

Nessuna soluzione Vedere dietro

Animazione

Un esempio di una distribuzione binormale


-4

-2

0

2

4 -4

-2

0

2

4

00.050.1

0.15

-4

-2

0

2

4


-5-2.5

02.5

-4

-20

24

0

100

200

300

400

-5-2.5

02.5

-4

-20

24

Gli scatter-plots


Gli scatter-plots

Un’altra soluzione: Si riportano i punti X,Y Si ottiene una sorta di nuvola di punti

Pro e contro Visibilità immediata Buono per le statistiche Non buono per le misure (errori) Illeggibile se X ed Y non sono ben definiti

(boxes)


Gli scatter-plots

Ecco un’immmagine della binormale ed uno scatter plot


-4 -2 0 2 4-4

-2

0

2

4


-4 -2 2 4

-4

-2

2

4

Le immagini


Le immagini

La scala dei grigi indica il valore della funzione Di solito bianco = alto, nero = basso

Si possono usare anche scale di colore Tipiche

Quella geografica (dall’azzurro scuro al marrone e bianco)

Quella dei colori caldi (nero, rosso scuro, arncione, giallo, bianco, azzurrino)


Le immagini

Ecco un’immagine con isolivello (ad occhio) ed un plot di densità su dati simulati

Un bin a due dimensioni si chiama anche

Picture Element = PIXEL


0 25 50 75 100 125 1500

25

50

75

100

125

150

Gli isolivelli


Gli isolivelli

Curve che riuniscono i punti con

Non semplici da calcolare con funzioni analitiche

Ancora più difficili con funzioni discretizzate Delicati problemi di interpolazione e

smoothing Ecco un esempio

, costF X Y


-3 -2 -1 0 1 2 3-3

-2

-1

0

1

2

3


Gli isolivelli

Le linee del gradiente sono perpendicolari agli isolivelli Isoipse, isofote, iso...

Gli istogrammi 4-dimensionali



Si misura un dato funzione di tre variabili Temperatura in una stanza in funzione di

(x,y,z) Modulo della velocità del vento in funzione

di (x,y,z) Densitometria ossea ...

Quindi si campiona una , ,F X Y Z



E se invece del modulo della velocità del vento volessimo la velocità vettoriale? Tre variabili funzioni di altre tre?

Siamo nei guai Fluidodinamica

Packages da 10000 €...



E purtroppo le applicazioni

tecnologiche sono importantissime!

Le nuvole di punti


Le nuvole di punti

Si ricorre a punti rappresentati in 3D Ogni punto è rappresentato in scala di

colore a seconda del valore della F Si danno visioni stereo della nuvola

Da osservare ad occhi paralleli

Le animazioni


Le animazioni

Nel caso precedente si anima la nuvola, facendola roteare a comando

Le sezioni ed i Trellis plots


Le sezioni ed i Trellis plots

Si fanno fette della nuvola e si danno come scatter plots o immagini

Si chiamano Trellis Plots (!)

Un MonteCarlo piccolo piccolo



Vogliamo riempire uniformemente di punti un cerchio

Notate vuoti, addensamenti, e filamenti Che NON sono reali!


-1 -0.5 0.5 1

-1

-0.5

0.5

1



Ecco i casi con 500, 5000 punti Si impara che in 2 dimensioni le

fluttuazioni sono più alte che in una dimensione Siamo in un quadrato...


-1

0

1

-1

0

1

0

5

10

-1

0

1

-1

0

1


-1

0

1

-1

0

1

0

5

10

15

20

-1

0

1

-1

0

1



Impariamo che

Per dati multidimensionali occorrono statistiche tremende se si vuole che la popolazione

di un bin sia ragionevole



...e si impara anche che i bin del bordo sono meno popolati i pixel del bordo contengono meno area

utile Cerchio con quadrato...



Per avere errori del 10% occorrono bin popolati da 100 casi

Con dati unidimensionali con 100 bin occorrono

1000.1

100

N

N

4100 bin 100 casi per b 10 casi ton ii tal



Con dati unidimensionali con 100 bin per variabile occorrono

100 volte di più per avere la stessa risoluzi!one

2 6100 bin 100 casi per bi 10 casin totali



...e se le dimensioni aumentano?

Peggio che andar di notte...

Un fit con una costante



Ecco i dati

1. 2. 0.5

1.5 2.7 0.2

2. 3.9 0.8

2.5 3.4 0.3

3. 4. 0.2

3.5 4.7 0.8

4. 5.2 0.4

4.5 6.2 0.3

5. 7.2 0.8

5.5 8.7 0.87



Ecco cosa dobbiamo minimizzare

2

22

2

2 2

2

2 2

2

2 1 0 0

11.

1404

k

k

k k

k k

k

k k

k k

k

y c

y c y c

c

y

yc c



Otteniamo una media pesata Il risultato non è eccitante, ad occhio...

Il livello di confidenza è pietoso

2 170


2 3 4 5

2

4

6

8

Un fit con una retta

Il caso più usato



Ed il plot

2 3 4 5

2

4

6

8



Ecco la matrice

Ed i termini noti

88.481 242.9

242.9 784.1

det 10354

1

2

350.848

110105

g

g



E la soluzione

0.73434 1.1767m q 0.73434 1.1767y x



La soluzione...

Ed il grafico

1.1767 0.7343y x



2 3 4 5

2

4

6

8



Se trascuriamo gli errori... O supponiamo che siano tutti uguali

Tipico caso della regressione lineare di molti testi di statistica...

...otteniamo una retta un po’ diversa rispetto a quella giusta

Ma in fondo non di tanto, ed a volte ci si può accontentare, se non si conoscono gli errori...

1.32606 0.490303y x


2 3 4 5

2

4

6

8



E gli errori

1.1767 0.092 0.7343 0.2

1.177 0.092 0.73 0.27

7

y x

y x



Ecco le variazioni dovute alle incertezze sulla pendenza (sola)


2 3 4 5

2

4

6

8



Ecco le variazioni dovute a q (solo)


2 3 4 5

2

4

6

8



Ed ecco le varie combinazioni


2 3 4 5

2

4

6

8



Infine il coefficiente di correlazione

La correlazione è alta Se cresce uno deve calare l’altro

Il che è proprio vero...

112 12

1 22

1 21 0.92

V



E quanto vale il livello di confidenza? Prima calcoliamo il 2 al minimo

Risultato Gradi di libertà

2 8.864min

2 810PUNTI PARAMETRI

2

22

k min k minmin

k k

y m x q



Calcoliamo il livello di confidenza...

E vediamo la curva del 2 per 8 gradi di libertà 1 – la cumulativa...

2 8.865 8 0.35CL CL


2 3 4 5

2

4

6

8


Qui si vede ad occhio che una parabola andrebbe meglio... ...ad occhio...


5 10 15 20 25 30

0.2

0.4

0.6

0.8

1



E poi la distribuzione... Notate come moda, media e mediana

siano diverse per una distribuzione di questo tipo!

Moda

Mediana

6M

7.3442MED


5 10 15 20 25

0.02

0.04

0.06

0.08

0.1

Un fit con una parabola



Cambiamo ipotesi Supponiamo che il campione derivi da

una funzione

Dati 10, parametri 3, gradi di libertà 7

2y ax bx c


2 3 4 5

2

4

6

8



Il livello di confidenza per grado di libertà cambia in questo modo

Va decisamente meglio E si vede...

0.0443

0.132retta

parabola

CL

CL



L’ipotesi parabola ha un livello di confidenza speriore a quello dell’ipotesi retta

E se provassimo con una cubica?


Un fit con una cubica

Stavolta è

Ecco i grafici Anzitutto del fit

3 2y ax bx cx d


2 3 4 5

2

4

6

8



Quindi dei vari per grado di libertà Brusco calo e poi si smussa


1.5 2 2.5 3

0.4

0.6

0.8



Quindi del livello di confidenza Satura

La conclusione è che Un fit con una costante è fuori discussione Un fit di I grado è approssimativo Un fit di II grado è significativo Un fit di III grado è inutile



ATTENZIONELIMITATAMENTE AL CAMPIONE

CHE ABBIAMO IN ESAMECON DATI SUCCESSIVI LA

COSA POTREBBE CAMBIARE IN MODO DRASTICO


1.5 2 2.5 3

0.4

0.5

0.6

0.7

0.8

0.9



La conclusione è che la cubica non è più significativa

Fondo e segnale


Fondo e segnale

Un esempio: Fondo uniforme e segnale gaussiano Media: 12.5 SD: 2.5 Fondo 600 casi contro i 300 del segnale

Questo potrebbe essere un caso reale


0 5 10 15 20 25

10

20

30

40

50

60


Fondo e segnale

Occorre anzitutto fare delle ipotesi sul fondo Prima e dopo il segnale si fitta con una

costante È possibile? Ha senso? Ci sono dei modelli teorici? Dove comincia e dove finisce il segnale?

Nel nostro caso fitteremo con un fondo costante ...e costruiremo un fondo fittizio


0 5 10 15 20 25

5

10

15

20

25


Fondo e segnale

Riportiamo il segnale col fondo Il segnale col fondo sottratto

SORPRESA:

Si ottengono anche valori negativi!


10 20 30 40 50

10

20

30

40

50

60


10 20 30 40 50

-20

20

40


Fondo e segnale

Hanno senso i valori negativi?

Due scuole


Fondo e segnale

Sì

Perchè sono il risultato di un’operazione statisticamente legittima

Potremo calcolare media e SD del fondo e verificare che è compatibile con 0


Fondo e segnale

No Perchè in nessun caso potremmo

trovare fisicamente un numero negativo di eventi

Dobbiamo fare una sottrazione col vincolo di non scendere sotto a 0

Vincolo anolonomo


Fondo e segnale

Preferenza generale

La prima Si sa benissimo cosa vuol dire scendere sotto a 0

Meglio fidarsi del formalismo

Operazioni pericolose

...anche se comuni



Soprattutto in serie di dati Monodimensionali (time series, ...) Bidimensionali (immagimi, ...) Pluridimensionali (voxels, ...)



I. Esaltazione del segnale significativo Smoothing (= spianamento)

Filtraggio

II. Fit non parametricoIII. InterpolazioneIV. EstrapolazioneV. Eliminazione dei dati sbagliati

attenzione, attenzione, attenzione



Osservazione generaleSono operazioni accettabili

Se si sa cosa si vuole ottenereCioè

Se si hanno informazioni sul segnale

I dati tridimensionali. Flavio Waldner - Dipt.di Fisica - UDINE - Italy 70 I dati tridimensionali Si...

Documents

Transcript of I dati tridimensionali. Flavio Waldner - Dipt.di Fisica - UDINE - Italy 70 I dati tridimensionali Si...