Post on 01-May-2015
I dati tridimensionali
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 2
I dati tridimensionali
Si misura un dato funzione di due variabili Spessore di un tavolo in funzione di x ed y Altezza slm in funzione di longitudine e
latitudine Densità di galassie in funzione delle
coordinate celesti ...
Quindi si campiona una
,F X Y
Gli istogrammi tridimensionali
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 4
Gli istogrammi tridimensionali
Si divide una porzione di piano con un reticolo
In ogni celletta si riporta un parallelepipedo proporzionale ad Si ottiene una sorta di selva di grattacieli
Un Lego-Plot
,F X Y
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 5
Gli istogrammi tridimensionali
Ecco una funzione binormale, ed un campione isrogrammato
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 6
Gli istogrammi tridimensionali
Alcuni problemi: Rappresentazione degli errori
Nessuna soluzione Vedere dietro
Animazione
Un esempio di una distribuzione binormale
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 7
-4
-2
0
2
4 -4
-2
0
2
4
00.050.1
0.15
-4
-2
0
2
4
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 8
-5-2.5
02.5
-4
-20
24
0
100
200
300
400
-5-2.5
02.5
-4
-20
24
Gli scatter-plots
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 10
Gli scatter-plots
Un’altra soluzione: Si riportano i punti X,Y Si ottiene una sorta di nuvola di punti
Pro e contro Visibilità immediata Buono per le statistiche Non buono per le misure (errori) Illeggibile se X ed Y non sono ben definiti
(boxes)
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 11
Gli scatter-plots
Ecco un’immmagine della binormale ed uno scatter plot
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 12
-4 -2 0 2 4-4
-2
0
2
4
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 13
-4 -2 2 4
-4
-2
2
4
Le immagini
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 15
Le immagini
La scala dei grigi indica il valore della funzione Di solito bianco = alto, nero = basso
Si possono usare anche scale di colore Tipiche
Quella geografica (dall’azzurro scuro al marrone e bianco)
Quella dei colori caldi (nero, rosso scuro, arncione, giallo, bianco, azzurrino)
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 16
Le immagini
Ecco un’immagine con isolivello (ad occhio) ed un plot di densità su dati simulati
Un bin a due dimensioni si chiama anche
Picture Element = PIXEL
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 17
0 25 50 75 100 125 1500
25
50
75
100
125
150
Gli isolivelli
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 19
Gli isolivelli
Curve che riuniscono i punti con
Non semplici da calcolare con funzioni analitiche
Ancora più difficili con funzioni discretizzate Delicati problemi di interpolazione e
smoothing Ecco un esempio
, costF X Y
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 20
-3 -2 -1 0 1 2 3-3
-2
-1
0
1
2
3
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 21
-3 -2 -1 0 1 2 3-3
-2
-1
0
1
2
3
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 22
-3 -2 -1 0 1 2 3-3
-2
-1
0
1
2
3
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 23
Gli isolivelli
Le linee del gradiente sono perpendicolari agli isolivelli Isoipse, isofote, iso...
Gli istogrammi 4-dimensionali
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 25
Gli istogrammi 4-dimensionali
Si misura un dato funzione di tre variabili Temperatura in una stanza in funzione di
(x,y,z) Modulo della velocità del vento in funzione
di (x,y,z) Densitometria ossea ...
Quindi si campiona una , ,F X Y Z
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 26
Gli istogrammi 4-dimensionali
E se invece del modulo della velocità del vento volessimo la velocità vettoriale? Tre variabili funzioni di altre tre?
Siamo nei guai Fluidodinamica
Packages da 10000 €...
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 27
Gli istogrammi 4-dimensionali
E purtroppo le applicazioni
tecnologiche sono importantissime!
Le nuvole di punti
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 29
Le nuvole di punti
Si ricorre a punti rappresentati in 3D Ogni punto è rappresentato in scala di
colore a seconda del valore della F Si danno visioni stereo della nuvola
Da osservare ad occhi paralleli
Le animazioni
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 31
Le animazioni
Nel caso precedente si anima la nuvola, facendola roteare a comando
Le sezioni ed i Trellis plots
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 33
Le sezioni ed i Trellis plots
Si fanno fette della nuvola e si danno come scatter plots o immagini
Si chiamano Trellis Plots (!)
Un MonteCarlo piccolo piccolo
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 35
Un MonteCarlo piccolo piccolo
Vogliamo riempire uniformemente di punti un cerchio
Notate vuoti, addensamenti, e filamenti Che NON sono reali!
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 36
-1 -0.5 0.5 1
-1
-0.5
0.5
1
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 37
-1 -0.5 0.5 1
-1
-0.5
0.5
1
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 38
Un MonteCarlo piccolo piccolo
Ecco i casi con 500, 5000 punti Si impara che in 2 dimensioni le
fluttuazioni sono più alte che in una dimensione Siamo in un quadrato...
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 39
-1
0
1
-1
0
1
0
5
10
-1
0
1
-1
0
1
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 40
-1
0
1
-1
0
1
0
5
10
15
20
-1
0
1
-1
0
1
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 41
Un MonteCarlo piccolo piccolo
Impariamo che
Per dati multidimensionali occorrono statistiche tremende se si vuole che la popolazione
di un bin sia ragionevole
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 42
Un MonteCarlo piccolo piccolo
...e si impara anche che i bin del bordo sono meno popolati i pixel del bordo contengono meno area
utile Cerchio con quadrato...
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 43
Un MonteCarlo piccolo piccolo
Per avere errori del 10% occorrono bin popolati da 100 casi
Con dati unidimensionali con 100 bin occorrono
1000.1
100
N
N
4100 bin 100 casi per b 10 casi ton ii tal
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 44
Un MonteCarlo piccolo piccolo
Con dati unidimensionali con 100 bin per variabile occorrono
100 volte di più per avere la stessa risoluzi!one
2 6100 bin 100 casi per bi 10 casin totali
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 45
Un MonteCarlo piccolo piccolo
...e se le dimensioni aumentano?
Peggio che andar di notte...
Un fit con una costante
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 47
Un fit con una costante
Ecco i dati
1. 2. 0.5
1.5 2.7 0.2
2. 3.9 0.8
2.5 3.4 0.3
3. 4. 0.2
3.5 4.7 0.8
4. 5.2 0.4
4.5 6.2 0.3
5. 7.2 0.8
5.5 8.7 0.87
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 48
Un fit con una costante
Ecco cosa dobbiamo minimizzare
2
22
2
2 2
2
2 2
2
2 1 0 0
11.
1404
k
k
k k
k k
k
k k
k k
k
y c
y c y c
c
y
yc c
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 49
Un fit con una costante
Otteniamo una media pesata Il risultato non è eccitante, ad occhio...
Il livello di confidenza è pietoso
2 170
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 50
2 3 4 5
2
4
6
8
Un fit con una retta
Il caso più usato
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 52
Un fit con una retta
Ed il plot
2 3 4 5
2
4
6
8
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 53
Un fit con una retta
Ecco la matrice
Ed i termini noti
88.481 242.9
242.9 784.1
det 10354
1
2
350.848
110105
g
g
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 54
Un fit con una retta
E la soluzione
0.73434 1.1767m q 0.73434 1.1767y x
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 55
Un fit con una retta
La soluzione...
Ed il grafico
1.1767 0.7343y x
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 56
Un fit con una retta
2 3 4 5
2
4
6
8
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 57
Un fit con una retta
Se trascuriamo gli errori... O supponiamo che siano tutti uguali
Tipico caso della regressione lineare di molti testi di statistica...
...otteniamo una retta un po’ diversa rispetto a quella giusta
Ma in fondo non di tanto, ed a volte ci si può accontentare, se non si conoscono gli errori...
1.32606 0.490303y x
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 58
2 3 4 5
2
4
6
8
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 59
Un fit con una retta
E gli errori
1.1767 0.092 0.7343 0.2
1.177 0.092 0.73 0.27
7
y x
y x
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 60
Un fit con una retta
Ecco le variazioni dovute alle incertezze sulla pendenza (sola)
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 61
2 3 4 5
2
4
6
8
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 62
Un fit con una retta
Ecco le variazioni dovute a q (solo)
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 63
2 3 4 5
2
4
6
8
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 64
Un fit con una retta
Ed ecco le varie combinazioni
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 65
2 3 4 5
2
4
6
8
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 66
Un fit con una retta
Infine il coefficiente di correlazione
La correlazione è alta Se cresce uno deve calare l’altro
Il che è proprio vero...
112 12
1 22
1 21 0.92
V
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 67
Un fit con una retta
E quanto vale il livello di confidenza? Prima calcoliamo il 2 al minimo
Risultato Gradi di libertà
2 8.864min
2 810PUNTI PARAMETRI
2
22
k min k minmin
k k
y m x q
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 68
Un fit con una retta
Calcoliamo il livello di confidenza...
E vediamo la curva del 2 per 8 gradi di libertà 1 – la cumulativa...
2 8.865 8 0.35CL CL
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 69
2 3 4 5
2
4
6
8
Un fit con una retta
Qui si vede ad occhio che una parabola andrebbe meglio... ...ad occhio...
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 70
5 10 15 20 25 30
0.2
0.4
0.6
0.8
1
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 71
Un fit con una retta
E poi la distribuzione... Notate come moda, media e mediana
siano diverse per una distribuzione di questo tipo!
Moda
Mediana
6M
7.3442MED
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 72
5 10 15 20 25
0.02
0.04
0.06
0.08
0.1
Un fit con una parabola
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 74
Un fit con una parabola
Cambiamo ipotesi Supponiamo che il campione derivi da
una funzione
Dati 10, parametri 3, gradi di libertà 7
2y ax bx c
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 75
2 3 4 5
2
4
6
8
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 76
Un fit con una parabola
Il livello di confidenza per grado di libertà cambia in questo modo
Va decisamente meglio E si vede...
0.0443
0.132retta
parabola
CL
CL
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 77
Un fit con una parabola
L’ipotesi parabola ha un livello di confidenza speriore a quello dell’ipotesi retta
E se provassimo con una cubica?
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 78
Un fit con una cubica
Stavolta è
Ecco i grafici Anzitutto del fit
3 2y ax bx cx d
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 79
2 3 4 5
2
4
6
8
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 80
Un fit con una cubica
Quindi dei vari per grado di libertà Brusco calo e poi si smussa
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 81
1.5 2 2.5 3
0.4
0.6
0.8
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 82
Un fit con una cubica
Quindi del livello di confidenza Satura
La conclusione è che Un fit con una costante è fuori discussione Un fit di I grado è approssimativo Un fit di II grado è significativo Un fit di III grado è inutile
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 83
Un fit con una cubica
ATTENZIONELIMITATAMENTE AL CAMPIONE
CHE ABBIAMO IN ESAMECON DATI SUCCESSIVI LA
COSA POTREBBE CAMBIARE IN MODO DRASTICO
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 84
1.5 2 2.5 3
0.4
0.5
0.6
0.7
0.8
0.9
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 85
Un fit con una cubica
La conclusione è che la cubica non è più significativa
Fondo e segnale
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 87
Fondo e segnale
Un esempio: Fondo uniforme e segnale gaussiano Media: 12.5 SD: 2.5 Fondo 600 casi contro i 300 del segnale
Questo potrebbe essere un caso reale
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 88
0 5 10 15 20 25
10
20
30
40
50
60
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 89
Fondo e segnale
Occorre anzitutto fare delle ipotesi sul fondo Prima e dopo il segnale si fitta con una
costante È possibile? Ha senso? Ci sono dei modelli teorici? Dove comincia e dove finisce il segnale?
Nel nostro caso fitteremo con un fondo costante ...e costruiremo un fondo fittizio
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 90
0 5 10 15 20 25
5
10
15
20
25
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 91
Fondo e segnale
Riportiamo il segnale col fondo Il segnale col fondo sottratto
SORPRESA:
Si ottengono anche valori negativi!
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 92
10 20 30 40 50
10
20
30
40
50
60
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 93
10 20 30 40 50
-20
20
40
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 94
Fondo e segnale
Hanno senso i valori negativi?
Due scuole
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 95
Fondo e segnale
Sì
Perchè sono il risultato di un’operazione statisticamente legittima
Potremo calcolare media e SD del fondo e verificare che è compatibile con 0
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 96
Fondo e segnale
No Perchè in nessun caso potremmo
trovare fisicamente un numero negativo di eventi
Dobbiamo fare una sottrazione col vincolo di non scendere sotto a 0
Vincolo anolonomo
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 97
Fondo e segnale
Preferenza generale
La prima Si sa benissimo cosa vuol dire scendere sotto a 0
Meglio fidarsi del formalismo
Operazioni pericolose
...anche se comuni
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 99
Operazioni pericolose
Soprattutto in serie di dati Monodimensionali (time series, ...) Bidimensionali (immagimi, ...) Pluridimensionali (voxels, ...)
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 100
Operazioni pericolose
I. Esaltazione del segnale significativo Smoothing (= spianamento)
Filtraggio
II. Fit non parametricoIII. InterpolazioneIV. EstrapolazioneV. Eliminazione dei dati sbagliati
attenzione, attenzione, attenzione
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 101
Operazioni pericolose
Osservazione generaleSono operazioni accettabili
Se si sa cosa si vuole ottenereCioè
Se si hanno informazioni sul segnale