progetto valutazione e miglioramento

l’osservazione in classe

Gerard Ferrer-Esteban, Lorenzo Mancini, Paola Muzzioli

Fondazione G. Agnelli - INVALSI

check list e scale di valutazione: validità, attendibilità e primi risultati

osservazione in classe

• La checklist • Gli indicatori delle scale di valutazione Scheda di

osservazione

• Accordo inter-codificatore • Indici di Frequenza • Analisi struttura latente

La checklist

• Accordo inter-codificatore - ICC • I punteggi • Analisi della struttura latente

Le scale di valutazione

• Correlazioni • Regressioni Relazione

azioni-valutazioni

scheda di osservazione

scheda di osservazione in classe azioni e indicatori degli strumenti 1/2

Esempio 1 - Sostegno, guida e supporto

3. S

oste

gno,

gui

da e

sup

port

o

H. Insegnamento adattato ai diversi bisogni degli studenti

H.1. L’INSEGNANTE ADATTA LE ATTIVITÀ IN BASE ALLE DIFFERENZE TRA STUDENTI

H1. L’insegnante adatta le attività in base alle differenze tra studenti

H.2. L’INSEGNANTE SOSTIENE I BISOGNI EMOTIVI DEGLI STUDENTI

H2.a L’insegnante riconosce i bisogni emotivi degli studenti H2.b L’insegnante supporta l’autostima degli studenti

I. Attenzione agli studenti con BES

I.1. L’INSEGNANTE DÀ AGLI STUDENTI CON BES COMPITI ADATTATI RISPETTO AGLI ALTRI

I1. L’insegnante dà agli studenti con BES compiti adattati rispetto agli altri

I.2. L’INSEGNANTE MOSTRA ATTENZIONE AGLI STUDENTI CON BES

I2. L’insegnante mostra attenzione agli studenti con BES

scheda di osservazione in classe checklist

Esempio 1: Checklist

Orario quarti d’ora effettivi osservati

Azioni – contenuti (Numero di quarti d’ora osservati: |__|__| ) 1 2 3 4 5 6 7 8 9 10

3. S

oste

gno,

gui

da e

supp

orto

H. Insegnamento adattato ai diversi bisogni degli studenti

H1. L’insegnante adatta le attività in base alle differenze tra studenti

H2.a L’insegnante riconosce i bisogni emotivi degli studenti

H2.b L’insegnante supporta l’autostima degli studenti

I. Attenzione agli studenti con BES

I1. L’insegnante dà agli studenti con BES compiti adattati rispetto agli altri

I2. L’insegnante mostra attenzione agli studenti con BES

checklist

checklist indice per la valutazione dell’attendibilità

Creazione di una variabile dicotomica per ogni quarto d’ora di osservazione e indicatore all’interno delle 4 MacroAree e dell’Area relativa alle Attività Prevalenti: 1 : I due osservatori concordano sull’aver visto (o no) l’azione. 0 : Altrimenti.

Grado di concordanza per tempo di osservazione espresso

come frequenza relativa dei casi di accordo.

Sintesi globale sui tre tempi di osservazione.

Quarto d’ora Unità d’osservazione Tempi

checklist Accordo inter-codificatore per descrittore

0,81

0,74 0,75

0,84

0,76 0,75 0,73

0,77

0,71

0,86

0,75 0,73

0,92

0,78 0,79

0,90

0,76 0,77 0,72 0,70 0,70

0,00

0,10

0,20

0,30

0,40

0,50

0,60

0,70

0,80

0,90

1,00

A1 A2 B1 B2 C1.a C1.b D1.a D1.b D2 E1 E2 F1 H1 H2.a H2.b I1 I2 J1 J2 K1.a K1.b

Accordo Inter-Codificatore medio

V Primaria : 0,80492 I Sec. Primo Grado: 0,80545

strategie sostegno gestione clima

checklist attività prevalenti

Registra l’attività prevalente realizzata in classe nell’arco temporale di 15 minuti

È un’informazione che serve per comprendere a quale attività si riferiscono gli indicatori di qualità del processo di insegnamento/apprendimento osservati

È utile anche per rilevare la scansione delle attività realizzate dall’insegnante nelle due ore di osservazione

checklist grado di accordo sulle attività prevalenti

0,87 0,88 0,91 0,89

0,97 0,94

0,00

0,10

0,20

0,30

0,40

0,50

0,60

0,70

0,80

0,90

1,00

L1. L'insegnante spiega L2. L'insegnante interroga L3. L'insegnante guida il discorso in classe

L4. Gli studenti lavorano individualmente

L5. Gli studenti lavorano in coppie o in gruppi

L6. Altro

Accordo Inter-Codificatore medio

checklist Definizione degli Indici di frequenza

Gli Indici di frequenze (IF) sono stati elaborati, per ogni singolo indicatore, sintetizzando le azioni rilevate dalla coppia di osservatori:

Sulla singola unità di osservazione.

Sui 3 tempi di osservazione.

checklist Il calcolo degli Indici di frequenza – un esempio

QDO 1 QDO 2 QDO 3 QDO 4 QDO 5 QDO 6 QDO 7 QDO 8

H1. L’insegnante adatta le attività in base alle differenze tra studenti Osservatore 1 Osservatore 2

QDO 1 QDO 2 QDO 3 QDO 4 Osservatore 1 Osservatore 2

QDO 1 QDO 2 QDO 3 QDO 4 Osservatore 1 Osservatore 2

QDO 1 QDO 2 QDO 3 QDO 4 Osservatore 1 Osservatore 2

T1 T2 T3

T1 T2 T3

checklist Gli indici di Frequenza per i descrittori

0,41

0,65

0,57

0,31

0,45 0,46

0,68

0,57 0,61

0,24

0,42

0,59

0,11

0,38 0,35

0,16

0,52

0,87

0,71 0,73

0,68

0,00

0,10

0,20

0,30

0,40

0,50

0,60

0,70

0,80

0,90

1,00

A1 A2 B1 B2 C1.a C1.b D1.a D1.b D2 E1 E2 F1 H1 H2.a H2.b I1 I2 J1 J2 K1.a K1.b

Indici di Frequenza

strategie sostegno gestione clima

checklist Gli Indici di Frequenza per le attività prevalenti

0,34

0,37

0,17

0,32

0,11

0,13

0,00

0,05

0,10

0,15

0,20

0,25

0,30

0,35

0,40

L1. L'insegnante spiega L2. L'insegnante interroga L3. L'insegnante guida il discorso in classe

L4. Gli studenti lavorano individualmente

L5. Gli studenti lavorano in coppie o in gruppi

L6. Altro

Indici di Frequenza - Attività Prevalenti

checklist Approfondimento: differenze tra livelli

Tramite test non parametrici di Wilcoxon sono state valutate eventuali differenze negli IF tra i due livelli di classe osservati (V Primaria e I Sec. Di Primo Grado).

Ad un livello α = 0.05 risultano differenze non significative per i costrutti:

C1.a L'insegnante illustra il metodo o la procedura da usare. E1. L'insegnante fornisce indicazioni sui tempi. E2. L'insegnante gestisce i momenti di passaggio da una attività all'altra. H1. L'insegnante adatta le attività in base alle differenze tra studenti. H2.a L'insegnante riconosce i bisogni emotivi degli studenti. I1. L'insegnante dà agli studenti con BES compiti adattati rispetto agli altri.

L3. L'insegnante guida il discorso in classe.

checklist indici di fequenza per livello

0,35

0,69

0,53

0,30

0,46 0,50

0,63 0,65

0,62

0,24

0,42

0,57

0,11

0,39

0,36

0,17

0,55

0,89

0,75 0,75

0,69

0,48

0,60 0,60

0,32

0,44 0,42

0,72

0,50

0,60 0,60

0,37 0,33

0,15

0,48

0,84

0,67 0,71

0,66

0,00

0,10

0,20

0,30

0,40

0,50

0,60

0,70

0,80

0,90

1,00

A1 A2 B1 B2 C1.a C1.b D1.a D1.b D2 E1 E2 F1 H1 H2.a H2.b I1 I2 J1 J2 K1.a K1.b

Indici di frequenza per livello classe - Indicatori

V Primaria I Sec. Primo grado

checklist Indici di Frequenza dell’attività prevalente per livello

0,27

0,31

0,17

0,42

0,14

0,11

0,41 0,42

0,23

0,08

0,14

0,00

0,05

0,10

0,15

0,20

0,25

0,30

0,35

0,40

0,45

L1. L'insegnante spiega L2. L'insegnante interroga L3. L'insegnante guida il discorso in classe

L4. Gli studenti lavorano individualmente

L5. Gli studenti lavorano in coppie o in gruppi

L6. Altro

Indici di frequenza per livello classe - Attività prevalenti

V Primaria I Sec. Primo grado

checklist Altri test

Per la costruzione degli IF si è presupposta l’assenza di un effetto dovuto al tempo di osservazione sul costrutto.

L’effetto del tempo è stato opportunamente valutato tramite il test di Friedman per campioni correlati (non rispettate assunzioni di normalità e omoschedasticità).

checklist Le differenze tra i tempi di osservazione degli Indici di Frequenza

IF p - value B1 0 B2 0 E1 0 E2 0

H2.b 0 D1.a 0,001 F1 0,001 H1 0,001 I2 0,001

H2.a 0,003 I1 0,007 A1 0,02 D2 0,023 A2 0,035

K1.b 0,057 J1 0,193 J2 0,275

K1.a 0,307 C1.b 0,603 D1.b 0,627 C1.a 0,776

IF p-value L3 0,000

L5 0,001

L1 0,004

L6 0,008

L4 0,102

L2 0,267

checklist Analisi della struttura latente

Componenti

1 2 3 4 5

strategie didattiche

A1.L’insegnante spiega in modo strutturato -,070 ,733 ,176 -,026 -,019 A2.L’insegnante propone attività strutturate ,261 -,156 ,644 -,038 ,100 B1. L’insegnante fa domande che incoraggiano il ragionamento ,139 ,781 ,213 ,110 ,032

B2.L’insegnante dedica spazio alla discussione in classe ,293 ,658 -,217 ,026 ,099 C1. L’insegnante fornisce indicazioni sulle strategie e i metodi da seguire ,110 ,146 ,707 ,203 ,048

D1. L’insegnante monitora il lavoro degli studenti ,042 ,152 ,762 ,187 ,005 D2.L’insegnante fornisce feedback per aiutare gli studenti a migliorare ,347 ,294 ,469 ,133 ,164

gestione della classe

E1.L’insegnante fornisce indicazioni sui tempi ,301 ,108 ,107 ,088 ,587 E2.L’insegnante gestisce i momenti di passaggio da una attività all’altra ,341 ,258 ,333 -,028 ,429 F.1. L’insegnante trasmette regole di comportamento -,304 -,060 -,003 ,064 ,777

sostegno, guida supporto

H1. L’insegnante adatta le attività in base alle differenze tra studenti ,067 ,171 ,159 ,742 ,044

H2. L’insegnante sostiene i bisogni emotivi degli studenti ,513 ,448 ,070 ,282 ,260 I1. L’insegnante dà agli studenti con BES compiti adattati rispetto agli altri ,083 -,033 ,096 ,835 ,029

I2. L’insegnante mostra attenzione agli studenti con BES ,500 -,021 ,132 ,592 ,137

clima di apprendimento

J1. Gli studenti mostrano di impegnarsi nelle attività ,751 ,122 ,309 -,015 -,134 J2. Gli studenti con BES mostrano di partecipare alle attività ,774 -,045 ,149 ,205 ,025 K1. Gli studenti e l'insegnante mostrano rapporti che favoriscono l'apprendimento ,707 ,395 ,107 ,132 ,088

le prime 5 dimensioni considerate spiegano il 61% della variabilità totale l’analisi riproduce tra il 47% e il 72% della variabilità delle variabili in analisi

Principal component analysis (varimax rotation)

scale di valutazione

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

A1 A2 B1 B2 C1 D1 D2 E1 E2 F1 G1 H1 H2 I1 I2 J1 J2 K1

Differenze tra punteggi nelle scale di valutazione

,00 Nessuna differenza 1,00 Differenza minima (scarti 1 e 2 punti)

2,00 Differenza media (scarti 3 e 4 punti) 3,00 Differenza elevata (scarti 5 e 6 punti)

scale di valutazione attendibilità: accordo inter-codificatore

... ...

scale di valutazione attendibilità: accordo inter-codificatore

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

H1 I1 E1 D1 J2 D2 C1 I2 H2 B2 A2 B1 A1 E2 F1 J1 K1 G1

individual rating average of ratings over 6 raters in 3 times

Inter-rater reliability: intraclass correlation coefficients (ICC)

insufficiente

medio

buono

eccellente

Cutoffs ICC values (Cicchetti, 1994): Poor - less than .40

Fair - between .40 and .59 Good - between .60 and .74

Excellent - between .75 and 1.0

scale di valutazione effetto azione docente: un’altra misura di attendibilità

l’insegnante…

percentuale di varianza

insegn. osserv. scuola tempo di oss. residuo

Reliability 1

osservatore (1 lezione)

3 osservatori (3 lezioni)

6 raters (3 lezioni)

A1. spiega in modo strutturato 39.6 11.3 5.4 0.1 43.6 41.8% 68.3% 81.1%

A2. propone attività strutturate 40.2 9.3 5.3 0.1 45.1 42.4% 68.8% 81.5%

B1. fa domande che incoraggiano il ragionamento 40.4 9.7 4.9 0.5 44.5 42.5% 68.9% 81.4%

B2. dedica spazio alla discussione in classe 39.4 11.7 4.4 0.3 44.2 41.2% 67.8% 80.7%

C1. fornisce indicazioni sulle strategie e i metodi 39.7 9.1 4.4 0.1 46.6 41.6% 68.1% 81.0%

D1. monitora il lavoro degli studenti 36.5 9.0 5.5 0.1 48.9 38.6% 65.3% 79.0%

D2. fornisce feedback 39.1 9.0 5.5 0.1 46.4 41.3% 67.9% 80.8%

E1. fornisce indicazioni sui tempi 35.2 11.8 4.9 0.0 48.0 37.0% 63.8% 77.9%

E2. gestisce i momenti di passaggio 42.1 8.5 7.0 0.0 42.3 45.3% 71.3% 83.2%

F1. trasmette regole di comportamento 45.2 8.2 6.7 0.1 39.8 48.4% 73.8% 84.9%

G1. organizzazione dello spazio 43.3 11.5 7.2 0.0 38.1 46.6% 72.3% 83.9%

H1. adatta le attività in base alle differenze 28.1 13.4 4.7 0.0 53.6 29.5% 55.7% 71.5%

H2. sostiene i bisogni emotivi 42.5 7.4 5.3 0.1 44.7 44.9% 70.9% 82.9%

I1. dà agli studenti con BES compiti adattati 36.6 8.6 6.3 0.2 48.4 39.0% 65.7% 79.2%

I2. mostra attenzione agli studenti con BES 44.1 6.1 7.1 0.2 42.5 47.5% 73.0% 84.3%

J1. studenti mostrano di impegnarsi 46.0 7.6 6.7 0.3 39.4 49.3% 74.4% 85.2%

J2. studenti con BES mostrano di partecipare 42.1 8.3 7.3 0.1 42.3 45.3% 71.3% 83.2%

K1. mostra rapporti che favoriscono l’apprend. 46.4 7.8 6.9 0.2 38.7 49.8% 74.8% 85.5%

scale di valutazione punteggi medi

inadeguato eccellente

strategie gestione sostegno clima

0 1 2 3 4 5 6 7

H1. adatta le attività in base alle differenze

E1. fornisce indicazioni sui tempi

I1. dà agli studenti con BES compiti adattati

B2. dedica spazio alla discussione in classe

I2. mostra attenzione agli studenti con BES

D2. fornisce feedback

H2. sostiene i bisogni emotivi

A1. spiega in modo strutturato

C1. fornisce indicazioni sulle strategie e i metodi

J2. studenti con BES mostrano di partecipare

E2. gestisce i momenti di passaggio

A2. propone attività strutturate

D1. monitora il lavoro degli studenti

B1. fa domande che incoraggiano il ragionamento

F1. trasmette regole di comportamento

G1. organizzazione dello spazio

J1. studenti mostrano di impegnarsi

K1. mostra rapporti che favoriscono l’apprend.

scale di valutazione differenze tra livelli

4,15

4,51

2,42

3,06 3,38

4,59

3,17

4,19 4,54

4,01 4,30

4,52

5,13 4,80

4,52 4,63

5,08 5,00

4,30 4,61

2,35

2,98 3,27

4,48

3,03

4,02 4,34

3,80 4,05

4,26

4,82

4,44 4,15 4,25

4,56

4,18

0

1

2

3

4

5

6

A1 B1 H1 E1 B2 D1 I1 D2 E2 I2 H2 C1 K1 F1 J2 A2 J1 G1_b

V primaria I Sec. Primo grado

Gli indicatori con più differenza tra livelli sono favorevoli alla scuola primaria: - L’organizzazione dello spazio - L’impegno degli studenti nelle attività - Lo svolgimento di attività strutturate - La partecipazione degli studenti con BES nelle attività - La gestione delle regole di comportamenti L’unico indicatore favorevole alla scuola secondaria di I grado è il relativo alle spiegazioni strutturate

scale di valutazione distribuzione dei punteggi medi

inadeguato eccellente

intervalli

47%

19%

27%

23%

10%

4%

3%

5%

32%

33%

30%

24%

16%

16%

17%

14%

10%

10%

9%

11%

9%

5%

8%

6%

4%

6%

15%

31%

22%

24%

28%

33%

26%

27%

29%

26%

23%

23%

21%

23%

20%

21%

18%

15%

5%

14%

15%

18%

30%

31%

30%

34%

30%

33%

37%

36%

33%

39%

38%

45%

33%

28%

3%

5%

10%

13%

15%

17%

20%

22%

24%

21%

24%

26%

25%

27%

25%

33%

30%

4%

3%

5%

3%

8%

5%

4%

4%

9%

6%

6%

10%

20%

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

H1. Adatta le attività in base alle differenze tra studenti

I1. Dà compiti adattati agli studenti con BES

E1. Fornisce indicazioni sui tempi

B2. Spazio alla discussione in classe

I2. Mostra attenzione agli studenti con BES

D2. Fornisce feedback per aiutare gli studenti a migliorare

H2. Sostiene i bisogni emotivi degli studenti

A1. Spiega in modo strutturato

A2. Attività strutturate

C1. Indicazioni sulle strategie e i metodi da seguire

J2. Studenti con BES mostrano di partecipare alle attività

E2. Gestisce i momenti di passaggio da un'attività all'altra

B1. Domande che incoraggiano il ragionamento

F1. Trasmette regole di comportamento

G1. Organizzazione dello spazio

D1. Monitora il lavoro degli studenti

J1. Studenti mostrano di impegnarsi nelle attività

K1. Rapporti che favoriscono l'apprendimento

tra 1 e 2 tra 2 e 3 tra 3 e 4 tra 4 e 5 tra 5 e 6 tra 6 e 7

scale di valutazione analisi della struttura latente

Principal component analysis (varimax rotation)

1. Strategie didattiche

A. Insegnamento strutturato A1.L’insegnante spiega in modo strutturato A2.L’insegnante propone attività strutturate

B. Tecniche di interrogazione e discussione B1. L’insegnante fa domande che incoraggiano il ragionamento B2.L’insegnante dedica spazio alla discussione in classe

C. Strategie per sostenere l’apprendimento C1. L’insegnante fornisce indicazioni sulle strategie e i metodi da seguire D. Monitoraggio e valutazione D1. L’insegnante monitora il lavoro degli studenti D2.L’insegnante fornisce feedback per aiutare gli studenti a migliorare

2. Gestione della classe

E. Gestione del tempo e delle attività E1.L’insegnante fornisce indicazioni sui tempi E2.L’insegnante gestisce i momenti di passaggio da una attività all’altra

F. Gestione delle regole e dei comportamenti F.1. L’insegnante trasmette regole di comportamento G. Organizzazione dello spazio G.1. Organizzazione dello spazio

3. Sostegno, guida e supporto

H. Insegnamento adattato ai diversi bisogni degli studenti H1. L’insegnante adatta le attività in base alle differenze tra studenti H2. L’insegnante sostiene i bisogni emotivi degli studenti

I. Attenzione agli studenti con BES I1. L’insegnante dà agli studenti con BES compiti adattati rispetto agli altri I2. L’insegnante mostra attenzione agli studenti con BES

4. Clima di Apprendimento

J. Coinvolgimento degli studenti J1. Gli studenti mostrano di impegnarsi nelle attività J2. Gli studenti con BES mostrano di partecipare alle attività

K. Rapporti in classe K1. Gli studenti e l'insegnante mostrano rapporti che favoriscono l'apprendimento

La proporzione della varianza a livello insegnante nelle competenze analizzate per le prime tre componenti principali è di circa il 70%. È un valore al di sotto di quelli osservati nell’ambito internazionale utilizzando strumenti di osservazione basati sui video (UTOP: 82%; MQI: 87%; CLASS: 90%; FFT e PLATO: 97%). Lo strumento utilizzato contiene una prima componente principale che riflette le competenze associate alle strategie didattiche. Questa componente assorbe una gran parte della variazione dei punteggi (55%) Una seconda componente riflette le pratiche svolte a personalizzare l’insegnamento e a coinvolgere gli studenti con difficoltà di apprendimento. La terza comprende azioni di gestione delle procedure e del clima in classe (sostegno dei bisogni emotivi e rapporti che favoriscono l’apprendimento)

comp 1

comp 3

comp 2

* considerando la dimensione del campione, sono stati considerati i loading tra 0.2 e 0.3.

checklist - scale di valutazione

checklist e scale di valutazione correlazione tra punteggi e indici di frequenza

Coefficienti di correlazione tra i punteggi delle scale di valutazione e gli indici di frequenza

0,18

0,30

0,38

0,29

0,40

0,50 0,50 0,50 0,55

0,52

0,63 0,62 0,66 0,65 0,66

0,63 0,68 0,68

0,72 0,74 0,77

0,16

0,28 0,29

0,35

0,32

0,43 0,43 0,45 0,46 0,48 0,49 0,50

0,56 0,56 0,58 0,59 0,61 0,62 0,62 0,63

0,70

0,00

0,10

0,20

0,30

0,40

0,50

0,60

0,70

0,80

0,90

D1_a D1_b E2 A2 F1 C1_b C1_a A1 D2 I1 J1 H2_b J2 H2_a B1 H1 E1 I2 K1_a K1_b B2

correlation coefficient (aggregato a livello di insegnante) correlation coefficient (aggregato a livello di lezione)

checklist e scale di valutazione punteggi e indici di frequenza (checklist)

in che misura la valutazione aumenta con l’incremento della frequenza? *aumento dei punteggi associato all’incremento della frequenza del fenomeno osservato (in un 50%)

-0,5 0 0,5 1 1,5 2

F1. trasmette regole di comportamento D1. monitora il lavoro degli studenti E2. gestisce i momenti di passaggio

A2. propone attività strutturate A1. spiega in modo strutturato

J1. studenti mostrano di impegnarsi C1. fornisce indicazioni sulle strategie e i metodi

J2. studenti con BES mostrano di partecipare D2. fornisce feedback

K1. mostra rapporti che favoriscono l’apprend. B1. fa domande che incoraggiano il ragionamento

I1. dà agli studenti con BES compiti adattati I2. mostra attenzione agli studenti con BES

H2. sostiene i bisogni emotivi B2. dedica spazio alla discussione in classe

H1. adatta le attività in base alle differenze E1. fornisce indicazioni sui tempi

[modelli di regressione con effetto fisso insegnante e osservatore] * Tutti i coefficienti sono statisticamente significativi (5%) punteggi delle scale di valutazione

quantità (indici di frequenza)

qualità (punteggi delle scale di valutazione)

prospettive di analisi

• è stato raggiunto uno strumento attendibile in grado di individuare diverse pratiche di insegnamento

• ma queste pratiche contribuiscono effettivamente all’apprendimento degli studenti?

• quali sono le sfide da affrontare? 1. mettere in relazione dati e le misure a disposizione:

fonti differenti (questionario studenti e insegnante) misure di outcome, come i risultati dei test standardizzati dati di contesto degli insegnanti (es. formazione) dati di contesto degli studenti (es. caratteristiche sociodemografiche)

2. validità predittiva: le pratiche di insegnamento sono associate agli outcome

di apprendimento? ottenere misure adeguate di efficacia docente isolando gli effetti

dell’azione di insegnamento: modelli “value-added”

3. dalla ricerca alla pratica: elaborare proposte di policy e formazione

prospettive di analisi

grazie per l’attenzione

progetto valutazione e miglioramento

l’osservazione in classe

seminario residenziale Formia, 28 aprile 2015