PROPOSTA DI INNOVAZIONE METODOLOGICA NELLA SELEZIONE DI ITEM DI CONOSCENZA E ABILITÀ.

UNO STUDIO SPERIMENTALE APPLICATO.

Marco Bressan1

Massimiliano Pastore2

Giovanni Iotti3

1 Università degli Studi di Padova, Servizio Orientamento2 Università degli Studi di Padova, Dipartimento di Psicologia dello Sviluppo e della Socializzazione3 Università degli Studi di Padova, Servizio Orientamento

17 settembre 2014 PaviaXX Congresso Nazionale della Sezione di Psicologia Sperimentale

Sommario

• Le domande dei test d’ingresso all’Università

• Classical Test Theory e Item Response Theory

• Mixed Effects Models

• Regressione Logistica

• Lo studio sperimentale

• Conclusioni

Le domande dei test d'ingresso

scelta multipla, una risposta esatta tra 4 o 5 alternative

abilitàsaper fare, applicare procedure

conoscenzasapere che, verifica di apprendimenti passati

analitichequantitativeverbali…

biologiachimicacultura generalefisicamatematica…

economiagiurisprudenza

ingegneria scienze

medicinaarchitettura

+ domande abilità + domande conoscenza

CTT IRT

Assunzione fondamentale Un individuo con il tratto latente più alto risponderà correttamente a un maggior numero di domande

Risposto correttamente a una certa domanda, con più probabilità si risponderà correttamente a domande più facili

Normalizzazione Risente molto del campione di normalizzazione

È indipendente dal campione di normalizzazione

Prima si fanno le norme poi si possono valutare altri soggetti

Normalizzazione e valutazione dei soggetti avvengono nello stesso momento

Si valuta il punteggio test Si valuta ogni item

Calcolo del punteggio Solitamente si sommano i punteggi di ogni singolo item

Si ipotizza un complesso modello probabilistico

Interpretazione del punteggio Confronto tra il punteggio del soggetto con delle norme

Confronto tra gli item a cui si è risposto

Non tiene conto della difficoltà degli item

Tiene conto della difficoltà degli item

Errore di misura Ipotizzato costante per tutti i livelli di tratto

Relazione matematica che varia in funzione del livello di tratto

CTT e IRT

Mixed Effects Models

Effetti Fissi Effetti Casuali+

(livelli degli effetti fissi e riproducibili) (campionatura dei livelli degli effetti)

id. soggettoid. domanda

genere (M,F)categoria domanda (8 categorie)

numero ripetizione provalunghezza quiz (15 o 60 domande)

Esempio di definizione di un mixed effects model in R

library(lme4)

m.3 = glmer(risposta ~ ripetizione_prova + lunghezza_prova + categoria_domanda + (1|sogg) + (1|domanda), data=lunga, family = binomial)

Cosa collega Mixed Effects Models e Item Response Theory?

MEM IRTRegressione Logistica

Obiettivo dell’analisi: stimare un parametro della curva logistica(Rasch,1PL, b, difficoltà)

Lo studio sperimentale

60 partecipanti (38 M, 22 F) motivati dall’iscriversi all’Università

913 item diversi, classificati in 8 categorie

Gli item sono stati somministrati in:

221 prove da 60 domande (10 di abilità analitiche, 10 di abilità verbali, 10 di abilità quantitative, 10 di biologia, 10 di matematica, 10 di cultura generale)

889 prove da 15 domande (una prova per categoria)

Risultati

Models:m0 : risposta ~ (1 | sogg) + (1 | domanda)m1 : risposta ~ progressivo_prova + (1 | sogg) + (1 | domanda)m2 : risposta ~ progressivo_prova + lunghezza_prova + (1 | sogg) + (1 | domanda)m3 : risposta ~ progressivo_prova + lunghezza_prova + categoria_domanda + (1 | sogg) + (1 | domanda)

Df AIC BIC Chisq Chi Df p-value ∆BIC BF

m0 3 24103 24127 1

m1 4 23699 23730 406,430 1 < 2.2e-16 *** 397 1.303827e+86

m2 5 23677 23716 24,035 1 9.461e-07 *** 14 1.200076e+03

m3 12 23573 23668 117,415 7 < 2.2e-16 *** 48 3.289974e+10

Tabella 1: confronto tra i modelli

Effetto Parametrocategoria domanda abilità analitiche (intercetta) 0,27769 categoria domanda biologia -0,47344 categoria domanda chimica -0,40354 categoria domanda cultura generale -0,24706 categoria domanda fisica -0,73657 categoria domanda matematica -0,71126 categoria domanda abilità quantitative 0,08518 categoria domanda abilità verbali 0,10954 progressivo prova 0,10169 prova 15 domande 0,28020

Tabella 2: effetti fissi del modello m3

Rappresentazione dell’effetto della ripetizione della prova sulla probabilità di risposta corretta

Rappresentazione dell’effetto della lunghezza della prova sulla probabilità di risposta corretta

Rappresentazione dell’effetto della categoria della domanda sulla probabilità di risposta corretta

Nuova proposta di classificazione

abilità conoscenza

analitichequantitativeverbali

biologiachimicacultura generale

abilità + conoscenzafisicamatematica

In sintesi

Sono stati stimati i parametri relativi a:

• ripetizione della stessa prova• lunghezza della prova• difficoltà delle categorie

tenendo conto della randomizzazione delle domande e dei soggetti.

Si ipotizza che non sia sufficiente la dicotomia abilità / conoscenza

Possibili sviluppi

Ripetere le analisi su altri campioni di item

Effettuare analisi di più parametri logistici (2PL e 3PL)

Indagare le abilità dei partecipanti

Studiare altre caratteristiche degli item oltre alla categoria

Grazie per l’attenzione

Marco Bressan: brex1987@gmail.com

Massimiliano Pastore: massimiliano.pastore@unipd.it

Giovanni Iotti: giovanni.iotti@unipd.it

Bibliografia

Akaike, H. (1998). A Bayesian analysis of the minimum AIC procedure. In Selected Papers of Hirotugu Akaike (pp. 275-280). Springer New York.Arcuri, L. Test di ingresso: sì, a queste condizioni. Il Bo (Internet), 2013 (pubblicato: 30 maggio 2013; consultato: 30 gennaio 2014). Disponibile all’indirizzo: http://www.unipd.it/ilbo/content/test-di-ingresso-si-queste-condizioni

Arcuri, L., & Soresi, S. (1997). Regolamentazione dell'accesso all'università: prove di ammissione, qualità della didattica, orientamento e servizi per gli studenti. Giornale Italiano di Psicologia, 24(1), 23-42.

Baayen, R. H., Davidson, D. J., & Bates, D. M. (2008). Mixed-effects modeling with crossed random effects for subjects and items. Journal of memory and language, 59(4), 390-412.

Bates D, Maechler M, Bolker B, Walker S (2014). lme4: Linear mixed-effects models using Eigen and S4. R package version 1.1–6. http://CRAN.R-project.org/package=lme4

Bates, D. M. (2010). lme4: Mixed-effects modeling with R. URL http://lme4. r-forge. r-project. org/book.

Chalifour, C., & Powers, D. E. (1988). Content characteristics of GRE Analytical Reasoning items. Educational Testing Service.

Cho, S. J., Gilbert, J. K., & Goodwin, A. P. (2013) Explanatory Multidimensional Multilevel Random Item Response Model: An Application to Simultaneous Investigation of Word and Person Contributions to Multidimensional Lexical Representations. Psychometrika, 1-26.

Doran, H., Bates, D., Bliese, P., & Dowling, M. (2007). Estimating the multilevel Rasch model: With the lme4 package. Journal of Statistical Software, 20(2), 1-18.

Embretson, S.E., & Reise, S.P. (2000). Item Response Theory for Psychologists. Mahwah, NJ: Lawrence Erlbaum Associates.

Faraci, P. (2008). L’Item Response Theory nella costruzione degli strumenti psicometrici. Items, La newsletter del testing psicologico.

Giampaglia, G. (1990). Lo scaling unidimensionale nella ricerca sociale. Napoli: Liguori Editore.

Gulliksen, H. (1950). Theory of mental tests. Wiley: New York.

Hedeker, D., Mermelstein, R. J., & Flay, B. R. (2006). Application of item response theory models for intensive longitudinal data. Models for intensive longitudinal data, 84-108.

Lord, F. (1952). A theory of test scores. Psychometric Monographs.

Pinheiro, J. C., & Bates, D. M. (2000). Mixed effects models in S and S-PLUS. Springer.

R Core Team (2014). R: A language and environment for statistical computing. R Foundation for Statistical Computing, Vienna, Austria. URL http://www.R-project.org/

Rasch, G. (1960). Probabilistic models for some intelligence and attainment tests. Copenhagen: Danish Institute of Educational Research.

Servizio Orientamento dell’Università di Padova, collegamento alla pagina in cui si possono vedere e svolgere le prove utilizzati nella ricerca https://elearning.unipd.it/orientamento/course/view.php?id=127

Thissen, D., & Steinberg, L. (1988). Data analysis using item response theory. Psychological Bulletin, 104(3), 385.

Van der Linden, W.J. & Hambleton, R.K. (1996). Handbook of Modern Item Response Theory. New York: Springer.