Indagine sulla Valutazione

dell’Attività DIdattica da parte degli Studenti

 

IVADIS 

GRUPPO DI LAVORO A.A. 2008-2009 (IVADIS 9):

•Dott.ssa Sara Laurita, Responsabile Ufficio Statistico e Coordinatrice Indagine IVADIS

•Vittorio Trovati, Supervisore fasi operative Indagine IVADIS

•Dott.ssa Maria Reda, Referente Facoltà di Economia

•Dott. Salvatore Ricchio, Referente Facoltà di Farmacia

•Dott.ssa Maria Gencarelli, Referente Facoltà di Ingegneria

•Dott.ssa Sonia Gencarelli, Referente Facoltà di Lettere e Filosofia

•Dott.ssa Ilaria Gallo, Referenti Facoltà di SMFN

•Dott.ssa Giuliana Gabrieli, Referente Facoltà di Scienze Politiche

IVADIS 

STAFF DI SUPPORTO AL GRUPPO DI LAVORO A.A. 2008-2009:

• Sig.ri Ketty Cipri, Leonardo Ippolito, Francesco Lia, Claudia Mezzatesta, Simone Nardi Supporto Ufficio

• Dott.ssa Federico Roberta, Sig. Amedeo Campo, Sig. Giuseppe Grupillo, Sig.ra Anna Crugliano, Sig.ra Annarita Berardi Statistici

• 6 operatori per l’acquisizione dati tramite lettore ottico

• 73 rilevatori

IVADIS

L’ORIGINE……

 

IVADIS 

IVADIS

L. 537/1993 (art. 5 cc. 22 e 23)

Istituisce i Nuclei di valutazione nelle università "con il compito di verificare, mediante analisi comparative dei costi e dei rendimenti, la corretta gestione delle risorse pubbliche, la produttività della ricerca e della didattica, nonché l'imparzialità ed il buon andamento dell'azione amministrativa. I nuclei determinano i parametri di riferimento del controllo anche su indicazione degli organi generali di direzione, cui riferiscono con apposita relazione almeno annualmente.“

IVADIS

La relazione dei nuclei di valutazione interna è trasmessa al Ministero dell'università e della ricerca scientifica e tecnologica, al Consiglio universitario nazionale e alla Conferenza permanente dei rettori per la valutazione dei risultati relativi all'efficienza e alla produttività delle attività di ricerca e di formazione, e per la verifica dei programmi di sviluppo e di riequilibrio del sistema universitario, anche ai fini della successiva assegnazione delle risorse.

L. 370/99 Disposizioni in materia scientifica e tecnologica

• COMITATO NAZIONALE PER LA VALUTAZIONE DEL SISTEMA UNIVERSITARIO

•COSTRUZIONE DI UN APPOSITO FONDO INTEGRATIVO PER L’INCENTIVAZIONE DELL’IMPEGNO DIDATTICO

•INTRODUZIONE DI APPOSITE DISPOSIZIONI PER IL COMPLETAMENTO DEL QUADRO DI INTERVENTI PER L’AUTONOMIA DIDATTICA UNIVERSITARIA

IVADIS 

La legge:•ribadisce e consolida l’attività dei Nuclei rivolta ad

“….adottare un sistema di valutazione interna della gestione amministrativa, delle attività didattiche e di ricerca, degli interventi del diritto allo studio, verificando anche mediante analisi comparative dei costi e dei rendimenti, il corretto utilizzo delle risorse pubbliche, la produttività della ricerca e della didattica, nonché l’imparzialità e il buon andamento dell’azione amministrativa”

•introduce elementi nuovi nel sistema di valutazione dei Nuclei:

“…redigono una relazione contenente le informazioni e i dati determinati ogni triennio dal Comitato…”

IVADIS 

“….acquisiscono, mantenendone l’anonimato, le opinioni degli studenti frequentanti sulle attività didattiche e trasmettono un’apposita relazione entro il 30 aprile di ogni anno… “

IVADIS 

IVADIS

D.M. del 31/10/2007 prot. n. 544/2007 comma 2 art. 3:

stabilisce che i Nuclei di Valutazione devono procedere alla verifica della sussistenza dei livelli di qualità, utilizzando gli indicatori definiti nel doc. 7/07 del CNVSU. In particolare si fa riferimento all’indicatore di efficacia che misura il livello di soddisfazione degli studenti nei riguardi dei singoli insegnamenti

IVADIS

Inoltre in tale DM si richiama il D.M. del 18 ottobre 2007, nel quale si precisa che un corso di studio viene definito in possesso dei requisiti indicati qualificanti se soddisfa almeno 5 dei 7 requisiti previsti, tra cui il seguente:

“la percentuale degli insegnamenti in cui viene rilevato il parere degli studenti è superiore al valore mediano nazionale, relativo ai raggruppamenti di facoltà definiti in relazione a quanto previsto dal Sub. Allegato A.2. del D.M. n. 362/2007”.

PROGETTAZIONE 

IVADIS 

          OBIETTIVI DELL'INDAGINE  L'indagine ha lo scopo di raccogliere informazioni utili ai fini di migliorare la qualità dei programmi didattici e il rapporto studenti/docenti. Utilizzando le valutazioni degli studenti si riescono ad ottenere informazioni sui fattori che facilitano o ostacolano l'apprendimento.

IVADIS 

L’indagine deve fornire informazioni complementari e/o conferma di verifica nell’ambito del processo più ampio e complesso di valutazione di un Corso di Studi.

La rilevazione cerca di cogliere la percezione che lo studente ha della didattica come gli viene presentata, per l’attivazione delle sue facoltà di apprendimento e per il modo con cui “conoscenza ed abilità” vengono finalizzate ad affrontare con successo le prove d’esame.

IVADIS 

In generale: gli aspetti della didattica che si sottopongono al giudizio dello studente fanno parte delle esperienze dirette sulle quali lo studente ha titolo per rispondere (aule, dotazioni ed attrezzature, carico di lavoro, ecc.). 

IVADIS 

IVADIS

    POPOLAZIONE OGGETTO DI STUDIO 

Tutti gli insegnamenti ed i moduli attivati dall’Ateneo

UNITA’ DI RILEVAZIONETutti gli studenti frequentanti

UNITA’ DI ANALISIInsegnamenti/moduliDocentiCorso di Laurea/Facoltà/AteneoAule

QUESTIONARIO

•Interesse e soddisfazione

Una sezione speciale per i commenti personali

6 sezioni:

•Organizzazione del proprio corso di studi•Organizzazione dell’insegnamento•Attività didattiche e studio•Infrastrutture

IVADIS 

•Informazioni sul proprio corso di studi

15 domande

quattro tipi di risposta

•Decisamente no

•Più no che si

•Più si che no

•Decisamente si

IVADIS 

IVADIS

IVADIS 

IVADIS 

FASI PRELIMINARI

1. Progettazione

2. Analisi dei tempi e dei costi

3. Avvio dell’indagine: comunicazione ai

presidi di facoltà – sensibilizzazione studenti

IVADIS

IVADIS

IVADIS

Pianificazione indagine

Le macro fasi dell’indagine

Costituzione di ungruppo di progettazione

Analisi degli aspetticoncettuali ed operativi

dell’indagine

Predisposizione di undocumento di

programmazione

Periodicità nell’acquisizione dei dati

Dati provenienti dalla Facoltà

• Acquisizione all’inizio di ogni periodo didattico

Dati provenienti dalla rilevazione

• Acquisizione ai 2/3 della durata di ogni periodo didattico

IVADIS

Organizzazione delle attività didattiche nelle facoltà dell’Ateneo

1. Economia2. Farmacia e Scienza della Nutrizione3. Ingegneria4. Lettere e Filosofia5. Scienze Fisiche Matematiche e

Naturali6. Scienze Politiche

• Poli didattici distaccati (Crotone, Vibo Valentia)

IVADIS 

IVADIS

Programmazione attività sul campo

Sensibilizzazione

Costituzione di ungruppo di progettazione

Contatto associazioni studentesche

Contatto referenti di Facoltà

Contatto personale amministrativo delle

Facoltà

Formazione risorseumane e verifica

competenze acquisite

Aggiornamenti delsistema informatico

Protos2

IVADIS

IL PROCESSO

Richiesta informazioni ai referenti di Facoltà

• Programmazione delle attività didattiche e relative informazioni (docente, nome insegnamento, cdl attivante o mutuante, crediti, ore di lezione…)

•Orario delle lezioni

File o materiale cartaceo

IVADIS

Programmazione periodicadelle rilevazioni

Stesura del piano delleattività

Preparazione elencoinsegnamenti attivi

Controllo qualità dei dati

Realizzazionescadenziario

Acquisizioneinformazioni

programmazione didattica

IVADISOrganizzazione della programmazione

INDIVIDUAZIONE STATUS INSEGNAMENTI:

•Rilevabili

•Non rilevabili

Per insegnamento rilevabile s’intende un insegnamento che abbia le seguenti caratteristiche:

•almeno 24 ore di lezione;

•almeno 2 crediti formativi;

•l’attività didattica non sia svolta prevalentemente in un laboratorio.

IVADIS

Popolamento banca datiinsegnamenti attivi

Assegnazione codici Caricamento datiControllo qualità dei

dati

IVADISCodifica: acquisizione informazioni banca dati

•Assegnazione di un codice:

•Insegnamento (3 cifre)

•Modulo (4 cifre)

•Gruppo (4 cifre)

•Docenti ……

•Analisi storica dei dati (controlli su codici già esistenti)

Esigenza dell’introduzione dei moduli, problemi corsi mutuati……

IVADIS

Predisposizione calendariodelle rilevazioni

Generazione automaticacalendario

rilevazioni da Protos2

Definizione calendariorilevazioni

Controllo calendariorilevazioni

Primo controllocalendario rilevazioni

IVADIS

Pianificazione calendario

•Assegnazione di data, ora e aula di rilevazione

• Controlli:

• in base alle aule

• corsi tenuti nella stessa ora stessa aula stesso docente (errore, mutuazioni,…)

• docenti che risultano tenere contemporaneamente due lezioni stessa ora, aule diverse

nella struttura per la pianificazione visualizzazione solo della prima ora di lezione

IVADIS

Preparazione rilevazioni

Invio e-mail ai docentiCertificazione

insegnamenti attiviStampa scheda modulo

Gestionerisposte e-mail

Revisionecalendariorilevazioni

Caricamento datirelativi alla rilevazione

Consegna materiale ai rilevatori

Controllo datidella scheda

modulo

Preparazionebuste rilevazione

IVADISInvio “automatico e-mail docenti”

• Prima di inviare:• controllo informazioni caricate• certificazione dell’insegnamento

• Richieste docenti:

• verifica informazioni in nostro possesso

• comunicazione: periodo di sospensione, #studenti frequentanti (informazione utile per organizzazione rilevatori)

• Correzione calendario

•Calcolo tasso di risposta alla e-mail

Necessità di facilitare il processo di modifica dell’orario

IVADISCreazione scheda di rilevazione

• Controllo: coincidenza data, ora e aula tra calendario e scheda

IVADIS

Rilevazione

Controllo insegnamentirilevati ed

aggiornamento calendario

Monitoraggio operatorilevatori: studenti

osservatori

Caricamento dati relativiai tentativi dirilevazione

Controllobuste rientrate

Monitoraggio andamentorilevazioni

Contatto docenti corsinon rilevati

AggiornamentoProtos2

Reinserimento incalendario rilevazioni

non effettuate

Risoluzioneeventuali problemi

di rilevazione

Contatto con irilevatori

IVADIS

Somministrazione dei questionari

• Formazione rilevatori

• Manuale di rilevazione

• Capo gruppo

• Coordina i rilevatori, comunica con l’ufficio di supporto al nucleo di valutazione

Attualmente sono impegnate nell’attività di rilevazione 73 persone.

IVADIS

Calcolo tasso di copertura

Verifica status moduliAggiornamento

insegnamenti attiviCalcolo tassi di

copertura

Impiego querymoduli attivanti

e mutuati

Controllo manualetra pacchi e

insegnamenti attivi

Individuazione dei corsi con 0 o 1 studenti

Individuazionedei corsi

non rilevati

IVADIS

Lettura ottica

Preparazione materiale necessario alla lettura

Lettura dei questionari raccolti

Monitoraggiolettura

Controllo qualitàdei dati

IVADIS

Codifica di preparazione alla lettura ottica dei questionari:

• Controllo delle informazioni relative agli insegnamenti• Acquisizione delle informazioni relative a

• # questionari distribuiti• # questionari raccolti• note di rilevazione• nominativi rilevatori

OSS: utilizziamo tali informazioni per effettuare controlli di verifica sulla stima delle ore per rilevatore

IVADIS

• creazione scheda lettura

•

IVADIS

Elaborazione dati etrasmissione dei risultati

Controllo datiUtilizzo del pacchetto

statistico SPSSper l’elaborazione dati

Invio e diffusionedei risultati

Utilizzo softwareError control

Controllo dati mediante pacchi,tasso di copertura

e dati caricatiin Protos2

Protosweb

Invio risultatitramite e-mail

a Presidi e referenti di

Facoltà

IVADIS

Elaborazione dei dati e strumenti di diffusione dei risultati

• sintesi per i rilevatori

• docenti

• facoltà

• rapporto conclusivo per il comitato nazionale

• sintesi dei principali risultati contenuti nel rapporto annuale di valutazione

IVADIS

IVADIS 8“Un po’ di numeri”Periodo Lezioni:

Settembre 2007/Giugno 2008

Effettuate 2681 rilevazioni

Inviate ~ 1500 e-mail

Raccolti ~ 83.404 questionari

Costruiti 30 calendari di rilevazioni

IVADIS 

Realizzazione Protos2-Web

Nuova funzionalità del software PROTOS2, la cui caratteristica principale sarà quella di consentire,con accesso differenziato, (mediante l’uso di password personalizzate) ad ogni utente autorizzato la visione dei risultati delle rilevazioni del proprio insegnamento. I dati relativi alle rilevazioni effettuate nell’ultimo periodo saranno disponibili in rete in un tempo ragionevolmente breve.