Il progetto EMQT (2009-2011) Erasmus Mobility Quality Tools Luigi F Donà dalle Rose Università di...

Il progetto EMQT (2009-2011)Erasmus Mobility Quality Tools

Luigi F Donà dalle Rose Università di Padova

Seminario nazionale a cura del Gruppo Italiano dei Bologna Expert

“Azioni centralizzate: progetti per la qualità dei corsi congiunti e della

mobilità internazionale” SUN - Seconda Università di Napoli, 22 maggio 2012

This project has been funded with support from the European Commission.

Agreement Number: 2009 – 3668/001-001

Il progetto EMQT è stato finanziato come “rete strutturale Erasmus ”

FINALITÀ GENERALE e PERCORSO DI LAVORO

• Identificare modelli organizzativi, buone pratiche, procedure di benchmarking e relativi indicatori, per favorire la qualità della mobilità Erasmus degli studenti

Il progetto EMQT:

Disseminazione EMQT Seminario a cura dei Bologna Experts, Napoli 22 maggio 2012

focus: mobilità di scambio per motivi di studio e non su altre forme di mobilità Erasmus

istituzioni di riferimento: soprattutto quelle con numero di outgoing ≥ 100 (coprono il 77% della SMS)

• Mappatura della situazione presente ed analisi dei relativi processi

• Fornire riferimenti comuni e condivisi per ridisegnare quei processi al fine di inglobare in essi i requisiti di qualità

FINALITÀ e “DELIVERABLES” (vedi Brochure):• Approntare una QTB – Quality Tools’ Box per

facilitare la QA sia interna che esterna della organizzazione della mobilità e promuoverne la qualità

• sviluppare linee guida per: incentivare l’autonomia e la accountability

delle istituzioni universitarie, sviluppando strumenti per l’autocertificazione (capacità di riconoscimento, preparazione linguistica, ecc.)

Permettere a una determinata istituzione di posizionarsi entro i diversi profili di qualità

possibili meccanismi di responsabilità/trasparenza e di convalida esterna

• Identificare modelli organizzativi, buone pratiche, procedure di benchmarking e relativi indicatori, per favorire la qualità della mobilità Erasmus degli studenti

Il progetto EMQT:Origini e sviluppo


“PRIMEPRIME – Problems of

Recognition In Making Erasmus”

reports

IMPIIMPI – Indicators for Mapping and

Profiling Internationalisation

Il contesto circostante…Il contesto circostante…

EMQT è complementare ad

altri progetti

Recente studio Recente studio ACAACA : : ““Comparative study on Comparative study on

European and national-level European and national-level policies and practices on policies and practices on

academic mobility”academic mobility”

MAUNIMOMAUNIMO – Mapping UNIversity MObility

Il progetto EMQT:Origini e sviluppo


Task Force (6) e rispettive Task Force (6) e rispettive chairchair

General organisational models within HEIs

CHE Consult

Language preparation Universidad de Granada

Information and orientation Aristotle University of Thessaloniki

Students’ performances and recognition

Alma Mater Studiorum Università di Bologna

Reception of host students Karl-Franzens-Universität Graz

e-Coaching or ICT mobility tools Katholieke Universiteit Leuven

Il progetto EMQT:Metodologia e metodi

Servizio Relazioni Internazionali – Percorsi di Internazionalizzazione 2011-2012

tre percorsi metodologici tre percorsi metodologici deliverables deliverables EMQT EMQT

Consultazione dei partner EMQT e di 52 partner di prova (testing partners)

• EMQT Questionnaire + glossary• Suggestions for Good practices• List of Key indicators • Mapping report

Interviste ai docenti rapporto sintetico su Academic Quality in Exchange Mobility

Analisi del processo di riconoscimento

EMQT Report on the Recognition Process

Il progetto EMQT:Metodologia e metodi


Il progetto EMQT: Risultati principali


2. 2. EMQT Tools’ BoxEMQT Tools’ Box: componenti principali : componenti principali a) Questionario e Glossario EMQT

b) Lista di Indicatori chiavec) Suggerimenti per le Buone Pratiche (formulate in modo

omogeneo con le linee guida standard dell’ENQA e con esempi )

d) Qualità Accademica nella mobilità di scambio (EMQT position paper & sintesi ragionata delle 85 interviste)

EMQT Brochure: EMQT Brochure: ““Risultati del progetto EMQT”Risultati del progetto EMQT”

1. Presentazione del progetto EMQT1. Presentazione del progetto EMQT

Il progetto EMQT:Risultati principali


3. Documenti di riferimento EMQT 3. Documenti di riferimento EMQT

a) Quality in mobility: how to measure and assess it, (Maria Sticchi Damiani)

b) EMQT Mapping Report(s)

c) EMQT Report sul Processo di Riconoscimento

EMQT Brochure (continua): EMQT Brochure (continua):



Agenzie QA Europee e possiblmente l’ENQA

Portatori di interessi a livello politico: Commissione Europea, EACEA, EUA, EAIE, ACA e altre Associazioni

Associazioni di studenti

Utilizzo dei risultati da parte degli utenti finali Utilizzo dei risultati da parte degli utenti finali

Utenti target Utenti target principali:principali:

HEIs coinvolte in ErasmusHEIs coinvolte in Erasmus Partner al di fuori Partner al di fuori dell’Europadell’Europa

Agenzie Nationali LLP-Agenzie Nationali LLP-Erasmus in EuropaErasmus in Europa

Rete dei Rete dei Bologna Bologna ExpertsExperts

Agenzie di Ranking

Studenti in mobilità (e le loro famiglie)

Centri ICT presso le HEI


Esempi di Utilizzo dei risultatiEsempi di Utilizzo dei risultati• Template ed esempio concreto: Charité BerlinNei Suggerimenti per le Buone Practiche, pag 74 Brochure

• Confronto e posizionamento:Per confrontare la propria istituzione con lo scenario descritto sulla base dei propri dati e posizionarla nel campo di variazione di alcuni indicatori chiave

• Come fonte di ispirazione:Le Buone Pratiche e il Mapping Report possono essere utilizzati come spunto per migliorare la qualità (aspetti utili delle attività di mobilità e idee su come valutarne la qualità)• esercizio interattivo di disseminazione (per ognuna delle 6 dimensioni)Suggerimenti per le buone pratiche versus ingredienti per la Qualità dei docenti




Dove trovare i risultati EMQT?Dove trovare i risultati EMQT?Sito web EMQT: www.emqt.org

• EMQT BrochureBrochure

• Deposito di Buone PraticheDeposito di Buone Pratiche

• EventiEventi e articoli

• Eventi pubblici Eventi pubblici EMQTEMQT: Open Seminar (Bologna, Aprile 2011) e Final Validation Conference (Bruxelles, Novembre

2011)

Il vostro feedback è

benvenuto!!!

Sessione TED

ruolo e contenuto LA

ED ORA ED ORA

ALCUNI DETTAGLI IN PIU’ ALCUNI DETTAGLI IN PIU’ sui sui

“RISULTATI”“RISULTATI”DEL PROGETTO EMQT…DEL PROGETTO EMQT…





Questionario EMQT checklist per le pratiche di mobilità in 6 dimensioni

1. Prima versione – provata internamente≈ 200 domande, 340 campi

2. Versione “rivisitata” – provata esternamente95% sovrapposizioni, molto simile

3. Versione EMQT Tools’ Box (pag 25 Brochure)

≈ 110 domande, 222 campi



Domande aperte rispetto al totaleQUESTIONNAIRE

SECTION

number of question

columns in EXTERNAL

testing

number of open

questions

number of numerical questions

number of closed

questions

general part50 8 33 9

Sect. 1 79 11 19 49Sect. 2 27 2 6 19Sect. 3 41 7 2 32Sect. 4 45 8 16 21Sect. 5 60 5 4 51Sect. 6 38 3 8 27

total 340 44 88 208100% 12,9% 25,9% 61,2%



Open question 4.3.9.1. – If your institution does not send out students to go abroad to do exclusively research – why not? (12 valid returns)

1) it is forbidden by the Erasmus rules (e.g. as stated by National Agency), 3 returns as a whole!

2) research can be carried out only together with other activities (only 1 return!)

3) research project is considered as a study activity 4) thesis work in first cycle is not considered as research

(some testing institutions have only or prioritize the first cycle)

5) almost no mobility in the 2nd cycle, where research can be carried out

6) not required by students (in a medical faculty) 7) other European or National programs are best suited for

research activities abroad (3 returns)

Un

esemp

io d

i rispo

sta d

i do

man

de ap

erte



Fatti e numeri dello EMQT Survey il tasso di mobilità

Area Erasmus: 7,7 studenti su 1.000 (SMS, EC data for 2008-09)

• Campione interno 14,9 (max 31,8 ÷ min 4,8)

13 università• Campione esterno 21,4 (max 77,7 ÷ min 3,4)

65 università• Campione aggregato 18,8 (max 77,7 ÷ min 3,4)



Lista di indicatori chiave: METODOLOGIA GENERALE-II lavoro delle Task Force

• Identificazione degli indicatori : essi danno un’idea della qualità delle azioni

istituzionali finalizzate a un determinato GOAL di mobilità (riflessione di gruppo a priori )

• Riflessione interna/dibattito basato su una metodologia concordata: dopo

diversi passaggi, da un questionario con 340 domande, le TF hanno

selezionato 4 indicatori generali più 37 indicatori

• Traduzione degli indicatori in domande, da porre nel questionario (ex

post rilevare domande con maggiore o minore numero di risposte)

• CONCLUSIONE - la Lista è uno Strumento utile a monitorare e migliorare la qualità della mobilità studentesca:

uso finalizzato a un auto-monitoraggio o a un confronto con altre istituzioni



i. Punto di vista di un’Agenzia Nazionale di QA: buone pratiche estratte dalle risposte al questionario (a cura di ANECA) → formulate in maniera omogenea alle ESG

ii. Casi di Buone Pratiche identificati dalle 6 TF → → un primo “deposito” (“repository”)

di B.P.

iii. Documento ed esempio di strategia di implementazione

Appendice (casi di buona pratica identificati tramite i Mapping Reports)

Suggerimenti per le Buone Pratiche



ESEMPIO →TF b: Preparazione linguistica e aspetti correlati

Per questa dimensione sono state analizzate sia l’offerta di corsi linguistici presso l’istutione sia le azioni atte a standardizzare i diversi livelli linguistici

Buone Pratiche:

• GP2.1. The institution offers pre-departure language units for outgoing

students and incoming students.

• GP2.2. The institution offers semester/year-long language course units for

outgoing students and incoming students.

• GP2.3. The institution offers language course units for specific purposes:

(i.e.: Law, Medicine, Engineering, etc.) for outgoing and incoming students.

• GP2.4. The institution offers language course units at different levels.

• GP2.5. The institution follows strictly the Common European Framework of Reference, CERF.



20 DOMANDE (vedi Template pag. 128 brochure)

Aspetti istituzionali 6

Aspetti relativi al coordinatore di flusso 7

Aspetti relativi al riconoscimento 4

Problemi e futuro 2

Suggerimenti 1

Rapporto sulla Qualità Accademica Rapporto sulla Qualità Accademica Interviste con i docentiInterviste con i docenti



• 14 istituzioni partner del progetto EMQT

• 6 accademici intervistati per istituzione (in media)

In totale: 83 ACCADEMICI INTERVISTATI (e 2 AMMINISTRATIVI)

Metodologia di analisi concordata (identificazione e statistica degli elementi ricorrenti; estrazione delle “perle”)

Interviste con i docenti partecipanti e metodologia per la sintesi



Accademici di 4 diverse università hanno mentionato le differenze nei corsi come aspetti interessanti che potrebbero far loro decidere di istituire degli accordi (diverse tipologie di apprendimento/valutazione, o diversi approcci ai contenuti), anziché l’argomento della compatibilità.

Esempio di RISULTATI INTERESSANTI estratto dalle INTERVISTE

In 5 casi su 6, il docente apparteneva all’area scientifica, che, solitamente, tende ad essere più rigida sul tema del riconoscimento.



Rapporto EMQT sul Processo di Rapporto EMQT sul Processo di RiconoscimentoRiconoscimento

a pag 274 e segg. della Brochure

• 7 passaggi temporali, 5 documenti (Piano

di Studi, LA, ToR, Proof of Recgnition, DS)

• la “corrente” dei crediti

…inoltre…

- complessità del processo di riconoscimento

- pratica effettiva e aspetti aperti → decisione politica?



Parte Generale

Sezione 1: Organisational Structures (Tfa)Sezione 2: Language issues (TFb)Sezione 3: Information and Orientation (TFc)Sezione 4: Students’ performance and recognition (TFd)Sezione 5: Reception of incoming students (TFe)Sezione 6: e-coaching or ICT tools (TFf)

EMQT Mapping ReportEMQT Mapping Report

Più 4 Appendici, tra le quali:“FACTS AND FIGURES: an accompanying paper to the EMQT survey”

Le diverse sezioni offrono una descrizione accurata del “paesaggio” Erasmus, della sua fisiologia, delle sue pratiche consolidate, ecc.



……altri risultati …altri risultati …

• Pratiche di nicchia (Service Learning modules, Erasmus like virtual mobility)

• Fisiologia di Erasmus (valori medi degli indicatori)

• Intervallo di variabilità degli indicatori o spazio per: scelte politiche azioni di miglioramento

…inoltre

la Brochure EMQT offre una “fonte di ispirazione” per azioni/soluzioni in molti contesti diversi



Quali sono i prossimi passi?Quali sono i prossimi passi?• Disseminazione della Brochure EMQT e dei risultati in Europa e oltre

• Esportazione del modello Erasmus e dei suoi requisiti di qualità in altri contesti

• Permettere alle università di posizionarsi nel più ampio contesto e fornire loro gli strumenti per migliorare e aumentare la qualità della mobilità dei loro studenti.

Il vostro feedback…

… per ampliare il “deposito” di buone pratiche e migliorare la qualità dei risultati !!!

Per qualsiasi informazione vi invitiamo a consultare il sito Internet EMQT

www.emqt.org

ed a contattarci: [email protected], [email protected]

Grazie per la vostra attenzione!



http://www.emqt.org/

mailto:[email protected]

APPENDICE

• Solo in caso di tempo a disposizione o per la discussione




Parte Generale

Sezione 1: Organisational Structures (Tfa)Sezione 2: Language issues (TFb)Sezione 3: Information and Orientation (TFc)Sezione 4: Students’ performance and recognition (TFd)Sezione 5: Reception of incoming students (TFe)Sezione 6: e-coaching or ICT tools (TFf)

EMQT Mapping ReportEMQT Mapping Report

Più 4 Appendici, tra le quali:“FACTS AND FIGURES: an accompanying paper to the EMQT survey”

Le diverse sezioni offrono una descrizione accurata del “paesaggio” Erasmus, della sua fisiologia, delle sue pratiche consolidate, ecc.



Distribuzione delle istituzioni partecipanti al test esterno per aree geografiche e dimensione della mobilità

DISTRIBUTION OF RETURNS FROM EXTERNAL TESTING

MOBILITY SIZE

GROUP 1 GROUP 2 GROUP 3

GE

OG

RA

PH

ICA

L A

RE

A

A – NORTHERN EUROPE

11 3 1

B – EASTERN EUROPE

6 7 10

C – SOUTHERN EUROPE

2 9 4

D – CENTRAL EUROPE

3 4 5

GRUPPO 1: da 1 a 100 outgoing; GRUPPO 2: da 101 a 300; GRUPPO 3: oltre 300



•L’identificazione e l’estrazione di aspetti ed elementi di mobilità importanti come testimoniato dai feedback al questionario,

Costruire “questo” paesaggio della mobilità europea ha richiesto…

• Un’ interpretazione intellingente/realistica dei vari dati raccolti – a volte in conflitto – sulla base dell’esperienza e delle competenze personali,

• L’estrazione del campo di variabilità per gli indicatori significativi

… il tutto offerto in modo coerente e facilmente utilizzabile

Ingredienti importanti del paesaggio sono i valori di diversi indicatori “derivati” (i.e. tasso di mobilità; tasso di reciprocità;

ecc.).

Esempi di indicatori derivati - 1

derived indicator Average value

Minimum value

Maximum value

Number of usable returns

Overall mobility rate

18.8

3.4

77.7

40

First cycle mobility rate 17.0 2.0 78.4 30 Second cycle mobility rate 20.7 2.2 50.0 25

One-tier degree courses mobility rate 20.1 1.4 23.9 (115.0)

14

Third cycle mobility rate 15.3 0.3 33.3 (138.9)

15

Number of outgoing students per degree-course (overall)

5.5

0.7

26.8

39

Number of outgoing students per degree-course (first cycle)

5.9 0.6 21.0 27

Number of outgoing students per degree-course (second cycle)

1.6 0.1 5.9 23

Number of outgoing students per degree-course (one-tier degree-courses)

15.3 2.0 65.0 12

Number of outgoing students per degree-course (third cycle)

0.5 0.1 3.3 10

derived indicator Average value

Minimum value

Maximum value

Number of usable returns

Ratio “academics” over “administrative & technical staff”

2.05 0.48 7.8 46

Reciprocity ratio 1.01 0.11 2.9 48

average number of outgoing students per Erasmus Office staff member

63.5

3

185

38

average number of outgoing students per counselor/manager

11.5

1

52

38

AVERAGE VALUE OF EU MONTHLY GRANT per STUDENT (in euro)

246

74

460

28

number of incoming students per buddy/peer tutor

4.5

0.5

26 20

total number of outgoing students over available places (as from BAs)

0.44 0.11 0.98 29

percentage of degree-courses offered in English language

10.5%

0.2%

60%

23

Esempi di indicatori derivati - 2

Il concetto del profilo

• Per una singola istituzione

• Per un gruppo di rispondenti


Test esterno versus interno

question number

QUESTIONinternal sample

external sample

NOTES

Section 11.1.4.1 average number of outgoing students per Erasmus Office staff member 57 831.1.5 a&b2 average number of outgoing students per counselor/manager 13 5,4

1.1.15.1 3 are students included in Erasmus QA? 67% 44%

1.2.4.0support schemes for students with special needs - outgoing

92% 45%

1.3.1.3 ratio STA over SMS 0,073 0,172 Erasmus area average = 0,170ratio STT over SMS 0,027 0,051 Erasmus area average = 0,039

Section 2

2.1.1 .1 pre-departure / pre-arrival language course units, outgoing 75% 32%

pre-departure / pre-arrival language course units, incoming 75% 61%

2.1.2 .3 semester/year-long language course units, outgoing 50% 61% semester/year-long language course units, incoming 75% 87%

2.1.3 .5language course units for specific purposes (subject related…), incoming 67% 39%

1. long term preparation is quite stronger in ET;2. the students of the ET seems to be more equipped with language skills

Section 33.1.2.1e Social network tools - addressed to incoming 33% 77% ET more open to new technologies

3.1.8.1ecomunication of satisfaction monitoring results with partners

42% 69%

3.2.1.1e buddy system in place: a) for outgoing 8% 50%

buddy system in place: b) for incoming 67% 91%3.2.4.1e motivate local students to get engaged as buddies 67% 80%

Section 44.1.2.1e BAs used both ways 60% 65%

4.1.2.1eBAs used only for outgoing

12% 7%IT is more open to asymmetric flows

4.1.2.1e BAs used only for incoming 16% 5%

4.1.2.1e sleeping BAs 13% 16%

4.1.3 - derived indicator

average ratio "SMS number/available places" 37% 47%

4.3.1.1e pre-departure ToR sent to host institution 50% 73%offer special preparatory activities (discipline specific) tooutgoings

17% 27%

offer special preparatory activities (discipline specific) toincomings

8% 36%

Section 5

5.2.7.10 course units taught in English 58% 88%

5.2.8.11degree programmes entirely taught in English

33% 79%

derived indicator percentage of degree-courses offered in English language 0,5% 12,5%

Section 66.3.2.13 monitoring feedback from mobile students online 17% 46% ET more open to new technologies

4.3.2.1emutual trust vs modern QA?

… così ogni instituzione può capire come posizionarsi nel paesaggio

(profilo istituzionale)…


Per qualsiasi informazione vi invitiamo a consultare il sito Internet EMQT

www.emqt.org

ed a contattarci: [email protected], [email protected]

Grazie per la vostra attenzione!



http://www.emqt.org/

mailto:[email protected]

Il progetto EMQT (2009-2011) Erasmus Mobility Quality Tools Luigi F Donà dalle Rose Università di...

Documents

Transcript of Il progetto EMQT (2009-2011) Erasmus Mobility Quality Tools Luigi F Donà dalle Rose Università di...