1. Macerata, 5/7/07Strumenti portabili per lanalisi di un forum in un ambiente di apprendimento onlineStefano Penge stefano.penge@uniroma1.it Daniele Ioridanieleiori77@gmail.it Sapienza Universit di RomaFacolt di Scienze della Comunicazione1

2. Macerata, 5/7/07Obiettivi Progettare, realizzare e sperimentare strumentidi analisi quantitativa di un forum allinterno diun ambiente di apprendimento che siano: specifici per soggetti in apprendimento e non soloappartenenti ad una comunit virtuale utilizzabili in tempo reale per lautovalutazione digruppo disponibili per la comunit scientifica per facilitareun confronto tra contesti diversi 3. Macerata, 5/7/07 Requisiti Gli strumenti realizzati dovranno quindi essere: aperti indipendenti dal contesto rivolti non solo a ricercatori ma anche a tutor e acorsisti I dati prodotti dovranno essere aperti facilmente confrontabili 4. Macerata, 5/7/07Il quadro della ricercaIl campo di sperimentazione dato dalmonitoraggio del Corso Concorso perDirigenti Scolastici 2006/2007 di PuntoEdu -ANSAS Direzione Scientifica: Prof. Mario Morcellini Team di ricerca: Ida Cortoni, Patrizia Cinti, EmmanuelMazzucchi, M.Giovanna Onorati, Stefano Penge, Elena Valentini ealtri 5. Macerata, 5/7/07Contesto Dimensioni 2500 utenti 21 moderatori 24000 messaggi 4000 topics Tecnologia Invision PowerBoard Oracle 6. Macerata, 5/7/07Strumenti offline? I testi di un forum non possono facilmenteessere analizzati con strumenti offline di analisilessicale: Non costituiscono un corpus unico ma una raccoltadi microtesti Hanno una forte dipendenza dal tempo e dallarelazione (sequenza, topic) Per i tutor utile unanalisi in tempo reale dei datiper apportare correttivi e per bilanciare luso di altristrumenti di comunicazione/collaborazione 7. Macerata, 5/7/07 Strumenti online Di qui lidea di sviluppare un insieme distrumenti online applicabili direttamente aldatabase del forum: accessibili via web di uso semplice modulari / estensibili 8. Macerata, 5/7/07Tools Query SQL standard, parametrizzate Moduli PHP per esecuzione e visualizzazionedelle query Fogli di calcolo per elaborazione dei risultati,grafici Indicazioni per luso (normalizzazione, ...) 9. Macerata, 5/7/07ToolsLogicaQueriesRisultatimemorizzateDB Forum 10. Macerata, 5/7/07 Modelli di analisi Esistono ormai, in Italia e allestero, diversimodelli di analisi quantitativa e qualitativa deipost di un forum Simoff, Fafchamps, Levin, Jeong... Anche in Italia ci si occupa in tanti del tema Sarebbe interessante poter confrontare irisultati... 11. Macerata, 5/7/07Tipi di analisi Per le dimensioni del contesto, unanalisiqualitativa non sarebbe possibile, o nonsoddisferebbe alcuni requisiti (semplicit duso,tempo reale) Le analisi quantitative hanno senso in unquadro teorico pi generale, che si pucostruire solo se i dati sono confrontabili conaltri contesti 12. Macerata, 5/7/07 Confronti Ad esempio, nel caso del monitoraggio del CCa noi interessa valutare lintero ambiente, piche i corsisti, in modo da poterlo confrontarecon altri ambienti simili : altre edizioni del Corso Concorso altri ambienti dentro PuntoEdu altri forum che usano Invision Power Board altri forum... 13. Macerata, 5/7/07Varabili A partire da modelli esistenti, occorreselezionare delle variabili che siano definibilichiaramente e indipendentemente dallecondizioni specifiche, e che siano misurabilicon strumenti trasversali 14. Macerata, 5/7/07Variabili 1 Il Modello Open University prende in esamecinque categorie di variabili: a) numero totale dei messaggi (indice della partecipazionegenerale); b) numero dei messaggi degli studenti in relazione alnumero di messaggi dei tutor (indice della partecipazioneattiva); c) numero di messaggi per studente (indice delle attivitdegli studenti nella classe virtuale); d) numero di messaggi in un dato arco di tempo (indicedellandamento diacronico della partecipazione); e) lunghezza dei messaggi in un dato arco di tempo (indice 15. Macerata, 5/7/07 Variabili 2Sarebbe utile definire con precisione gli elementi sula base dei quali istituire unconfronto tra forum. Per esempio:: numero di post: totale, medio per corsista, medio per giorno dimensioni dei post: totale, medio per corsista, medio per giorno.Dove il tipo di forum non consente lindividuazione di threads e subthreads; possibile per calcolare la vivacit media dei thread (numero di post nellunit di tempo) la partecipazione (numero di post per thread) la presenza di leader (numero di post dello stesso autore) 16. Macerata, 5/7/07Variabili 3Un altro aspetto interessante potrebbe essere il rapporto tra il lavoro deimoderatori e quello dei corsisti:- rapporto moderatori / corsisti- rapporto post moderatore / post corsista- frequenza di post giornalieri dei moderatori- presenza dei post dei moderatori nei thread pi vivaci- creazione da parte dei moderatori dei thread pi significativi 17. Macerata, 5/7/07 Il caso Corso ConcorsoNel nostro caso, non stato possibile accederedirettamente al DB di InvisionI dati sono stati esportati in formato dump diOracle, poi importati e normalizzati allinterno diun DMBS OpenSource (MySql). Qui vengono analizzati con delle query SQL(circa 60) 18. Macerata, 5/7/07Fasi di lavoroIn dettaglio si trattato di: effettuare lordinamento dei temi (termini chiave usati nei subject dei messaggi) per frequenza, distribuiti per giorno effettuare lordinamento dei termini usati nel testo per frequenza, distribuiti per giorno analizzare la distribuzione di alcuni termini specifici (indicatori) confrontare le frequenze degli indicatori nelle classi di corsisti sopra individuate analizzare le frequenze degli indicatori in rapporto alla media dei post giornalieri e alla media delle dimensioni dei post 19. Macerata, 5/7/07 Risultati E in corso di stesura la relazione finale con idati relativi al lessico usato nel Corso Concorsoper Dirigenti Scolastici Insieme alla relazione verranno resi pubblici glistrumenti usati e le indicazioni per luso I moduli e le query verranno rilasciate conlicenza GPL 20. Macerata, 5/7/07 Queries: 1 Analisi attivit moderatori a.Lista dei moderatori ordinata per quantit di interventi e con ilnumero di forum in cui sono moderatori b.Lista dei moderatori ordinata per media di intervento neiforum ricavata dal numero totale di azioni rispetto al numero diforum in cui sono moderatori c.Lista dei moderatori ordinata per quantit dei post conindicazione del numero dei forum che modera d.Lista dei moderatori ordinata per media dei post nei forumricavata dal numero totale di post rispetto al numero di forum incui sono moderatori 21. Macerata, 5/7/07 Queries: 2 Analisi quantitativa degli utenti divisa per: utentitotali | utenti tranne moderatori | moderatori a.Numero utenti b.Numero utenti divisi per sesso c.Numero utenti divisi per regione d.Numero utenti divisi per Regione e sesso e.Numero utenti divisi per Provincia f.Numero utenti divisi per Provincia e sesso g.Tutte le statistiche elencate fino ad ora ripetute per fascia det 22. Macerata, 5/7/07Queries 3 - 9 Medie sullet degli utenti Analisi quantitativa sui post Distribuzioni di frequenza dei post Analisi sulla lunghezza dei post Medie topic, rapporto post/topic Analisi quantitativa dei topic Medie sui topic 23. Macerata, 5/7/07 EsempiUtentiCorsisti ModeratoriMEDIA134,16 127,56 6,91MODA 109 1414F 85,4 84,072,61M47,91 44,025,05 UtentiCorsisti Moderatori M/CMedia battute 1084,6912 1115,9286773,8925 0,69F 1110,1224 1130,8178685,2168 0,61M 1047,3526 1093,7553795,8438 0,73 24. Macerata, 5/7/07 Modelli: 2 In altri contributi abbiamo proposto un modellodi analisi lessicale basato sul concetto dievoluzione del linguaggio di un gruppo inapprendimento come indicatore dellandamentodel gruppo stesso Abbiamo cominciato ad applicare questomodello per la prima volta sul forum CCDS 25. Macerata, 5/7/07 EvoluzioneFASE A (iniziale) FASE Z (finale)linterazione linguistica utilizzatermini impropri, presi dalil discorso utilizza terminilinguaggio comuneREGISTROspecialistici corretti ha come oggetto le difficoltcomunicative OGGETTO riflette sul lavoro fatto insieme si concentra sul linguaggio,si concentra sulle regole esui termini anzich sui fatti LIVELLOsulla loro applicazione proponenuovi elementiprocede per richieste continue MODALITA informativiesprime dubbi su successo esul profitto del processo esprime una soddisfazioneformativoTONALITA generale per le attivit svolte 26. Macerata, 5/7/07Q 10: analisi lessicali Analisi delle occorrenze delle parole: Scuola, tecnologie,Docenti, Nuove Tecnologie, Insegnanti, apprendimento,Tic, Computer, Dirigente, Sicurezza, Informatica, Didattica;e delle combinazioni: Computer-Apprendimento,Computer-Scuola, Dirigente-Computer, Dirigente-Scuola,Dirigente-Tecnologie, Docenti-Computer, Informatica-Didattica, Tecnologie-Apprendimento, Tecnologie-Didattica, Tecnologie-Scuola. a.Occorrenze divise per provincia e sesso b.Tutte le statistiche elencate fino ad ora ripetute per fascia det 27. Macerata, 5/7/07E adesso? La proposta quella di creare un gruppo dilavoro trasversale, per generalizzare glistrumenti sulla base dei dati di altri forum in altricontesti di apprendimento sperimentare i tools su diversi forum, testare gli indicatori, confrontare i risultati 28. Macerata, 5/7/07Per collaborare: Stefano Pengestefano.penge@uniroma1.it