Valutazione del servizio di reference: anno 2014

A cura dell’Ufficio Formazione, Sviluppo e Promozione della

Biblioteca di Ateneo di Milano-Bicocca

Giugno 2015

• Premessa

• Oggetto dell’indagine

• Finalità dell’indagine

• Modalità dell’indagine

• Il questionario

• Criteri di analisi dei dati

• Campione esaminato

• Esiti dell’indagine

• Considerazioni sull’indagine

• Propositi post indagine

• Appendice

Sommario

Premessa [1]

Questa indagine sul reference riguarda le sessioni di

reference specialistico realizzate nel 2014.

Nel 2014 è stato adottato lo stesso strumento di

rilevazione degli anni 2011-13 per confrontare i risultati.

Negli anni 2008, 2009 e 2010 sono state realizzate altre

indagini sul servizio di reference, adottando però uno

strumento di rilevazione più analitico.

I rapporti di ricerca sono stati condivisi con tutti i colleghi

della biblioteca che si occupano del reference specialistico

per le varie aree disciplinari.

Premessa [2]

Con lo strumento di valutazione del reference adottato

dal 2011, la Biblioteca di Ateneo ha voluto utilizzare una

tecnica di rilevazione della customer satisfaction innovativa:

il «Net Promoter Score».

Questa tecnica, introdotta nel 2003, si basa sulla

misurazione della fedeltà dei clienti come indice

significativo della loro soddisfazione e delle probabilità di

successo di una organizzazione che eroga servizi.

La valutazione ruota intorno ad un’unica domanda

strategica, individuata dopo anni di ricerche: «Quanto è

probabile che raccomandi questa azienda (o questo servizio)

a un amico o collega su una scala da 0 a 10?».

Oggetto dell’indagine [1]

Il servizio di reference della Biblioteca di Ateneo è offerto a

tutti gli utenti interni e agli utenti di enti convenzionati e

consiste in un’attività di supporto fornita dal personale

bibliotecario per effettuare una ricerca bibliografica (su

cataloghi, banche dati, riviste elettroniche, siti internet).

Nella Sede Centrale e nella Sede di Medicina il reference

viene erogato su appuntamento e per ciascuna area

disciplinare c’è un bibliotecario di riferimento; il reference

è individuale e ha una durata compresa tra 1 e 2 ore.

Per l’area di Scienze della Formazione spesso viene effettuato il “reference collettivo”, cioè un incontro con 2 o 3 utenti, al fine di ottimizzare i tempi, a fronte dell’alto numero di richieste e della scarsa disponibilità di risorse.

Oggetto dell’indagine [2]

Da aprile 2014 si è deciso di reindirizzare sulla piattaforma

di e-learning le richieste di supporto più generiche,

riservando il servizio di reference su appuntamento a un

livello di richiesta più specialistico.

Questa riorganizzazione si è realizzata compiutamente solo

per l’area di Medicina, poiché il materiale didattico è

molto ricco, mentre per altre aree, come ad esempio

quella di Psicologia, è stata solo parziale.

Presso la Sede di Medicina da aprile a luglio – periodo di

transizione all’autoformazione attraverso la piattaforma Biblio

E-learning – è stato erogato un servizio di «reference a

distanza» rivolto ai laureandi, che consisteva nel fornire una

bibliografia relativa all’argomento di tesi.

Finalità dell’indagine

• Raccogliere dagli utenti un feedback sul servizio di

reference attraverso una tecnica di rilevazione sintetica.

• Conoscere i principali motivi di soddisfazione o

insoddisfazione rispetto al servizio di reference.

• Scoprire eventuali aree di miglioramento del servizio.

• Realizzare l’indagine su tutte le aree disciplinari e

raccogliere un feedback «a caldo».

• Utilizzare la tecnica «Net Promoter Score», che si è

rivelata molto efficace.

Modalità dell’indagine

Questionario somministrato attraverso un form online,

segnalato con una email inviata a tutti gli utenti, subito

dopo la fruizione del servizio.

Indagine con metodo misto (quantitativo e qualitativo);

questionario con diversi tipi di domande:

• domande chiuse, per misurare il livello di fedeltà e

raccogliere varie informazioni

• domande aperte, per far emergere considerazioni e

suggerimenti.

Il questionario

• Il questionario raccoglie varie informazioni sugli utenti:

tipologia, corso di laurea (solo per studenti), ambito della

ricerca, mese della sessione.

• Si rileva inoltre il canale di comunicazione attraverso

cui si è venuti a conoscenza del reference.

• La domanda cruciale per misurare il livello di

fedeltà/soddisfazione in una scala 0-10 è: «Quanto è

probabile che consigli il reference a un amico o un collega?»

• Le ultime due domande del questionario rilevano i motivi

del punteggio attribuito e raccolgono suggerimenti per

migliorare il reference.

Criteri di analisi dei dati

Domande chiuse

Si riportano grafici che restituiscono i risultati emersi

dall’indagine.

Nota: in appendice si riportano i grafici relativi ai dati statistici sul

reference del 2014, per confrontarli con quelli emersi dall’indagine.

Domande aperte

Sono state individuate categorie di risposta e si riporta una

sintesi dei concetti espressi, con un linguaggio aderente ai

testi originali.

Nota: i numeri indicano le ricorsività rispetto alle categorie di risposta

individuate; alcuni non esprimono commenti e altri esprimono concetti

riconducibili a più categorie. La compilazione della risposta relativa alle

motivazioni del punteggio attribuito è stata resa obbligatoria.

Campione esaminato [1]

Destinatari del questionario: 268 utenti, che hanno

utilizzato il servizio di reference nel 2014 (v. appendice).

Rispondenti al questionario: 123 utenti, pari al 46% della

popolazione di riferimento.

Le percentuali di rispondenti rispetto agli utenti del reference

suddivisi per area disciplinare sono le seguenti:

• 53 di Medicina: 35%

• 30 di Scienze della Formazione: 64%

• 18 di Economia: 53%

• 13 di Sociologia: 57%

• 4 di Psicologia: 100%

• 2 di Diritto: 25%

• 2 di Scienze MMFFNN: 100%

• 1 di Scienze Statistiche: 100%

Campione esaminato [2]

Rispetto al numero di valutanti, prevale l’area disciplinare di Medicina

(53), seguita da Scienze della Formazione (30), Economia (18) e

Sociologia (13). Pochi sono i valutanti per Psicologia (4), Diritto (2),

Scienze MMFFNN (2) e Statistica (1).

Esiti dell’indagine [1]

Rispetto alla tipologia di utenti, la maggioranza dei valutanti è

rappresentata da laureandi (64) e studenti (47).

Pochi i ricercatori e docenti (7), i dottorandi (4) e gli utenti dell’Ospedale

San Gerardo (1).

Esiti dell’indagine [2]

Il maggior numero di valutanti è costituito da iscritti a corsi di laurea

triennali (66). Un quota significativa è costituita da iscritti a corsi di

laurea magistrale (33) e a ciclo unico (15). Alcuni non specificano il tipo

di corso di laurea (9 di cui 7 non erano tenuti a farlo).

Esiti dell’indagine [3]

Tra i valutanti dell’area medica, prevalgono gli ambiti di ricerca inerenti

l’infermieristica (34), seguiti da medicina (9), ostetricia (7) e fisioterapia

(3). Rispetto alle altre aree disciplinari, si è visto con l’analisi del

campione, che primeggiano pedagogia/scienze della formazione (30),

economia (18) e sociologia (13). In minoranza gli ambiti di psicologia (4),

diritto (2), scienze MMFFNN (2) e statistica (1).

Esiti dell’indagine [4]

Un numero significativo di utenti aggiunge altri ambiti della

ricerca, oltre a quello selezionato dalla domanda a risposta

chiusa, poiché il proprio tema era interdisciplinare (10):

sociologia ed economia, economia e diritto, psicologia ed

educazione etc.

Alcuni utenti specificano il corso di laurea o la disciplina

in cui si laureano (6): Servizio Sociale, Diritto privato,

Scienze della Formazione Primaria etc.

Diversi utenti specificano invece l’argomento di tesi (11):

«marketing», «fisioterapia e riabilitazione», «formazione

degli adulti», «educazione alimentare», «logopedia» etc.

Altri ambiti della ricerca

Esiti dell’indagine [5]

La maggioranza dei rispondenti ha usufruito del reference nel mese di

aprile (21). Seguono i mesi di gennaio e febbraio (18).

Alcuni utenti hanno potuto utilizzare il servizio anche nel mese di agosto,

nonostante la chiusura estiva.

Esiti dell’indagine [6]

La maggioranza dei rispondenti al questionario è venuta a conoscenza

del reference da un docente (54) o da un amico (21).

I restanti ne sono venuti a conoscenza da un bibliotecario (19), dal sito

web della biblioteca (16) o dai volantini sui servizi bibliotecari (10).

Alcuni lo hanno saputo attraverso altri canali (3).

Esiti dell’indagine [7]

Altri canali di comunicazione

Alla domanda che chiede di specificare eventuali altri canali

di comunicazione rispondono 8 utenti, di cui:

• uno ha risposto «altro» alla precedente domanda chiusa

(menù a tendina per selezionare un tipo di risposta)

• sette specificano un secondo canale di comunicazione.

Le risposte sono riconducibili alle seguenti categorie:

• Volantini sui servizi bibliotecari (3)

• Bibliotecari (3)

• Docente o tutor (2)

• Sito web della biblioteca (1)

• Seminari e corsi (1).

Esiti dell’indagine [8]

I 123 utenti valutanti si dividono nelle seguenti categorie:

Promotori (valutazione 9-10): 91 (di cui 78 valori 10)

Passivi (valutazione 7-8): 28 (di cui 19 valori 8)

Detrattori (valutazione 0-6): 4 (di cui 3 valori 6 e 5, un valore 1 )

Nota: la media (9,2) e la mediana (10) in questa tecnica non sono significative.

«Quanto è probabile che consigli il

reference a un amico o un collega?» in una scala da 0 (del tutto improbabile)

a 10 (del tutto probabile).

Il «Net Promoter Score» (NPS) è ottenuto dalla

percentuale dei Promotori (valutazione 9-10)

meno la percentuale dei Detrattori (valutazione

0-6), escludendo i Passivi (valutazione 7-8).

Un valore NPS +50 (valori compresi tra –100 e

+100) è considerato eccellente.

Il valore NPS del reference è +71.

Esiti dell’indagine [9]

Distinguendo il valore NPS per area disciplinare emerge il seguente

quadro, in ordine decrescente: +100 Scienze MMFFNN, Diritto e

Statistica [1 o 2 valutanti per area], +78 Economia [18 valutanti], +77

Medicina [53 valutanti], +75 Psicologia [4 valutanti], +62 Sociologia

[13 valutanti], +55 Scienze della Formazione [30 valutanti].

Esiti dell’indagine [10]

Motivi del punteggio attribuito [1]

I motivi principali del punteggio attribuito sono riconducibili

alle seguenti categorie:

• Efficacia (85): il reference è ritenuto «molto utile», «di

aiuto» (32); alcuni specificano che è utile per imparare a fare

una ricerca (23), per chi prepara la tesi di laurea (17) o per

reperire materiale e scoprire risorse e servizi (10); altri

evidenziano il fatto che da soli non sarebbero riusciti (9) o

che sviluppa autonomia rispetto alla ricerca (3);

• Qualità del personale (49): molti hanno apprezzato il

lavoro dei bibliotecari sia sul piano emotivo, per disponibilità,

cortesia e pazienza (38), sia sul piano cognitivo, per l’alta

competenza, chiarezza ed esaustività (37).

Esiti dell’indagine [11]

Motivi del punteggio attribuito [2]

Diversi utenti hanno apprezzato l’efficienza del servizio

(10): alcuni evidenziano l’«efficienza», il «risparmio di

tempo» (8), altri sottolineano la breve attesa intercorsa tra

la richiesta e l’erogazione (3).

Una parte degli utenti esprime un’alta soddisfazione

generale (8): «ottimo», «molto soddisfacente», «mi sono

trovata particolarmente bene».

Un utente dell’area di medicina ritiene il servizio «molto

utile», ma attribuisce il punteggio 5 perché pensa che il

servizio non sia più in vigore e quindi non lo potrebbe

consigliare a un amico.

Esiti dell’indagine [12]

Motivi del punteggio attribuito [3]

Due utenti dell’area di Economia e Pedagogia, che hanno

attribuito il punteggio 6, dicono che il servizio ha deluso le

proprie aspettative: entrambi si aspettavano indicazioni

più individualizzate e hanno ricevuto troppe informazioni

generali.

Un utente dell’area di Medicina, che ha attribuito il

punteggio 1, dichiara il proprio malcontento legato al fatto

che gli è stato annullato l’appuntamento, sostituendolo con

l’erogazione del servizio a distanza.

Rispetto al «reference a distanza», gli 8 rispondenti di Medicina

esprimono prevalentemente valutazioni positive, legate alla comodità del

servizio e all’utilità di essere supportati da personale qualificato.

Esiti dell’indagine [13]

Suggerimenti per migliorare il reference [1]

I suggerimenti di miglioramento del reference (29) sono

riconducibili alle aree seguenti:

• Promozione (9): pubblicizzare di più il servizio, anche sul

sito di ateneo, perché è poco conosciuto tra gli studenti;

• Efficacia (15): fare incontri individuali per Scienze della

Formazione (6); far testare al pc quanto appreso (3);

suggerire testi specifici per Sociologia e Pedagogia (2);

reintrodurre il reference in presenza per Medicina (2);

suddividere l’incontro in due parti per Medicina (1); fornire

una scheda riassuntiva per Sociologia (1);

• Efficienza (5): ridurre i tempi di attesa per Medicina (3);

dedicare più tempo per Medicina e Pedagogia (2).

Esiti dell’indagine [14]

Suggerimenti per migliorare il reference [2]

Diversi utenti dichiarano di non avere suggerimenti (8).

Alcuni di loro esprimono la loro piena soddisfazione:

«nessun suggerimento, ottimo servizio»; «è un servizio

completo».

Alcuni esprimono suggerimenti relativi più in generale alla

formazione e al supporto degli utenti nella ricerca (3):

• «promuovere la ricerca bibliografica fin dal primo anno e

sensibilizzare gli studenti all’utilizzo degli strumenti di ricerca

a loro disposizione» [Medicina]

• «migliorare il supporto per gli studenti di statistica»

• «inserire altri ambiti di ricerca (presenti all'interno della

nostra facoltà)» [Sociologia].

Considerazioni sull’indagine [1]

La valutazione molto positiva del servizio, leggermente

diminuita rispetto a quella del 2013 (NPS da +73 a +71), si

basa principalmente su due aspetti:

• l’utilità del reference e quindi la sua efficacia;

• la qualità dello staff riconducibile sia alla dimensione

cognitiva che a quella emotiva del servizio.

Nella percezione degli utenti, l’efficienza appare meno

importante dell’efficacia in questo tipo di servizio:

pochi esprimono valutazioni legate al fattore tempo sia in

positivo (breve attesa dalla richiesta all’appuntamento) che

in negativo (lunga attesa, nei periodi di massima richiesta,

dovuta all’esiguo numero di addetti).

Considerazioni sull’indagine [2]

Solo il 24% dei rispondenti esprime suggerimenti di

miglioramento, mentre il 7% dichiara di non averne

perché si ritiene pienamente soddisfatto.

Le risposte relative ai canali di comunicazione attraverso cui

si è venuti a conoscenza del reference, da una parte

confortano sull’impegno profuso dalla Biblioteca di Ateneo

nella comunicazione esterna attraverso varie modalità

scritte e orali (sito web, volantini sui servizi, bibliotecari),

dall’altra fanno riflettere sull’importanza del passaparola

tra studenti e sulla promozione più generale della

biblioteca realizzata dai docenti.

Propositi post indagine [1]

Riflettendo sugli esiti dell’indagine e facendo i conti con

alcuni limiti strutturali, si possono individuare i seguenti

propositi di miglioramento:

• promuovere di più i seminari e collaborare di più con

docenti e ricercatori;

• valorizzare Biblio E-Learning, la piattaforma per

favorire l’autoapprendimento (attraverso tutorial,

audio/videoguide, quiz etc.) e per erogare corsi a distanza;

• confrontarsi tra le sedi per consolidare le «buone

pratiche» e ottimizzare le risorse dedicate al reference.

Propositi post indagine [2]

Come per le precedenti indagini sul reference, ci si propone

inoltre di:

• condividere con i colleghi gli esiti dell’indagine, al fine di

individuare insieme good practices e aree di miglioramento;

• diffondere il rapporto di indagine tra i vari stakeholders,

tramite sito web, mailing list, pubblicazioni etc., per

valorizzare il feedback degli utenti e per condividere

esperienze nell’ambito bibliotecario;

• realizzare un’indagine analoga per il 2015, invitando

gli utenti a comunicare un feedback subito dopo la sessione

di reference, per il benchmarking interno dei risultati.

Appendice [1]

Stando ai dati registrati dai bibliotecari, nel 2014 hanno usufruito del

reference 268 utenti, così suddivisi per area disciplinare: 151 di

Medicina, 47 di Scienze della Formazione, 34 di Economia, 23 di Sociologia,

8 di Diritto, 3 di Psicologia, 1 di Statistica e 1 di Scienze MMFFNN.

Appendice [2]

La quasi totalità degli utenti del reference è costituita da studenti o

laureandi (236). I restanti utenti sono docenti e ricercatori (13),

dottorandi o specializzandi (10) e utenti dell’Ospedale San Gerardo (1).

Rientrano nella categoria «altro» utenti esterni e personale amministrativo.

Appendice [3]

La maggioranza degli utenti del reference è costituita da iscritti a corsi di

laurea triennali (165). Un quota significativa è costituita da iscritti a

corsi di laurea magistrali (54). Pochi sono gli iscritti a cicli unici (19). Per

alcuni – dottorandi, masteristi, docenti etc. – il dato non è rilevabile (30).

Appendice [4]

Complessivamente il picco di attività di reference si è verificato nei mesi

di aprile, febbraio e gennaio, mentre nei mesi di agosto, dicembre e

giugno c’è stata una bassa affluenza di utenti. Analizzando i dati statistici

del 2014 si sono però notate forti differenze di andamento del servizio

tra la Sede di Medicina (U8) e le altre due sedi (U6 e U2).

Appendice [5]

Nella Sede di Medicina (U8) il picco di attività di reference si è

verificato nei mesi di gennaio e febbraio (35 utenti al mese), seguiti da

marzo e aprile (tra 23 e 28).

Con la riorganizzazione del servizio e l’utilizzo della piattaforma di

elearning, in aprile, il numero di utenti del servizio di è ridotto.

Appendice [6]

Nella Sede Centrale (U6) il picco di attività di reference si è verificato nel

mese di aprile (23 utenti). L’affluenza di utenti è stata abbastanza alta

anche nei mesi di luglio e ottobre (tra 17 e 20 utenti), mentre è stata

bassa nei mesi di agosto e dicembre (da 1 a 3 utenti).

Nella Sede di Scienze (U2) l’unica sessione registrata è stata a febbraio.

Appendice [7]

Da una lettura longitudinale dei dati statistici sul reference dal 2010 al

2014, si nota il numero di utenti è progressivamente calato, grazie

all’incremento dei seminari sulla ricerca bibliografica. Nel 2014, con

la riorganizzazione del servizio presso la Sede di Medicina, il numero di

utenti si è ridotto notevolmente, al fine di ottimizzare le risorse e di

potenziare l’uso della piattaforma di e-learning.

Contatti

per saperne di più…

Dott.ssa Ilaria Moroni e Dott. Alberto Giussani

Ufficio Formazione, Sviluppo e Promozione

Biblioteca di Ateneo

Università degli Studi di Milano – Bicocca

Piazza dell’Ateneo Nuovo 1

20126 Milano

Tel. 02/6448.6272, 02/6448.6235

E-mail: ilaria.moroni@unimib.it, alberto.giussani@unimib.it

Sito web: www.biblio.unimib.it