Seminario

Le indagini web e alcuni aspetti sul processo di partecipazione

all’indagine

Prof. A. D’Agostino

Dip. Di Statistica e Matematica per la Ricerca Economica

Università di Napoli “Parthenope”

2

Le indagini web sono abbastanza nuove – iniziano dal 1990

Perché è accresciuto il loro utilizzo?

– Sono facili da sviluppare e implementare

– Generalmente costano poco

– Si può raggiungere un elevato numero di persone a un basso costo marginale

3

• I sondaggi web sono ad esempio molto utili alle aziende o a chiunque voglia ottenere un feedback immediato circa un prodotto o un servizio.

• Il web offre molti servizi anche gratuiti per creare un sondaggio o un questionario online in modo semplice e con tutte le funzionalità per gestirlo al meglio– Surveymonkey – Polldaddy etc..

4

Quando si può usare un’indagine web?

Prima di decidere se sia opportuno condurre un’indagine web dobbiamo riflettere su alcuni

punti

5

Questioni importanti….

• I potenziali rispondenti hanno un facile accesso a internet?

• Hanno familiarità con internet?• Si fidano della comunicazione tramite internet? • Hanno le competenze per aprire e completare

un’indagine online?• Il loro hardware e software può influenzare come

il questionario viene visualizzato?

6

Che cosa conosciamo circa l’utilizzo e l’accesso ad internet?

Sicuramente età, cultura e contesto sociale interagiscono differentemente con la tecnologia

1. I principali utilizzatori delle tecnologie avanzate risultano i giovani e le persone che esercitano professioni intellettuali

2. L'uso delle tecnologie è prevalentemente riservato ai giovani. Le famiglie con almeno un minorenne possiedono il personal computer e l'accesso a internet

7

L’accesso e l’uso dipende da: – Livello di istruzione– Reddito familiare – età: 18-34 – fanno un uso maggiore di internet– Molti usano internet a lavoro (ma potrebbero

avere restrizioni a lavoro nel suo utilizzo)

• Comfort e sicurezza– Mancanza di competenze informatiche;

familiariatà con internet– Diffidenza con internet– Paura dei virus o altri software dannosi

8

Questo implica che…

• Molte persone possono essere escluse quando si utilizza un’indagine web

• Coloro che rispondono potrebbero essere considerevolmente diversi da coloro che non rispondono

= distorsione nei risultati

9

Pianificazione dell’indagineCi sono una serie di fasi da considerare:

• Obiettivo indagine• Popolazione di riferimento• Recupero indirizzi e-mail• Piano di campionamento ( indagine o sondaggio

online?)• Sviluppo del questionario • Implementazione del questionario online• Strategia di contatto (lettera di accompagnamento)• Bilancio e tempi

10

Una nota sulla anonimato e la riservatezza delle indagini online

• Anonimo significa che nessuno può identificare chi ha fornito le informazioni

• Questo è difficile da garantire quando l'indagine viene somministrata online (internet o intranet) ... quindi, non promettono anonimato!

• Riservatezza significa che siamo in grado di identificare la persona, ma si garantisce che le informazioni non saranno identificate con la persona

• Questo vale per tutti gli aspetti della raccolta dati, analisi e reporting

11

Indagine online implementazione

• Personalizzare il più possibile tutti i contatti

• Prendere in considerazione incentivi - migliora il tasso di risposta

• Utilizzare più contatti e variare il messaggio

• Utilizzare un altro modo di mettersi in contatto con gli intervistati, se possibile

• Mantenere contatti e-mail brevi

12

• Accertarsi che la mail non sia contrassegnata come spam• Includere una linea informativa sulle finalità dell’indagine• Fornire istruzioni chiare su come accedere al sondaggio• Assegnare a ciascun partecipante un numero ID unico• Mantenere entro i limiti delle capacità del server web• Creare un sistema per la gestione e-mail• Stabilire procedure per affrontare le richieste e le questioni• Monitorare i progressi e le risposte

Indagine online implementazione passi

13

Due sono gli aspetti fondamentali per la buona riuscita dell’indagine online

• Ottenere un elevato tasso di risposta

• Ottenere il massimo livello di accuratezza delle informazioni

Quindi, è necessario prestare attenzione a:

• Tasso di risposta in itinere

• un buon disegno del questionario

14

Un esempio di indagine web

Obiettivo indagine : transizione università-lavoro

Per esempio, potremmo essere interessati a studiare:

• Mismatch tra titolo di studio e lavoro• Il guadagno percepito nel primo lavoro dopo la laurea• Soddisfazione sul lavoro

15

Che cosa significa mismatch?

I laureati aspirano ad ottenere un buon lavoro dopo la laurea

“overeducated workers” sono coloro che riportano che il titolo di studio richiesto per ottenere il loro lavoro è inferiore alla laurea

16

Popolazione obiettivo: laureati in Economia dell’Università di Napoli “Parthenope”

Strategia di indagine: indagine web

Qualità dei dati (tasso di risposta,

accuratezza delle risposte, etc..)Costi

Tempestività

La modalità di raccolta dei dati è strettamente legata

17

Le indagini web sono state molto utilizzate negli ultimi anni perché sono poco costose

ma i suoi effetti sulla qualità dei dati e la tempestività delle informazioni raccolte possono e devono essere ben analizzate

18

In Italia ci sono delle esperienze di indagini web sui laureati

– Almalaurea– Fabbris and Giusti, 2001 (EXPERTUM

project);– Pratesi, 2004, l’università di Pisa promuove un

servizio informativo sui curricula tramite internet

19

Qui siamo interessati a studiare il processo di partecipazione

all’indagine

Per capire quali siano i fattori che influenzano la cooperazione nelle

indagini web sui laureati

20

• Il disegno campionario a cui si fa riferimento è abbastanza complesso affinché si possa controllare adeguatamente per il processo di partecipazione (cooperazione all’indagine)

• Dati sono raccolti su un campione di laureati in Economia nel 2005 che appartengono a 4 distinte coorti di laurea (1999, 2000, 2001, 2002)

21

Le caratteristiche salienti sono:

• Campione causale , un po’ inusuale nelle indagini web

• Abbiamo due differenti modalità di contatto (telefono e e-mail)

• In effetti lavoriamo con un panel (la prima onda risale al 2003 effettuata tramite intervista telefonica)

22

Disegno di indagine Panel di laureati in economia

Wave 1 2003

indagine telefonica

Wave 22005

Indagine web

23

Wave 1: 813 unità campionarie

Tasso di risposta ottenuto 80%

• Si ipotizza che il grado di penetrazione Internet tra i laureati sia alto

• Quindi è un’ottima popolazione per studiare la qualità del processo di partecipazione

Tutti i rispondenti alla wave 1

(n=651)+

Un campione casuale dei non rispondenti alla

wave 1 (91/162)=56%

2005

24

unità campionarie nel 2005

wave 1 rispondenti con e-mail (555/651)=85%

wave 1Rispondenti senza

e-mail (96/651)=15%

Campione casualedei non rispondenti

wave 1 senza e-mail56%

Tasso di cooperazioneNel fornire e-mail

è alto!!

25

Wave2: modalità del primo contatto

Primo contatto: telefono:• 96 wave 1 rispondenti senza e-mail• 111 wave 1 rispondenti con e-mail

Survey Telephone Units wave1 Respondents(STUR)

• 91 non rispondenti e senza e-mailSurvey Telephone Units wave1 non Respondents

(STUNR)(STU)= STUR+ STUNRSurvey Telephone Units

Primo contatto: e-mail444 wave 1 rispondenti

con e-mailSample Mail Units

(SMU)

Unità scelte casualmente Tra le 555 con e-mail

Unità scelte casualmente tra i 162 wave 1 non rispondenti

Questo gruppo

non è considerato

26

Il questionarioIl questionario include molte informazioni sulla storia lavorativa e la condizione lavorativa attuale dei laureati

Ad esempio:B.16 Quanto è soddisfatto del lavoro che svolge? Per niente1. (andare alla B.18)Poco2. (andare alla B.18)Abbastanza3. (andare alla B.18)Molto4. (andare alla B.18)Del tutto5. (andare alla B.18)

27

Il questionario

• È collegato direttamente ad un database che memorizza le infomazioni

• Ove possibile, sono previsti dei controlli automatici per controllare l’accuratezza delle risposte fornite

• L’accesso è vincolato da una password personale resa nota dopo il primo contatto

28

Primo contatto: e-mail, SMU = 444

UNAWARE UNITS (UU)=231(No reply to the invitation)

AWARE UNITS (AU)=106(positive reply to the invitation)

Wrong E-mail Units (WEU)=82

Mail-box Full(MFU)=25

Rilevazione dei dati

29

Definiamo

CONTACT UNITS(CU)

231 UNAWARE UNITS

(UU)

106AWARE UNITS

(AU) sollecito•e-mail

•telefonico

30

Alcuni indicatori della qualità del processo(primo contatto: e-mail)

Gross Contact rate = CU/SMU=(231+106)/444=76%Net Contact rate=AU/SMU=106/444=24%Hypothetical Contact rate=UU/SMU=231/444=52%Coverage error rate= (WEU+MFU)/SMU=(82+25)/24%

Reply non response rate given the contact= UU/CU=231/(231+106)=69%

decisione: spedire il link del questionario e password di accesso solo alle Aware Units

31

Aware units (AU=106) possono partecipare o non partecipare all’indagine

No Answer to WEB questionnaire Units

(NAWU)=12

Complete Respondents to WEB questionnaire

(CRW)=90

Partial Respondents to WEB questionnaire

(PRW)=4

32

Alcuni indicatori della qualità del processo(partecipazione: dopo primo contatto e-mail)

Response rate given the reply=(CRW+ PRW)/AU=89%

Complete response rate given the reply=(CRW)/AU=85%

Partial response rate given the reply=(PRW)/AU=4%

Response rate given the contact

= (CRW+ PRW)/CU= (90+4)/(231+106) =28%

Non è alto!!!

33

UNAWARE UNITS UU=231

Richiamo: e-mail

Unaware Units after the Remainder by E-mail

(UURE)=197

Aware Units after the Remainder by E-mail

(AURE)=34

Studiamo l’effetto del sollecito

34

Alcuni indicatori della qualità del processo(sollecito: e-mail )

Net Contact rate after remainder by e-mail=

=(AU+AURE)/SMU=(106+34))/444 32%

E-mail Solicitation effect rate= AURE/UU=34/231=15%

C’è un migliramento da 24%

a 32% dovuto al piano di sollecito

decisione: inviare il link del questionario e la password anche alle unità AURE

35

sintetizzando

94/444=21%Rispondenti

al questionario Web primo contatto e-mail

32/444=7%Rispondenti

al questionario Web dopo il primo sollecito

e-mail

138/444=31%rispondenti

al questionario Web Dopo il secondo sollecito

telefonico

E-mail errate email-box full

contatto telefonico

18%

36

Trattamento dell’errore di copertura

e-mail errate e mail-box-full (WEU+MFU)=107Resultati: contatto telefonico

Cooperation rate=94%

nuovi e-mail 89%

unità non raggiunte 6%

e-mail confermate 5%

Unità perse

laureati sono inclini a fornire

e-mail

37

No answer to Web questionnaire 18%

Complete Respondents to Web questionnaire

70%

Partial Respondents to Web questionnaire

12%

Participazione indagine dopo il contatto telefonico per WEU and MFU

38

In summary on SMU=444

Response rate (complete respondents)

70%

Response rate(partial respondents)

8%

Non response rate22%

39

Primo contatto: telefono su i wave 1 rispondenti STUR=207

Survey partecipation after first contact by telephone STUR

No answer to the Web questionnaire 50%

Complete Respondents to the Web questionnaire

48%

Partial Respondents to the Web questionnaire 2%

Tasso di non risposta abbastanza alto

40

In summary on SMU+STUR=651

Response rate (complete respondents)

63%

Response rate(partial respondents)

7%

Non response rate30%

41

Tempestività?

42

aware units: primo contatto e-mail (e-mail sent on Thursday March 7 at about 1 p.m.)

il tempo di attesa mediano è di 21 ore e dopo 100 ore (circa 4 giorni) solo il 20% sopravvive

Tempo è in ore

0.0

00.2

50.5

00.7

51.0

0

0 100 200 300 400 500analysis time

Kaplan-Meier survival estimate

43

il tempo mediano di attesa è di 2 giorni se il primo contatto è telefonico e di 8 se è per e-mail

La curva di sopravvivenza è molto più ripida se il primo contatto è telefonico!!!!

Tipo_cont=1 il primo contatto tramite e-mail

0.00

0.25

0.50

0.75

1.00

0 20 40 60analysis time

tipo_cont = 0 tipo_cont = 1

Kaplan-Meier survival estimates, by tipo_cont

44

Alcune conclusioni sull’esempio

• L’indagine web è una modalità di indagine efficace per la popolazione di laureati

• L’indagine web funziona meglio se il primo contatto è fatto tramite telefono sia in termini di tassi di risposta che per la velocità di risposta