Lezione Assirm: la qualità nelle ricerche online

Sede: Milano – Via Mercalli n. 11 – Tel. +39 02.58.31.57.50 – Fax. +39 02.58.31.57.27 - www.assirm.it - [email protected]: Milano – Via Mercalli n. 11 – Tel. +39 02.58.31.57.50 – Fax. +39 02.58.31.57.27 - www.assirm.it - [email protected]

XIII CORSO ASSIRMLE RICERCHE DI MERCATO

Milano, 22 Aprile 2010

Titolo: Il tema della qualità nelle ricerche online

Federico Capeci Duepuntozero Research

Sede: Milano – Via Mercalli n. 11 – Tel. +39 02.58.31.57.50 – Fax. +39 02.58.31.57.27 - www.assirm.it - [email protected]

I TEMI TRATTATI 1

1. Qualità nelle ricerche online: una definizione2. Le componenti della qualità:

a) Identificazione delle aree di rischiob) Possibili strategie

3. Una possibile guida: le 26 domande ESOMAR4. Esercizio:il panel perfetto5. Considerazioni finali6. Q&A7. Indicazioni bibliografiche8. Breve curriculum professionale



1.1 Una premessa 2

Le nuove tecnologie – Internet in primis- rappresentano una grande opportunità per la creazione di valore in azienda

• coinvolgono target interessanti• permettono modalità di dialogo ed ascolto interattivo• consentono economie di tempi e costi non trascurabili

Per beneficiare appieno di tale tecnica, tuttavia, occorre “semplicemente”• definirne i campi di applicazione a più alto potenziale/esclusivi• comprenderne le meccaniche e aprire le black box• identificare le differenze e sfaccettature possibili tra tecniche, metodi di reclutamento, panel, ricercatori e istituti…

Niente di diverso, insomma, da quello che nel market research si fa ogni giorno!

Conoscenza e consapevolezza sono fondamentali per garantire la qualità!



1.1 Una premessa 3

Quello che in oltre 10 anni di ricerche online abbiamo osservato...

Le ricerche su web hanno subito le stesse dinamiche


DelusioneDelusioneEntusiasmoEntusiasmo

Scoperta del valoreintrinseco di ciascun media

(metodo), capacità di integrazione

Utilizzo coinvolgente, chimera di

onnipotenza, abbandono dei media

classici

Senso di inappagamento vs obiettivi, insoddisfazione

generata dall’overload, tendenza alla

frustrazione

IntegrazioneIntegrazione


1.2 la qualità nelle ricerche (online): una definizi one 4


“Managing the quality of Official Statistics 2005”


2.1 Le componenti della qualità 5


Errors


2.1.a. Le componenti della qualità: coverage 6


Errors

- Qual è la penetrazione di Internet?- Intercept surveys: riesco a reclutare un campione rappresentativo del sito?-Access panel: idem

Si tratta di campionamento pull, pertanto: le modalità di invito, i tempi di esecuzione, la struttura del questionario, le dotazioni tecnologiche, le attitudini del target, la familiarità con la tecnologia, etc hanno influenza sul campione

i.e. banda larga, contratto flat, concorsisti, ….

Diventa quindi fondamentale avere a disposizione una ricerca di base sul target (reclutamento per quota e/o ponderazione)

Cruciale è inoltre la strategia di

reclutamento (incentivo, tono, messaggio, fonti, etc)


12,4 milioni di famiglie

10,4 milioni di famiglie

30,1 milioni di italiani

Il 90% di queste ha contratto flatSource: Audiweb ricerca di base DOXA 2dati cumulati 4/2008 – 1,2,3/ 2009

2.1.a. Alcuni numeri sulla fruizione del Web oggi i n Italia 7


Source: ricerca omnibus CAPI Duepuntozero Research 1-11/2009 – 16.500 casi

2.1.a. Il profilo degli utenti Internet 8


2.1.b. Le componenti della qualità: l’analisi delle non risposte 9


Errors

Anche in presenza di strategie di reclutamento affidabili, l’analisi delle mancate risposte ad un invito o ad un questionario sono di fondamentale importanza al fine di identificare distorsioni campionarie

L’insieme degli individui reclutati, differisce dalle quote conosciute sulla popolazione di riferimento? In cosa? Sia rispetto a parametri socio-demografici, sia in riferimento a dotazioni, attitudini, etc

È estremamente importante studiare il campione reperito in relazione alla ricerca di base

Inoltre, riveste un ruolo di primaria importanza anche l’analisi delle non-partecipazioni o delle cadute


2.1.c. Le componenti della qualità: il campionament o 10


Errors

Le procedure di campionamento devono essere basate sul principio di randomicitàe pari-opportunità all’estrazione• sia in presenza di access panel• sia in situazioni di reclutamento diretto dal sito (quota % di esposizione, frequenza, etc)

Tutte le informazioni già in possesso dell’istituto possono consentire campionamenti più mirati, purché non siano esse stesse motivo di bias

È importante che il panel sia profilato con tutte le informazioni utili al campionamento nella sua interessa

La piattaforma di gestione del DB dovrebbe consentire l’analisi storica delle partecipazioni e un aggancio a tutte le informazioni utili


2.1.d. Le componenti della qualità: il questionario 11


Errors

Le ricerche CAWI si conducono senza l’ausilio di un intervistatore. Ciò può apportare valore all’intervista (effetto cortesia, risposte poco socialmente poco accettate, etc) oppure un grande rischio, poiché non si hanno possibilità di:- Chiarire alcuni punti- Verificare l’identità della persona- Trattenere il rispondente nel caso di questionari lunghi

Il questionario deve essere redatto a regola d’arte (flussi, chiarezza, etc)

L’uso di componenti interattive e grafiche può contribuire, pur dosate

Un lunghezza maggiore di 12-15 minuti presenta cadute rilevanti


2.1.e. Le componenti della qualità: il rispondente 12


Errors

Vi sono quattro tipologie di rispondenti dalle quali tenersi a distanza:

Strumenti di analisi statistica e di coerenza possono illustrare i comportamenti non consoni ad una partecipazione “etica” dei panelisti

È possibile implementare un processo di scoring dei panelisti

È buona norma effettuare un refresh periodico del panel

Fraudolent respondents

Inattentive respondents

Hyperactive respondents

Conditioned respondents

Intensa partecipazione al fine di massimizzare i loro

guadagni

Rispondono in modo disattento offrendo risposte

contraddittorie

Partecipano a molti panel diventando quasi dei

professionisti

Partecipano con assiduità al fine di condizionare l’esito

dell’indagine


Parent

Adult

Child

Parent

Adult

Child

Quale tra questi due prodotti è il migliore?

2.Non so, non conosco nessuno dei due.

3. E’ obbligatorio rispondere alla domanda per proseguire

4. Ma chi lo ha scritto il questionario? Come faccio a rispondere se non li conosco?

Frustrazione della motivazione

Esomar 2006Pete ComleyThe Games We Play

L’analisi transazionale applicata alla relazione is tituto rispondente


Parent

Adult

Child

Parent

Adult

Child

1.Caro amico, oggi ti invitamo a partecipare ad un’indagine che parla di X

2.Grazie, tra l’altro sono anche un consumatore di X, mi piace molto

3. Ci dispiace, non puoi continuare, non hai il profilo che cerchiamo per la ricerca

4. E allora perchè mi hai chiesto di partecipare? Mi stai prendendo in giro?

Frustrazione della motivazione

Esomar 2006Pete ComleyThe Games We Play

L’analisi transazionale applicata alla relazione is tituto rispondente


E quindi i rispondenti si comportano come bambini (o come cavie da laboratorio…)

Parent

Child

� Lasciano le risposte in bianco (o rispondono a caso)� Leggono superficialmente le domande e rispondono di corsa� Tentano di barare sulle domande di filtro� Cercano di ottenere più incentivi iscrivendosi più volte e a piùpanel differenti� Abbandonano il panel sentendosi troppo “forzati” e “frustrati”, pensando di aver sprecato tempo ed entusiasmo

Nelle interviste CAWI la relazione Parent Child è mo lto rischiosa


2.1.f. Le componenti della qualità: lo strumento 13


Errors

Lo strumenti di gestione e di esecuzione dell’intervista deve essere massimamente affidabile, nel consentire:- flussi e domande che il ricercatore ritiene maggiormente consoni- di somministrare materiale multimediale- di portare a termine l’intervista senza errori o intoppi

La cura con cui vengono selezionati ed integrati tra di loro i software di gestione ed esecuzione dell’intervista èfondamentale, per garantire qualità e processi di raccolta e analisi del dato fluidi


2.1.g. Le componenti della qualità: mode effect 15


Errors

Il “mode effect” è l’effetto sulle risposte dovuto alla scelta del metodo

Diversi studi sono stati effettuati globalmente e in Italia, con il risultato di dimostrare che esiste un effetto dovuto alla modalità di somministrazione del questionario, oltre le peculiarità di target definite

Obiettivi di ricerca differenti possono necessitare di metodologie differenti

Brand differenti possono suggerire l’uso di alcune metodologie piuttosto che altre

Temi di indagine differenti possono richiedere differenti modalità di esecuzione dell’intervista


“Bart Wichers, Evelien Zengerink, It’s the culture, stupid, Panel Research, Esomar 2006”.

152.1.g. il mode effect: un esempio per tutti


3.1. le 26 domande Esomar 17


ESOMAR suggerisce 26 domande da porre ai panel providers/istitui di ricerca


4.1. ESERCIZIO 18


Provate a rispondere alle domande …. Immedesimandovi nel ruolo di un istituto con velleità di proporre il migliore panel italiano


5.1. considerazioni finali: perché stupirsi a questo punto? 19


(Readership Toronto, ESOMAR Panel Conference 2008)

Quale expertise

(tecnica, di ricerca, di

linguaggi)?

Quale infrastruttur

a tecnologica?

Quale reclutamento

(fonti, modalità,

incentivazione)?

Quali sistemi di controllo

qualità?


5.1. considerazioni finali: QUALITA ’ vecchia e nuova 19


Vi sono criteri di progettazione e di esecuzione di una ricerca di mercato online che per nulla differiscono da buone norme di condotta dell’intero settore

D’altro lato, vi sono specificità di cui non si può non tener conto e l’obiettivo di garantire la massima qualità è raggiungibile solamente attraverso rigide procedure di pianificazione e controllo dei possibili fattori influenti:

- il rispondente- gli strumenti di esecuzione- il ricercatore- i processi- …

In un quadro complessivo che non può prescindere dalla tecnologia, e anzi da questa deve trarre ulteriori strumenti per ottenere massima qualità

Ove, d’altro lato, la componente “soft” delle capacità e competenze umane di ricerca è l’unica in grado di dirigere tutto il processo verso la QUALITA’


Indicazioni bibliografiche

Bibliografia Sitografia

Diego Martone e Roberto Furlan, Online Market Research, Milano 2007;

PaperRenee Smith, Ph.D. , Holland Hofma Brown, Assessing the Quality of Data from Online Panels: Moving Forward with Confidence, Harris Interactive, 2005;Nick Sparrow, Quality issues in online research, Journal of Advertising Research, ICM, June 2007;26 Questions to help research buyers of online samples, Esomar http://www.esomar.org/index.php/26-questions.htmlDeborah S. Fellows, Publication Series Volume 332 Esomar, Amsterdam The Netherlands, 2008;International Journal of Market Research vol 50, MRS, University of Strathclyde Business School, 2008;International Chamber of Commerce or Esomar, Codice Internazionale di Condotta Icc/esomar, 2009;



GRAZIE DELL ’ATTENZIONE!

Q&A



Profilo docente: Federico Capeci


37 anni, Direttore Generale e fondatore di Duepuntozero Research, innovativa agenzia di ricerche di mercato specializzata nello studio della comunicazione di brand e dei nuovi media. Precedentemente ha ricoperto il ruolo di Amministratore Delegato in OTO Research, rilanciando l’azienda sul mercato italiano e internazionalizzando l’offerta di ricerche via web nei principali Paesi Europei. Ha svolto il ruolo di Research Manager in Coca-Cola Italia, occupandosi della gestione delle ricerche di mercato per i brand dell’azienda, prevalentemente in ambito comunicazione, sviluppo nuovi prodotti e opportunità di mercato. La sua carriera inizia negli istituti di ricerca: Millward Brown e ancora prima Eurisko. Laureato in Economia e Commercio e specializzato alla SDA Bocconi sui metodi quantitativi per le decisioni manageriali, oggi collabora con diverse Università e Master, oltre ad avere una cattedra continuativa di ricerche di mercato allo IED di Milano.

Lezione Assirm: la qualità nelle ricerche online

Business

Transcript of Lezione Assirm: la qualità nelle ricerche online