Seminario Le indagini web e alcuni aspetti sul processo di partecipazione all’indagine Prof. A. D’Agostino Dip. Di Statistica e Matematica per la Ricerca.

Presentazione sul tema: "Seminario Le indagini web e alcuni aspetti sul processo di partecipazione all’indagine Prof. A. D’Agostino Dip. Di Statistica e Matematica per la Ricerca."— Transcript della presentazione:

1 Seminario Le indagini web e alcuni aspetti sul processo di partecipazione all’indagine
Prof. A. D’Agostino Dip. Di Statistica e Matematica per la Ricerca Economica Università di Napoli “Parthenope”

2 Le indagini web sono abbastanza nuove – iniziano dal 1990
Perché è accresciuto il loro utilizzo? Sono facili da sviluppare e implementare Generalmente costano poco Si può raggiungere un elevato numero di persone a un basso costo marginale

3 I sondaggi web sono ad esempio molto utili alle aziende o a chiunque voglia ottenere un feedback immediato circa un prodotto o un servizio. Il web offre molti servizi anche gratuiti per creare un sondaggio o un questionario online in modo semplice e con tutte le funzionalità per gestirlo al meglio Surveymonkey Polldaddy etc..

4 Quando si può usare un’indagine web?
Prima di decidere se sia opportuno condurre un’indagine web dobbiamo riflettere su alcuni punti

5 Questioni importanti….
I potenziali rispondenti hanno un facile accesso a internet? Hanno familiarità con internet? Si fidano della comunicazione tramite internet? Hanno le competenze per aprire e completare un’indagine online? Il loro hardware e software può influenzare come il questionario viene visualizzato?

6 Che cosa conosciamo circa l’utilizzo e l’accesso ad internet?
Sicuramente età, cultura e contesto sociale interagiscono differentemente con la tecnologia I principali utilizzatori delle tecnologie avanzate risultano i giovani e le persone che esercitano professioni intellettuali L'uso delle tecnologie è prevalentemente riservato ai giovani. Le famiglie con almeno un minorenne possiedono il personal computer e l'accesso a internet

7 L’accesso e l’uso dipende da:
Livello di istruzione Reddito familiare età: – fanno un uso maggiore di internet Molti usano internet a lavoro (ma potrebbero avere restrizioni a lavoro nel suo utilizzo) Comfort e sicurezza Mancanza di competenze informatiche; familiariatà con internet Diffidenza con internet Paura dei virus o altri software dannosi

8 Questo implica che… Molte persone possono essere escluse quando si utilizza un’indagine web Coloro che rispondono potrebbero essere considerevolmente diversi da coloro che non rispondono = distorsione nei risultati

9 Pianificazione dell’indagine
Ci sono una serie di fasi da considerare: Obiettivo indagine Popolazione di riferimento Recupero indirizzi Piano di campionamento ( indagine o sondaggio online?) Sviluppo del questionario Implementazione del questionario online Strategia di contatto (lettera di accompagnamento) Bilancio e tempi

10 Una nota sulla anonimato e la riservatezza delle indagini online
Anonimo significa che nessuno può identificare chi ha fornito le informazioni Questo è difficile da garantire quando l'indagine viene somministrata online (internet o intranet) ... quindi, non promettono anonimato! Riservatezza significa che siamo in grado di identificare la persona, ma si garantisce che le informazioni non saranno identificate con la persona Questo vale per tutti gli aspetti della raccolta dati, analisi e reporting

11 Indagine online implementazione
Personalizzare il più possibile tutti i contatti Prendere in considerazione incentivi - migliora il tasso di risposta Utilizzare più contatti e variare il messaggio Utilizzare un altro modo di mettersi in contatto con gli intervistati, se possibile Mantenere contatti brevi

12 Indagine online implementazione passi
Accertarsi che la mail non sia contrassegnata come spam Includere una linea informativa sulle finalità dell’indagine Fornire istruzioni chiare su come accedere al sondaggio Assegnare a ciascun partecipante un numero ID unico Mantenere entro i limiti delle capacità del server web Creare un sistema per la gestione Stabilire procedure per affrontare le richieste e le questioni Monitorare i progressi e le risposte

13 Due sono gli aspetti fondamentali per la buona riuscita dell’indagine online
Ottenere un elevato tasso di risposta Ottenere il massimo livello di accuratezza delle informazioni Quindi, è necessario prestare attenzione a: Tasso di risposta in itinere un buon disegno del questionario

14 Un esempio di indagine web
Obiettivo indagine : transizione università-lavoro Per esempio, potremmo essere interessati a studiare: Mismatch tra titolo di studio e lavoro Il guadagno percepito nel primo lavoro dopo la laurea Soddisfazione sul lavoro

15 Che cosa significa mismatch?
I laureati aspirano ad ottenere un buon lavoro dopo la laurea “overeducated workers” sono coloro che riportano che il titolo di studio richiesto per ottenere il loro lavoro è inferiore alla laurea

16 accuratezza delle risposte, etc..)
Popolazione obiettivo: laureati in Economia dell’Università di Napoli “Parthenope” Strategia di indagine: indagine web La modalità di raccolta dei dati è strettamente legata Qualità dei dati (tasso di risposta, accuratezza delle risposte, etc..) Costi Tempestività

17 Le indagini web sono state molto utilizzate negli ultimi anni perché sono poco costose
ma i suoi effetti sulla qualità dei dati e la tempestività delle informazioni raccolte possono e devono essere ben analizzate

18 In Italia ci sono delle esperienze di indagini web sui laureati
Almalaurea Fabbris and Giusti, 2001 (EXPERTUM project); Pratesi, 2004, l’università di Pisa promuove un servizio informativo sui curricula tramite internet

19 Qui siamo interessati a studiare il processo di partecipazione all’indagine
Per capire quali siano i fattori che influenzano la cooperazione nelle indagini web sui laureati

20 Il disegno campionario a cui si fa riferimento è abbastanza complesso affinché si possa controllare adeguatamente per il processo di partecipazione (cooperazione all’indagine) Dati sono raccolti su un campione di laureati in Economia nel 2005 che appartengono a 4 distinte coorti di laurea (1999, 2000, 2001, 2002)

21 Le caratteristiche salienti sono:
Campione causale , un po’ inusuale nelle indagini web Abbiamo due differenti modalità di contatto (telefono e ) In effetti lavoriamo con un panel (la prima onda risale al 2003 effettuata tramite intervista telefonica)

22 Disegno di indagine Panel di laureati in economia Wave 2 2005
Indagine web Wave 1 2003 indagine telefonica

23 Un campione casuale dei
Wave 1: 813 unità campionarie Tasso di risposta ottenuto 80% Si ipotizza che il grado di penetrazione Internet tra i laureati sia alto Quindi è un’ottima popolazione per studiare la qualità del processo di partecipazione Tutti i rispondenti alla wave 1 (n=651) + Un campione casuale dei non rispondenti alla wave 1 (91/162)=56% 2005

24 unità campionarie nel 2005 Campione casuale dei non rispondenti wave 1
senza 56% wave 1 rispondenti con (555/651)=85% wave 1 Rispondenti senza (96/651)=15% Tasso di cooperazione Nel fornire è alto!!

25 Primo contatto: e-mail Primo contatto: telefono:
Wave2: modalità del primo contatto Primo contatto: 444 wave 1 rispondenti con Sample Mail Units (SMU) Primo contatto: telefono: 96 wave 1 rispondenti senza 111 wave 1 rispondenti con Survey Telephone Units wave1 Respondents (STUR) 91 non rispondenti e senza Survey Telephone Units wave1 non Respondents (STUNR) (STU)= STUR+ STUNR Survey Telephone Units Unità scelte casualmente Tra le 555 con Unità scelte casualmente tra i 162 wave 1 non rispondenti Questo gruppo non è considerato

26 Il questionario Il questionario include molte informazioni sulla storia lavorativa e la condizione lavorativa attuale dei laureati Ad esempio: B.16 Quanto è soddisfatto del lavoro che svolge? Per niente1.  (andare alla B.18) Poco2.  (andare alla B.18) Abbastanza3.  (andare alla B.18) Molto4.  (andare alla B.18) Del tutto5.  (andare alla B.18)

27 Il questionario È collegato direttamente ad un database che memorizza le infomazioni Ove possibile, sono previsti dei controlli automatici per controllare l’accuratezza delle risposte fornite L’accesso è vincolato da una password personale resa nota dopo il primo contatto

28 Rilevazione dei dati Primo contatto: e-mail, SMU = 444
UNAWARE UNITS (UU)=231 (No reply to the invitation) AWARE UNITS (AU)=106 (positive reply to the invitation) Wrong Units (WEU)=82 Mail-box Full(MFU)=25

29 Definiamo CONTACT UNITS (CU) 231 UNAWARE UNITS (UU) 106 AWARE UNITS
(AU) sollecito telefonico

30 Alcuni indicatori della qualità del processo (primo contatto: e-mail)
Gross Contact rate = CU/SMU=( )/444=76% Net Contact rate=AU/SMU=106/444=24% Hypothetical Contact rate=UU/SMU=231/444=52% Coverage error rate= (WEU+MFU)/SMU=(82+25)/24% Reply non response rate given the contact= UU/CU=231/( )=69% decisione: spedire il link del questionario e password di accesso solo alle Aware Units

31 Aware units (AU=106) possono partecipare o non partecipare all’indagine
No Answer to WEB questionnaire Units (NAWU)=12 Complete Respondents to WEB questionnaire (CRW)=90 Partial Respondents to WEB questionnaire (PRW)=4

32 Alcuni indicatori della qualità del processo
(partecipazione: dopo primo contatto ) Response rate given the reply=(CRW+ PRW)/AU=89% Complete response rate given the reply=(CRW)/AU=85% Partial response rate given the reply=(PRW)/AU=4% Response rate given the contact = (CRW+ PRW)/CU= (90+4)/( ) =28% Non è alto!!!

33 Unaware Units after the Remainder by E-mail (UURE)=197
UNAWARE UNITS UU=231 Richiamo: Studiamo l’effetto del sollecito Unaware Units after the Remainder by (UURE)=197 Aware Units after the Remainder by (AURE)=34

34 Alcuni indicatori della qualità del processo
(sollecito: ) Net Contact rate after remainder by = =(AU+AURE)/SMU=(106+34))/444 32% Solicitation effect rate= AURE/UU=34/231=15% C’è un migliramento da 24% a 32% dovuto al piano di sollecito decisione: inviare il link del questionario e la password anche alle unità AURE

35 sintetizzando 138/444=31% E-mail errate e mail-box full contatto
32/444=7% Rispondenti al questionario Web dopo il primo sollecito 94/444=21% Rispondenti al questionario Web primo contatto 138/444=31% rispondenti al questionario Web Dopo il secondo sollecito telefonico errate e mail-box full contatto telefonico 18%

36 Trattamento dell’errore di copertura
errate e mail-box-full (WEU+MFU)=107 Resultati: contatto telefonico Cooperation rate=94% Unità perse nuovi 89% unità non raggiunte 6% confermate 5% laureati sono inclini a fornire

37 Participazione indagine dopo il contatto telefonico per WEU and MFU
No answer to Web questionnaire 18% Complete Respondents to Web questionnaire 70% Partial Respondents to Web questionnaire 12%

38 In summary on SMU=444 Response rate (complete respondents) 70%
(partial respondents) 8% Non response rate 22%

39 Primo contatto: telefono su i wave 1 rispondenti STUR=207
Survey partecipation after first contact by telephone STUR No answer to the Web questionnaire 50% Complete Respondents to the Web questionnaire 48% Partial Respondents to the Web questionnaire 2% Tasso di non risposta abbastanza alto

40 In summary on SMU+STUR=651
Response rate (complete respondents) 63% Response rate (partial respondents) 7% Non response rate 30%

41 Tempestività?

42 aware units: primo contatto e-mail (e-mail sent on Thursday March 7 at about 1 p.m.)
il tempo di attesa mediano è di 21 ore e dopo 100 ore (circa 4 giorni) solo il 20% sopravvive Tempo è in ore

43 il tempo mediano di attesa è di 2 giorni se il primo contatto è telefonico e di 8 se è per e-mail
La curva di sopravvivenza è molto più ripida se il primo contatto è telefonico!!!! Tipo_cont=1 il primo contatto tramite

44 Alcune conclusioni sull’esempio
L’indagine web è una modalità di indagine efficace per la popolazione di laureati L’indagine web funziona meglio se il primo contatto è fatto tramite telefono sia in termini di tassi di risposta che per la velocità di risposta