APPROCCI E TECNICHE DI VALUTAZIONE

APPROCCI E TECNICHE DI VALUTAZIONE
Lezione del 13 e 14, 21 e 27 novembre 2014

IL QUESTIONARIO Il questionario è uno strumento di misura, infatti si tratta di una schema di intervista altamente strutturata la cui funzione è quella di raccogliere in modo sistematico caratteristiche, comportamenti o opinioni dei rispondenti, ovvero le informazioni sulle variabili qualitative e quantitative oggetto dell’indagine. Inoltre, si definisce uno strumento di comunicazione, in quanto consente di facilitare l’interazione tra il ricercatore, il rilevatore e l’intervistato; oltre a ciò il questionario è uno strumento di comunicazione standardizzato: le informazioni raccolte devono essere confrontabili tra loro, pertanto le domande devono essere rivolte a tutti nella stessa forma e devono avere lo stesso significato per tutti i rispondenti. 2

Perché la ricerca valutativa usa il questionario
con un vasto numero di persone da intervistare, selezionate con la tecnica del campionamento, per un’adeguata rappresentatività può favorire un’efficace analisi dei bisogni e la valutazione di impatti e risultati della ricerca per esplorare il parere dei beneficiari ex post per oggetti di ricerca dal forte impatto sociale per misurare la qualità dei servizi valutata ex ante, in itinere ed ex post per conoscere il grado di soddisfazione del cliente e/o la percezione soggettiva rispetto all’oggetto della ricerca Il questionario è uno strumento di misura, infatti si tratta di una schema di intervista altamente strutturata la cui funzione è quella di raccogliere in modo sistematico caratteristiche, comportamenti o opinioni dei rispondenti, ovvero le informazioni sulle variabili qualitative e quantitative oggetto dell’indagine. Inoltre, si definisce uno strumento di comunicazione, in quanto consente di facilitare l’interazione tra il ricercatore, il rilevatore e l’intervistato; oltre a ciò il questionario è uno strumento di comunicazione standardizzato: le informazioni raccolte devono essere confrontabili tra loro, pertanto le domande devono essere rivolte a tutti nella stessa forma e devono avere lo stesso significato per tutti i rispondenti. 3

Definizione e obiettivi
Cos’è un questionario Uno «strumento di misura» raccoglie in modo sistematico caratteristiche, comportamenti o opinioni dei rispondenti Uno «strumento di comunicazione standardizzato» facilita l’interazione tra ricercatore, rilevatore e intervistato le domande sono rivolte a tutti nella stessa forma le domande hanno lo stesso significato per tutti i rispondenti Il questionario è uno strumento di misura, infatti si tratta di una schema di intervista altamente strutturata la cui funzione è quella di raccogliere in modo sistematico caratteristiche, comportamenti o opinioni dei rispondenti, ovvero le informazioni sulle variabili qualitative e quantitative oggetto dell’indagine. Inoltre, si definisce uno strumento di comunicazione, in quanto consente di facilitare l’interazione tra il ricercatore, il rilevatore e l’intervistato; oltre a ciò il questionario è uno strumento di comunicazione standardizzato: le informazioni raccolte devono essere confrontabili tra loro, pertanto le domande devono essere rivolte a tutti nella stessa forma e devono avere lo stesso significato per tutti i rispondenti. 4

La progettazione del questionario
prima fase: definizione degli obiettivi e concettualizzazione seconda fase: redazione del questionario terza fase: verifica del questionario Le fasi che caratterizzano la costruzione di un questionario sono tre: definizione degli obiettivi e concettualizzazione; redazione del questionario: scelta della struttura e della formulazione delle domande; verifica del questionario: controlli sul campo che devono contribuire a valutare la validità del questionario come strumento di misurazione e comunicazione. 5

La progettazione del questionario: prima fase
La definizione degli obiettivi e concettualizzazione documentarsi sull’argomento individuare delle variabili da raccogliere rispetto ai temi d’interesse identificare i destinatari del questionario La prima fase di definizione degli obiettivi e concettualizzazione consiste in: Documentarsi sull’argomento: la ricerca bibliografica è importante per esaminare l’esistenza di informazioni/dati già disponibili sul tema e verificare se eventuali domande da inserire nel questionario siano state già utilizzate in altre indagini; questo consente di avere una maggiore conoscenza del fenomeno che si intende esaminare e dei suggerimenti per come strutturare il questionario; Individuare delle variabili da raccogliere rispetto ai temi d’interesse: preparare una lista di variabili e non direttamente le domande. Evitare quelle variabili che non sono strettamente necessarie allo scopo dell’indagine per non creare un onere eccessivo sui rispondenti; Identificare i destinatari del questionario

La progettazione del questionario: seconda fase
La redazione del questionario prevedere la successione logica dei temi trattati preservare l’anonimato degli intervistati verificare l’opportunità di introdurre rispetto anche a questionari realizzati con tecniche CATI e CAWI: Domande filtro Domande di controllo Domande retrospettive Quesiti su temi delicati Domande retrospettive: sono quelle domande che richiamano alla memoria del rispondente fatti avvenuti nel passato e pertanto implicano uno sforzo di memoria

La progettazione del questionario: la redazione
Prevedere la successione logica dei temi trattati predisporre una sequenza di domande che riguardano lo stesso argomento, evitando di tornare su argomenti già trattati, inoltre fare in modo che i quesiti seguano un percorso logico e coerente le domande poste devono essere collocate in modo che non condizionino le risposte a domande successive impostare la successione degli argomenti/temi in modo da non creare salti radicali Nella redazione delle domande prevedere sezioni omogenee per tematica: predisporre una sequenza di domande che riguardano lo stesso argomento, evitando di tornare su argomenti già trattati, inoltre fare in modo che i quesiti seguano un percorso logico e coerente; tuttavia occorre che le domande poste siano collocate in modo che non condizionino le risposte a domande successive (ad esempio, se si vuole fare una domanda sulla soddisfazione del proprio stato di salute, è bene non fare prima quesiti sulle caratteristiche specifiche della propria salute che potrebbero focalizzare l’attenzione su alcuni aspetti sgradevoli e quindi condizionare le risposte successive) impostare la successione degli argomenti/temi in modo da non creare salti radicali, quindi è consigliabile prevedere transizioni graduali fra un tema e l’altro.

Prevedere la successione logica dei temi trattati la successione a imbuto: si passa da domande generali a domande particolari la successione ad imbuto rovesciato: si antepongono le domande specifiche a quelle più generali Per facilitare il rispondente nella risposta alle domande senza operare dei condizionamenti si utilizzano uno dei seguenti stili: la successione a imbuto: si passa da domande generali a domande particolari per dare tempo al rispondente di focalizzare l’attenzione e familiarizzare sul tema proposto. Tale tecnica è particolarmente utile per valutare sensazioni e atteggiamenti. la successione ad imbuto rovesciato: si antepongono le domande specifiche a quelle più generali. Utili quando si desidera raccogliere opinioni meditate su un determinato argomento, ovvero induce l’intervistato a rispondere alla domanda generale finale dopo aver vagliato tutti gli aspetti particolari della questione (tramite le domande precedenti). Tale tecnica è particolarmente utile per valutare situazioni oggettive.

Verificare l’opportunità di introdurre le domande filtro dalla risposta alla domanda filtro dipendono diverse sezioni del questionario la domanda o le domande successive alla domanda filtro entrano talmente nel dettaglio da diventare frustranti per chi non possiede i requisiti per rispondere diventa uno strumento per non condizionare la risposta (in quanto in caso contrario c’è il rischio che chi si trova a dover rispondere ad una domanda “non pertinente” possa rispondere a caso) Non tutte le domande devono essere rivolte a tutti i rispondenti. E’ necessario quindi prevedere alcuni quesiti che selezionino il sottogruppo di persone a cui sottoporre le domande successive. E’ auspicabile l’utilizzo di domande filtro quando: dalla risposta alla domanda filtro dipendono diverse sezioni del questionario (ad esempio nell’indagine dell’Istat «Aspetti della vita quotidiana» viene posta una domanda filtro: «Con che frequenza si informa dei fatti della politica italiana?»; Per il sottogruppo che non risponde «mai», la domanda successiva riguarda il modo in cui ci si informa della politica italiana, e se lo si fa attraverso Internet, per il sottogruppo che risponde «mai», la domanda successiva riguarda i motivi per cui non ci si informa mai di politica. L’assenza della domanda filtro creerebbe un appesantimento per i rispondenti di entrambi i sottogruppi) la domanda o le domande successive alla domanda filtro entrano talmente nel dettaglio da diventare frustranti per chi non possiede i requisisti per rispondere (ad esempio, nell’indagine Istat «Viaggi e vacanze» la domanda filtro: «si è spostato/a pernottando almeno una notte fuori dalla località dove vive per uno dei seguenti motivi personali: weekend, piacere, svago, visita a parenti ed amici, motivi religiosi, trattamenti di salute o cure termali?» Successivamente, a chi risponde «sì» viene chiesto quanti viaggi personali sono stati fatti, e successivamente se fra questi, ci sono viaggi che sono stati effettuati abitualmente tutte le settimane nello stesso luogo: A chi risponde «sì» viene chiesto il numero di viaggi personali abituali, ecc. Omettere la domanda filtro metterebbe in imbarazzo il rispondente che non ha fatto alcun viaggio) diventa uno strumento per non condizionare la risposta (ad esempio, piuttosto che chiedere direttamente «Quanti libri ha letto negli ultimi 12 mesi?» è più corretto chiedere «Ha letto libri negli ultimi 12 mesi?». In questo modo, si evita il rischio di creare imbarazzo per chi non avesse letto nessun libro a fornire una risposta veritiera)

Verificare l’opportunità di introdurre le domande di controllo per verificare la coerenza e l’attendibilità di una risposta data in precedenza si inseriscono a opportuna distanza dalle domande che si vogliono verificare presentano lo stesso quesito che si vuole verificare, formulato in modo diverso Esempi di domande di controllo: si chiede prima l’età in anni compiuti, e poi l’anno di nascita per verificare la correttezza della prima risposta.

Verificare l’opportunità di introdurre le domande retrospettive quando si vogliono richiamare alla memoria del rispondente fatti avvenuti nel passato collocarli verso la metà del questionario hanno lo scopo di sollecitare la memoria senza influenzare i ricordi suggerimenti: ridurre l’intervallo di riferimento della domanda porre una batteria di domande per collocare a livello temporale i ricordi proporre un buon numero di alternative di risposta per sollecitare la memoria ricorrere a un diario Le domande retrospettive sono quelle che richiamano alla memoria del rispondente fatti avvenuti nel passato e pertanto implicano uno sforzo di memoria; l’Istat consiglia di collocarli verso la metà del questionario per evitare che all’inizio il rispondente non sia più disponibile all’intervista e alla fine sia troppo stanco. Un buon quesito retrospettivo ha lo scopo di sollecitare la memoria del rispondente senza influenzarne i ricordi. Perciò è bene: ridurre l’intervallo di riferimento della domanda; porre una batteria di domande per collocare a livello temporale i ricordi proporre un buon numero di alternative di risposta per sollecitare la memoria se necessario, ricorrere a un diario Esempi: nell’indagine Istat «Famiglia e soggetti sociali» si ha l’obiettivo di cogliere la numerosità, la sequenza e le caratteristiche principali di alcuni eventi personali (figli, matrimoni, interruzioni lavorative), allo scopo di risalire alle vicissitudini matrimoniali, di fecondità e di lavoro. Tuttavia, riferendosi a eventi avvenuti nel passato degli intervistati occorre mettere in atto tutti gli strumenti che facilitano il processo di ricostruzione mnemonica delle informazioni. In primo luogo, occorre raccogliere l’informazione sul numero complessivo di eventi sperimentati (numero totale di figli propri avuti, numero di matrimoni, numero di interruzioni lavorative); una volta identificata la numerosità dei singoli eventi, si procede a raccogliere le rimanenti informazioni per ciascuno di essi, a partire dal primo accaduto in ordine di tempo (data di nascita del primo figlio, sesso del primo figlio, se è nato all’interno o al di fuori di un matrimonio o se è stato adottato o affiliato, anno in cui ha smesso di vivere con i genitori) e passando al successivo (secondo figlio) solo dopo aver esaurito la batteria di quesiti a esso riferiti. Avere a disposizione degli schemi e griglie di raccolta delle date e delle altre informazioni relative agli eventi, si è dimostrato particolarmente efficace per la raccolta delle informazioni retrospettive. Nella rilevazione Istat «Viaggi e vacanze», la raccolta delle informazioni su vacanze “brevi” e “viaggi di lavoro” ha creato notevoli problemi di raccolta dei dati, in relazione a modalità di spostamento, destinazioni, spesa, eccetera. E’ stata importante la scelta di un adeguato periodo di riferimento: infatti le vacanze di breve durata e i viaggi di lavoro sono soggetti, più delle vacanze di maggiore durata, a problemi di “memoria”, che causano mancata rilevazione del viaggio o suo collocamento temporale errato. Un periodo di riferimento di 12 mesi, quale appunto quello usato nelle indagini sulle vacanze condotte fino agli inizi degli anni Novanta, può risultare adatto a cogliere le vacanze di lunga durata, ma non è certo idoneo alla rilevazione di soggiorni di durata inferiore e ai viaggi di lavoro. Per l’acquisizione di informazioni su queste tipologie di soggiorni, è necessaria l’individuazione di un arco temporale di riferimento più contenuto che ne favorisca il ricordo. Pertanto, la scelta è ricaduta sull’individuazione di un periodo di riferimento di tre mesi. Il diario: nella rilevazione dell’Istat «Uso del tempo» si osserva come le persone organizzano la propria giornata. La rilevazione consiste nella compilazione di un diario che consente di conoscere in modo dettagliato il modo in cui ciascun rispondente ripartisce le 24 ore tra le varie attività giornaliere, gli spostamenti, i luoghi frequentati e le persone con cui le ha trascorse.

Verificare l’opportunità di introdurre i quesiti su temi delicati ad esempio quando si fanno domande su uso di droghe o su comportamenti violenti subiti porre queste domande verso la fine del questionario quando si è instaurato un clima di fiducia tra intervistatore e rispondente I quesiti su temi delicati riguardano fenomeni che indagano su aspetti della vita personale del rispondente e pertanto potrebbero innescare meccanismi psicologici: indagini sul consumo di droghe o sulla violenza sulle donne. E’ necessario porre queste domande verso la fine del questionario quando si è instaurato un clima di fiducia tra intervistatore e rispondente, per sfruttare la maggiore disponibilità ormai acquisita e per non rischiare che un rifiuto possa compromettere l’acquisizione delle informazioni collocate sull’ultima parte del questionario. Esempio: indagine Istat «Sicurezza delle donne» si propone di rilevare e descrivere: l’estensione del fenomeno della violenza extrafamiliare e della violenza domestica. I quesiti più delicati sono posti alla fine del questionario.

Formulazione dei quesiti: il linguaggio tenendo conto dell’argomento su cui si vuole indagare e la popolazione oggetto di indagine usare termini semplici evitare termini tecnici usare termini precisi usare domande dirette brevi evitare espressioni in negativo non influenzare la risposta alle domande fare esempi per chiarire la corretta interpretazione delle domande Nella formulazione dei quesiti è essenziale utilizzare un linguaggio comprensibile ai rispondenti. Pertanto occorre prendere in considerazione almeno due aspetti fondamentali: l’argomento che si vuole trattare e la popolazione di riferimento oggetto di indagine. L’Istat, che svolge molte indagini presso le famiglie, fa particolare attenzione a questo aspetto, in quanto i rispondenti presentano livelli culturali differenti. In tal caso il linguaggio deve essere chiaro e comprensibile anche agli intervistati con più basso titolo di studio. Ecco alcuni accorgimenti che devono essere adottati: usare termini semplici: adottare un vocabolario di comprensibilità immediata, termini comunemente utilizzati sui quali ci sia bisogno di meno chiarimenti possibili. evitare termini tecnici: eliminare l’uso di termini non immediatamente comprensibili, o conosciuti solo da poche persone (ad esempio, la domanda « secondo lei negli ultimi dieci anni la propensione a sposarsi è aumentata, diminuita o rimasta uguale?» contiene il termine tecnico propensione che non è molto conosciuto. Pertanto è meglio essere più «imprecisi» tecnicamente, ma più chiari per i rispondenti. È meglio quindi formulare così la domanda:» secondo lei negli ultimi dieci i matrimoni sono aumentati, diminuiti o rimasti uguali?»). Quando è indispensabile utilizzare termini tecnici è necessario affiancare definizioni e spiegazioni. Usare termini precisi: la chiarezza e la precisione sono due aspetti essenziali nella scelta dei vocaboli. Vanno evitate parole con doppio significato e ambigue. usare domande dirette brevi, evitando troppe precisazioni: se un quesito si presenta troppo lungo è più facile che il rispondente perda il filo del discorso e si confonda nella risposta. evitare espressioni in negativo: i quesiti che fanno uso di negazioni risultano difficilmente comprensibili, è quindi preferibile esprimerli in forma affermativa. Ciò vale ancora di più nei casi di doppia negazione (ad esempio sarebbe estremamente complicato chiedere: «Lei è contrario a non consentire……»). non influenzare la risposta alle domande: non utilizzare termini con significato dispregiativo o elogiativo (ad esempio, è sbagliato chiedere: «Lei pensa che l’elevato numero di ore che i bambini passano guardando la televisione abbia un impatto negativo sul loro comportamento? Nella formulazione del quesito si afferma che il numero di ore è elevato, non si dubita che queste comportino un impatto, si chiede se l’impatto è negativo. Il quesito influenza la risposta. Il quesito dovrebbe invece essere posto in questo modo: «Pensa che il numero di ore che i bambini passano davanti alla televisione: a) abbia un impatto positivo; b) abbia un impatto negativo; c) non abbia alcun impatto»). quando è il caso, è consigliato utilizzare degli esempi che chiariscano la corretta interpretazione delle domande.

Formulazione dei quesiti: la preparazione delle domande Stabilire quanta libertà lasciare all’intervistato: Domande aperte (a risposta libera) lasciano all’intervistato la possibilità di esprimersi nella forma che preferisce, utilizzando parole proprie Domande chiuse (a risposta fissa predefinita) prevedono a priori delle alternative di risposte predefinite (spesso i questionari sono AUTOSOMMINISTRATI) Domande semiaperte (a risposta mista) prevedono un insieme di possibili risposte già fissate e poi un’ultima risposta con la modalità «altro (specificare)» a risposta semplice a risposta multipla Nella preparazione delle domande occorre decidere quanta libertà lasciare all’intervistato nell’articolazione della risposta, quante diverse risposte si possono accettare per la stessa domanda, ecc. Le domande si distinguono in: Le domande aperte o a risposta libera lasciano all’intervistato la possibilità di esprimersi nella forma che preferisce, utilizzando parole proprie senza che nulla gli venga suggerito Le domande chiuse o a risposta fissa predefinita prevedono delle alternative fisse di risposte predefinite, lasciando quindi al rispondente il compito di scegliere tra le risposte possibili quella che meglio si adatta al suo caso. Un esempio di domanda chiusa è la domanda gerarchizzata, che presenta delle modalità che devono essere ordinate secondo una scala di preferenze (ad esempio, «Dati i seguenti programmi televisivi, si ordini in base alla preferenza (da 1 maggiormente preferito a 7 meno preferito). Le domande semiaperte o a risposta mista prevedono un insieme di possibili risposte già fissate e poi un’ultima risposta con la modalità «altro (specificare)» Le domande chiuse e semiaperte possono essere a risposta semplice, se l’intervistato può scegliere una sola risposta tra quelle previste, a risposta multipla se l’intervistato può selezionare più di una risposta.

Formulazione dei quesiti: domande aperte I vantaggi minimo rischio di condizionare la risposta uniche domande possibili quando il fenomeno indagato non si conosce bene utili nel trattare argomenti delicati Per poter valutare appieno l’importanza di tali domande è necessario esaminare attentamente vantaggi e svantaggi che esse presentano. I vantaggi delle domande aperte (o a risposta libera): Il rischio di condizionare la risposta è minimo perché non si danno suggerimenti. Sono le uniche domande possibili quando il fenomeno indagato non si conosce bene Sono utili nel trattare argomenti particolarmente delicati perché danno all’intervistato la possibilità di motivare i comportamenti e/o atteggiamenti che sarebbe restio a descrivere

Formulazione dei quesiti: domande aperte Gli svantaggi: alti costi e lunghi tempi per la codifica delle risposte elevato rischio di errore nella registrazione delle risposte da parte degli intervistatori necessità di personale addestrato affinché non ci sia distorsione nell’interpretazione delle risposte maggiore sforzo di elaborazione da parte del rispondente la qualità delle risposte fornite è funzione del livello culturale del rispondente * La codifica è l’operazione attraverso la quale si associa ad ogni risposta di una domanda un distinto codice numerico. L’utilità di tale procedura si trova nella semplificazione della registrazione informatica delle risposte. Per tutte le domande chiuse è possibile effettuare una codifica prima della somministrazione del questionario (questionario precodificato). Per le domande aperte la codifica è possibile sono successivamente alla raccolta dei dati ed alla classificazione delle risposte.

Formulazione dei quesiti: domande aperte Quando usarle per la messa a punto del questionario definitivo nei sondaggi sulle opinioni, gli atteggiamenti e le motivazioni quando si prevedono risposte quantitative (età, reddito, ecc) quando le risposte sono molto variegate (luogo di nascita, attività lavorativa, ecc) Le domande aperte consentono di conoscere sia le diverse modalità delle variabili statistiche relative alle domande stesse, sia le frequenze associate alle modalità: utilizzarle nella fase preparatoria dell’indagine può essere utile per conoscere la natura del fenomeno oggetto di indagine e per capire quali risposte inserire per ciascuna domanda. Rappresentano pertanto un ottimo strumento per la messa a punto del questionario definitivo. inoltre, trovano larga applicazione nei sondaggi sugli atteggiamenti, le opinioni e le motivazioni perché danno la possibilità all’intervistato di esprimere più compiutamente il proprio punto di vista. quando si prevedono risposte quantitative (età, reddito, ecc). quando le risposte sono molto variegate (luogo di nascita, attività lavorativa, ecc). In questi ultimi due casi l’utilizzo di domande chiuse potrebbe comportare una grave perdita di informazioni.

Formulazione dei quesiti: domande chiuse I vantaggi riduzione tempi di codifica, che è effettuata direttamente sul campo riduzione degli errori di codifica e dei tempi di elaborazione riduzione degli errori di trascrizione degli intervistatori sollecitano la memoria facilitano il rispondente Le domande chiuse o a risposta fissa predefinita prevedono delle alternative fisse di risposte; I vantaggi delle domande strutturate: riduzione tempi di codifica, che viene effettuata direttamente sul campo riduzione degli errori di codifica e dei tempi di elaborazione riduzione degli errori di trascrizione degli intervistatori che devono semplicemente barrare la casella indicata dal rispondente sollecitano la memoria, perché bisogna scegliere tra le modalità di risposta già precostituite, senza eccessivo sforzo di memoria; pertanto facilitano il rispondente

Formulazione dei quesiti: domande chiuse Gli svantaggi se la lista delle risposte è lunga, l’ordine con cui vengono lette le risposte può influenzare gli intervistati possono indurre a fare scelte non molto ragionate soprattutto quando le domande riguardano opinioni, motivazioni o atteggiamenti l’elenco delle risposte potrebbe non coprire tutti i casi possibili, inducendo il rispondente su una risposta di ripiego oppure a non rispondere Gli svantaggi delle domande strutturate: Se la lista delle risposte è lunga, l’ordine con cui vengono lette le risposte può influenzare gli intervistati e produrre delle concentrazioni di risposte nelle prime o ultime opzioni che vengono più facilmente memorizzate Possono indurre a fare scelte non molto ragionate soprattutto quando le domande riguardano opinioni, motivazioni o atteggiamenti

Formulazione dei quesiti: domande semiaperte Per godere dei vantaggi delle domande aperte e chiuse: si formula la domanda che prevede un insieme di possibili risposte già codificate e poi un’ultima risposta con l’opzione «altro (specificare)» Un modo per godere dei vantaggi di entrambe le tipologie di domande (aperte e chiuse) è quello di ricorrere ai quesiti a risposta mista o semiaperta: si formula la domanda che prevede un insieme di possibili risposte già codificate e poi un’ultima risposta con l’opzione «altro (specificare)» consentendo di raccogliere i casi rari, e in fase di preparazione, di analizzare le opzioni introdotte migliorando l’efficienza delle domande (ad esempio aggiungendo un’altra opzione di risposta predefinita se si nota che è alta la numerosità di coloro che hanno espresso una determinata risposta in «altro (specificare)»)

Formulazione dei quesiti: cosa domandare Individuare delle macro-tipologie di domande: domande di struttura domande di contesto domande di scopo Il problema del «cosa domandare» può essere risolto individuando delle macro tipologie di domande. Un esempio è quello di suddividere le domande in: domande di struttura: in cui si individuano le caratteristiche di base dei rispondenti (Genere: maschio, femmina; Data di nascita; Stato civile; Luogo di nascita; Cittadinanza; ecc) domande di contesto: hanno l’obiettivo di costruire lo scenario in riferimento allo scopo della ricerca che si sta facendo domande di scopo: hanno l’obiettivo di rispondere agli obiettivi della ricerca

La progettazione del questionario: la terza fase
La verifica del questionario il pre-test il test delle alternative l’indagine pilota La fase di verifica del questionario prevede una serie di controlli direttamente sul campo che servono a stabilire se il questionario è stato strutturato e redatto correttamente rispetto alle esigenze conoscitive dell’indagine sia alla comprensibilità da parte dell’intervistato. In particolare si hanno tre tipi di controllo: il pre-test: si somministra il questionario ad un piccolo campione di individui che sia il più vario possibile per livello culturale, età, ecc. allo scopo di garantire, nei limiti del possibile, che il questionario venga provato in diverse condizioni di difficoltà. Per questa verifica si utilizzano degli intervistatori ben istruiti che possano osservare le eventuali difficoltà e i problemi che si verificano nella compilazione del questionario. il test delle alternative: non è sempre necessario eseguire questa operazione. Si tratta di preparare coppie di versioni del questionario, che differiscono per un singolo aspetto (formulazione della domanda, sequenza delle domande, periodi di riferimento temporale proposti, ecc) e sottoporle a coppie di campioni simili per capire quale può essere l’effetto delle due diverse formulazioni, e scegliere la migliore. l’indagine pilota: è un indagine in piccolo che riproduce fedelmente tutte le fasi dell’indagine vera e propria. L’obiettivo è quello di verificare definitivamente il questionario, non solo in relazione alla sua struttura, ma anche alle modifiche via via effettuate.

Indagine Aspetti della vita quotidiana Istat

Indagine Aspetti della vita quotidiana - Istat
Diventa uno strumento per non condizionare la risposta

IL FOCUS GROUP Il questionario è uno strumento di misura, infatti si tratta di una schema di intervista altamente strutturata la cui funzione è quella di raccogliere in modo sistematico caratteristiche, comportamenti o opinioni dei rispondenti, ovvero le informazioni sulle variabili qualitative e quantitative oggetto dell’indagine. Inoltre, si definisce uno strumento di comunicazione, in quanto consente di facilitare l’interazione tra il ricercatore, il rilevatore e l’intervistato; oltre a ciò il questionario è uno strumento di comunicazione standardizzato: le informazioni raccolte devono essere confrontabili tra loro, pertanto le domande devono essere rivolte a tutti nella stessa forma e devono avere lo stesso significato per tutti i rispondenti. 30

Che cos’è il focus group
Il focus group è una tecnica di rilevazione per la ricerca sociale Non è un’ intervista ma elaborazione approfondita, da parte di un piccolo numero di persone, di un tema proposto da un moderatore attraverso una libera discussione (di gruppo) Ciò che importa è sia cosa ogni membro risponde o dice, sia come i membri interagiscono verbalmente tra loro nel fornire risposte Il focus group è considerato una tecnica di ricerca qualitativa (non fa ricorso a tecniche di analisi statistica) E’ sempre condotto da un moderatore (facilitatore) con un gruppo di 6/9 individui, supportato da un tutor che prende appunti

Perché si usa il focus group in ricerca valutativa
Il focus group è una tecnica di rilevazione per la ricerca sociale e come le altre non può dirsi una tecnica valutativa Può essere efficace: nelle fasi iniziali di una ricerca valutativa per orientare un valutatore poco esperto o alle prese con un caso complesso/inedito quale tecnica principale fra quelle utilizzare nella fase metodologica per poter coinvolgere gli stakeholders rapidamente e in senso partecipativo nelle fasi conclusive di un percorso valutativo per verificare i risultati ottenuti con questo gruppo di confronto, magari di esperti per favorire l’incontro e il confronto fra stakeholders che non si conoscono o sono in opposizione di vedute, ottenendo anche una finalità formativa rispetto all’oggetto di valutazione

Finalità del focus group
Il focus group può essere utilizzato nelle fasi esplorative e preliminari di ricerche standard (acquisire familiarità con un tema) Permette di formulare delle ipotesi da sottoporre poi a controllo empirico Permette di costruire il questionario quantitativo Trovare concetti vicini alla vita dei soggetti Includere aspetti importanti del tema per il target Utilizzare il linguaggio utilizzato dal target

La validità dei risultati
Le risposte fornite dal focus group non sono generalizzabili, anche se… Il compito del focus è quello di mostrare la complessità e le modalità di funzionamento di un determinato fenomeno/ tema presso un certo target Si sopperisce ai limiti del focus integrandolo all’interno di un disegno di ricerca dove si compongono tecniche di rilevazione diverse  maggiore affidabilità dei risultati

Il setting Luogo neutro, cercare di creare una situazione distesa di conversazione Durata di circa 1h 30’ Le persone che partecipano devono appartenere al target di riferimento I partecipanti non devono conoscersi tra loro

La dinamica del focus group
Il moderatore del focus deve prendersi carico della dinamica, saperla gestire, sollecitare e contenere, pena la perdita di controllo del focus stesso fino alla sua possibile degenerazione Il moderatore deve costantemente tener presente Gli obiettivi che deve raggiungere I tempi del gruppo Che cosa sta capitando nel gruppo e al gruppo TUTOR Stanno parlando tutti? Chi parla di più, chi di meno? Che ruolo hanno i partecipanti? Ci sono delle fazioni? Che relazione sta instaurando il moderatore con tutti loro? Che ruolo ricopre? …

Conduzione non direttiva
La discussione di gruppo deve avvenire nel modo più libero e aperto possibile (“Questa sera parleremo di … che cosa si può dire? …”) Il moderatore “focalizza” l’argomento ma … … evita di “forzare” lo sviluppo della discussione con un intervento in un determinata direzione Come? Tacendo… Con la tecnica del “rilancio” Evitando di esprimere opinioni personali o di appoggiare una tesi o un’altra emersa nel gruppo (tutti hanno ragione) Chiarificare le diverse posizioni e non giudicarle  il riepilogo

Struttura del gruppo e ruoli
UN GRUPPO E’ RIUSCITO QUANDO IL MODERATORE NON SERVE PIU’ ALLA DISCUSSIONE Il moderatore non è l’interlocutore dei partecipanti ma colui che facilita il passaggio e la circolazione della parola Il moderatore “corregge” gli intervistati non sul piano dei contenuti ma sui modi in cui le cose che gli intervistati dicono agiscono nel gruppo Il moderatore deve contenere i “leader” e far parlare chi non parla

Criteri guida per la stesura di una guida (1)
Andamento “ad imbuto” Prima parte  più libera, aperta, spontanea Seconda parte  più strutturata, chiusa, sollecitata L’apertura come warm up Conoscenza sommaria dei partecipanti (ci si fa un’idea di con chi si ha a che fare) Esplicitazione delle regole e consegna del tema

Criteri guida per la stesura di una guida (2)
La prima parte Il tema in generale: “questa sera parleremo di … cosa si può dire? …” DISCUSSIONE SPONTANEA dove il moderatore si limita a rilanciare La seconda parte Fase di razionalizzazione Necessità di scendere nello specifico, raggiungendo obiettivi più analitici e focalizzando aspetti di dettaglio

Fasi di progettazione di un focus group
1- definire il FOCUS del dialogo 2- definire i PARTECIPANTI 3- scegliere il LUOGO 4- fare un PIANO dello svolgimento: - DURATA prevista - preparare almeno 10 DOMANDE - assegnare RUOLI e funzioni ai collaboratori 5- scegliere come REGISTRARE i dati raccolti: - video tape - registrazione audio

IL METODO DELPHI Il questionario è uno strumento di misura, infatti si tratta di una schema di intervista altamente strutturata la cui funzione è quella di raccogliere in modo sistematico caratteristiche, comportamenti o opinioni dei rispondenti, ovvero le informazioni sulle variabili qualitative e quantitative oggetto dell’indagine. Inoltre, si definisce uno strumento di comunicazione, in quanto consente di facilitare l’interazione tra il ricercatore, il rilevatore e l’intervistato; oltre a ciò il questionario è uno strumento di comunicazione standardizzato: le informazioni raccolte devono essere confrontabili tra loro, pertanto le domande devono essere rivolte a tutti nella stessa forma e devono avere lo stesso significato per tutti i rispondenti. 42

La costruzione del piano come processo collaborativo: il Metodi Delphi(1)
Si tratta di una tecnica di ricerca valutativa deduttiva basata sulla raccolta di pareri esperti chiamati a fornire consulenza su temi specifici con funzione “oracolare” a. I pareri, a differenza di quel che accade nel brainstorming, vengono raccolti separatamente e senza conoscere l’identità degli altri. Ogni esperto invia all’ente che ha promosso la consultazione un proprio parere che illustra la soluzione prospettata per il problema. b. Un curatore raccoglie i contributi pervenuti e l’elenco dei risultati viene inviato in maniera anonima agli stessi esperti già interpellati nel primo “giro”, affinché possano esprimersi sulle proposte, indicando per esse i corrispondenti livelli di probabilità

La costruzione del piano come processo collaborativo: il Metodi Delphi(2)
c. La documentazione così formata viene di norma conservata e poi ritrasmessa, sempre in modo anonimo, dopo qualche tempo, agli stessi esperti per raccogliere eventuali osservazioni e/o rettifiche di aggiornamento. d. L’iterazione prosegue fino a quando si raggiunge una sostanziale convergenza di pareri. Va osservato che ad ogni iterazione una parte dei partecipanti può ritirarsi e nel qual caso le iterazioni devono essere conseguentemente ridotte.

Le tappe del Metodi Delphi (1)
1. Selezione degli esperti: individuare studiosi competenti, noti, disponibili anche con ricerca bibliografica 2. Reclutamento degli esperti: descrizione dell’oggetto di valutazione, decisore e mandatario; articolazione del Delphi e dei suoi round; tempi di lavoro; compenso previsto 3. Definizione prima traccia: il valutatore/ricercatore definisce i termini dell’oggetto di valutazione con alcune domande tematiche generali che consentano risposte argomentate 4. Invio prima traccia: il valutatore/ricercatore invia con lo strumento accordato la traccia e i termini per operare con il metodo 5. Primo intervallo: il valutatore/ricercatore attende le risposte, vagliando i ritardi per non favorire defezioni nella panelist 6. Secondo invio: dopo aver ricevuto le risposte, il valutatore/ricercatore le legge e sintetizza rilevando, specie per le questioni cruciali, le divergenze

Le tappe del Metodi Delphi (2)
7. Invio seconda traccia: il valutatore/ricercatore inserisce una sintesi prodotta sulla base delle risposte al primo round e focalizza aspetti più specifici in una seconda traccia 8. Secondo intervallo: il valutatore/ricercatore attende di nuovo le risposte, vagliando i ritardi – che aumenteranno - per non favorire defezioni nella panelist 9. Nuovi invii traccia: il valutatore/ricercatore raccoglie le ulteriori argomentazioni del secondo round e in passaggi successivi seleziona con metodo deduttivo gli elementi dirimenti dell’oggetto valutato fino ai particolari per arrivare alla stima di livelli di probabilità 10. Chiusura del panel: il valutatore/ricercatore prepara un report con i risultati del metodo applicato e ufficializza i nomi degli esoperti coinvolti, sebbene si tratti di outputs che non vanno diffusi all’esterno

Il Metodi Delphi: vantaggi e limiti
I vantaggi del Metodo Delphi sono: relativamente facile partecipazione di esperti anche lontani eliminazione di inconvenienti connessi al rischio di gelosie e/o prevaricazioni accademiche grazie alla privacy elaborazione di documenti scritti, nono alterabili con l’interpretazione I limiti del Metodo Delphi sono: il fondamentale ruolo del ricercatore nel “rilancio” deduttivo dei round propensione dei partecipanti a convergere verso soluzioni medie, indotte dalla ripetizione dei quesiti. i lunghi tempi di realizzazione

IL BRAINSTORMING Il questionario è uno strumento di misura, infatti si tratta di una schema di intervista altamente strutturata la cui funzione è quella di raccogliere in modo sistematico caratteristiche, comportamenti o opinioni dei rispondenti, ovvero le informazioni sulle variabili qualitative e quantitative oggetto dell’indagine. Inoltre, si definisce uno strumento di comunicazione, in quanto consente di facilitare l’interazione tra il ricercatore, il rilevatore e l’intervistato; oltre a ciò il questionario è uno strumento di comunicazione standardizzato: le informazioni raccolte devono essere confrontabili tra loro, pertanto le domande devono essere rivolte a tutti nella stessa forma e devono avere lo stesso significato per tutti i rispondenti. 48

Il brainstorming Tecnica per la generazione creativa di idee su un argomento prestabilito (trad. assalto mentale) necessita di un modo di operare ordinato e metodico permette di ottenere un gran numero di idee in un tempo breve particolarmente utile nella fase di identificazione di un problema da affrontare, nella ricerca delle cause e nella definizione delle soluzioni: COSA e non “come” o “perché”: ad es. “cosa costituisce la natura delle criticità oggetto di valutazione”? favorisce la coesione del gruppo ed il coinvolgimento attivo di tutti i partecipanti

Il brainstorming nella ricerca valutativa
Quale tecnica per la generazione creativa di idee richiede l’apporto di esperti specie nelle fasi costruttive della ricerca (domande valutative, esplorazione campo semantico ecc.) COSA costituisce il nucleo del problema valutato? Da cosa è composto? Quali ne sono gli indicatori? Il rischio dell’autoreferenzialità del gruppo Il ruolo “centrale” del facilitatore La focalizzazione degli aspetti da valutare

Tipologie di brainstorming (1)
BS “strutturato”= ciascuno deve esprimere la proprie idea a turno pro  spinge ognuno a partecipare contro  può portare contributi “forzati” e non spontanei

Tipologie di brainstorming (2)
BS “non strutturato” = ciascuno esprime la proprie idea senza rispettare turni pro  l’atmosfera generale è più rilassata contro  i meno estroversi possono rimanere un po’ “schiacciati”

Come preparare una sessione di brainstorming
Gruppo di persone in numero inferiore a 12 (limite inferiore 5) disposizione a ferro di cavallo così che tutti vedano tutti atmosfera distesa e desiderio di partecipare strumenti per scrivere e prendere appunti (se possibile lavagna visibile a tutti per redigere la “lista delle idee”)

Come preparare una sessione di brainstorming
Regole del BS note a tutti (eventualmente richiamate dal facilitatore) Chiara identificazione e spiegazione al gruppo del tema Durata limitata (max 2 ore)

Come condurre una sessione di brainstorming
Fissare in modo chiaro e non vago l’argomento Non criticare nessuna idea, né ragionarci sopra Andare a ruota libera (OK anche le idee pazze, perché possono essere lo spunto per generarne altre di valide) Obiettivo: massima quantità di idee generate, non qualità Trascrivere ogni idea, anche se esposta in altro modo

Come condurre una sessione di brainstorming
Lista delle idee visibile a tutti No al “mattatore” Prima fase creativa del BS: esplorazione campo semantico con trascrizione pubblica delle idee Seconda fase classificatoria del BS: riunione in insiemi o famiglie/votare le idee per focalizzare i concetti in grandi gruppi tematici Terza fase sintetica del BS: sintetizzare gli insiemi nelle indicazioni più pertinenti eliminando le altre/comparare i voti

Il caso: i problemi individuati da una classe in relazione all’apprendimento in un corso di formazione 1. Novità degli argomenti 2. Difficoltà confronto con altri partecipanti 3. Costanza nello studio 4. Distanza argomenti con propria realtà 5. Tempo 6. Carenza materiale didattico 7. Mancanza simulazioni esame finale 8. Teoricità alcuni argomenti 9. Difficile seguire argomenti che richiedono determinate conoscenze di base 10. Scarsa focalizzazione dei concetti 11. Mancanza di programma dettagliato di tutto il corso 12. Poca finalizzazione su argomenti di proprio interesse in azienda 13. Mancanza filo logico

Un esempio: i problemi individuati da una classe in relazione all’apprendimento in un corso di formazione 14. Difficoltà di memorizzare norme, concetti non maggiormente approfonditi 15. Poche esercitazioni 16. Necessità di legare concetti teorici ad aspetti applicativi 17. Mancanza di individuazione degli argomenti più importanti 18. Poca capacità di sintesi nello studio 19. Insegnamento non omogeneo 20. Distanza fase aula da fase studio a casa 21. Materiale didattico ripetitivo e non integrativo della lezione 22. Scarso approfondimento di alcuni argomenti 23. Poca applicabilità alla propria realtà 24. Difficoltà ad apprendere un terminologia tecnica 25. Insufficienti conoscenze di base di alcune tematiche

Un esempio: i problemi individuati da una classe in relazione all’apprendimento in un corso di formazione 26. Aula differenziata per le conoscenze di base 27. Scarsa applicazione degli strumenti alla realtà 28. Mancanza nel materiale didattico di specifici esercizi di apprendimento 29. Linguaggio in alcune dispense poco chiaro 30. Scarso collegamento fra gli argomenti 31. Stesso docente per stessa materia provoca noia 32. Scarsa applicazione guidata 33. Scarso stimolo all’apprendimento 34. Ritmo espositivo diverso dei docenti 35. Insufficiente discussione risultati prova d’esame finale 36. Poca chiarezza obiettivi di studio (esame o professionalità) 37. Dicotomia obiettivi (docente, discenti, azienda)

Lo strumento del Voto Permette di effettuare la scelta fra le proposte presentate dai partecipanti ad un gruppo Il voto è tipicamente usato in circostanze quali: la scelta del problema da affrontare la selezione delle cause sulle quali investigare la decisione riguardo alle soluzioni da adottare

Possibili modalità di votazione
A) Voto semplice B) Voto ponderato

Voto semplice Procedura:
votare individualmente 3 soggetti (o un qualsiasi altro numero prefissato) fra tutti quelli presenti classificare i soggetti in base al punteggio ottenuto

I problemi del reparto Argomenti Voti totale
Obiettivi troppo ambiziosi || 2 Ritmi di produzione eccessivi ||||| 5 Scarsa motivazione del personale III 3 Lontananza da altri reparti IIIII II 7 Logistica interna inadeguata II Carenza di personale IIIII III 8

Voto ponderato Procedura:
votare individualmente 3 soggetti (o un qualsiasi altro numero prefissato) fra tutti quelli presentati, assegnando un punteggio da 1 a 3 in ordine di importanza crescente classificare i soggetti in base al punteggio ottenuto

I problemi del reparto

Brainstorming “Migliorare l’arrivo del paziente nel Servizio di Endoscopia Digestiva”
Appuntamenti con orari più precisi Maggiore professionalità Migliorare la conoscenza della burocrazia Spiegare come avviene l’esame Assenza di procedure scritte per l’accoglienza Assenza di un locale per l’accoglienza Assenza di un locale separato per maschi e femmine per preparazione all’esecuzione della colonscopia Mancanza di una persona dedicata all’accoglimento Spiegazione come avviene la preparazione per la colonscopia

Voto ponderato Argomenti Voti totale
Appuntamenti con orari più precisi 2+1 3 Migliorare la conoscenza della burocrazia 2+3+3 8 Spiegare come avviene l’esame 6 Assenza di procedure scritte per l’accoglienza 11 Spiegare come avviene la preparazione per la colonscopia 1+1 2

Assenza di procedure scritte per l’accoglienza
personale metodiche Assenza di procedure Medici di Medic. Generale poco collaboranti Mancanza di formazione I.P. Assenza di avvisi per i pazienti Assenza di lavagna per novità Carichi di lavoro elevati Impegnative incomplete Modulistica complessa Disagio del paziente All’ingresso Utenti non informati Utenti stranieri Utenti anziani Mancanza di locale per l’accoglienza Tipologia utenza struttura

APPROCCI E TECNICHE DI VALUTAZIONE

Presentazioni simili

Presentazione sul tema: "APPROCCI E TECNICHE DI VALUTAZIONE"— Transcript della presentazione:

Presentazioni simili

Sul progetto

Feed-back

Entrare

Autorizzarsi attraverso i social network:

APPROCCI E TECNICHE DI VALUTAZIONE

Presentazioni simili

Presentazione sul tema: "APPROCCI E TECNICHE DI VALUTAZIONE"— Transcript della presentazione:

Presentazioni simili

Sul progetto

Feed-back