La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

APPROCCI E TECNICHE DI VALUTAZIONE Lezione del 13 e 14, 21 e 27 novembre 2014.

Presentazioni simili


Presentazione sul tema: "APPROCCI E TECNICHE DI VALUTAZIONE Lezione del 13 e 14, 21 e 27 novembre 2014."— Transcript della presentazione:

1 APPROCCI E TECNICHE DI VALUTAZIONE Lezione del 13 e 14, 21 e 27 novembre 2014

2 IL QUESTIONARIO

3 Perché la ricerca valutativa usa il questionario con un vasto numero di persone da intervistare, selezionate con la tecnica del campionamento, per un’adeguata rappresentatività può favorire un’efficace analisi dei bisogni e la valutazione di impatti e risultati della ricerca per esplorare il parere dei beneficiari ex post per oggetti di ricerca dal forte impatto sociale per misurare la qualità dei servizi valutata ex ante, in itinere ed ex post per conoscere il grado di soddisfazione del cliente e/o la percezione soggettiva rispetto all’oggetto della ricerca

4 Definizione e obiettivi Cos’è un questionario Uno «strumento di misura» raccoglie in modo sistematico caratteristiche, comportamenti o opinioni dei rispondenti Uno «strumento di comunicazione standardizzato» facilita l’interazione tra ricercatore, rilevatore e intervistato le domande sono rivolte a tutti nella stessa forma le domande hanno lo stesso significato per tutti i rispondenti

5 La progettazione del questionario prima fase: definizione degli obiettivi e concettualizzazione seconda fase: redazione del questionario terza fase: verifica del questionario

6 La progettazione del questionario: prima fase La definizione degli obiettivi e concettualizzazione documentarsi sull’argomento individuare delle variabili da raccogliere rispetto ai temi d’interesse identificare i destinatari del questionario

7 La redazione del questionario prevedere la successione logica dei temi trattati preservare l’anonimato degli intervistati verificare l’opportunità di introdurre rispetto anche a questionari realizzati con tecniche CATI e CAWI: Domande filtro Domande di controllo Domande retrospettive Quesiti su temi delicati La progettazione del questionario: seconda fase

8 Prevedere la successione logica dei temi trattati predisporre una sequenza di domande che riguardano lo stesso argomento, evitando di tornare su argomenti già trattati, inoltre fare in modo che i quesiti seguano un percorso logico e coerente le domande poste devono essere collocate in modo che non condizionino le risposte a domande successive impostare la successione degli argomenti/temi in modo da non creare salti radicali La progettazione del questionario: la redazione

9 Prevedere la successione logica dei temi trattati la successione a imbuto: si passa da domande generali a domande particolari la successione ad imbuto rovesciato: si antepongono le domande specifiche a quelle più generali

10 La progettazione del questionario: la redazione Verificare l’opportunità di introdurre le domande filtro dalla risposta alla domanda filtro dipendono diverse sezioni del questionario la domanda o le domande successive alla domanda filtro entrano talmente nel dettaglio da diventare frustranti per chi non possiede i requisiti per rispondere diventa uno strumento per non condizionare la risposta (in quanto in caso contrario c’è il rischio che chi si trova a dover rispondere ad una domanda “non pertinente” possa rispondere a caso)

11 La progettazione del questionario: la redazione Verificare l’opportunità di introdurre le domande di controllo per verificare la coerenza e l’attendibilità di una risposta data in precedenza si inseriscono a opportuna distanza dalle domande che si vogliono verificare presentano lo stesso quesito che si vuole verificare, formulato in modo diverso

12 La progettazione del questionario: la redazione Verificare l’opportunità di introdurre le domande retrospettive quando si vogliono richiamare alla memoria del rispondente fatti avvenuti nel passato collocarli verso la metà del questionario hanno lo scopo di sollecitare la memoria senza influenzare i ricordi suggerimenti: ridurre l’intervallo di riferimento della domanda porre una batteria di domande per collocare a livello temporale i ricordi proporre un buon numero di alternative di risposta per sollecitare la memoria ricorrere a un diario

13 Verificare l’opportunità di introdurre i quesiti su temi delicati ad esempio quando si fanno domande su uso di droghe o su comportamenti violenti subiti porre queste domande verso la fine del questionario quando si è instaurato un clima di fiducia tra intervistatore e rispondente La progettazione del questionario: la redazione

14 Formulazione dei quesiti: il linguaggio tenendo conto dell’argomento su cui si vuole indagare e la popolazione oggetto di indagine usare termini semplici evitare termini tecnici usare termini precisi usare domande dirette brevi evitare espressioni in negativo non influenzare la risposta alle domande fare esempi per chiarire la corretta interpretazione delle domande

15 Formulazione dei quesiti: la preparazione delle domande Stabilire quanta libertà lasciare all’intervistato: Domande aperte (a risposta libera) lasciano all’intervistato la possibilità di esprimersi nella forma che preferisce, utilizzando parole proprie Domande chiuse (a risposta fissa predefinita) prevedono a priori delle alternative di risposte predefinite (spesso i questionari sono AUTOSOMMINISTRATI) Domande semiaperte (a risposta mista) prevedono un insieme di possibili risposte già fissate e poi un’ultima risposta con la modalità «altro (specificare)» a risposta semplice a risposta multipla La progettazione del questionario: la redazione

16 Formulazione dei quesiti: domande aperte I vantaggi minimo rischio di condizionare la risposta uniche domande possibili quando il fenomeno indagato non si conosce bene utili nel trattare argomenti delicati

17 La progettazione del questionario: la redazione Formulazione dei quesiti: domande aperte Gli svantaggi: alti costi e lunghi tempi per la codifica delle risposte elevato rischio di errore nella registrazione delle risposte da parte degli intervistatori necessità di personale addestrato affinché non ci sia distorsione nell’interpretazione delle risposte maggiore sforzo di elaborazione da parte del rispondente la qualità delle risposte fornite è funzione del livello culturale del rispondente

18 La progettazione del questionario: la redazione Formulazione dei quesiti: domande aperte Quando usarle per la messa a punto del questionario definitivo nei sondaggi sulle opinioni, gli atteggiamenti e le motivazioni quando si prevedono risposte quantitative (età, reddito, ecc) quando le risposte sono molto variegate (luogo di nascita, attività lavorativa, ecc)

19 La progettazione del questionario: la redazione Formulazione dei quesiti: domande chiuse I vantaggi riduzione tempi di codifica, che è effettuata direttamente sul campo riduzione degli errori di codifica e dei tempi di elaborazione riduzione degli errori di trascrizione degli intervistatori sollecitano la memoria facilitano il rispondente

20 La progettazione del questionario: la redazione Formulazione dei quesiti: domande chiuse Gli svantaggi se la lista delle risposte è lunga, l’ordine con cui vengono lette le risposte può influenzare gli intervistati possono indurre a fare scelte non molto ragionate soprattutto quando le domande riguardano opinioni, motivazioni o atteggiamenti l’elenco delle risposte potrebbe non coprire tutti i casi possibili, inducendo il rispondente su una risposta di ripiego oppure a non rispondere

21 La progettazione del questionario: la redazione Formulazione dei quesiti: domande semiaperte Per godere dei vantaggi delle domande aperte e chiuse: si formula la domanda che prevede un insieme di possibili risposte già codificate e poi un’ultima risposta con l’opzione «altro (specificare)»

22 Formulazione dei quesiti: cosa domandare Individuare delle macro-tipologie di domande: domande di struttura domande di contesto domande di scopo La progettazione del questionario: la redazione

23 La progettazione del questionario: la terza fase La verifica del questionario il pre-test il test delle alternative l’indagine pilota

24

25

26

27 Indagine Aspetti della vita quotidiana Istat

28

29 Indagine Aspetti della vita quotidiana - Istat Diventa uno strumento per non condizionare la risposta

30 IL FOCUS GROUP

31 Il focus group è una tecnica di rilevazione per la ricerca sociale Non è un’ intervista ma  elaborazione approfondita, da parte di un piccolo numero di persone, di un tema proposto da un moderatore  attraverso una libera discussione (di gruppo) Ciò che importa è sia cosa ogni membro risponde o dice, sia come i membri interagiscono verbalmente tra loro nel fornire risposte Il focus group è considerato una tecnica di ricerca qualitativa (non fa ricorso a tecniche di analisi statistica)  E’ sempre condotto da un moderatore (facilitatore) con un gruppo di 6/9 individui, supportato da un tutor che prende appunti Che cos’è il focus group

32 Il focus group è una tecnica di rilevazione per la ricerca sociale e come le altre non può dirsi una tecnica valutativa Può essere efficace: nelle fasi iniziali di una ricerca valutativa per orientare un valutatore poco esperto o alle prese con un caso complesso/inedito quale tecnica principale fra quelle utilizzare nella fase metodologica per poter coinvolgere gli stakeholders rapidamente e in senso partecipativo nelle fasi conclusive di un percorso valutativo per verificare i risultati ottenuti con questo gruppo di confronto, magari di esperti per favorire l’incontro e il confronto fra stakeholders che non si conoscono o sono in opposizione di vedute, ottenendo anche una finalità formativa rispetto all’oggetto di valutazione Perché si usa il focus group in ricerca valutativa

33 Il focus group può essere utilizzato  nelle fasi esplorative e preliminari di ricerche standard (acquisire familiarità con un tema) Permette di formulare delle ipotesi da sottoporre poi a controllo empirico Permette di costruire il questionario quantitativo  Trovare concetti vicini alla vita dei soggetti  Includere aspetti importanti del tema per il target  Utilizzare il linguaggio utilizzato dal target Finalità del focus group

34 Le risposte fornite dal focus group non sono generalizzabili, anche se… Il compito del focus è quello di mostrare la complessità e le modalità di funzionamento di un determinato fenomeno/ tema presso un certo target Si sopperisce ai limiti del focus integrandolo all’interno di un disegno di ricerca dove si compongono tecniche di rilevazione diverse  maggiore affidabilità dei risultati La validità dei risultati

35 Il setting Luogo neutro, cercare di creare una situazione distesa di conversazione Durata di circa 1h 30’ Le persone che partecipano devono appartenere al target di riferimento I partecipanti non devono conoscersi tra loro

36 Il moderatore del focus deve prendersi carico della dinamica, saperla gestire, sollecitare e contenere, pena la perdita di controllo del focus stesso fino alla sua possibile degenerazione Il moderatore deve costantemente tener presente  Gli obiettivi che deve raggiungere  I tempi del gruppo  Che cosa sta capitando nel gruppo e al gruppo TUTOR Stanno parlando tutti? Chi parla di più, chi di meno? Che ruolo hanno i partecipanti? Ci sono delle fazioni? Che relazione sta instaurando il moderatore con tutti loro? Che ruolo ricopre? … La dinamica del focus group

37 La discussione di gruppo deve avvenire nel modo più libero e aperto possibile (“Questa sera parleremo di … che cosa si può dire? …”)  Il moderatore “focalizza” l’argomento ma …  … evita di “forzare” lo sviluppo della discussione con un intervento in un determinata direzione Come?  Tacendo…  Con la tecnica del “rilancio”  Evitando di esprimere opinioni personali o di appoggiare una tesi o un’altra emersa nel gruppo (tutti hanno ragione)  Chiarificare le diverse posizioni e non giudicarle  il riepilogo Conduzione non direttiva

38 UN GRUPPO E’ RIUSCITO QUANDO IL MODERATORE NON SERVE PIU’ ALLA DISCUSSIONE Il moderatore non è l’interlocutore dei partecipanti ma colui che facilita il passaggio e la circolazione della parola Il moderatore “corregge” gli intervistati non sul piano dei contenuti ma sui modi in cui le cose che gli intervistati dicono agiscono nel gruppo Il moderatore deve contenere i “leader” e far parlare chi non parla Struttura del gruppo e ruoli

39 Andamento “ad imbuto”  Prima parte  più libera, aperta, spontanea Seconda parte  più strutturata, chiusa, sollecitata L’apertura come warm up  Conoscenza sommaria dei partecipanti (ci si fa un’idea di con chi si ha a che fare)  Esplicitazione delle regole e consegna del tema Criteri guida per la stesura di una guida (1)

40 La prima parte  Il tema in generale: “questa sera parleremo di … cosa si può dire? …” DISCUSSIONE SPONTANEA dove il moderatore si limita a rilanciare La seconda parte  Fase di razionalizzazione  Necessità di scendere nello specifico, raggiungendo obiettivi più analitici e focalizzando aspetti di dettaglio Criteri guida per la stesura di una guida (2)

41 1- definire il FOCUS del dialogo 2- definire i PARTECIPANTI 3- scegliere il LUOGO 4- fare un PIANO dello svolgimento:  - DURATA prevista  - preparare almeno 10 DOMANDE  - assegnare RUOLI e funzioni ai collaboratori 5- scegliere come REGISTRARE i dati raccolti:  - video tape  - registrazione audio Fasi di progettazione di un focus group

42 IL METODO DELPHI

43 La costruzione del piano come processo collaborativo: il Metodi Delphi(1) Si tratta di una tecnica di ricerca valutativa deduttiva basata sulla raccolta di pareri esperti chiamati a fornire consulenza su temi specifici con funzione “oracolare” a. I pareri, a differenza di quel che accade nel brainstorming, vengono raccolti separatamente e senza conoscere l’identità degli altri. Ogni esperto invia all’ente che ha promosso la consultazione un proprio parere che illustra la soluzione prospettata per il problema. b. Un curatore raccoglie i contributi pervenuti e l’elenco dei risultati viene inviato in maniera anonima agli stessi esperti già interpellati nel primo “giro”, affinché possano esprimersi sulle proposte, indicando per esse i corrispondenti livelli di probabilità

44 c. La documentazione così formata viene di norma conservata e poi ritrasmessa, sempre in modo anonimo, dopo qualche tempo, agli stessi esperti per raccogliere eventuali osservazioni e/o rettifiche di aggiornamento. d. L’iterazione prosegue fino a quando si raggiunge una sostanziale convergenza di pareri. Va osservato che ad ogni iterazione una parte dei partecipanti può ritirarsi e nel qual caso le iterazioni devono essere conseguentemente ridotte. La costruzione del piano come processo collaborativo: il Metodi Delphi(2)

45 Le tappe del Metodi Delphi (1) 1. Selezione degli esperti: individuare studiosi competenti, noti, disponibili anche con ricerca bibliografica 2. Reclutamento degli esperti: descrizione dell’oggetto di valutazione, decisore e mandatario; articolazione del Delphi e dei suoi round; tempi di lavoro; compenso previsto 3. Definizione prima traccia: il valutatore/ricercatore definisce i termini dell’oggetto di valutazione con alcune domande tematiche generali che consentano risposte argomentate 4. Invio prima traccia: il valutatore/ricercatore invia con lo strumento accordato la traccia e i termini per operare con il metodo 5. Primo intervallo: il valutatore/ricercatore attende le risposte, vagliando i ritardi per non favorire defezioni nella panelist 6. Secondo invio: dopo aver ricevuto le risposte, il valutatore/ricercatore le legge e sintetizza rilevando, specie per le questioni cruciali, le divergenze

46 Le tappe del Metodi Delphi (2) 7. Invio seconda traccia: il valutatore/ricercatore inserisce una sintesi prodotta sulla base delle risposte al primo round e focalizza aspetti più specifici in una seconda traccia 9. Nuovi invii traccia: il valutatore/ricercatore raccoglie le ulteriori argomentazioni del secondo round e in passaggi successivi seleziona con metodo deduttivo gli elementi dirimenti dell’oggetto valutato fino ai particolari per arrivare alla stima di livelli di probabilità 10. Chiusura del panel: il valutatore/ricercatore prepara un report con i risultati del metodo applicato e ufficializza i nomi degli esoperti coinvolti, sebbene si tratti di outputs che non vanno diffusi all’esterno 8. Secondo intervallo: il valutatore/ricercatore attende di nuovo le risposte, vagliando i ritardi – che aumenteranno - per non favorire defezioni nella panelist

47 I vantaggi del Metodo Delphi sono: relativamente facile partecipazione di esperti anche lontani eliminazione di inconvenienti connessi al rischio di gelosie e/o prevaricazioni accademiche grazie alla privacy elaborazione di documenti scritti, nono alterabili con l’interpretazione I limiti del Metodo Delphi sono: il fondamentale ruolo del ricercatore nel “rilancio” deduttivo dei round propensione dei partecipanti a convergere verso soluzioni medie, indotte dalla ripetizione dei quesiti. i lunghi tempi di realizzazione Il Metodi Delphi: vantaggi e limiti

48 IL BRAINSTORMING

49 Il brainstorming Tecnica per la generazione creativa di idee su un argomento prestabilito (trad. assalto mentale) necessita di un modo di operare ordinato e metodico permette di ottenere un gran numero di idee in un tempo breve particolarmente utile nella fase di identificazione di un problema da affrontare, nella ricerca delle cause e nella definizione delle soluzioni: COSA e non “come” o “perché”: ad es. “cosa costituisce la natura delle criticità oggetto di valutazione”? favorisce la coesione del gruppo ed il coinvolgimento attivo di tutti i partecipanti

50 Il brainstorming nella ricerca valutativa Quale tecnica per la generazione creativa di idee richiede l’apporto di esperti specie nelle fasi costruttive della ricerca (domande valutative, esplorazione campo semantico ecc.) COSA costituisce il nucleo del problema valutato? Da cosa è composto? Quali ne sono gli indicatori? Il rischio dell’autoreferenzialità del gruppo Il ruolo “centrale” del facilitatore La focalizzazione degli aspetti da valutare

51 Tipologie di brainstorming (1) BS “strutturato”= ciascuno deve esprimere la proprie idea a turno pro  spinge ognuno a partecipare contro  può portare contributi “forzati” e non spontanei

52 BS “non strutturato” = ciascuno esprime la proprie idea senza rispettare turni pro  l’atmosfera generale è più rilassata contro  i meno estroversi possono rimanere un po’ “schiacciati” Tipologie di brainstorming (2)

53 Come preparare una sessione di brainstorming Gruppo di persone in numero inferiore a 12 (limite inferiore 5) disposizione a ferro di cavallo così che tutti vedano tutti atmosfera distesa e desiderio di partecipare strumenti per scrivere e prendere appunti (se possibile lavagna visibile a tutti per redigere la “lista delle idee”)

54 Come preparare una sessione di brainstorming Regole del BS note a tutti (eventualmente richiamate dal facilitatore) Chiara identificazione e spiegazione al gruppo del tema Durata limitata (max 2 ore)

55 Come condurre una sessione di brainstorming Fissare in modo chiaro e non vago l’argomento Non criticare nessuna idea, né ragionarci sopra Andare a ruota libera (OK anche le idee pazze, perché possono essere lo spunto per generarne altre di valide) Obiettivo: massima quantità di idee generate, non qualità Trascrivere ogni idea, anche se esposta in altro modo

56 Come condurre una sessione di brainstorming Lista delle idee visibile a tutti No al “mattatore” Prima fase creativa del BS: esplorazione campo semantico con trascrizione pubblica delle idee Seconda fase classificatoria del BS: riunione in insiemi o famiglie/votare le idee per focalizzare i concetti in grandi gruppi tematici Terza fase sintetica del BS: sintetizzare gli insiemi nelle indicazioni più pertinenti eliminando le altre/comparare i voti

57 Il caso: i problemi individuati da una classe in relazione all’apprendimento in un corso di formazione 1. Novità degli argomenti 2. Difficoltà confronto con altri partecipanti 3. Costanza nello studio 4. Distanza argomenti con propria realtà 5. Tempo 6. Carenza materiale didattico 7. Mancanza simulazioni esame finale 8. Teoricità alcuni argomenti 9. Difficile seguire argomenti che richiedono determinate conoscenze di base 10. Scarsa focalizzazione dei concetti 11. Mancanza di programma dettagliato di tutto il corso 12. Poca finalizzazione su argomenti di proprio interesse in azienda 13. Mancanza filo logico

58 Un esempio: i problemi individuati da una classe in relazione all’apprendimento in un corso di formazione 14. Difficoltà di memorizzare norme, concetti non maggiormente approfonditi 15. Poche esercitazioni 16. Necessità di legare concetti teorici ad aspetti applicativi 17. Mancanza di individuazione degli argomenti più importanti 18. Poca capacità di sintesi nello studio 19. Insegnamento non omogeneo 20. Distanza fase aula da fase studio a casa 21. Materiale didattico ripetitivo e non integrativo della lezione 22. Scarso approfondimento di alcuni argomenti 23. Poca applicabilità alla propria realtà 24. Difficoltà ad apprendere un terminologia tecnica 25. Insufficienti conoscenze di base di alcune tematiche

59 Un esempio: i problemi individuati da una classe in relazione all’apprendimento in un corso di formazione 26. Aula differenziata per le conoscenze di base 27. Scarsa applicazione degli strumenti alla realtà 28. Mancanza nel materiale didattico di specifici esercizi di apprendimento 29. Linguaggio in alcune dispense poco chiaro 30. Scarso collegamento fra gli argomenti 31. Stesso docente per stessa materia provoca noia 32. Scarsa applicazione guidata 33. Scarso stimolo all’apprendimento 34. Ritmo espositivo diverso dei docenti 35. Insufficiente discussione risultati prova d’esame finale 36. Poca chiarezza obiettivi di studio (esame o professionalità) 37. Dicotomia obiettivi (docente, discenti, azienda)

60 Lo strumento del Voto Permette di effettuare la scelta fra le proposte presentate dai partecipanti ad un gruppo Il voto è tipicamente usato in circostanze quali:  la scelta del problema da affrontare  la selezione delle cause sulle quali investigare  la decisione riguardo alle soluzioni da adottare

61 Possibili modalità di votazione A)Voto semplice B)Voto ponderato

62 Voto semplice Procedura: votare individualmente 3 soggetti (o un qualsiasi altro numero prefissato) fra tutti quelli presenti classificare i soggetti in base al punteggio ottenuto

63 I problemi del reparto ArgomentiVotitotale Obiettivi troppo ambiziosi || 2 Ritmi di produzione eccessivi ||||| 5 Scarsa motivazione del personale III3 Lontananza da altri reparti IIIII II7 Logistica interna inadeguata II2 Carenza di personale IIIII III8

64 Voto ponderato Procedura: votare individualmente 3 soggetti (o un qualsiasi altro numero prefissato) fra tutti quelli presentati, assegnando un punteggio da 1 a 3 in ordine di importanza crescente classificare i soggetti in base al punteggio ottenuto

65 I problemi del reparto

66 Brainstorming “Migliorare l’arrivo del paziente nel Servizio di Endoscopia Digestiva” Appuntamenti con orari più precisi Maggiore professionalità Migliorare la conoscenza della burocrazia Spiegare come avviene l’esame Assenza di procedure scritte per l’accoglienza Assenza di un locale per l’accoglienza Assenza di un locale separato per maschi e femmine per preparazione all’esecuzione della colonscopia Mancanza di una persona dedicata all’accoglimento Spiegazione come avviene la preparazione per la colonscopia

67 Voto ponderato ArgomentiVotitotale Appuntamenti con orari più precisi Migliorare la conoscenza della burocrazia Spiegare come avviene l’esame Assenza di procedure scritte per l’accoglienza Spiegare come avviene la preparazione per la colonscopia 1+12

68 Assenza di procedure scritte per l’accoglienza Disagio del paziente All’ingresso personale metodiche Tipologia utenza struttura Mancanza di formazione I.P. Carichi di lavoro elevati Medici di Medic. Generale poco collaboranti Assenza di avvisi per i pazienti Modulistica complessa Assenza di procedure Assenza di lavagna per novità Impegnative incomplete Utenti non informati Utenti anziani Utenti stranieri Mancanza di locale per l’accoglienza


Scaricare ppt "APPROCCI E TECNICHE DI VALUTAZIONE Lezione del 13 e 14, 21 e 27 novembre 2014."

Presentazioni simili


Annunci Google