La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

Valutazione in educazione sanitaria Pio Russo Krauss Responsabile Educazione Sanitaria ASL Napoli 1 Centro.

Presentazioni simili


Presentazione sul tema: "Valutazione in educazione sanitaria Pio Russo Krauss Responsabile Educazione Sanitaria ASL Napoli 1 Centro."— Transcript della presentazione:

1 Valutazione in educazione sanitaria Pio Russo Krauss Responsabile Educazione Sanitaria ASL Napoli 1 Centro

2 Finalità della valutazione verificare se lintervento si è svolto o si sta svolgendo come programmato sapere se l'intervento ha raggiunto i suoi obiettivi, se è stato utile, inutile o nocivo conoscere se i risultati conseguiti sono commisurati alle risorse impiegate verificare laccoglienza e il gradimento da parte degli operatori, dei soggetti coinvolti, dei destinatari, della committenza o di altri soggetti individuare gli eventuali elementi utili, superflui e nocivi dell'intervento valutare se un intervento da svolgere è presumibilmente pertinente, coerente, fattibile, efficace, opportuno, efficiente

3 Parole diverse significati differenti PRODOTTO: avere realizzato ciò che pensavamo servisse per ottenere il risultato e lesito desiderato (es. dare a tutti i pediatri formazione e materiale educativo per i pazienti; dare a tutte le scuole formazione per gli insegnanti, programmazioni educative, materiali didattici, interventi da parte di esperti e consulenza) RISULTATO: effetto realizzatosi grazie alla collaborazione del target intermedio e/o finale (es. i pediatri svolgono in maniera migliore la loro funzione di educatori sanitari; gli studenti hanno migliori conoscenze su come alimentarsi correttamente e su quanta attività fisica fare). ESITO: benefici per il target finale e/o per la comunità (es. i bambini fanno unalimentazione più corretta; gli studenti fanno più attività fisica e mangiano meno snack; il Comune aumenta le zone pedonali e le aeree per lo sport). IMPATTO: beneficio di salute nella popolazione (es. diminuisce la percentuale di soggetti obesi; diminuisce lincidenza dellinfarto). Dipende dal progetto ma anche da molti altri fattori

4 oggettiva, soggettiva, semioggettiva valutazione di processo valutazione defficacia (risultato/esito/impatto) valutazione economica: - valutazione costo/efficacia - costo/utilità - costo/benefici valutazione di gradimento valutazione a priori (ex ante)

5 Valutazione di processo Ha il fine di conoscere come effettivamente si è svolto o si sta svolgendo l'intervento (valutazione interna) Solitamente è in itinere per potere attuare il controllo di gestione (Come si sta svolgendo il progetto?) Sono state svolte le riunioni programmate? Quante persone vi hanno partecipato? Cosa hanno prodotto? E stato preparato il materiale didattico nei tempi e modi previsti? Se no per quali motivi? Le unità didattiche sono state svolte nei modi e tempi previsti dai soggetti individuati? Se no per quali motivi? Ecc.

6 Valutazione defficacia Verifica dei risultati conseguiti (valutazione esterna), dellefficacia: Obiettivi di salute Obiettivi di comportamento Obiettivi di atteggiamento Obiettivi cognitivi (conoscenze, competenze ecc.)

7 Valutazione economica Nella valutazione economica si rapportano gli output agli input (valutazione dellefficienza) valutazione costi/efficacia: output espressi in unità fisiche (riduzione della mortalità, della morbilità, anni di vita guadagnati, giorni di malattia evitati ecc.) valutazione costi/utilità: output espressi in unità di misura di salute come giorni di salute, anni di vita aggiustati per la qualità (QALYs) valutazione costi/benefici: output espressi in unità monetarie

8 Valutazione di gradimento Serve a verificare come uniniziativa è stata accolta, se i soggetti coinvolti, gli operatori, la committenza, hanno gradito o meno lintervento Il gradimento di un intervento è solitamente una condizione necessaria, anche se non sufficiente, per lefficacia educativa

9 Valutazione analitica struttura organizzativa strategia educativa materiale didattico personale (gli educatori, gli organizzatori ecc.) destinatari dell'intervento il contesto dell'intervento

10 Valutazione a priori (ex ante) Nella valutazione a priori si analizza lipotesi di intervento alla luce del contesto nel quale deve essere realizzato, delle acquisizioni della ricerca scientifica e di un sistema di riferimento teorico

11 Griglia per la valutazione a priori coerenza agli obiettivi strategici (aziendali, regionali) coerenza tra motivazione del progetto e obiettivi; coerenza tra obiettivi, contenuti e azioni; coerenza tra obiettivi educativi e metodologie e tecniche educative coerenza tra attori e attività disponibilità delle risorse occorrenti (costi) realizzabilità e accettabilità delle azioni previste risultati attesi presunzione di efficacia (diretta, indiretta) efficienza in rapporto ad altri possibili interventi definizione di strumenti e procedure per la valutazione di processo flessibilità in caso di imprevisti definizione di strumenti e procedure per la valutazione desito e di gradimento sostenibilità equità

12 Cronogramma di un intervento Preparazione materiale didattico Stampa materiale Formazione operatori 1° liv Formazione insegnanti Test ingresso Itinerario didattico Incontri con insegnanti Digitazione dati Incontri con genitori Test uscita Elaborazione dati

13 Metodologia valutativa determinazione delloggetto del controllo (decidere cosa si vuole valutare e perché) misurazione: a) scelta di strumenti di misurazione b) utilizzazione degli strumenti mediante procedure c) registrazione dei risultati d) lettura dei risultati; valutazione propriamente detta: e) confronto del risultato ottenuto con criteri f) espressione di un giudizio.

14 Controllo della temperatura Interrogazionefunzioni delle operazioni FASI DELLA VALUTAZIONE Si decide di controllare la temperatura Si stabilisce su quali parti del programma interrogare gli studenti, determinazione delloggetto del controllo DETERMINAZIONE DELLOGGETTO DEL CONTROLLO Si utilizzano termometri adatti Si formulano le domande scelta di uno strumento MISURAZIONE Si seguono procedure codificate Si interroga usando un dato tono di voce, un dato tempo ecc. utilizzazione dello strumento mediante procedure Si annota la temperatura Si ricordano le risposte date registrazione dei risultati Si leggono i risultati Si considerano i risultati lettura dei risultati Si giudicano i risultati (cosa dice la letteratura scientifica) Si giudica se gli studenti hanno risposto in modo soddisfacente confronto del risultato ottenuto con criteri codificati VALUTAZONE Si esprime un giudizio sullo stato di salute del paziente Si esprime un giudizio sulla preparazione espressione di un giudizio tramite un codice

15 La misurazione deve essere valida, riproducibile, precisa, accurata, omogenea, non ambigua, fedele Validità: accordo tra ciò che si misura o osserva (lindicatore) e ciò che è in realtà Riproducibilità è laffidabilità nel tempo e nello spazio della misura. E direttamente proporzionale a precisione e accuratezza Precisione scostamento dalla media dei diversi valori misurati. Accuratezza scostamento della media dei valori misurati dal valore vero.

16 Questa misurazione come è? Valore vero Curva dei risultati delle misurazioni

17 Questa misurazione come è? Valore vero Curva dei risultati delle misurazioni

18 omogeneità gli strumenti e le procedure devono essere gli stessi oppure devono essere il più possibile standardizzati non ambiguità si deve misurare un solo elemento in maniera tale che linterpretazione della misurazione sia chiara e univoca fedeltà in fase di registrazione e lettura riportare esattamente ciò che si è misurato, senza errori

19 Tipologie di strumenti per misurare il comportamento 1) il comportamento è riferito dal soggetto : interviste, questionari, test 2) il comportamento è rilevato da un osservatore : osservazione conosciuta dal soggetto (osservatore visibile), osservazione ignorata dal soggetto (osservatore nascosto); con o senza registrazione (video); libera o strutturata (con una griglia stabilita che guida losservazione). 3) il comportamento è rilevato tramite tracce (indicatori).

20 ESEMPIO Igiene orale - oggetto del controllo: 1) lavarsi i denti dopo i pasti, 2) lavarsi i denti in modo corretto Questionario: ti lavi i denti dopo i pasti? Quante volte ti sei lavato i denti ieri? Quando ti sei lavato i denti ieri? Osservatore che osserva se e come si lava i denti: la maestra a scuola (ob. 1), ass. sanitario che osserva come si lava i denti (ob.2) Traccia: quanti bambini si sono portati lo spazzolino in una gita; quantità di placca batterica presente sulla superficie dei denti

21 Coefficiente di Spearman della correlazione tra le risposte ad alcune domande del questionario e lestensione della placca sia in ingresso che in uscita (*) DOMANDAINGRESSO USCITA QUANTE VOLTE AL GIORNO TI LAVI I DENTI? QUANDO CAMBI LO SPAZZOLINO? I TUOI GENITORI TI DICONO DI LAVARE I DENTI? MANGI CARAMELLE TRA UN PASTO E LALTRO? Lestensione della placca è espressa come media delle osservazioni di due osservatori nelle due sedute di osservazione prima e dopo lintervento. Conclusione: in questo caso il questionario non è uno strumento valido (il soggetto tende a mentire)

22 INDICE DI CONCORDANZA Nel tempo Tra gli osservatori LAVAGGIO COMPLETO SUPERFICE ESTERNA * SUPERFICE INTERNA SUPERFICIE MASTICATORIA MOVIMENTO VERTICALE MOVIMENTO ORIZZONTALE MOVIMENTO ROTATORIO MOVIMENTO CORRETTO PUNTEGGIO PLACCA * Per la variabile superficie esterna, il valore osservato non dipende da discordanze tra osservatori ma dalla mancanza di variabilità nelle osservazioni (assenza di casi di non lavaggio della superficie esterna) Conclusione: losservatore è uno strumento affidabile Indice k rilevato dal confronto delle osservazioni del lavaggio dei denti e dellestensione della placca nel tempo e tra osservatori

23 Risultati prima e dopo lintervento gruppo assistenti sanit 0 + Gruppo controllo 0 + Gruppo maestre 0 + Lav parz/compl Superf interna Superf masticat Movim corretto Indice lavaggio Indice placca

24 Odds e intervalli di confidenza dei risultati avuti Gruppo assist san Odds IC 95% Gruppo maestre Odds IC 95% Lavaggio parziale0,4 0,1-1,20,30 0,08-1,1 Superf interna9,7 3,6-26,22,57 0,85-7,77 Superf masticatoria1,4 0,6-2,80,8 0,37-1,54 Movimento corretto88, , Indice lavaggio1,9 0,9-4,12 0,7-5,2 Indice placca0,6 0,3-1,30,4 0,2-0,9 Conclusione: lintervento svolto dalle maestre riesce a migliorare ligiene orale

25 Definizioni di atteggiamento Disposizione affettiva verso un oggetto Costrutto che guida il comportamento umano, risultante da una dimensione cognitiva (le credenze), da una affettiva (la disposizione) e da una conativa (la tendenza allazione).

26 Metodi diretti - Domanda singola: E favorevole alle misure che limitano luso dellauto privata? domande (direzione, forza, centralità, impegno comportamentale): a)Bisogna ridurre luso dellauto in città? Si No b) Comè la sua convinzione su questo tema? Molto forte, forte ecc. c) Quanto è importante questo tema nella scelta del partito da votare alle elezioni comunali? Molto importante, importante ecc. d) ha mai firmato una petizione per limitare luso dellauto? - Questionari di Likert pool di affermazioni riguardanti loggetto seguite da una scala di accordo/disaccordo.

27 Valutazione degli obiettivi cognitivi Gli obiettivi cognitivi hanno un contenuto e una forma. Vi sono forme di basso livello (es. sapere a memoria) e di alto livello (es. mettere in relazione, applicare). Le tassonomie delle categorie formali dellapprendimento cognitivo cercano di classificare le varie forme degli obiettivi cognitivi ordinandoli gerarchicamente.

28 categorieoperazionioggetti conoscenza di contenuti (termini, fatti, ecc.) definire, distinguere, ricordare, riconoscere termine, significato, definizione, fatti, conoscenza dei modi e dei mezzi di trattare contenuti (convenzioni, rapporti, categorie, criteri, metodi) ricordare, riconoscere, identificare, acquisire convenzioni, regole, mezzi, simboli, processi, cause, influenze, caratteristiche, criteri, metodi, utilizzazioni conoscenza di generalizzazioni e astrazioni (leggi, principi, ecc.) ricordare, identificare, riconoscere principi, leggi, generalizzazioni, interrelazioni, formulazione comprensione (traduzione, interpretazione, estrapolazione) illustrare, riassumere, interpretare, spiegare, dimostrare, inferire, prevedere, significati, definizioni, rappresentazioni, conclusioni, metodi, conseguenze, corollari applicazioneapplicare, collegare, trasferire, utilizzare, classificare principi, leggi, conclusioni, metodi, teorie, fenomeni, analisi (elementi, relazioni, principi organizzativi) scoprire, identificare, classificare, discriminare, dedurre elementi, ipotesi, conclusioni, argomenti, relazioni, modelli, tecniche, sintesi (produzione di un lavoro, di generalizzazioni) scrivere, raccontare, produrre, creare, pianificare, progettare, sintetizzare, formulare composizioni, strutture, modelli, lavoro, progetti, soluzioni, schemi, teorie, ipotesi valutazione (su criteri interni o esterni) giudicare, argomentare, validare, contrastare esattezza, pertinenza, errori, verità, coerenza, fini, mezzi, teorie Tassonomia di Bloom

29 Prove strutturate Questionari, test: tabella della probabilità numero di domande vero-falso3 risposte4 risposte

30 Prove non strutturate Interrogazioni Produzione di un elaborato (relazione, cartellone ecc.)

31 Esempio Obiettivi cognitivi: conoscere cosa significa rifiuto, biodegradabile, riciclaggio, compost, CDR, smaltimento, discarica, inquinamento, sistema, feed-back; conoscere le caratteristiche e la tipologia dei rifiuti solidi (frazione umida, cellulosica, secca, ecc.); conoscere i danni derivanti da una cattiva gestione dei RSU e vantaggi e svantaggi delle varie forme di smaltimento, conosce i fattori causali del problema RS; sa affrontare il problema con un approccio sistemico Oggetto del controllo: tipologia dei RSU, danni, fattori causali, approccio sistemico Si definiscono gli obiettivi in termini operativi secondo la tassonomia di Bloom: es. conosce il significato di frazione umida; riesce a dare definizioni corrette di frazione umida; discrimina le sostanze che fanno parte dalla frazione umida da quelle cellulosiche e da quelle secche. Conosce la definizione di sistema; conosce la definizione di feed-back; ricorda le caratteristiche dei sistemi complessi; sa fare esempi di feed-back; sa costruire una rete di un problema complesso. Si definiscono gli strumenti di misura: es. questionario con domande a scelte multiple per gli obiettivi ……. e a risposte aperte per gli obiettivi …..., test di stadio cognitivo per le questioni ambientali Si definiscono le procedure (luogo, tempo, modi, chi ecc.) Si valuta confrontando con criteri

32 Test di sviluppo cognitivo Metti in relazione le cose che sono numerate nel disegno e spiega la relazione esistente Centro di Educazione Ambientale di Bilbao

33 Disegno della valutazione La valutazione è effettuata solo alla fine dellintervento nei soggetti sottoposti allo stesso. Utilizzato quando si conosce già la situazione di partenza. La valutazione è effettuata prima e dopo lintervento nei soggetti sottoposti allo stesso. Quando non è nota la situazione di partenza. La valutazione è effettuata prima e dopo lintervento nei soggetti sottoposti allo stesso e in un gruppo di soggetti non sottoposto allintervento.

34 Possibili fattori di errore effetto cavia: il semplice essere osservati inficia la misura (assenza di spontaneità) scelta di un ruolo: accondiscendente, oppositivo cambiamento del soggetto per effetto della misura: in test ripetuti nel tempo stile di risposta: alcuni soggetti tendono a dare risposte sulla base di criteri formali del test (es. risponde sempre con la risposta mediana) distorsione dellosservatore: per preconcetti, stanchezza, ecc. cambiamento delle qualità dellosservatore: per misure ripetute nel tempo lo stesso osservatore può cambiare le sue caratteristiche (diventa più indulgente, più severo ecc.)

35 Alcuni consigli Consultare sempre la letteratura sullargomento e persone esperte Definire bene cosa si vuole valutare e perché Individuare le possibili difficoltà, prospettare i possibili fattori confondenti e cercare di neutralizzarli Prima di utilizzare un qualsiasi strumento di misura provarlo e validarlo. Ogni volta che è possibile utilizzare test già validati Motivare e formare chi rileva e trascrive i dati Utilizzare correttamente le procedure statistiche

36 Alcuni consigli su questionari e test Mettere in premessa il più brevemente e chiaro possibile le finalità e le istruzioni Curare la grafica: spazio sufficiente per le risposte, leggibilità, non ambiguità ecc. I questionari sulle conoscenze non devono contenere domande trabocchetto e devono contenere domande di differente difficoltà Evitare le doppie negazioni Considerare il livello culturale dei destinatari e cercare di essere il più chiari e univoci possibile Nelle misurazioni eseguite in gruppo evitare che i soggetti comunichino tra loro, possano copiare o influenzarsi a vicenda Dare un tempo prefissato che sia adeguato (se troppo lungo aumenta il rischio che i soggetti comunichino tra loro) Chi somministra il test dovrebbe essere un soggetto terzo (non facente parte dellequipe del progetto) I test vanno somministrati in un luogo silenzioso e tranquillo

37 Piccola considerazione e ultimi importanti consigli Valutare un intervento non è semplice, ma è importante. Chiedersi perché, per chi cosa si vuole valutare. Coinvolgere tutta lequipe e i portatori di interesse.

38 Piccola considerazione e ultimi importanti consigli 2 Valutare un intervento occupa tempo e risorse che vanno sprecate se non si progetta bene la valutazione e se non sono tutti precisi e puntuali. Quindi progettare bene (chiedere consigli, studiare ecc.), non fare il passo più lungo della gamba, coinvolgere chi rileverà i dati, chi li trascriverà, chi li elaborerà e far comprendere limportanza del rigore metodologico e della precisione. Prima di iniziare fare una o più prove. Poco dopo iniziato fare una verifica per evidenziare e correggere gli errori

39 GRAZIE DELLATTENZIONE Pio Russo Krauss


Scaricare ppt "Valutazione in educazione sanitaria Pio Russo Krauss Responsabile Educazione Sanitaria ASL Napoli 1 Centro."

Presentazioni simili


Annunci Google