La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

Disegni quasi-sperimentali e sperimentali. Introduzione Il disegno quasi-sperimentale e sperimentale elimina alcune minacce contro la validità interna.

Presentazioni simili


Presentazione sul tema: "Disegni quasi-sperimentali e sperimentali. Introduzione Il disegno quasi-sperimentale e sperimentale elimina alcune minacce contro la validità interna."— Transcript della presentazione:

1 Disegni quasi-sperimentali e sperimentali

2 Introduzione Il disegno quasi-sperimentale e sperimentale elimina alcune minacce contro la validità interna (threats) che limitano la forza del disegno before- and-after, il più semplice disegno di valutazione di efficacia di un intervento. In questa lezione si parlerà prima di come un disegno before-and-after può evolvere a un disegno quasi-sperimentale con laggiunta di uno o più elementi e poi di disegni sperimentali. Negli ambienti di lavoro i disegni quasi-sperimentali sono maggiormente fattibili dei disegni sperimentali.

3 Ci sono cinque strategie per migliorare il disegno prima-e-dopo Strategia 1: Aggiungere un gruppo di controllo Strategia 2: Prendere più misure prima e dopo limplementazione dellintervento Strategia 3: Sfasare lintroduzione dellintervento tra i gruppi Strategia : Aggiungere una fase di rimozione dellintervento Strategia 5: Usare misure di outcome addizionali

4 Strategia 1 Aggiungere un gruppo di controllo Pre-post con controlli non-randomizzati O X O O

5 Pre-post con controlli non- randomizzati Come nel disegno sperimentale, vi è almeno un gruppo che riceve l'intervento (gruppo di intervento) ed un gruppo che non lo riceve (gruppo di controllo). La differenza sta nel modo in cui i partecipanti sono assegnati ai gruppi per lintervento e la valutazione. In un esperimento i partecipanti sono assegnati a caso; nei disegni quasi-sperimentali l'assegnazione è determinata spesso dall'organizzazione del lavoro.

6 Costituire i gruppi (intervento e controllo) negli studi quasi-sperimentali Il principio fondamentale nella scelta non- randomizzata dei gruppi per un disegno quasi- sperimentale è quello di renderli confrontabili. Dovrebbero essere simili sotto tutti gli aspetti eccetto che per l'intervento. Nel confrontare due reparti, è necessario trovarne due che siano simili rispetto al tipo di attività lavorativa. Per selezionare gruppi che si assomiglino, si potrebbero cercare reparti simili in ambienti di lavoro differenti, preferibilmente nello stesso tipo di industria.

7 Costituire i gruppi (intervento e controllo) negli studi quasi-sperimentali caratteristiche del lavoratore (per esempio, età, sesso, esperienza) natura delle mansioni di lavoro ambiente del lavoro (cioè, esposizione ai rischi, controlli per la sicurezza) fattori contestuali (per esempio, cultura sulla sicurezza e la salute; sostegno dell'amministrazione per la sicurezza) registro di informazioni sulla sicurezza La scelta dipende dalla situazione locale. Non possiamo dire specificamente quale gruppo sarebbe meglio, ma possono essere prese in considerazione alcune caratteristiche

8 Vantaggi del disegno pre-post con controlli non-randomizzati Aggiungere un gruppo di controllo non- randomizzato al semplice disegno before- and-after riduce automaticamente alcune delle minacce alla validità interna. In particolare si riduce l'interferenza da circostanze esterne (history threats), perché questultimo effetto si verificherà sia nel gruppo di controllo che nel gruppo di intervento. Quindi questo disegno permette di separare l'effetto dell'intervento da quello di altre circostanze.

9 Strategia 2 Prendere più misure prima e dopo limplementazione dellintervento Time series designs OOOXOOO

10 Strategia 2: due approcci Disegni time series 2a: semplice OOOXOOO 2b: multiplo OOOXOOO OOO OOO

11 Strategia 2a: time series semplice OOOXOOO Un disegno time series semplice differisce dal disegno before-and-after perché si effettuano misurazioni multiple prima e dopo l'intervento. Si stabilisce un baseline time trend ottenendo svariate misure dei risultati prima di effettuare l'intervento. Dopo l'intervento si rifanno misurazioni multiple per stabilire un second time trend. Se l'intervento è efficace, troveremo una differenza tra le misure dei risultati nei due trend temporali.

12 Disegno time series semplice Vantaggi Nel primo riquadro si vede che vi è stato un decremento nella misura tra prima e dopo lintervento. Tuttavia, questa differenza può essere dovuta a history, maturation, instrumentation, regression-to-the- mean o Hawthorne threats. Aggiungendo le misure, come indicate nel secondo riquadro, possiamo ridurre la probabilità di:

13 maturation threat perchè i cambiamenti dovuti ad aumento di età o di esperienza sono più graduali. regression-to-the-mean o testing threats perché i risultati sono ripetutamente elevati prima e ripetutamente bassi in seguito. Hawthorne e placebo threats perché la gente si adatta al cambiamento delle condizioni. history effect threat perché le misure più numerose rendono un evento coincidente improbabile. Restano possibili dropout e instrumentation threats, se non vi sono informazioni supplementari.

14 Quante misure sono necessarie per un disegno time series semplice? Il numero di misure necessarie per un time series design dipende dalla quantità di fluttuazione casuale della misura (rumore) e da quanto ci si aspetta possa essere limpatto lintervento (segnale). Generalmente sono necessarie 6-15 misurazioni per inquadrare il baseline time trend e altrettante per il second time trend.

15 Quante misure sono necessarie per un disegno time series semplice? Poiché sono necessarie molte misure, usando il tasso di infortunio come outcome, un time series design probabilmente non sarebbe adatto per studiare una piccola azienda, dove ci vorrebbe troppo tempo – un anno o più – per ottenere un trend di infortuni. Invece, il disegno potrebbe essere adatto per un gruppo di piccole aziende, unazienda più grande, o nel caso si misurassero le condizioni del posto di lavoro anziché il tasso di infortunio. Queste situazioni consentono misurazioni più frequenti e più sicure.

16 Quante misure sono necessarie per un disegno time series semplice? Anche quando non è possibile prendere tante misure quante sono necessarie per unanalisi di serie cronologiche, effettuare misure supplementari nel tempo permette una migliore stima delleffetto dellintervento. Fornisce una migliore percezione del tipo di variabilità nel tempo e se l'ultima misura before è dello stesso ordine di grandezza di quelle che la precedono, e se la prima misura after è dello stesso ordine di quelle che seguono.

17 Strategia 2b: time series multiplo OOOXOOO OOO OOO Ancora meglio di utilizzare separatamente la Strategia #1 o #2, si può rafforzare il disegno before-and-after, combinando entrambe le strategie (gruppo di controllo + molteplici misurazioni).

18 Strategia 3 Sfasare lintroduzione dellintervento nei due gruppi Multiple baseline design across groups OOOXOOO OOO OOO OOOXOOO

19 Multiple baseline design across groups Lintroduzione sfasata di un intervento consente di ridurre marcatamente leffetto history threats. Quando si effettua un intervento soltanto in un gruppo, non si può mai essere realmente sicuri che non sia accaduto qualcos'altro simultaneamente causando l'effetto misurato. Anche usando un gruppo di controllo, qualcosa potrebbe essere accaduto al gruppo di intervento (oltre all'intervento in se) tale da influenzare il risultato. Quando lintroduzione dellintervento è sfasato, e leffetto apparente è corrispondentemente sfasato, un history effect diventa una spiegazione improbabile dei risultati.

20 Multiple baseline across groups design Ogni volta che un ambiente di lavoro è composto da più divisioni o gruppi, lintroduzione sfasata di un intervento dovrebbe essere considerata come una alternativa prima di implementare lintervento in tutta lazienda. Questo approccio sfasato può permettere una valutazione provvisoria e, se necessario, una modifica dellintervento o della sua implementazione, prima di applicarlo a tutta lazienda (Tuttavia tali modifiche dovrebbero essere considerate nellinterpretazione dei risultati).

21 Esempio: In unazienda fu introdotto un intervento prima in un reparto e poi in un altro. L'intervento iniziò con una sessione educativa su buone pratiche per la sicurezza. Successivamente i comportamenti di sicurezza sono stati misurati da un osservatore addestrato (3-4 volte alla settimana) che, usando una lista di controllo, forniva la percentuale di operazioni eseguite senza pericoli. Poiché la sequenza di eventi si era presentata non una ma due volte, questo fatto supportava il nesso causale tra lintervento e il cambio di comportamento.

22 Strategia 4 Aggiungere una fase di rimozione dellintervento OOOXOOO-XOOO

23 Un modo per rinforzare un disegno di tipo before-and- after o anche time series è far seguire all'introduzione di un intervento un'altra fase in cui l'intervento viene rimosso. Nel caso più semplice, ci sono tre fasi: una fase baseline, una fase di intervento e una fase di inversione. Se si rimuove lintervento, si dovrebbe vedere un corrispondente cambiamento del risultato verso lo stato baseline.

24 Naturalmente, questo disegno non è adatto a tutte le situazioni, perché si spera che l'effetto di un intervento duri e quindi non si inverta facilmente. Tuttavia, questo approccio è utile quando il risultato misurato è il comportamento. In questo caso, l'intervento "è stato invertito" sospendendo linvio delle risposte di feedback.

25 La dimostrazione dellinversione delleffetto comporta una marcata riduzione delle minacce interne alla validità (in particolare history, maturation, testing, dropout and Hawthorne, assumendo che i ricercatori esterni siano ancora presenti durante la fase di inversione). Gli effetti placebo e di strumentazione possono ancora rimanere elementi importanti e dovrebbero essere considerati. Dopo la dimostrazione dell'effetto d'inversione dellintervento, si può riprendere l'intervento. Vantaggi di un disegno con una fase di inversione dellintervento

26 Laltra faccia della medaglia è che cambiamenti ripetuti nella programmazione della sicurezza potrebbero generare confusione, stress ed risentimento fra i lavoratori interessati. Inoltre se un intervento è sembrato promettente, la sua rimozione potrebbe essere considerata non etica. Quindi, è una strategia da usare con attenzione. Svantaggi di un disegno con una fase di inversione dellintervento

27 Strategia 5 Misurare molteplici outcome O1/O2X O1/O2

28 Usare misure di outcome addizionali: due approcci Measure multiple outcomes Aggiungere misure di risultati interposti Aggiungere misure di outcome correlate ma diverse dagli obiettivi dello studio

29 Aggiungere misure di risultati interposti Indicatori di risultati intermedi o interposti: effetti a breve e medio termine dell'intervento misure di esecuzione dellintervento

30 Component 1Component 2 Objectives Short-term outcomes Intermediate- term outcomes Long-term outcomes Esempi di indicatori interposti

31 Per quanto è fattibile dovremmo provare a misurare questi risultati interposti. Le misure di esecuzione dell intervento (documentazione degli acquisti di apparecchiatura e della modifica di compiti lavorativi) sono particolarmente importanti. Nel caso in cui un programma non abbia funzionato, si può distinguere un programma inefficace da un'esecuzione non corretta. Se un intervento non è stato effettuato come previsto, si potrebbe provare a migliorare questa parte dell'intervento, invece di scartare l'intervento complessivo.

32 Un esempio Un'azienda progetta di effettuare un programma ergonomico partecipativo e cioè: costituire un comitato lavoratori-dirigenti valutare i bisogni dei lavoratori comprare nuove attrezzature modificare i compiti lavorativi formare i lavoratori. Leffetto finale del programma consiste nella misura di sintomi auto-segnalati e di infortuni prima e dopo l'intervento.

33 Continua lesempio Il coordinatore del programma progetta alcune misure supplementari: annotazioni degli acquisti dell'apparecchiatura rapporti auto-compilati dei compiti lavorativi buone pratiche fattori di stress. Questi sono i risultati di misure interposte fra disegno dell'intervento ed il risultato finale (cambiamenti dei sintomi e degli infortuni).

34 Aggiungere una misura di outcome correlata ma diversa dagli obiettivi dello studio Una seconda strategia per aumentare la forza di un disegno di intervento è di misurare un risultato che sia simile alla misura principale di risultato, ma che non sia tra gli obiettivi dell'intervento. La misura supplementare di risultato dovrebbe essere abbastanza simile alla misura principale di risultato in modo che sia suscettibile ai principali threats alla validità interna. Deve tuttavia essere abbastanza differente da non risentire dellintervento. I seguenti esempi mostrano come funziona questo metodo.

35 CODOLO = La parte di un cucchiaio o di una forchetta (che rassomiglia ad una coda) con cui si tengono in mano per adoperarli

36 Misura di outcome correlata ma diversa dagli obiettivi dello studio L'effetto di nuova apparecchiatura sulle piattaforme petrolifere è stato valutato in base ai cambiamenti nel tasso di infortuni da codolo, un tipo di infortunio che dovrebbe essere ridotto usando la nuova apparecchiatura. E stato preso in considerazione anche il tasso delle lesioni non-codolo, una misura di risultato correlato ma non considerato tra gli obiettivi. Anche se questo secondo tipo di infortunio non dovrebbe risentire dell'intervento, probabilmente sarebbe in maniera simile suscettibile a effetti di tipo history or reporting threats.

37 Misura di outcome correlata ma diversa dagli obiettivi dello studio Un intervento ergonomico fra i lavoratori addetti al controllo della merce in un supermercato, è stato valutato misurando i disturbi del sistema muscolo- scheletrico auto-segnalati prima e dopo lintervento. L'intervento sembrava riuscito per il fatto che i cambiamenti riguardavano i sintomi a livello cervicale/spalla e a livello lombare/arti inferiori (dove lintervento ergonomico intendeva portare benefici) ma non i sintomi di braccia/avanbracci/polso (che non erano oggetto dellintervento). Ciò ha reso gli effetti history, maturation, instrumentation, placebo, Hawthorne and instrumentation spiegazioni improbabili.

38 Studi sperimentali

39 Due caratteristiche fondamentali : uso di un gruppo di controllo assegnazione randomizzata dei partecipanti Anche se spesso non è fattibile, un disegno sperimentale è stato usato in parecchie situazioni professionali

40 Precedentemente, sono stati descritti tre tipi di disegni quasi-sperimentali con utilizzo di gruppi di controllo non randomizzati: pre-post con gruppo di controllo (Strategia 1) multiple time series (Strategia 2b) multiple baseline across groups (Strategia 3). Questi stessi tipi di disegno possono diventare disegni sperimentali usando la randomizzazione per generare i gruppi.

41 Studi non sperimentali Disegno 1 OXO O Disegno 2 OOOXOOO OOO Disegno 3 OOOXOOO OOO OOO OOOXOOO

42 Precedentemente, sono stati descritti tre tipi di disegni quasi-sperimentali con utilizzo di gruppi di controllo non randomizzati: pre-post con gruppo di controllo non-randomizzato multiple time series multiple baseline across groups Questi stessi tipi di disegno possono diventare disegni sperimentali usando la randomizzazione per generare i gruppi.

43 Studi sperimentali Disegno 1 (R)OXO (R)O Disegno 2 (R)OOOXOOO (R)OOO Disegno 3 (R)OOOXOOO OOO (R)OOO OOOXOOO

44 Il disegno 1 (pre-post controllato e randomizzato) è stato usato nei due esempi successivi. Sono stati assegnati per randomizzazione ai due gruppi (gruppo di intervento, gruppo di controllo): i posti di lavoro (primo esempio) i lavoratori (secondo esempio)

45 Primo esempio Target: gli operatori principali di aziende agricole Intervento: un seminario educativo di un giorno Popolazione: campione casuale di aziende incluse in una lista dell'associazione di agricoltori. Il 60% di questa aziende acconsentì a partecipare allo studio Randomizzazione: Gli operatori principali (uno per azienda) sono stati assegnati al gruppo di intervento o al gruppo di controllo, seguendo una procedura random Per valutare l'intervento, questi gruppi sono stati confrontati in base alle misure prese prima e dopo l'intervento: infortuni e quasi-infortuni auto-riportati, (risultato finale) e percezioni della sicurezza, buone pratiche ed atteggiamenti (risultati intermedi).

46 Primo esempio Gr up pi Misure pre- intervento (questionario) Intervento Misure post-intervento (questionario) Infortuni e quasi-infortuni riportati + percezione di sicurezza buona pratica attitudini Controlli della sicurezza in azienda + Formazione di un giorno Percezione di sicurezza buona pratica attitudini (outcome intermedio) Infortuni e quasi-infortuni riportati (outcome finale) AOXO BOO A = gruppo di intervento; B=gruppo di controllo

47 Secondo esempio Gr up pi Misure pre- intervento Componenti dellintervento Misure pre- intervento Forza muscoli addominali + Questionario + Infortuni + Assenze per malattia back school training fasce/cinture lombari Forza muscoli addominali + Questionario + Infortuni + Assenze per malattia AOXO BOXXO COO A =Intervento_ 1; B = Intervento_ 2; C= controlli

48 Minacce per la validità interna nei Disegni con gruppo di controllo I gruppi di controllo introducono alcune nuove minacce alla validità interna. Nonostante ciò, lutilizzo di gruppi di controllo è fortemente raccomandato. Essi rafforzano lo studio molto di più di quanto non la indeboliscano.

49 Selection threats Quando i gruppi di intervento e di controllo non sono simili riguardo a tutte le variabili che possono influenzare i risultati, l'effetto dell'intervento potrebbe essere dovuto a differenze nelle caratteristiche dei partecipanti nei gruppi confrontati, piuttosto che all'intervento in se. Per questo motivo, nei disegni quasi-sperimentali e sperimentali (in cui è stata usata una procedura di randomizzazione per generare i gruppi), è necessario considerare se le persone nei due gruppi differiscono, per esempio, per età livello di esperienza livello di formazione, e altre caratteristiche. In caso affermativo, bisogna raccogliere informazioni su queste caratteristiche e tenere conto di queste differenze nellanalisi statistica.

50 Diffusion or contamination threat Una minaccia di diffusion alla validità interna (anche conosciuta come una minaccia di contaminazione) si presenta quando l'intervento introdotto ad un gruppo "si diffonde" all'altro. Ciò può accadere facilmente quando l'intervento è educativo, poiché gli operai condividono naturalmente le informazioni tra loro. È persino possibile che una nuova apparecchiatura data al gruppo di venga ripartita con il gruppo di controllo. La diffusione è più probabile quando l'intervento è percepito come favorevole. È un evento non desiderato perché riduce le differenze osservate fra i gruppi nei loro i cambiamenti before to after. Si potrebbe concludere che un intervento era inefficace quando realmente non lo era. Il modo migliore per ridurre la minaccia di diffusione è mantenere i gruppi di controllo e di intervento separati quanto più possibile.

51 Rivalry or resentment threat … quando la gente del gruppo di controllo reagisce per non aver ricevuto l'intervento. Per esempio, in un programma in cui sia stato introdotto un incentivo per incoraggiare buone pratiche di sicurezza, il gruppo di controllo potrebbe reagire non segnalando gli infortuni così che le relative prestazioni a riguardo della sicurezza finirebbero per apparire buone se confrontate al gruppo di intervento. O potrebbe sovra- riportare" gli infortuni per dimostrare che il gruppo ha bisogno di un intervento. In entrambi i casi il gruppo di controllo ha cambiato il comportamento per rivalità. Sono inoltre possibili effetti di risentimento. Il gruppo di controllo, per esempio, potrebbe risentirsi per non aver avuto la possibilità di partecipare ad un programma di miglioramento. Questo inacidimento dei rapporti di lavoro può causare un aumento nei tassi di infortunio.

52 Rivalry or resentment threat Gli effetti appena descritti possono a volte essere evitati comunicando bene con i gruppi o promettendo che se l'intervento risulta essere efficace, il gruppo di controllo riceverà in seguito lo stesso intervento. Se gli interventi sono concepiti ed introdotti con un processo di partecipazione, le reazioni inattese sono meno probabili. Tuttavia, è impossible prevedere tutte le possibili reazioni ad un programma. E unarea dove la ricerca qualitativa può essere molto utile. Le interviste con alcuna persone informate nel gruppo di controllo dovrebbero far comprendere se rancore o di rivalità siano minacce da prendere in considerazione. Come con la minaccia di diffusione, la rivalità o le minacce di rancore potrebbero essere evitate se i gruppi non comunicano tra loro.


Scaricare ppt "Disegni quasi-sperimentali e sperimentali. Introduzione Il disegno quasi-sperimentale e sperimentale elimina alcune minacce contro la validità interna."

Presentazioni simili


Annunci Google