Classification of Studies l In populations l Frequency l Distribution by –time –place –person The population survey Descriptive Study l In individuals.

Presentazione sul tema: "Classification of Studies l In populations l Frequency l Distribution by –time –place –person The population survey Descriptive Study l In individuals."— Transcript della presentazione:

1 Classification of Studies l In populations l Frequency l Distribution by –time –place –person The population survey Descriptive Study l In individuals l Test causal hypotheses l Controlled assignment Experimental Study l In individuals l Test causal hypotheses l Uncontrolled assignment Analytic or Observational Study The cross-sectional study The cohort study The clinical trial The case-control study

2 Studi di intervento in Medicina del Lavoro (epidemiologia occupazionale)

3 National Institute for Occupational Safety and Health http://www.cdc.gov/niosh/homepage.html Guide to Evaluating the Effectiveness of Strategies for Preventing Work Injuries: How to Show Whether a Safety Intervention Really Works http://www.cdc.gov/niosh/docs/2001-119/

4 Il NIOSH è l'unico Istituto federale USA per la ricerca nel campo degli infortuni e delle malattie professionali. Fa parte dell‘agenzia nazionale Disease Control and Prevention (CDC). SETTORI DI INTERESSE  Medicina del Lavoro  Tossicologia  Inquinamento e impatto ambientale  Tecnologie di sicurezza  Legislazione  Attività di ricerca ► Documentazione per la Formazione

5 Scopi Far diventare il campo della medicina del lavoro coerente con altre discipline, quali la medicina clinica, in cui le valutazioni sono sempre più basate sulle prove di efficacia. Aiutare i professionisti a evitare la tentazione di adottare procedure semplicemente perché sembrano "intuitivamente evidenti" quando nessuna prova scientifica realmente esiste per quelle pratiche Fornire strumenti e concetti per effettuare valutazioni sistematiche degli interventi di prevenzione degli infortuni e dei programmi di sicurezza

6 Che cos’è un “intervento”? E’ una serie di attività organizzate (eventi) e di risorse che hanno lo scopo di aiutare le persone a migliorare la loro vita. Le attività sono organizzate in sequenza logica: –pianificare –implementare –valutare –comunicare i risultati

7 Levels of intervention in the workplace A.Workplaces safety policies, procedures, structures organization (e.g., safety committee structure, inspection schedules,, hazard assessment procedures, safety performance incentives) B.Organization, design or environment at work, including hardware, software, job procedures, etc. C.Human knowledge, competence, attitude, motivation or behavior related to safety. A Organization of safety management B Technical sub- system C Human sub-system

8 It Takes One Person To Get The Process Started. However, It Takes A Shared Vision To Accomplish The Process.

9 Stakeholders are those who have an interest in the outcomes of a program –Are affected by or have an interest in the need or problem being addressed – Have influence – Have technical expertise

10 How can stakeholder group be helpful? It can offer: –Support –Creativity –Energy –Credibility

11 Golden rule Intervention and its evaluation should be planned simultaneously.

12 Evaluation committee  Key management representatives (e.g., relevant decision-maker)  Key workers representatives (unions, participants, opinion leaders)  Diversity of disciplinary perspectives (engineering, safety, human resources)  Diversity of workplace divisions/departments  An intervention critic, as well as intervention proponents  Evaluation expertise

13 Evaluation expertise Local Academic Institutions  Biostatistics  Occupational Health and Safety  Management (social or occupational)  Psychology  Public Health  Education Safety Research Organizations Safety Consultants Safety Professional Organizations

14 DESIGN RANDOMI ZATION CONTROL GROUP PRE- INTERVEN TION MEASURE MENTS STRENGHT OF EVIDENCE Non- experimental No Weak Quasi- experimental No Some- times Yes Moderate ExperimentalYes Strong Diversi disegni

15 Before-and-after design Un disegno non-sperimentale

16 Nella terminologia utilizzata, "prima" si riferisce ad una misura che è fatta prima di un intervento in un gruppo e "dopo" si riferisce ad una misura che è fatta dopo la sua introduzione. I termini equivalenti per "prima" e "dopo" sono "pre" e "post". Design terminology

17 Before-and-after design: O X O Il simbolo E’ stato fatto un test sulla formazione; prima dell’intervento il punteggio del gruppo era 50%, dopo un giorno di addestramento, al gruppo è stato somministrato lo stesso test e il punteggio era 80% Questo processo è illustrato da una "O" che rappresenta una misura mentre la "X" rappresenta l'intervento (di formazione).

18 Il disegno prima-e-dopo è un disegno non- sperimentale usato comunemente negli studi di sicurezza Il disegno prima-e-dopo è più utile nella dimostrazione degli effetti immediati di un programma a breve termine È meno utile per la valutazione di interventi a lungo termine perché durante un periodo di tempo più lungo si possono presentare svariate circostanze (threats) che minacciano la nostra capacità di capire se l'intervento ha avuto o meno l'effetto desiderato Threats to internal validity

19 Le minacce alla validità interna (threats) sono spiegazioni alternative possibili ai risultati della valutazione osservati, o circostanze che Più sono le minacce alla validità interna, meno siamo sicuri che i risultati siano realmente dovuti all'intervento.

20 Treat to internal validity Description of threat HistoryAn influential event during the intervention Instrumentation / Reporting Validity of measurement method changes over course of the intervention Regression-to-the- mean A one-time extreme value naturally changing towards a normal value Testing Taking measurement (e.g. test) could have an effect on the outcome Placebo A non-specific effect on the outcome, independent of the intervention Hawthorne Involvement of outsiders, independent of the intervention Maturation Aging or increase in experience possibly affects the outcome Dropout Change of characteristics due to some participants dropping out

21 History threat Si presenta quando, fra le misurazioni "prima" e "dopo“, accadono uno o più eventi, che non fanno parte dell'intervento ma che possono influenzarne il risultato. Chiaramente, maggiore è il tempo fra le misure "prima" e "dopo", maggiore è la possibilità che accada un evento estraneo e interferente.

22 Esempio di history threat Si sta valutando un nuovo intervento ergonomico per la prevenzione del mal di schiena nelle infermiere (programma educativo + acquisto di un’apparecchiatura solleva-pazienti). Il tasso di infortunio da mal di schiena era 4.4 per 100.000 ore lavorate nei due anni precedenti l'intervento, e 3.0 nei due anni successivi. Quindi, si potrebbe concludere che l'intervento ergonomico è stato efficace. Tuttavia …

23 Esempio di history threat Tuttavia, potrebbe essere successo che un mese dopo l’intervento, un ministro (governo) avesse lanciato una campagna di sensibilizzazione per ridurre gli infortuni dovuti a mal di schiena. Tutto ciò rende meno sicura la conclusione che è stato solo l’intervento a ridurre gli infortuni da mal di schiena.

24 Esempio di history threat E’ stato introdotto dal governo un programma obbligatorio per la riduzione degli infortuni. Da una parte venivano dati fondi alle aziende e dall’altra penalizzazioni basate sulle statistiche degli infortuni passati. A seguito dell'introduzione del programma, la frequenza di infortuni che determinavano perdita di giornate lavorative era diminuita. I critici del programma riferirono episodi aneddotici secondo cui alcuni operai erano stati costretti a cambiare lavoro (o a non denunciare gli infortuni). Nessuno può avere la certezza che la diminuzione della frequenza di infortuni derivi dall’incremento della prevenzione o dall’omissione nelle segnalazioni.

25 Instrumentation/reporting threat Una minaccia alla validità compare ogni volta che il metodo per misurare il risultato cambia fra "prima" e "dopo" (instrumentation threat). Ciò può accadere in molti modi, a seconda del tipo di risultato misurato, come riportato negli esempi che seguono.

26 Esempio di instrumentation threat State valutando una nuova postazione di lavoro, riprogettata, effettuando una elettromiografia negli operai mentre lavorano nelle vecchie postazioni e successivamente negli stessi operai nelle nuove postazioni. Non vi siete resi conto che quando le misure sono state prese alle vecchie postazioni di lavoro, l'apparecchiatura non funzionava correttamente, portando ad una sottostima dei valori reali.

27 Esempio di instrumentation threat Fate un test di valutazione preliminare multiple choice con quattro scelte possibili: improbabile, parzialmente improbabile, parzialmente probabile e probabile. In seguito, qualcuno commenta che è stato difficile scegliere fra le quattro opzioni e che sarebbe stata utile l'opzione "non so". Nel post-test decidete dare cinque scelte possibili, le quattro precedenti, più "non so".

28 Esempio di instrumentation threats Chiedete agli operai di compilare un questionario sul clima di sicurezza prima e dopo l'introduzione di un comitato per la salute e la sicurezza. I lavoratori hanno compilato il questionario la prima volta nel tempo libero tempo, mentre la seconda volta era stato concesso loro del tempo durante l’orario di lavoro.

29 Regression-to-the-mean threat

30 Di anno in anno i tassi di infortunio di un’azienda o di un gruppo oscillano - a volte verso l’alto a volte verso il basso. Qualsiasi gruppo con tasso di infortunio più basso del solito è probabile abbia un incremento piuttosto che un decremento dei tassi, ipotizzando che le condizioni di lavoro non cambino. Similmente, in un gruppo con tasso di infortuni superiore al normale, ci sono maggiori probabilità che si verifichi una diminuzione piuttosto che un aumento di tassi. Pertanto, se l'intervento include soltanto i gruppi alti tassi di infortunio, una parte della diminuzione osservata può essere dovuta al fatto che il tasso si sta portando semplicemente più vicino al valore medio

31 Regression-to-the-mean threat La regressione verso la media rappresenta una rilevante threat quando la scelta del gruppo in cui condurre l’intervento è motivata dal fatto che in questo gruppo i tassi di infortunio sono più alti. Questa situazione non è così insolita come illustrano i seguenti esempi …

32 Esempio di regression-to-the-mean threat La divisione A di un'azienda ha avuta l'anno scorso un tasso insolitamente alto di infortuni per caduta e per scivolamento. Il presidente si è interessato e viene rafforzato il programma di ispezione. L’anno successivo i tassi sono più bassi. Sembra pertanto che l’intervento sia riuscito

33 Esempio di regression-to-the-mean threat Il Ministero del Lavoro decise di attuare una nuova iniziativa di formazione per le aziende il cui il tasso di infortunio durante l'anno precedente era stato due volte più alto della media nel loro settore industriale. Si contattarono personalmente i funzionari di quelle aziende, offrendo una visita in ditta e consulenze. L’anno successivo il gruppo di aziende presentava, in media, un tasso più basso di infortuni. Quindi, il programma sembrava riuscito.

34 Testing threat Questa minaccia è importante solo quando l'intervento è finalizzato a formare i lavoratori sui temi della sicurezza, dei comportamenti e delle buone pratiche, e in cui c’è una rilevazione iniziale con questionari, interviste o osservazioni.

35 Esempio di testing threat Il miglioramento del punteggio potrebbe essere: a)un effetto del programma di formazione da solo; b)un effetto della maggior consapevolezza nata dopo aver compilato il primo questionario; c)un effetto combinato di entrambe. Le possibilità b) rappresenta una minaccia per la validità interna dell’intervento (testing threat).

36 Placebo threats L'effetto placebo è un concetto legato agli studi clinici sull’efficacia dei farmaci. È stato osservato che una percentuale dei soggetti in studio trattati con un placebo (una sostanza inerte) invece che con il farmaco mostra un miglioramento dei sintomi. I pazienti credono che il trattamento sia efficace e questo fatto, attraverso un meccanismo psicologico, provoca un alleviamento dei sintomi.

37 Esempio di placebo threat A causa di un’aumentata prevalenza di infortuni da sforzi ripetitivi, l'amministrazione acconsentì a comprare nuove tastiere di computer per gli impiegati di una divisione. Fu condotta un'indagine sui sintomi dell'arto superiore degli impiegati la settimana prima che le tastiere fossero introdotte e tre settimane dopo. Fu trovato una diminuzione significativa dei sintomi fra "prima" e "dopo". L'amministrazione stava per acquistare tastiere identiche per una seconda divisione, ma vi era preoccupazione circa un eventuale “effetto placebo” delle nuove tastiere.

38 Hawthorne threat Questo termine deriva da uno studio famoso condotto negli anni 20 negli operai degli impianti elettrici di Hawthorne. Ricercatori esterni avevano spostato un gruppo di operai in una sezione differente della fabbrica, e le loro condizioni di lavoro erano state modificate. Risultò che gli operai erano più produttivi sotto qualsiasi condizione venissero posti – anche quando lavoravano in condizioni scomode come carenza di illuminazione. Si crede che le condizioni psicosociali di lavoro nella situazione sperimentale (cioè, l’aumentata partecipazione degli operai) abbia reso impercettibile l'effetto dei cambiamenti nell'ambiente fisico.

39 Maturation threat Si presenta quando il cambiamento osservato dopo l’intervento per migliorare la sicurezza è dovuto al gruppo di intervento che cambia naturalmente (cioè, i lavoratori che diventano più vecchi o più informati con l’esperienza) piuttosto che all'intervento in se.

40 Esempio di maturation threat In una compagnia, le statistiche di infortunio dopo quattro anni di programma indicavano che l'incidenza di infortuni era rimasto quasi uguale, ma erano aumentati i giorni di assenza dal lavoro per infortunio. Sembrava che il programma avesse fatto più danni che benefici. Ma un'infermiera precisò come i tempi di reinserimento al lavoro dopo un infortunio fossero maggiori per gli anziani rispetto ai giovani. Poiché vi erano state poche nuove assunzioni, un “maturation threat” era una possibilità reale.

41 Dropout threat Si presenta quando un numero sufficiente di lavoratori esce dallo studio così da alterare le caratteristiche del gruppo oggetto dell’intervento. Non ci sarebbero problemi se questi soggetti continuano a lavorare per l'azienda (i dati sui tassi di infortuni dell'azienda sarebbero disponibili per l'intero gruppo di intervento). Ma i dati di chi esce dallo studio non sono sempre accessibili, come illustrato nel seguente esempio.

42 Esempio di dropout threat La valutazione di un intervento per ridurre gli infortuni negli agricoltori comprendeva misure "prima" e "dopo", usando un questionario. Il questionario includeva domande sugli infortuni dell'anno precedente che avevano richiesto un trattamento ospedaliero. Purtroppo, nel corso dell'intervento, molti agricoltori lasciarono il lavoro e non compilarono il questionario. Si trovò che il tasso di infortunio era diminuito, sembrava quindi che l'intervento avesse avuto un effetto positivo. Ma non si può essere sicuri se questo sia dovuto all'intervento o al fatto che quelli con più alti tassi di infortunio sono usciti presto dallo studio.

43 Se non hai altra scelta e devi applicare un disegno “prima e dopo”, prova ad eliminare le minacce per la validità interna Identifica altri cambiamenti nel posto di lavoro che potrebbero avere un effetto sul risultato e valuta il loro possibile effetto Accerta che le misure “prima e dopo” siano effettuate usando la stessa metodologia Evita di usare gruppi ad alto tasso di infortunio, o altri gruppi estremi, come gruppo oggetto dell’intervento in uno studio “prima-e-dopo” Tieni conto del fatto che eseguire un test può avere un effetto di per sé stesso Identifica possibili effetti “placebo” o “Hawthorne” e prova a minimizzarli Identifica qualsiasi cambiamento naturale (età) nella popolazione contemporaneo allo studio e correggi il suo effetto durante l'analisi statistica. Identifica i soggetti che escono dallo studio e tieni conto di questo nell'analisi.