Misura dei risultati Discuteremo soltanto di metodi quantitativi cioè, quelli che danno informazioni numeriche Raccolta di dati amministrativi – statistiche di infortuni Validità e attendibilità Osservazioni sui comportamenti e sul luogo di lavoro Indagini sulla soggettività dei lavoratori

Raccolta di dati amministrativi statistiche di infortuni Tasso di frequenza di infortuni: numero di infortuni per unità di esposizione (numeratore / denominatore)

Raccolta di dati amministrativi statistiche di infortuni Numeratore del tasso (categorie di infortuni): infortuni con uno o più giorni di lavoro persi infortuni invalidanti infortuni registrati (cioè quelli che la legge richiede di registrare); infortuni con trattamento medico infortuni con prestazioni di pronto soccorso. quasi-infortuni (sebbene questa sia una misura meno frequentemente accettata e standardizzata)

Raccolta di dati amministrativi statistiche di infortuni Denominatore del tasso (categorie di unità di esposizione): ore lavorate o lavoratore-ore. L’unità di esposizione, solitamente 100,000 o 1,000,000 di ore lavorate, fornisce una stima relativamente precisa del tasso di frequenza numero di lavoratori; è usata anche se è una misura più grezza di esposizione periodo di tempo di uguale lunghezza (per esempio, un anno; tuttavia l’equivalenza con le ore lavorate dovrebbe essere confermata)

Raccolta di dati amministrativi statistiche di infortuni Tasso di gravità di infortuni (N. giorni di assenza dal lavoro / N. ore lavorate) x 1000

Tasso di gravità degli infortuni Il tasso di gravità, ampiamente usato, è di utile complemento al tasso di frequenza (vedi oltre: rapporto tra infortuni minori e maggiori)

Attendibilità e validità delle misure Un valore misurato consiste di due parti: il valore reale l’errore di misura (cioè, l'errore che facciamo nella misurazione). L’errore di misura rende un particolare valore misurato maggiore o minore rispetto al valore reale.

Attendibilità e validità delle misure

Attendibilità e validità delle misure L'errore di misura consiste di due parti: errore sistematico, anche conosciuto come bias. Questo tipo di errore compare quando facciamo un errore costantemente nello stesso “senso”. Questo tipo di errore riduce la validità della misura errore casuale. Come dice il nome, varia a caso, a volte conducendo a sovrastima e a volte a sottostima. Questi tipo di errore riduce l’attendibilità della misura.

Attendibilità e validità delle misure Le misure valide hanno un basso grado di errore sistematico e le misure attendibili hanno un basso grado di errore casuale. Se il metodo è valido vuol dire che stiamo misurando ciò che avevamo sperato di misurare. Se il metodo è attendibile le risposte sono costanti pur ripetendo molte volte la misurazione (misurando la stessa cosa). Se è sia valido che attendibile, il metodo di misura è considerato accurato. Nella valutazione di efficacia di un intervento, bisogna applicare metodi che minimizzino entrambi i tipi di errori di misura, in altre parole, bisogna usare metodi accurati.

Concetti di attendibilità e validità: l'analogia del bersaglio 1 2 3 4 La misura attendibile ha un basso grado di dispersione dei valori (come nei pannelli ? e ?). La misura valida è concentrata sul valore reale (come nei pannelli ? e ?).

Perché la validità è importante Quando i metodi sono attendibili, ma scarsamente validi, le conclusioni tratte dai risultati della valutazione potrebbero essere errate, particolarmente se ciò che è stato misurato era diverso da quello che si era pensato di misurare

Problemi di validità delle statistiche di infortuni Il punto principale da tenere in considerazione quando si utilizzando dati su infortuni è la presenza di reporting bias, che può insorgere ad ogni livello dal momento dell’infortunio a quando l’infortunio diviene un dato statistico nazionale.

Problemi di validità e attendibilità delle statistiche di infortuni La possibilità di risarcimenti o il tipo di ambiente di lavoro possono spingere a esagerare le segnalazioni di infortunio. D'altra parte, gli incentivi offerti ai singoli o ad organizzazioni per ridurre gli infortuni possono portare ad una sottostima degli eventi o all’utilizzo di criteri meno severi nella classificazione dell’infortunio.

Modello “filtro” In questo modello, un filtro è qualche cosa che impedisce ai dati di infortunio denunciabile di passare da un livello di segnalazione all’altro. Questo modello “filtro” può aiutare a riconoscere dove e per quale ragione possono insorgere bias che possono influenzare le segnalazioni di infortuni

Il modello “Filtro”: sei livelli e cinque filtri

Ufficio aziend. sicurezza Stato INAIL Caratteristica Filtro 1 Filtro 2 Filtro 3 Filtro 4 Filtro 5 Persone chiave Lavora-tore Super-visore Staff centro medico Ufficio aziend. sicurezza Stato INAIL Caratteristica Attitudini verso la salute Invio al centro medico Compila-zione modulo Registro infortuni Statistiche nazion. Fattori chiave Gravità e tipo di sintomi. Learned pattern Attitudini carico di lavoro Company policy Attitudini Carico di lavoro Training Training Rigore nella sorve-glianza Altri fattori Attitudini colleghi di lavoro Vicinanz centro medico Caratt lavorat. Gravità e tipo infor. Caratt lavorat. Company policy Efficacia sindacato Efficienza raccolta dati

Modello “filtro” Il livello uno è considerato rappresentare il vero tasso di infortunio il primo filtro è il processo decisionale del lavoratore che decide se segnalare oppure no l’infortunio Il secondo, terzo e quarto filtro funzionano nel posto di lavoro il quinto nella trasmissione dei dati dal livello aziendale all’INAIL che, per legge, raccoglie e pubblica dati aggregati I filtri funzionano diversamente per infortuni di differente entità. Meno grave è l’infortunio, più efficaci sono i filtri e meno validi sono i dati

Validità delle statistiche di infortuni Un buon indicatore di under-reporting è il rapporto tra infortuni minori e maggiori. Poiché le lesioni non gravi sono quelle più probabilmente “filtrate fuori" rispetto a quelle più importanti, un rapporto costante indica la stabilità di qualche bias di underreporting o la sua assenza.

Validità delle statistiche di infortuni Le verifiche di tipo amministrativo tendono ad aumentare le segnalazioni, mentre i programmi che incentivano la sicurezza con premi in denaro invogliano a non segnalare infortunio. Un reporting bias è tollerato in una valutazione se influenza i dati sempre nello stesso senso. Diventa un problema se il reporting bias interferisce a livelli differenti, o nel tempo o in maniera differenti fra i gruppi

Attendibilità delle statistiche di infortuni: il problema dei piccoli numeri Purtroppo, i dati dei tassi di frequenza di infortuni hanno spesso bassa attendibilità (eccetto che in grandi fabbriche), perché sono numeri piccoli. Per questo, è difficile dire se le variazioni delle misure dei risultati siano dovuti all'intervento o semplicemente a fluttuazioni casuali. Ciò significa che sarà più difficile da rilevare l’effetto di un intervento, anche se l’intervento era realmente efficace.

Misura di risultati intermedi: liste di controllo (checklists) su comportamento e luogo di lavoro Un'alternativa ai “piccoli numeri”, è la misura di risultati intermedi, per esempio, osservazioni sulle pratiche di lavoro, sul posto di lavoro o sul clima aziendale sulla sicurezza (safety climate). La potenza probabilmente sarà maggiore usando i test statistici su questi dati piuttosto che sui dati di infortunio

Liste di controllo (checklists) su comportamento e luogo di lavoro Controllando le segnalazioni di infortunio si vede che la maggior parte degli infortuni è associata a comportamenti non sicuri. Ciò non significa che la responsabilità per tali infortuni sia solo dovuto al comportamento del lavoratore. Le circostanze che portano a comportamenti errati sono spesso di responsabilità dell'amministrazione.

Studi sul comportamento Per misurare l'effetto degli interventi di sicurezza, si utilizzano sempre più spesso osservazioni sul comportamento del lavoratore nei confronti della sicurezza. Un osservatore (supervisore, esperto o lavoratore formato) visita la zona di lavoro ad un'ora selezionata a caso e fa le osservazioni per circa mezz'ora. Per ogni tipo di comportamento, si può scrivere “performed safely”, “performed unsafely” or “not observed”. La proporzione di comportamenti sicuri è calcolata dopo il periodo di osservazione ed è dato dal rapporto tra numero di azioni effettuate in sicurezza e numero di azioni osservate.

Vantaggi delle misure di osservazione sul comportamento e sul posto di lavoro In primo luogo, sono "leading indicators" anziché " trailing indicators ", nel senso che questo tipo di misura parte dall’inizio nella sequenza casuale degli avvenimenti In secondo luogo, è possibile fare osservazioni frequenti, parecchie volte alla settimana. Ciò rende i dati sensibili ai cambiamenti causati dagli interventi e può essere analizzata in relazione al trend temporale In terzo luogo, sembra che il comportamento possa servire come valido surrogato per gli infortuni come misura del risultato finale

Svantaggi delle misure di osservazione sul comportamento e sul posto di lavoro Uno svantaggio delle osservazioni sul comportamento è che talvolta chi è osservato non si sente a proprio agio, e in alcuni ambienti può essere considerato non etico o inaccettabile. Le osservazioni del posto di lavoro danno meno problemi, perché non ci si concentra sul comportamento dei singoli. Inoltre, le osservazioni del posto di lavoro possono essere effettuate in un modo meno intrusivo, interferendo meno con la misura dell'effetto dell'intervento.

Validità delle misure di risultati intermedi Il limite nell’utilizzo di misure intermedie al posto dei risultati di infortunio è che deve essere dimostrata la validità della misura surrogata, dimostrando che esiste una buona correlazione tra queste misure surrogate e una misura di sicurezza più consolidata, come gli infortuni

Liste di controllo (checklists) su comportamento e luogo di lavoro: altri problemi accordo tra osservatori (inter-rater reliability) effetto tetto (ceiling effects)

Accordo tra osservatori (inter-rater reliability) Ciò si verifica quando più di una persona osserva la stessa area e registra gli eventi indipendentemente da altri. Tipiche modalità per riportare l’accordo tra osservatori sono: ► la percentuale di concordanza (la percentuale di punti in lista categorizzati nella stessa maniera) ► il coefficiente Kappa. Questa statistica considera la percentuale di concordanza che ci sarebbe stata per puro effetto del caso. Si riconoscono tre situazioni: kappa moderato per valori fra 0.40 e 0.59, 0.60-0.79 sostanziale e 0.80-1.00 molto buono. Se l’accordo tra osservatori è basso, si dovrebbe eliminare dal protocollo ogni ambiguità e si dovrebbe specificare meglio i criteri

Effetto tetto (ceiling effects) Ciò si riferisce alla situazione in cui non si riesce a rilevare un miglioramento nel punteggio, perché i valori iniziali sono già alti. Idealmente, i punteggi pre-intervento dovrebbero essere uguali o inferiori a 50% circa. Se i punteggi iniziali sono superiori a 80%, si potrebbe modificare o sostituire i punti dell’indice in modo che siano più difficili da realizzare

Indagini sulla percezione dei lavoratori Esaminano le conoscenza, gli atteggiamenti, le convinzioni, o le percezioni dei soggetti riguardo alle pratiche di sicurezza e alle azioni intraprese per la prevenzione degli infortuni (tutte cose che non possono essere indagate altrimenti). Indagini sul livello di conoscenza (sugli atteggiamenti, le convinzioni, le percezioni, le pratiche, la cultura o il clima) sono appropriate se l'intervento è pensato al solo scopo di cambiare la conoscenza.

Indagini sulla percezione dei lavoratori Tuttavia, se l'intervento ha lo scopo finale di ridurre i tassi di infortunio, allora bisogna essere prudenti perché: ► conoscenze, atteggiamenti, convinzioni o percezioni sono soltanto surrogati dei tassi di infortunio (in assenza di correlazione tra questi dati e i tassi di infortunio) ► i questionari non sono sufficientemente standardizzati per giustificare il loro uso in questo modo.

Questionari Sviluppare un buon questionario è difficile e richiede il ad un esperto del settore. Per quanto possibile, è bene usare questionari già esistenti.

Suggerimenti per la scelta di un questionario Le domande sembrano applicabili al vostro ambiente? Il questionario è stato sviluppato su una popolazione simile in un ambiente simile o, alternativamente, la sua validità in è stata dimostrata in differenti popolazioni o ambienti? E’ possibile accertare che il contenuto del questionario sia completo? (cioè, sono stati inclusi nel questionario tutti gli aspetti importanti di ciò che si sta misurando?) Le domande misurano ciò che il vostro intervento vorrebbe cambiare? Se state misurando un risultato intermedio con un questionario come surrogato di un risultato finale, è stata stabilita una correlazione statisticamente significativa fra surrogato e la misura finale del risultato?

Indagini con questionario: rappresentatività Bisogna trovare un metodo di distribuzione e di raccolta di questionari che consenta di rilevare il tasso di risposta (percentuale di questionati restituiti rispetto a quelli consegnati). Se il tasso di risposta è alto, i risultati sono rappresentativi dell’intero gruppo Nel caso il tasso di risposta è basso, bisogna cercare tutte le differenze (per esempio, età, reparto, ecc.) fra coloro che hanno risposto al questionario e quelli che non l’hanno fatto. Più grande è la differenza fra i due gruppi, più prudenti devono essere le conclusioni Inviare uno o due richiami ai lavoratori che non hanno risposto al questionario è un’idea da considerare La partecipazione è più probabile se viene garantita la riservatezza sulle risposte, se l'indagine viene divulgata nel posto di lavoro e se si ottiene il supporto di influenti rappresentanti dei lavoratori e dell'amministrazione