Valutazione performances dell’operatore

Presentazione sul tema: "Valutazione performances dell’operatore"— Transcript della presentazione:

1 Valutazione performances dell’operatore
Elisa Codega Laboratorio di Sanità Pubblica ASL della Provincia di Lecco

2 VALUTAZIONE DELLA PERFORMANCES DELL’OPERATORE NELL’ANALISI MICROBIOLOGICA QUANTATIVA
Un laboratorio che opera in Qualità, secondo quanto previsto dalla ISO 17025, deve assicurarsi che tutto il suo personale sia adeguatamente addestrato a svolgere le analisi seguendo i metodi di prova accreditati o che si vogliono accreditare, in modo da fornire dati oggettivi inerenti al suo modo di operare . Ora andremo a descrivere le modalità e i criteri di valutazione delle performance degli operatori del Laboratorio di Sanità Pubblica dell’ASL di Lecco nelle analisi microbiologiche quantitative.

3 VALUTAZIONE DELLA PERFORMANCES DELL’OPERATORE
Gli operatori presenti in laboratorio possono essere: IN FORMAZIONE: stanno seguendo un periodo di addestramento e non sono ancora coinvolti nell’attività routinaria di laboratorio; IDONEI ALLA MANSIONE: hanno già dimostrato di possedere le adeguate capacità per svolgere l’attività di laboratorio a) coinvolti nell’attività routinaria di laboratorio b) coinvolti solo saltuariamente nell’attività routinaria di laboratorio

4 IDONEITA’ ALLA MANSIONE
IDONEITA’ ALL’ESECUZIONE DELL’INOCULO: l’operatore dimostra di essere affidabile nell’esecuzione dell’inoculo quando esegue inoculi ripetibili e proporzionali con le tecniche analitiche utilizzate in laboratorio; IDONEITA’ ALL’ESECUZIONE DELL’INOCULO: l’operatore dimostra di essere affidabile nell’esecuzione del conteggio quando esegue conteggi ripetibili e confrontabili con quelli di altri operatori (riproducibili) sui terreni di coltura utilizzati in laboratorio.

5 Valutazione performances operatore
Operatore in formazione o operatori idonei ma non coinvolti nell’attività routinaria inoculo Operatore già idoneo alla mansione coinvolti nell’attività routinaria Esecuzione prove specifiche per ripetibilità e proporzionalità Esecuzione prove routinarie per ripetibilità e proporzionalità Accettabilità risultati ottenuti Accettabilità risultati ottenuti NO SI NO SI Idoneità all’esecuzione dell’inoculo Esecuzione prove specifiche Mantenimento Idoneità

6 RIPETIBILITA’ E PROPORZIONALITA’ INOCULO
Operatori in formazione o operatori idonei ma non coinvolti nell’attività routinaria Un operatore non coinvolto nella prova ma già idoneo alla mansione prepara un campione contaminato artificialmente con ceppi batterici. Gli operatori che devono eseguire questa prova devono effettuare, nell’arco di una giornata sul campione preparato in laboratorio:         -tre diluizioni diverse del campione       - per ogni diluizione prove in parallelo. Occorre eseguire la seguente prova per ogni tecnica diversa di inoculo da testare L’operatore esegue l’inoculo con le rispettive diluizioni e repliche seguendo le procedure di analisi riportate nelle metodiche di prova. Il conteggio viene eseguito dal RS che raccoglierà i dati

7 RIPETIBILITA’ E PROPORZIONALITA’ INOCULO
Operatori idonei coinvolti nell’attività routinaria L’affidabilità degli operatori già idonei alla mansione dell’inoculo può essere valutata durante la normale attività di laboratorio. Prove di ripetibilità e di proporzionalità randomizzate effettuate in doppio durante l’attività routinaria di laboratorio vengono utilizzate per valutare il limite di ripetibilità e di proporzionalità. Il RS si occuperà poi di effettuare le letture, raccogliere i dati Sulla base dei valori reali riscontrati è possibile valutare il limite di dispersione sperimentale I valori delle dispersioni sperimentali effettuate durante l’attività routinaria vengono ogni due mesi elaborati e conservati.

8 Criteri per l’accettabilità della ripetibilità
INOCULO dove: ci è il valore del conteggio riscontrato nella capsula i. n è il numero delle osservazioni insufficiente accettabile critico

9 Criteri per l’accettabilità della ripetibilità
INOCULO accettabile I conteggi sono ACCETTABILI ed è possibile esprimere il risultato come media delle n prove in parallelo critico La compatibilità tra i conteggi deve essere considerata CRITICA e meritevole di approfondimento prima di esprimere il risultato delle n prove in parallelo insufficiente La compatibilità tra i conteggi deve essere considerata INSUFFICIENTE e le prove in parallelo non possono essere considerate valide

10 Criteri per l’accettabilità della proporzionalità
INOCULO dove: Ci sono la somma dei conteggi sullo stesso campione ai rispettivi rapporti di diluizione Ri. Per calcolare il utilizzare un livello di probabilità p = 0,95 e i gradi di libertà si calcolano facendo il numero delle diluizioni –1.

11 Valutazione idoneità complessiva dell’inoculo
Per l’operatore in formazione e per quello già idoneo alla mansione ma non coinvolto nell’attività routinaria Il sistema permette inoltre di valutare il contributo alla dispersione dei risultati dovuto a: a- dispersione legata agli inoculi delle diverse repliche (ripetibilità) b-dispersione legata alla preparazione delle diluizioni utilizzate negli inoculi (proporzionalità) Il Gtot2 viene calcolato utilizzando la seguente equazione: dove Cj sono le singole letture ai rispettivi rapporti di diluizioni Rj Il valore di Gtot2 è confrontato con il valore teorico della distribuzione del con g.l.= numero di piastre esaminate-1 alla p=0.95. Quindi l’analisi della dispersione totale risulterà accettabile e quindi l’operatore idoneo alla mansione dell’inoculo quando il Gtot2 risulta < di

12 Valutazione idoneità complessiva dell’inoculo
Per l’operatore già idoneo alla mansione ma coinvolto nell’attività routinaria Valutare trimestralmente la dispersione dei dati osservata tra le singole repliche e tra le singole diluizioni effettuate durante le analisi routinarie attraverso la sommatoria dei singoli G2 secondo la seguente equazione: dove Gi2 sono le dispersioni ottenute sulle singole repliche o sulle singole diluizioni e n è il numero di prove effettuate. La dispersione dei dati tra prove indipendenti comprendenti lo stesso numero di repliche o di diluizioni è accettabile quando: g.l. del 2 =n.di piastre considerate-1 g.l. del 2 =n.di diluizioni considerate-1 L’operatore già idoneo alla mansione, mantiene quindi la sua idoneità se ogni tre mesi rispetta i criteri sopraesposti.

13 RIPETIBILITA’ E RIPRODUCIBILITA’ CONTEGGIO
Operatori in formazione e tutti gli operatori già idonei alla mansione Il RS sceglie delle piastre, con e senza identificazione morfologica in fase di lettura, tra quelle con una contaminazione compresa tra 15 e 300 colonie, ottenute dalle analisi di laboratorio routinarie. Il RS sceglierà, volta per volta, a rotazione tra i terreni in uso nel laboratorio, su quale di essi effettuare la prova con identificazione morfologica. Questo tipo di prova va eseguita inoltre da tutti gli operatori idonei alla mansione del conteggio quando nelle analisi routinarie di laboratorio vengono introdotti nuovi terreni con identificazione morfologica.

14 RIPETIBILITA’ E RIPRODUCIBILITA’ CONTEGGIO
Operatori in formazione e tutti gli operatori già idonei alla mansione Gli operatori coinvolti in questa prova sono almeno tre operatori, due tra quelli in formazione o già idonei alla mansione e il Responsabile della Sezione (RS). I conteggi devono essere eseguiti più volte ed in tempi brevi dagli operatori in modo da non poter essere influenzati dalla conoscenza dei risultati ottenuti in precedenza da essi stessi o da altro operatore, quindi occorre somministrare le piastre in maniera cieca. La valutazione della differenza statistica dei conteggi effettuati dall’operatore e dal RS permette di attestare l’idoneità al conteggio.

15 Criteri per l’accettabilità della ripetibilità
CONTEGGIO Scarto tipo: Ci il conteggio ottenuto sulla piastra il conteggio medio Scarto tipo relativo: La ripetibilità di conteggio dell’operatore A è calcolata mediante la valutazione della media quadratica degli scarti tipo relativi alle singole serie di conte e si determina attraverso il calcolo della media quadratica degli STR ottenuti nelle singole prove, grazie alla formula

16 Criteri per l’accettabilità della ripetibilità
CONTEGGIO I criteri di accettabilità della ripetibilità del conteggio dell’operatore sono i seguenti: per le conte effettuate su piastre in cui il conteggio non prevede l’interpretazione della tipicità della colonia, le prestazioni dell’operatore sono considerate accettabili se: u(operatore) ≤ 0,02 per le conte effettuate con interpretazione della tipicità delle colonie, le prestazioni dell’operatore sono considerate accettabili se: u(operatore) ≤ 0,1

17 Criteri per l’accettabilità della riproducibilità
Per verificare se i tre operatori coinvolti nella prova contano in maniera equivalente si applica l’analisi della dispersione sperimentale tra i conteggi effettuati in parallelo dagli operatori. Si procede come segue: Operatore valutato vs. RS: vengono confrontati i quattro conteggi effettuati su ogni piastra dai due operatori presi in considerazione, calcolando l’indice di dispersione sperimentale in base all’equazione sottoriportata; dove Ci è il valore di conteggio riscontrato nella capsula Operatore valutato vs. altro operatore coinvolto nella prova: vengono confrontati i quattro conteggi effettuati su ogni piastra dai due operatori presi in considerazione, calcolando l’indice di dispersione sperimentale

18 Criteri per l’accettabilità della riproducibilità
Confrontando l’indice di dispersione sperimentale , con quello limite tabulato si possono verificare i tre casi riportati in tabella Nel caso in cui i ottenuti dall’operatore valutato, sia rispetto al RS che all’altro operatore, risultino accettabili nel 95% dei casi, si ritiene che l’operatore conti in maniera riproducibile.

19 VALUTAZIONE COMPLESSIVA DEL LABORATORIO
Il laboratorio per fornire una dimostrazione oggettiva del suo modo di operare controlla e registra trimestralmente la capacità operativa dei suoi operatori mentre ogni sei mesi valuta complessivamente tutti gli operatori. Di tale convalida viene tenuta la registrazione delle prove eseguite e dei risultati ottenuti. Viene calcolata la dispersione dei dati ottenuti su diverse repliche o su diverse diluizioni sommando le dispersioni ottenute dai singoli operatori dove Gi sono le singole dispersioni ottenute dagli n operatori presenti in laboratorio nelle prove di valutazione della ripetibilità e della proporzionalità.

20 VALUTAZIONE COMPLESSIVA DEL LABORATORIO
conteggio La ripetibilità di conteggio totale del laboratorio è data invece dalla media quadratica della ripetibilità dei singoli operatori I criteri di accettabilità del dato Rlaboratorio sono gli stessi utilizzati per la ripetibilità di conteggio dell’operatore

21 Il Laboratorio risulta quindi complessivamente idoneo all’esecuzione delle analisi microbiologiche quantitative poiché tutti gli operatori mostrano abilità e competenza nell’esecuzione dell’inoculo e del conteggio.

22 Azioni correttive in caso di non conformità dell’operatore
Per l’operatore in formazione e per gli operatori non coinvolti nell’attività routinaria, le non conformità riscontrate durante l’esecuzione delle prove specifiche riguardanti l’inoculo e/o il conteggio, PROVVISORIA NON IDONEITA’ ALLA MANSIONE deve esercitare le sue capacità di inoculo e/o di conteggio affiancando gli operatori già idonei alla mansione durante l’attività di laboratorio routinaria e dopo un congruo periodo di tempo, a giudizio del RS, ripetere le prove specifiche in cui si sono verificate le non conformità.

23 Azioni correttive in caso di non conformità dell’operatore
Se dall’elaborazione delle prove di ripetibilità e proporzionalità eseguite durante l’attività di laboratorio routinaria dall’operatore già idoneo all’esecuzione dell’inoculo si evince una non accettabilità dei risultati ottenuti + occorre verificare l’effettiva idoneità dell’operatore sottoponendolo alla prova specifica. + In caso di accettabilità dei risultati ottenuti da questa prova specifica l’operatore continua a mantenere l’idoneità all’esecuzione del conteggio.

24 Azioni correttive in caso di non conformità dell’operatore
Nel caso invece di non conformità riscontrate durante l’esecuzione delle prove per la ripetibilità e riproducibilità del conteggio + occorre eseguire nuovamente la prova, dopo aver esercitato la capacità di conteggio affiancando il RS nelle letture dei terreni.

25 FREQUENZE DELLA VALUTAZIONE
TIPO DI ATTIVITA’ FREQUENZA Operatore in formazione Prova per la valutazione ripetibilità dell’inoculo Entro 1 mese Prova per la valutazione proporzionalità dell’inoculo Prova per la valutazione ripetibilità del conteggio Entro 3 mesi Prova per la valutazione riproducibilità del conteggio Operatore già idoneo alla mansione (impiegato nell’attività routinaria di laboratorio) Valutazione ripetibilità dell’inoculo durante attività routinaria 20 prove ogni 2 mesi Valutazione proporzionalità dell’inoculo durante attività routinaria 15 prove ogni 6 mesi Ogni 6 mesi (non impiegato nell’attività routinaria di laboratorio) annuale

26 Prove idoneità all’esecuzione dell’inoculo
Operatore in formazione o non coinvolto nell’attività routinaria Un operatore non coinvolto nella prova ma già idoneo alla mansione prepara un campione contaminato con ceppi batterici secondo la procedura Gli operatori devono eseguire questa prova devono effettuare, nell’arco della stessa giornata sul campione preparato in laboratorio: TRE DILUZIONI del campione ( TQ, 1:2,1:10) Per ogni diluzione 5 PROVE IN PARALLELO

27 ESCHERICHIA COLI SCHEMA PER L’ALLESTIMENTO DILUIZIONI
Tecnica per filtrazione 1 McF = 3x108 cellule/ml DILUIZIONE 10-1: 100 l (3x108 cellule/ml) l fisiologica = 1 ml (3x107 cellule/ml) DILUIZIONE 10-2: 100 l (3x107 cellule/ml) l fisiologica = 1ml (3x106 cellule/ml) DILUIZIONE 10-3: 100 l (3x106 cellule/ml) l fisiologica = 1 ml (3x105 cellule/ml) DILUIZIONE 10-4: 100 l (3x105 cellule/ml) l fisiologica = 1 ml (3x104 cellule/ml) DILUIZIONE 10-5: 1 ml (3x104 cellule/ml) + 9 ml fisiologica = 10 ml (3x103 cellule/ml) DILUIZIONE 10-6: 3 ml (3x103 cellule/ml) + 6 ml fisiologica = 9 ml (1x103 cellule/ml) DILUIZIONE 10-7: 2 ml (1x103 cellule/ml) + 18 ml fisiologica = 20 ml (1x102 cellule/ml) Terreno utilizzato: m-ENDO FASI SVOLTE DA UN OPERATORE GIA’ IDONEO ALLA MANSIONE CHE NON PARTECIPA ALLA PROVA CAMPIONE DI PARTENZA: 20 ml di diluzione 10-7 con 100 cellule/ml Preparare 5 provette di DIL 1: 1 ml (100 cellule/ml) + 9 ml fisiologica = 10 ml (10 cellule/ml) Filtrare ogni provetta Risultato atteso:100 cellule DILUIZIONE 10-8: 5 ml (100 cellule/ml) + 5 ml fisiologica = 10 ml (50 cellule/ml) DIL 2: 1 ml (50 cellule/ml) + 9 ml fisiologica = 10 ml (5 cellule/ml) Filtrare ogni provetta Risultato atteso: 50 cellule DILUIZIONE 10-9: 1 ml (100 cellule/ml) + 9 ml fisiologica = 10 ml (10 cellule/ml) Preparare 5 provette di: DIL 3 : 1 ml (10 cellule/ml) + 9 ml fisiologica = 10 ml (1 cellula/ml) Filtrare ogni provetta Risultato atteso:10 cellule FASE SVOLTE DALL’OPERATORE VALUTATO

28 Prove idoneità all’esecuzione dell’inoculo
Operatore in formazione o non coinvolto nell’attività routinaria Occorre seguire la seguente prova per ogni tecnica diversa di inoculo secondo le informazioni: Tecnica da testare Terreno da utilizzare Ceppo batterico MdP di riferimento Inclusione Water Plate Agar E.coli n.2: Carica batterica totale Spatolamento Baird Parker S.aureo n.16:Stafilococco aureo negli alimenti Filtrazione m-Endo E. coli n.51: Coliformi totali nelle acque L’operatore esegue l’inoculo con le rispettive diluzioni e repliche Per il personale in formazione il conteggio viene eseguito dal RS che raccoglierà i dati

29

30 Il calcolo dell’accettabilità dei risultati viene eseguito automaticamente secondo il seguente criterio: G2n-1 <9,488: RIPETIBILITA’ ACCETTABILE 9,488< G2n-1 >13,277: RIPETIBILITA’ CRITICA G2n-1 >13,277: RIPETIBILITA’ NON ACCETTABILE

31 Il calcolo dell’accettabilità dei risultati viene eseguito automaticamente secondo il seguente criterio: Gsper<3.841: PROPORZIONALITA’ ACCETTABILE 3.841< Gsper >6.635: PROPORZIONALITA’ CRITICA Gsper >6.635 PROPORZIONALITA’ NON ACCETTABILE

32 Prove idoneità all’esecuzione dell’inoculo
Operatore coinvolto nell’attività routinarai Gli operatori, durante l’attività routinaria di laboratorio, devono eseguire in maniera randomizzata delle prove in parallelo e delle diluizioni su campioni reali al fine di valutare la ripetibilità e la proporzionalità nell’inoculo. Il RS si occuperà poi di effettuare le letture, raccogliere i dati compilando il Modulo 2 e la proporzionalità degli operatori compilando il Modulo 3.

33 Il calcolo dell’accettabilità dei risultati viene eseguito automaticamente secondo il seguente criterio: G2n-1 <3,841: RIPETIBILITA’ ACCETTABILE 3,841<G2n-1 >6,635: RIPETIBILITA’ CRITICA G2n-1 >6,635: RIPETIBILITA’ NON ACCETTABILE

34 Prove idoneità all’esecuzione del conteggio
Tutti gli operatori Gli operatori coinvolti in queste prove sono almeno tre, due tra quelli già idonei alla mansione o in formazione e il Responsabile Subunità (RS). Per questa prova è opportuno utilizzare le stesse capsule Petri per tutti gli operatori usandone una serie che comprenda terreni per i quali sia prevista o meno identificazione morfologica in fase di lettura scelte tra quelle ottenute dalle diverse determinazioni di routine con una contaminazione compresa tra 15 e 300 UFC seguendo i criteri riportati in tabella 3

35 Prove idoneità all’esecuzione del conteggio
Tutti gli operatori Il RS sceglierà, volta per volta, il terreno dove viene prevista l’identificazione morfologica con cui eseguire la prova, utilizzando dei criteri di rotazione rispetto ai terreni utilizzati all’interno del laboratorio. L’operatore dovrà seguire i criteri di conteggio riportati nel MdP di riferimento e per i terreni con identificazione morfologica dovrà eseguire il conteggio delle colonie che in fase di lettura vengono presuntivamente attribuite al germe ricercato (solo colonie reputate TIPICHE).

36 Prove idoneità all’esecuzione del conteggio
Tutti gli operatori Ogni operatore dovrà eseguire conteggi in doppio in modo da non essere influenzato da quelli ottenuti in precedenza da esso stesso o da altri operatori. Per ottenere questo risultato occorre che vengano assegnate in maniera cieca le piastre agli operatori coinvolti Una volta che il foglio di lavoro personale risulterà compilato in tutte le sue parti l’operatore consegnerà i risultati al RS

37 il RS esegue il primo conteggio delle piastre, riportandolo nell’allegato 2, durante l’attività routinaria di lettura in laboratorio e se reputa le piastre adatte all’esecuzione della prova le ripone in cella a 4°C e comunica la disponibilità di piastre per l’esecuzione delle prove agli altri operatori; Un operatore che non partecipa alla prova, distribuisce le piastre agli operatori che devono eseguire la prova cancellando il codice identificativo, la diluizione e la data dalla piastra ed attribuendo un codice numerico seguendo la tabella riportata nell’allegato 3; Gli operatori coinvolti nella prova, tranne il RS, eseguono nell’arco della mattinata, la prima replica di conteggio e segnano il risultato su un foglio di lavoro personale riportato nell’allegato 2; L’operatore che non partecipa alla prova cancella nuovamente i codici dalle piastre ed attribuisce un nuovo codice seguendo lo schema riportato nella tabella dell’allegato 2 e ripone le piastre in cella a 4°C; Gli operatori e il RS eseguono, entro 24 ore dal primo conteggio, la seconda replica di conteggio e riportano il risultato ottenuto sul foglio di lavoro personale riportato nell’allegato 3.

38 Tabella attribuzione piastre e letture del RS
Prova per la ripetibilità/riproducibilità del conteggio dell’operatore SCAMBIO DI PIASTRE EFFETTUATO DA:_________________ OPERATORI CONVOLTI NELLA PROVA:___________________________________ DATA IDENTIFICATIVO CAMPIONE TERRENO UTILIZZATO N° attribuito alle piastre nel primo conteggio N° attribuito alle piastre nel secondo conteggio 1 14 2 20 3 16 4 19 5 11 6 15 7 13 8 17 9 12 10 18 Il Responsabile della sezione di Microbiologia Il Responsabile della sezione di Microbiologia

39 Viene poi automaticamente calcolata , la ripetibilità dell’operatore sulla replica (u2i) e quella totale ottenuta dall’operatore sul terreno senza identificazione morfologica (ua) e su quello con identificazione morfologica (ub) Il calcolo dell’accettabilità dei risultati viene eseguito automaticamente secondo il seguente criterio: ua<0,02: RIPETIBILITA’ senza identificazione morfologica ACCETTABILE ua >0,02: RIPETIBILITA’ senza identificazione morfologica NON ACCETTABILE ub<0,1: RIPETIBILITA’ con identificazione morfologica ACCETTABILE ub>0,1: RIPETIBILITA’ con identificazione morfologica NON ACCETTABILE

40 Scarto tipo: Ci il conteggio ottenuto sulla piastra il conteggio medio Scarto tipo relativo:

41 Prove idoneità all’esecuzione del conteggio
Tutti gli operatori Occorre inserire i conteggi ottenuti dagli operatori e dal RS sulla stessa piastra nel modulo 5 per verificare la dispersione dei dati ottenuti e quindi la riproducibilità dei conteggi ottenuti dai vari operatori. Per confrontare la ripetibilità di conteggio dei vari operatori in automatico viene applicata l’equazione confrontando gli operatori a due a due per comprendere se i conteggi ottenuti dai vari operatori sono tra loro congruenti o statisticamente differenti. dove Ci è il valore di conteggio riscontrato nella capsula

42

43 Il criterio su cui si basa il confronto è il seguente:
<7,815: DIFFERENZA ACCETTABILE e quindi OPERATORI CONGRUENTI 7,815> >11,345: DIFFERENZA CRITICA >11,345: DIFFERENZA NON ACCETTABILE e quindi OPERATORI STATISTICAMENTE DIFFERENTI Nel caso in cui i ottenuti dall’operatore valutato, sia rispetto al RS che all’altro operatore, risultino accettabili nel 95% dei casi, si ritiene che l’operatore conti in maniera riproducibile.

44 Operatori coinvolti nell’attività routinaria
Il Laboratorio risulta quindi complessivamente idoneo all’esecuzione delle analisi microbiologiche quantitative poiché tutti gli operatori mostrano abilità e competenza nell’esecuzione dell’inoculo e del conteggio. Operatori non coinvolti nell’attività routinaria