Massimiliano Brugnoli

Presentazione sul tema: "Massimiliano Brugnoli"— Transcript della presentazione:

1 Massimiliano Brugnoli
PT Schemes: significato, applicazione e impatto all’interno del laboratorio certificato Massimiliano Brugnoli LGC Standards Italia Verona, 23 ottobre 9:30 -13:30 Padiglione 4 – Sala 7

2 Introduzione di LGC e LGC PT
Requisiti di uno schema e di un campione La distribuzione Raccolta del dato e “reporting” Interpretazione del risultato e casi reali Perchè un laboratorio aderisce ad un circuito Accreditamento di LGC PT Conclusioni

3 LGC: Laboratory of Government Chemist
Afferisce all’Istituto di Metrologia britannico Sviluppo e validazione di metodi, standard e CRM in ambito chimico e biochimico Privatizzato nel 1996 (70% costituito da fondi di investimento pubblici) Accreditato presso UKAS e conforme agli standard 17025, 9001, ISO Guide Partecipa ai programmi di validazione europei (VAM, MfB) Coopera con altri istituti di metrologia quali IRMM e BAM (ERM)

4 LGC Standards & PT Group
LGC Standards: divisione marketing e vendite di LGC PT Group: divisione di LGC Standards incaricata dello sviluppo, armonizzazione e fornitura degli schemi di Verifica Esterna della Qualità (V.E.Q.) o Proficiency Testing (PT) Più di laboratori in 95 nazioni Settori di applicazione: farmaceutico, clinico-tossicologico, chimico-fisico, consumer safety microbiologia applicata al settore Food&Beverage (Quality Management) Ambientale (controlli chimico-fisici di acque chiare, scure e suoli), radiochimica Aquacheck LGC, QM and Aquacheck - promoting excellence through proficiency testing

5 PT Scheme (o V.E.Q.): requisiti di uno schema
Stabile nel tempo (è un metro di misura) Riconosciuto a livello internazionale Qualità: deve rappresentare un”gold standard” Utile: deve soddifare le aspettative dei partecipanti al circuito Il numero dei partecipanti deve essere statisticamente valido (>8) Il fornitore deve essere accreditato secondo gli standards internazionali E’ uno strumento di misurazione della performance della qualità all’interno del laboratorio…nel tempo ! X

6 PT Scheme: requisiti del campione
Stabile (almeno per il periodo di validità del “round”) Omogeneo Adatto allo scopo del laboratorio (settore di applicazione, livelli di concentrazione degli analiti) Tracciabilità (qualora non preparato dal fornitore) Testato adeguatamente in termini di metodo e precisione (misura della variazione sperimentale e limiti di accettabilità) Dove possibile, deve rappresentare un campione reale (re-idratazioni, diluizioni)

7 PT Scheme: la distribuzione (1)
Viene preparato un unico campione primario (omogeneo e testato) Le aliquote, con una più che sufficiente quantità per i tests, vengono distribuite ai partecipanti A B C D E 1 2 3 4 5 Valore assegnato Tutti i risultati ricevuti vengono elaborati per stabilire la performance complessiva ed individuale

8 PT Scheme: la distribuzione (2)
Week 1 Week 2 Week 3 Week 4 Week 5 Monday Tuesday Wednesday Thursday Friday Despatch date 17 d a y s Fax Post Paper or Website Final test Date* Result deadline Assigned values Report issued *guideline

9 PT Scheme: la raccolta del dato
Manuale (cartaceo) Possibilità di errori di inserimento Time consuming Elettronico Client software Spreadsheet Internet Velocità (3 giorni invece di 2 settimane)

10 PT Scheme: la raccolta del dato (manuale)

11 PT Scheme: la raccolta del dato (elettronica)

12 PT Scheme: il “reporting”
Report cartaceo Non è manipolabile Report elettronico Client software, l’utente può personalizzare i report grafici dei risultati PDF Web, possibilità di personalizzare i report IL risultato: Qualitativo / Quantitativo Presente/Assente Risposta tipo (ove lo schema preveda un’opinione soggettiva) Performance score (Z-score)

13 PT Scheme: il “reporting” cartaceo (1)

14 PT Scheme: il “reporting” cartaceo (2)

15 PT Scheme: il “reporting” elettronico

16 PT Scheme: Z-score, il più utilizzato
Z score: Z = x – X s dove x = risultato del laboratorio X = valore assegnato s = deviazione standard (proficiency assessment), detta anche ESD (established standard deviation) Il valore assegnato, per definizione, è il valore individuato come “best estimate” rispetto al “true value” per ogni specifico parametro del test. Rif.: IUPAC International Harmonised Protocol (2006)

17 PT Scheme: Z-score Considerando una normale distribuzione gaussiana:
Circa il 95% degli Z-scores sono compresi tra -2 e +2: solitamente designati come “satisfactory” o “acceptable” I punteggi compresi tra -2 e -3 o 2 e 3 sono statisticamente attesi 1 ogni 20: solitamente designati come “questionable” I punteggi oltre -3 e 3 sono statisticamente attesi 1 ogni 300: solitamente designati come “unsatisfactory” o “unacceptable” |z|≤2 Satisfactory 2<|z|<3 Questionable |z|≥3 Unsatisfactory

18 PT Scheme: l’interpretazione
Legenda: X = mean = standard deviation or variation around the mean  99.75% 3 2 X 68% 95% Diagramma di una distribuzione normale

19 Warning – no action at this stage
PT Scheme: caso 1 Warning – no action at this stage

20 PT Scheme: caso 2 Action – investigation required
Warning – no action at this stage

21 PT Scheme: caso 3 Action – investigation required

22 PT Scheme: caso 4 Action – investigation required
Warning – no action at this stage

23 Perchè il laboratorio aderisce ad un circuito
E’ uno strumento utile, spesso essenziale per il raggiungimento dell’accreditamento

24 Accuratezza e Precisione
Accuratezza e Precisione molto buone Accuratezza accettabile, scarsa Precisione Scarse Accuratezza e Precisione Scarsa Accuratezza, buona Precisione

25 Una volta raggiunto l’accreditamento?
Il laboratorio dispone di uno strumento unico per misurare il proprio sistema qualità nel suo complesso, confrontandosi all’interno di una “popolazione” Il laboratorio fa riferimento a linee guida che indicano QUANDO intraprendere un’azione Un’azione deve essere intrapresa: ogni volta che si presenta un risultato “unsatisfactory” un risultato “questionable” occorre 2 volte di seguito (per la stessa misura) dopo 9 risultati consecutivi con lo stesso “bias” verso il “valore assegnato” La causa di tali risultati deve essere investigata Un’azione correttiva riporta quindi il laboratorio in una situazione di normalità Nel tempo, il laboratorio migliora le proprie performance !

26 Accreditamento di LGC PT Group: una condizione essenziale
ISO (General requirements for the competence of testing & calibration laboratories) ISO 9001:2001 (Quality Management Systems - Requirements) ISO 43-1:1997 (Development and operation of proficiency testing schemes) ILAC G13:2007 (Guidelines for the requirements for the competence of providers of proficiency testing schemes) ISO13528 (Guidelines for statistics) United Kingdom Accreditation Service Unico ente di accreditamento nazionale, approvato e monitorato dal governo britannico

27 Considerazioni & Conclusioni
Il PT scheme (V.E.Q.) è uno strumento indispensabile in un sistema accreditato I dati ottenuti dal circuito sono di grande valore (se il fornitore è accreditato) I risultati ottenuti offrono un quadro attendibile del sistema qualità del laboratorio Le performance “Unsatisfactory” devono essere interpretate in un contesto più ampio (nel quale il laboratorio opera) Le cause di una performance “Unsatisfactory” possono essere molteplici L’andamento della performance nel tempo deve essere monitorato Tutti i risultati dovrebbero essere usati costruttivamente Le azioni correttive devono essere intraprese in modo costruttivo e devono essere pienamente documentate Il PT aiuta a migliorare la qualità delle proprie misurazioni

28 Grazie per la Vostra cortese attenzione !
What z-score did you get? Minus 40!!