Massimiliano Brugnoli PT Schemes: significato, applicazione e impatto all’interno del laboratorio certificato Massimiliano Brugnoli LGC Standards Italia Verona, 23 ottobre 9:30 -13:30 Padiglione 4 – Sala 7

Introduzione di LGC e LGC PT Requisiti di uno schema e di un campione La distribuzione Raccolta del dato e “reporting” Interpretazione del risultato e casi reali Perchè un laboratorio aderisce ad un circuito Accreditamento di LGC PT Conclusioni

LGC: Laboratory of Government Chemist Afferisce all’Istituto di Metrologia britannico Sviluppo e validazione di metodi, standard e CRM in ambito chimico e biochimico Privatizzato nel 1996 (70% costituito da fondi di investimento pubblici) Accreditato presso UKAS e conforme agli standard 17025, 9001, ISO Guide 30-31-33-34-35 Partecipa ai programmi di validazione europei (VAM, MfB) Coopera con altri istituti di metrologia quali IRMM e BAM (ERM)

LGC Standards & PT Group LGC Standards: divisione marketing e vendite di LGC PT Group: divisione di LGC Standards incaricata dello sviluppo, armonizzazione e fornitura degli schemi di Verifica Esterna della Qualità (V.E.Q.) o Proficiency Testing (PT) Più di 4.000 laboratori in 95 nazioni Settori di applicazione: farmaceutico, clinico-tossicologico, chimico-fisico, consumer safety microbiologia applicata al settore Food&Beverage (Quality Management) Ambientale (controlli chimico-fisici di acque chiare, scure e suoli), radiochimica Aquacheck LGC, QM and Aquacheck - promoting excellence through proficiency testing

PT Scheme (o V.E.Q.): requisiti di uno schema Stabile nel tempo (è un metro di misura) Riconosciuto a livello internazionale Qualità: deve rappresentare un”gold standard” Utile: deve soddifare le aspettative dei partecipanti al circuito Il numero dei partecipanti deve essere statisticamente valido (>8) Il fornitore deve essere accreditato secondo gli standards internazionali E’ uno strumento di misurazione della performance della qualità all’interno del laboratorio…nel tempo ! X

PT Scheme: requisiti del campione Stabile (almeno per il periodo di validità del “round”) Omogeneo Adatto allo scopo del laboratorio (settore di applicazione, livelli di concentrazione degli analiti) Tracciabilità (qualora non preparato dal fornitore) Testato adeguatamente in termini di metodo e precisione (misura della variazione sperimentale e limiti di accettabilità) Dove possibile, deve rappresentare un campione reale (re-idratazioni, diluizioni)

PT Scheme: la distribuzione (1) Viene preparato un unico campione primario (omogeneo e testato) Le aliquote, con una più che sufficiente quantità per i tests, vengono distribuite ai partecipanti A B C D E 1 2 3 4 5 Valore assegnato Tutti i risultati ricevuti vengono elaborati per stabilire la performance complessiva ed individuale

PT Scheme: la distribuzione (2) Week 1 Week 2 Week 3 Week 4 Week 5 Monday Tuesday Wednesday Thursday Friday Despatch date 17 d a y s Fax Post E-mail Paper or Website Final test Date* Result deadline Assigned values Report issued *guideline

PT Scheme: la raccolta del dato Manuale (cartaceo) Possibilità di errori di inserimento Time consuming Elettronico Client software Spreadsheet Internet Velocità (3 giorni invece di 2 settimane)

PT Scheme: la raccolta del dato (manuale)

PT Scheme: la raccolta del dato (elettronica)

PT Scheme: il “reporting” Report cartaceo Non è manipolabile Report elettronico Client software, l’utente può personalizzare i report grafici dei risultati PDF Web, possibilità di personalizzare i report IL risultato: Qualitativo / Quantitativo Presente/Assente Risposta tipo (ove lo schema preveda un’opinione soggettiva) Performance score (Z-score)

PT Scheme: il “reporting” cartaceo (1)

PT Scheme: il “reporting” cartaceo (2)

PT Scheme: il “reporting” elettronico

PT Scheme: Z-score, il più utilizzato Z score: Z = x – X s dove x = risultato del laboratorio X = valore assegnato s = deviazione standard (proficiency assessment), detta anche ESD (established standard deviation) Il valore assegnato, per definizione, è il valore individuato come “best estimate” rispetto al “true value” per ogni specifico parametro del test. Rif.: IUPAC International Harmonised Protocol (2006)

PT Scheme: Z-score Considerando una normale distribuzione gaussiana: Circa il 95% degli Z-scores sono compresi tra -2 e +2: solitamente designati come “satisfactory” o “acceptable” I punteggi compresi tra -2 e -3 o 2 e 3 sono statisticamente attesi 1 ogni 20: solitamente designati come “questionable” I punteggi oltre -3 e 3 sono statisticamente attesi 1 ogni 300: solitamente designati come “unsatisfactory” o “unacceptable” |z|≤2 Satisfactory 2<|z|<3 Questionable |z|≥3 Unsatisfactory

PT Scheme: l’interpretazione Legenda: X = mean = standard deviation or variation around the mean  99.75% 3 2 X 68% 95% Diagramma di una distribuzione normale

Warning – no action at this stage PT Scheme: caso 1 Warning – no action at this stage

PT Scheme: caso 2 Action – investigation required Warning – no action at this stage

PT Scheme: caso 3 Action – investigation required

PT Scheme: caso 4 Action – investigation required Warning – no action at this stage

Perchè il laboratorio aderisce ad un circuito E’ uno strumento utile, spesso essenziale per il raggiungimento dell’accreditamento

Accuratezza e Precisione Accuratezza e Precisione molto buone Accuratezza accettabile, scarsa Precisione Scarse Accuratezza e Precisione Scarsa Accuratezza, buona Precisione

Una volta raggiunto l’accreditamento? Il laboratorio dispone di uno strumento unico per misurare il proprio sistema qualità nel suo complesso, confrontandosi all’interno di una “popolazione” Il laboratorio fa riferimento a linee guida che indicano QUANDO intraprendere un’azione Un’azione deve essere intrapresa: ogni volta che si presenta un risultato “unsatisfactory” un risultato “questionable” occorre 2 volte di seguito (per la stessa misura) dopo 9 risultati consecutivi con lo stesso “bias” verso il “valore assegnato” La causa di tali risultati deve essere investigata Un’azione correttiva riporta quindi il laboratorio in una situazione di normalità Nel tempo, il laboratorio migliora le proprie performance !

Accreditamento di LGC PT Group: una condizione essenziale ISO 17025 (General requirements for the competence of testing & calibration laboratories) ISO 9001:2001 (Quality Management Systems - Requirements) ISO 43-1:1997 (Development and operation of proficiency testing schemes) ILAC G13:2007 (Guidelines for the requirements for the competence of providers of proficiency testing schemes) ISO13528 (Guidelines for statistics) United Kingdom Accreditation Service Unico ente di accreditamento nazionale, approvato e monitorato dal governo britannico

Considerazioni & Conclusioni Il PT scheme (V.E.Q.) è uno strumento indispensabile in un sistema accreditato I dati ottenuti dal circuito sono di grande valore (se il fornitore è accreditato) I risultati ottenuti offrono un quadro attendibile del sistema qualità del laboratorio Le performance “Unsatisfactory” devono essere interpretate in un contesto più ampio (nel quale il laboratorio opera) Le cause di una performance “Unsatisfactory” possono essere molteplici L’andamento della performance nel tempo deve essere monitorato Tutti i risultati dovrebbero essere usati costruttivamente Le azioni correttive devono essere intraprese in modo costruttivo e devono essere pienamente documentate Il PT aiuta a migliorare la qualità delle proprie misurazioni

Grazie per la Vostra cortese attenzione ! What z-score did you get? Minus 40!!