Los ensayos de aptitud como ejercicios de intercomparación, aspectos prácticos

Los ensayos de aptitud como

ejercicios de intercomparación,

aspectos prácticos

I. Eguileor

Aspectos Prácticos a considerar en EI/EA

1.

Introducción. ¿Por qué y para qué los EI/EA?

2.

Tipos de intercomparaciones

3.

Planificación / Programación de participación EI/EA

4.

Selección y evaluación de EI/EA. Criterios básicos

5.

Uso de EI/EA.

INDICE

¿Para qué sirve la participación en

EI/EA?

• Evaluar el funcionamiento de los laboratorios para llevar a cabo ensayos o mediciones específicos y hacer su seguimiento continuo. • Identificar problemas en los laboratorios e iniciar acciones para la

mejora

• Establecer la eficacia y la comparabilidad de los métodos de ensayo

• Proporcionar confianza adicional a los clientes de los laboratorios;

– Identificar las diferencias entre laboratorios;

– instruir a los laboratorios participantes sobre la base de los resultados de dichas comparaciones;

– validar las estimaciones de incertidumbre declaradas;

– evaluar las características de funcionamiento de un método – a menudo descritas como pruebas de colaboración;

– asignar valores a los materiales de referencia y evaluar su adecuación para ser

¿Por qué se participa en EI/EA?

1.

Porque lo pide ENAC

2.

Por convencimiento de su utilidad

3.

Porque lo pide la Legislación. Directiva de 1993 de

Medidas Adicionales Laboratorios Oficiales de

Control Alimentario: Acreditación y la participación

en EI/EA.

4.

Los EI/EA llevan décadas de recorrido en diferentes

sectores. Nacen con carácter voluntario. No se

inventaron ni con ENAC ni con la Legislación.

Objetivo

Proceso

INTERCOMPARACION

Tipos de Ensayos de aptitud

Por resultado a evaluar

• Cualitativos(Categóricos, Identidad de un microorganismo, Presencia/Ausencia, Detección, ...)

• Semicuantitativos(Ordinales)

• Cuantitativos

• Interpretativos(ej.: declaración de morfología, estudio de un caso, ...)

Por organización/ periodicidad • Ejercicio aislado, Programa continuo • Simultáneo, Secuencial

Por Numero y origen de muestra: • Niveles de mensurando • Muestra compartida Por tipos Ensayos • no destructivos • “In situ”

Planificación

Combinaciones de



producto/material/matriz



método de medida



parámetro



intervalo de trabajo

que el laboratorio ensaya.

Los laboratorios acreditados deberán considerar todos los ensayos

incluidos en el alcance de acreditación Cartera de servicios analíticos

Programación

•

Complejidad del método:

número elevado de etapas intermedias.

•

Variabilidad de matrices, posibilidad de

interferencias.

•

Volumen de actividad:

aseguramiento calidad?

.

•

Histórico de intercomparaciones:

FRECUENCIA DE PARTICIPACION

Evaluaciones adecuadas al fin pretendido (fit for purpose) … clave en la intercomparación de laboratorios

Selección evaluación del proveedor

de EI/EA

Ensayos atendidos por proveedores múltiples.

•

Ensayos básicos o habituales.

Piensos etc.

Programas asentados con años de experiencia

. Base EPTIS

Ensayos en los que los LNR realizan EI/EA.

Animal, Residuos de Plaguicidas o Medicamentos Veterinarios, Análisis Sensorial, etc.

Areas huérfanas:

coplanares,

Ensayos imposibles:

transporte

Aunque solo haya un proveedor debe evaluarse de acuerdo con la norma ISO 17025. El hecho de que incluso pueda ser gratis no lo excluye.

Evaluación del proveedor de EI/EA

¿Qué aporta un proveedor de EI/EA?

•

Muestra

•

Valor Asignado

•

Evaluación del Rendimiento/Desempeño

Además:

•

Comparación con otros laboratorios.

•

Gráficos

•

Métodos prevalentes y su rendimiento …

Evaluación Muestra

• Lo más aproximada posible a la que se ensaya en el laboratorio.

• Evitar si es factible las que no representan las ensayadas habitualmente en el laboratorio. Ej.: patrones, disoluciones puras, adicionadas, etc. Residuos de medicamentos veterinarios en muestras naturales.

• Nivel de concentración o magnitud del parámetro a evaluar acorde con el fin pretendido (en las pruebas cualitativas incluir información sobre el orden de magnitud del parámetro).

• Presencia de interferencias habituales.

MICRO ISO22117: Nivel organismo diana. No inferior a 10 colonias/placa, trazabilidad, flora competitiva.

Evaluación Muestra: Homogeneidad

 Intermuestra no Intramuestra

 Es responsabilidad del laboratorio la homogeneización, al igual que la muestra de un cliente.

 Atención a productos “SUPUESTAMENTE” homogéneos. Ej. líquidos con volátiles.

 Es la actividad más costosa (tiempo y $)para el proveedor, tentación de obviarlo.

 Test de homogeneidad (Ej. 10 muestras por duplicado al azar). Mínimo para asegurar que no se rechaza material válido.

 Método de evaluación: apropiada repetibilidad. Numero de cifras significativas suficiente para evaluación.

 La exactitud no es crítica pero tampoco pueden aceptarse resultados con un enorme sesgo frente al valor de consenso.

MICRO ISO22117:Variabilidad entre unidades <0,3

σ

Evaluación Muestra: Estabilidad

•

Debe asegurarse que el material de ensayo es estable

durante todo el ejercicio. Incluyendo condiciones transporte

y almacenamiento.

•

Criterios de evaluación adecuados a la precisión diana.

Caso particular:

La misma muestra circula por todos los laboratorios.

Ensayos no (cuasi) destructivos: Porta Recuentos identificación de fibras, células, parásitos,… Video, etc.

Frecuencia de comprobación de integridad por parte del organizador (pétalo)

VALOR ASIGNADO

Procedimiento para estimar el valor asignado del

mesurando y su incertidumbre:

–

valor de preparación

–

valor de referencia

–

valor consenso entre laboratorios expertos

–

valor de consenso entre laboratorios

participantes

Identificar los valores estadísticos atípicos

estadísticas robustas que minimizan la influencia de resultados extremos

VALOR ASIGNADO

Media/ Mediana/ Importancia de la normalidad.

– Aberrantes/Atipicos/Discrepantes

– Estadística robusta para la determinación del valor asignado por consenso – Estimación robusta ponderada (Cofino),no ponderada (kernel) – Función de densidad de probabilidad(pdf)

Multimodalidad. Bump-Hunting

Diferencias estadísticamente significativas vs

Significación analítica y práctica de las diferencias

Análisis por métodos/por equipos/ por fabricante…

Aceptación de sesgo y/o falta de trazabilidad. Ej. Kits Gluten, Alergenos, etc.

El valor asignado y su incertidumbre

Incertidumbre del valor asignado por consenso

Estimación de incertidumbre estándar

Desviación estándar robusta denresultados

Estimación de incertidumbre válida para la comprobación de la adecuación del valor asignado.

n

u





ˆ





En las evaluaciones por consenso el numero de participantes influye en la incertidumbre del Valor Asignado

MRs

Jerarquia de Calibración, Trazabilidad y

Conmutabilidad

Resultados de EI/EA

Comparabilidad y Compatibilidad

EVALUACION DEL

RENDIMIENTO/DESEMPEÑO

Estimacion del sesgo

D = x -X

Sesgo relativo

D% = 100 x (x -X)/X

z-score

•

Proporciona la respuesta más sencilla a la

pregunta de si el laboratorio opera de acuerdo

con el requisito cuantitativo (

σ

diana) establecido.

EVALUACION DEL

RENDIMIENTO/DESEMPEÑO

z

´

-score

Z (

ζ

) -score / dseda

Número En

EVALUACION DEL

RENDIMIENTO/DESEMPEÑO

Uso de incertidumbre de participantes en evaluación

de rendimiento

– Métodos muy variados de estimación – Ventajas dudosas en algunos casos

– Falta consenso en cómo incorporar esta evaluación

No aplicable en evaluación por consenso.

Datos correlados.

EVALUACION DEL RENDIMIENTO/DESEMPEÑO

PUNTUACIONES COMBINADAS

•

Puntuaciones combinadas: Tipos, usos y limitaciones

•

Suma ponderada de z-scores

(Weighted Sum of

z-scores)

WSZ

–

Uso limitado a combinaciones analito/matriz

–

Pueden ocultar fallos

n

z





RSZ





z

SSZ

Evaluación Objetiva/Descriptiva

de los laboratorios

La evaluación mediante z-score.

Deben realizarse evaluaciones adecuadas al uso previsto (Fit for purpose).

Las evaluaciones “descriptivas”

“valor diana de precisión”

“desviación estándar de los propios participantes” Tras rechazar aberrantes

¡ 95% darán resultados “correctos” !

 

x

X

p

z





ˆ



X

ˆ

Valor asignado

p



Calidad analítica deseable

Referencia de precisión

1.

Legislación

– (ej. Medio ambiente, Aguas, Aire)

2.

Estudio colaborativo

– Hay algunos muy mejorables. Tendencia a disminuir AOAC 2011 crisis.

3.

RSD, Ecuaciones combinadas, “Nivel menor de interés”

– Problema distribución no normal z >2

– Horwitz “Generoso a valores bajos”Modificación Thompson

4.

Rango derivado de participantes

– No recomendado. Cómodo para organizador. – Solo informativo.

– A pesar de mejora de resultados absolutos puede dar peor z

5. MICRO ISO 22117:

Regla de 0,5log

Concentración Nº Labs

d



2

Excluidos los aberrantes el estarán entre z + 2 95% d



p



2



¡¡ OBJETIVO PARA LA MEJORA !!

• Horwitz, corr.Thompson • Legislación

• Percepción opinión experta • “Regla” de 0.5 log

• Ejercicios de intercomparación, etc 98%

55% 78% Evaluacion Objetiva

Parámetros de calidad de un ejercicio

•

Importancia de la desviación típica del ejercicio

•

Relación entre la incertidumbre del valor asignado Ux y

la desviación “diana” del ejercicio

•

Comparación del valor asignado para determinar si la

intercomparación puede tener sesgo. Multimodalidad

p rob





ˆ



1

.

2

1

.

0



u



•

Errores comunes en la interpretación de z-score

|z| =0 |z| < 2 |z| > 3 ¡¡2,9 regular / 3,1 Mal !! 0,05 / 0,003

z-score es un indicador, no hace diagnóstico ¡¡ANALISIS DE CAUSAS!!

•

Investigaciones ante resultados no satisfactorios

… ¿sólo entonces?

Si |z| < 2 no se comprueba la evaluación que hace el proveedor

•

Adaptación de la evaluación a cada aplicación particular

Evaluación de los resultados propios

Conclusiones obtenidas por el laboratorio

sobre su propia actuación

Indicadores en el informe de posibles problemas

– Muestra

– Criterios de evaluación – Gráficos

– Comentarios del organizador

Medidas adoptadas ante resultados no

satisfactorios

Medidas adoptadas ante resultados no satisfactorios

• Errores: cálculo, trascripción, pesada, volumen, expresión de resultados • Control Interno de calidad. Debiera detectar antes el problema

– Material habitual no acorde con el ensayo

– Solo se evalúa precisión no sesgo

• Material de ejercicio

– No el habitual del laboratorio

– Manejo inadecuado, homogeneidad, peso

• Multinanalito. Ayuda a evaluación global y detección de errores

– HPLC, GC, AA, ICP, …

• Método minoritario sin sesgo

– Corrección de recuperación. “Ciencia/democracia

CONCLUSION

Un EI debe proporcionar información consistente para la toma de decisiones.

Coste: Participación+Ensayo+Evaluación...

Si no se obtiene una evaluación del rendimiento/desempeño del laboratorio que permita tomar decisiones

Beneficio = 0 Relación Coste/Beneficio

¿?

Bibliografía

1.- Statistical methods for use in proficiency testing by interlaboratory comparison. ISO 13528: 2005. (en revisión)

2.- The international harmonized protocol for the proficiency testing of analytical chemistry laboratories (IUPAC 2006) Pure Appl. Chem., Vol. 78, No. 1, pp. 145–196, 2006. 3.- Evaluación de la conformidad Requisitos generales para los ensayos de aptitud

UNE-EN ISO/IEC 14023:2010

4.- Guía sobre la participación en programas de intercomparaciones G-ENAC-14 Rev. 1 Sept. 2008

5.- Selection and use of proficiency testing schemes for a limited number of participants— chemical analytical laboratories (IUPAC Technical Report 2010) Pure Appl. Chem., Vol. 82, No. 5, pp. 1099–1135, 2010

6.- Guidance on the level and frequency of proficiency testing participation EA-4/18 rev00 June 2010

7.- Microbiología de los alimentos para consumo humano y animal Requisitos específicos y directrices para los ensayos de aptitud UNE-CEN ISO/TS 22117:2011 EX