EVALUACIÓN DEL MODELO QUIMIOMÉTRICO

Según Cueva (2012), la evaluación del modelo se lleva a cabo mediante la aplicación del modelo desarrollado a un conjunto de muestras conocidas llamadas colectivo de validación. Esto se hace con un set de muestras diferentes a las utilizadas en la calibración (validación externa o post validación). El número de muestras para la validación es un valor generalmente arbitrario no existe un numero definido. Al respecto, Cao (2013), utiliza colectivos de validación que representan alrededor del 10 por ciento del colectivo de calibración. Cueva (2012), indica que si los resultados de predicción no son satisfactorios, el modelo debe ser recalculado. Adicionalmente, Cueva (2012), señala que para los modelos cualitativos se conoce su identidad y para cuantitativos se conoce el valor de la propiedad a determinar

Según Cao (2013), un set ideal de validación debe contener muestras que contengan un rango de variación que cubra todos los componentes químicos. Investigaciones citadas por el autor indican el impacto de la variabilidad de las muestras de una cosecha diferente en el proceso de calibración. Para mantener un set de validación independiente y representativo, Cao (2013) tomó muestras de granos de soya de una cosecha diferente a la del colectivo de

45

calibración. Si un outlier fue inadvertidamente incluido en los resultados futuros, la validación también pueda dar una indicación del tipo y respuesta.

Esencialmente, la validación externa consiste en determinar la posible existencia de un error conocido significativo, denominado sesgo, y de un error no explicado, denominado SEP(c) o error típico de predicción corregido por el sesgo (Flores, 2009). Los estadísticos recomendados por Flores (2009) para la evaluación de los resultados del procedimiento de validación externa son: el sesgo (bias), que representa la diferencia sistemática media entre los datos de referencia y los valores predichos NIR; el error típico de predicción (SEP), que es el error de los residuales para las muestras de validación, su valor puede ser bastante variable dependiendo del error del método de referencia (SEL) y de que las muestras de validación estén bien representadas en el colectivo de calibración (Shenk et al., 1992); el SEP(c) o error típico corregido por el sesgo, es un estimador del error aleatorio o no explicado por la regresión y el coeficiente de determinación para la validación (R2).

a. ESTADÍSTICOS DE VALIDACIÓN EXTERNA (SEP Y BIAS)

El SEP es un indicador confiable de la calidad de la ecuación desarrollada, ya que a diferencia del SEC (Error estándar de calibración), que mejora (disminuye) a medida que se agregan nuevos términos a la ecuación, el SEP mejora solo hasta que comienza a producirse un sobre ajuste de la ecuación, empeorando (aumenta) con cada nuevo término (Williams, 2001). Según el software WinISI, el SEP está representado según la ecuación (30).

√∑ ̇ ₍₃₀₎

Dónde: = valor por el método de referencia = valor predecido por la ecuación

= número total de muestras usadas en el cálculo

Infrasoft International (2005), indica que el SEP tiende a variar con la diversidad del producto. Esto es porque la composición química de las muestras en poblaciones muy diversas difiere en forma cuantitativa y cualitativa. Además manifiesta que las calibraciones para cambios cuantitativos son sencillas; sin embargo, las calibraciones para cambios cualitativos, no lo son.

46

Según el Committee for proprietary medicinal products (2003), los valores recomendados del SEP se deben encontrar entre 1,2 a 1,4 veces el SEL.

Según Infrasoft International (2005), los valores de SEP para las ecuaciones NIRS caen en tres categorías generales:

- En la primera categoría están aquellos componentes que exhiben una alta correlación entre la información espectral y los valores de referencia. Por ejemplo proteína cruda y humedad en la mayoría de granos; aceite en suplementos proteicos, tales como concentrados de soya; y grasa en varios derivados de origen animal. Estas combinaciones de producto y componente han demostrado los menores SEP para cualquier producto agrícola o alimenticio en los que la espectroscopía NIR/NIT es usada.

- Una segunda categoría de materiales que exhiben un SEP ligeramente mayor, lo que podría incluir proteína cruda y humedad en forrajes y mezclas alimenticias, y en algunos casos, calibraciones de fibra y minerales de materiales similares a forrajes. Para estos componentes, el método NIRS y el de referencia no miden el mismo grupo funcional (por ejemplo NIRS mide N-H, no todas las formas de N). Un mayor error de análisis en esta segunda categoría es debido a la relación imperfecta entre las dos medidas.

- Una tercera categoría puede incluir las medidas de todos los demás componentes que pueden tener alguna exactitud predictiva, suelen ser más exactas que los valores promedios de una tabla de composición de alimentos. Por ejemplo, la predicción de proteína cruda en comida de pescado. El error estándar de analizar la proteína cruda en comida de pescado es mayor que cuando es comparado a la predicción de proteína cruda en trigo (1,5 por ciento para comida de pescado y 0,3 por ciento para trigo). Esto no es un problema de muestreo, estructura poblacional o el método matemático del desarrollo de la calibración, es debido a la falta de concordancia entre la información espectral de la muestra y el método de referencia. Las alternativas para aceptar el error estándar mencionado de 1,5 por ciento son tres: (1) usar el valor promedio de proteína cruda de tabla de composición de alimentos, (2) esperar hasta que la muestra sea analizada por el método de referencia, o (3) calibrar con otro método de referencia que relacione la información en el espectro mejor que con el nitrógeno total determinado por el método de referencia.

47

Múltiples comparaciones son realizadas entre los diferentes modelos de calibración con respecto a la predicción de muestras espectrales externas (Cao, 2013). Para Burns y Ciurczak (2007), el SEP es el mejor estadístico para evaluar el futuro desempeño del modelo de calibración.

Según Cao (2013) el desempeño de la calibración es evaluada en términos de precisión, exactitud y ajuste del modelo. Mientras que el error estándar de predicción (SEP) mide la precisión, la exactitud puede ser determinada por el bias (promedio de diferencias), indicador de precisión y similaridad entre las muestras de validación y de calibración. Según el software WinISI, el Bias está representado según la ecuación (31).

∑ ̇

(31)

Dónde: = valor por el método de referencia = valor predecido por la ecuación

= número de muestras usadas en el cálculo de la validación externa

Según el software WinISI, el SEP(c) o SEP corregido por el Bias está representado según la ecuación (34).

√∑ ( ̇)

∑ ( ̇)

(32)

Dónde: = valor por el método de referencia = valor predecido por la ecuación

= número total de muestras usadas en el cálculo