Trabajos relacionados con la elección del mejor método de validación de modelos

2. MARCO TEÓRICO

Universidad Técnica Federico Santa María, Departamento de Industrias

Universidad Técnica Federico Santa María, Departamento de Industrias

Universidad Técnica Federico Santa María, Departamento de Industrias

Trabajos relacionados con la elección del mejor método de validación de modelos

2. MARCO TEÓRICO

2.5. Trabajos relacionados con la elección del mejor método de validación de modelos

La correcta medición y comparación de modelos de proyección siempre ha sido un

tema de estudio, de mejoras continuas, sin respuesta empírica que abarque la solución a todos

los tipos de datos y problemas presentes en estos que dificultan su proyección. Debido a lo

cual existen bastantes publicaciones en la materia con variedad de enfoques.

A modo de simular de forma precisa “proyecciones del mundo real, en las cuales nos

paramos en el presente y predigamos el futuro” (Tashman 2000).

En su búsqueda de mejores pronósticos Makridakis and Winkler (1989) y más

adelante Pant y Starbuck (1990), argumentan sobre si existe realmente relación entre la

comparación del desempeño de los modelos, “dentro de la muestra” de data contra el

desempeño de las proyecciones “fuera de la muestra” de data. Con resultados controversiales

argumentando que no existe una relación significativa.

Por el contrario, Billah, King, Snyder, and Koehler (2006) quienes compitiendo en la

competencia de proyecciones mundial M3, prueban en la selección de modelos para una data

finita dentro de la clase de suavizamiento exponencial, que existe un modelo general

eficiente, aplicable a todas las series de tiempo.

Sus resultados para un subgrupo de datos demostraron que los criterios de la

información para la selección de modelos se desempeñan mucho mejor que el uso de datos

de validación, cómo ejemplo, los utilizados en una validación cruzada.

Las diferencias son pequeñas en la selección de modelos, así llegar a una conclusión

razonable sería aceptar que esto sólo aplica a su data particular y los modelos extrapolativos

que fueron considerados.

Crone and Kourentzes (2011) Agregan trabajo adicional a la discusión, utilizando

diferentes grupos de datos demuestran los beneficios de usar validación fuera de la muestra

de datos utilizada para el entrenamiento de los modelos, basándose en medidas de error fuera

de la muestra.

En resumen, las investigaciones entregan resultados conflictivos. Si el ajuste dentro

de la muestra es inadecuado, como estos autores han descrito, entonces un método distinto

de selección es necesario. Aunque estos métodos prueben mejor rendimiento con

entrenamiento dentro de la muestra de data disponible, esto dependerá estrictamente del

análisis de esta y cómo se compone. La proyección basada en reglas de comportamiento

intenta solucionar la problemática, Shah (1997) and Meade (2000), propuso utilizar

características de los datos para predecir rendimiento y complejas reglas de decisión.

Collopy and Armstrong (1992). También utilizaron características para desarrollar

reglas que combinan varios modelos de predicción dependiendo de condiciones en la data.

Demostrando buen rendimiento en varias condiciones empíricas.

Según (R. Fildes and F. Petropoulos 2015) El analista de pronósticos debe retener

toda la data de los eventos que ocurren cronológicamente después de los eventos utilizados

para ajustar los modelos. Por lo cual, en vez de utilizar “k-fold cross validation”, para datos

de series de tiempo se utiliza “hold-out cross validation”, donde subgrupos de datos

(seccionados temporalmente) son reservados para validar el rendimiento de los modelos.

Donde los datos de validación vienen después del subgrupo de entrenamiento.

Como plantean (Varma and Simon 2006), un procedimiento de validación cruzada

anidada provee un estimado del error real, casi insesgado.

A modo de conclusión debe adaptase la proyección a los datos con análisis exhaustivo

de éstos y que representan para la serie de tiempo, utilizando reglas de decisión, criterios del

pronosticador y finalmente para series de tiempo una validación cruzada encadenada,

validada con métricas de desempeño de pronósticos.

2.6. Métricas de Desempeño de Pronósticos

Una gran diversidad de medidas de error son encontradas disponibles en la literatura,

Davydenko and Fildes (2013) resumen los argumentos que establecen sus diferencias. En el

estudio presente se diferencian dependiendo de qué tipo de error que se busca medir, que

representan los modelos analizados, que modelos se someterán a compasión y la estructura

de los datos de las series de tiempo analizadas.

2.6.1. Desviación media absoluta (MAD

El MAD es una medida de dispersión estadística, es un estadístico robusto siendo más

resiliente a datos atípicos que la desviación estándar, ya que, estos tienen mayor efecto

(cuadrático) en la varianza que este estadístico, por lo que es utilizado en métodos cómo señal

de rastreo, para resaltar la presencia de estos datos atípicos.

1

𝑛∑|𝑌

− 𝑚(𝑌)|

Dependiendo de los datos y lo buscado a analizar 𝑚(𝑌) puede tomar el valor del

promedio, mediana o la moda.

2.6.2. Error cuadrado medio (MSE)

Mide el promedio de los cuadrados del error, representa una medida de calidad,

calculando el sesgo de los modelos respecto a los valores reales.

𝑀𝑆𝐸 =1

𝑛∑(𝑌

− 𝑓

)

2.6.3. Raíz cuadrada del error medio (RMSE)

Representa la raíz del error cuadrado medio.

𝑅𝑀𝑆𝐸 = √1

𝑛∑(𝑌

− 𝑓

)

2.6.4. Error porcentual absoluto medio (MAPE)