Pronóstico de la demanda de bebidas nuevas a través del uso de Redes Neuronales
Artificiales
Daniela Andrea Lovera Villarreal
Departamento de Ingeniería Industrial, Universidad de los Andes, Bogotá, Colombia
Pronóstico de la demanda de bebidas nuevas a través del uso de Redes Neuronales Artificiales
RESUMEN
A través de este proyecto de grado se busca pronosticar la demanda de bebidas nuevas
lanzadas al mercado por una Compañía. Durante el desarrollo de este proyecto de
aplicación, se pretende resolver el problema que se presenta con el pronóstico de la
demanda para nuevos producto y para ello se implementara un método híbrido, que
consiste en la combinación de los métodos Delphi, Analogías Estructuradas y Redes
Neuronales Artificiales; con este, se pronosticará la demanda de una bebida nueva lanzada
por primera vez al mercado. Finalmente, con el fin de establecer que tan buen pronóstico
proporciona este método híbrido se comparará su MAPE con aquellos que se obtengan de
los métodos tradicionales para el pronóstico de la demanda.
Palabras Claves: Nuevos productos, Método Delphi, Redes Neuronales Artificiales, Pronóstico de la demanda, Analogías estructuradas.
ABSTRACT
This project degree seeks to forecast the demand for new drinks launched to the market by
a company. During the development of this project application, it is intended to solve the
forecast demand for new products issues with the implementation of a hybrid methodology.
This methodology consists with the combination of Delphi methods, Neural Networks and
Structured Analogies. This methodology will forecast the demand for a new drink once
launched to the market. Then, the Mean absolute percentage error -MAPE- is going to
establish how good the forecast is provided by this hybrid method compared to the
traditional demand forecasting methodologies.
Keywords: New products, Delphi Method, Artificial Neural Networks, forecast demand,
1 Introducción
El desarrollo de este trabajo se hace con el propósito de dar solución a la situación problemática que actualmente presenta una compañía, con respecto al pronóstico de la demanda de bebidas nuevas lanzadas al mercado, se quiere proporcionar un método con redes neuronales artificialesque permita disminuir el error existente entre la demanda real y la demanda pronosticada en comparación con los resultados que se podrían obtener si se implementaran los métodos tradicionales, el nombre de la compañía no se menciona por motivos de confidencialidad pero que de ahora en adelante denominaremos en este documento como MCM. MCM fabrica y comercializa en Colombia una línea de producción que consiste en productos creados para satisfacer la nutrición de la gente.
Actualmente MCM manifestó dos preocupaciones respecto al pronóstico de la demanda de nuevos productos: la metodología que se está implementando en este momento no está formalizada y las metodologías tradicionales y comúnmente estudiadas para el desarrollo de pronósticos de la demanda no se pueden utilizar ya que estos pronósticos se realizan a partir del historial de la demanda, historial con el que los nuevos productos no cuenta.
2 Descripción del problema
Teniendo en cuenta la manera actual de desarrollar el pronóstico de la demanda para nuevos productos por la MCM, se identificaron dos componentes relevantes en este problema:
No existe una metodología estadística formalizada, es decir, el procedimiento que se lleva a cabo para el pronóstico de la demanda de nuevas bebidas no se realiza bajo ningún protocolo ni se tiene establecido cuál método estadístico se debe utilizar para ese tipo de
producto, esto les ha generado grandes errores entre la demanda real y la demanda pronosticada.
Los nuevos productos no cuentan con un historial de la demanda, datos necesarios para llevar a cabo el desarrollo de las metodologías comúnmente utilizadas en el pronóstico de la demanda.
Por las razones expuestas anteriormente, la propuesta de este proyecto de grado consiste en el desarrollo de un método híbrido para el pronóstico de demanda de bebidas nuevas. Además se busca determinar si el pronóstico calculado con este método híbrido propuesto dará buenos resultados mediante la medición del Error Porcentual Absoluto Medio (MAPE) y la comparación con los resultados obtenidos mediante el uso de los métodos tradicionales. Si el pronóstico tiene gran oportunidad de ser un pronóstico acertado (MAPE inferior al 41%, Winter 2007 - 2008) se propone a la MCM la implementación de este método híbrido en su plan de producción de bebidas nuevas, ya que deesta manera se logrará dar solución al problema: reducción de costos (por almacenamiento o por faltantes) y formalización de un método para el pronóstico de la demanda de nuevas bebidas.
En resumen, se desarrollará un método híbrido que permita generar el pronóstico de la demanda de una bebida nueva lanzada por la MCM al mercado en el año 2009 y se comparará con las ventas reales, al igual que con los Errores Porcentuales Absolutos Medios obtenidos con los métodos de pronóstico de demanda tradicionales.
3 Objetivos
3.1 General
Plantear e implementar un método híbrido a la MCM para el pronóstico de la demanda de bebidas nuevas, el cual consiste en la unión de tres métodos comúnmente usados para el pronóstico de la demanda: Método Delphi, Analogías Estructuradas y Redes Neuronales Artificiales (RNA), este método híbrido se hace con el fin de proporcionar mejores resultados que los que se podrían obtener con los métodos tradicionales.
3.2 Específicos
Esquematizar las diferentes clasificaciones de productos nuevos que existen y aclarar a cuál de ellas pertenece el producto nuevo al que se le realizará el pronóstico de la demanda.
Describir las principales características de los métodos que conforman el método híbrido propuesto: Delphi, Analogías estructuradas y Redes Neuronales.
Pronosticar la demanda de un producto nuevo y comparar con los métodos tradicionales.
4 Descripción del producto nuevo seleccionado y de los datos suministrados por la
MCM
El producto nuevo seleccionado, consiste en una bebida nutritiva con sabor a Mango, preferida por aquellas personas que se preocupan por mantener una dieta saludable y equilibrada. Esta bebida contiene menor cantidad de azúcar que las bebidas tradicionales.
La información de las ventas de MCM fue proporcionada en 4 archivos de Excel, 3 corresponden a los sabores similares seleccionados: sabor durazno, sabor naranja y sabor
manzana (ver Etapa 1 resultados computacionales) y el otro al sabor nuevo que se quiere pronosticar: sabor mango.
Los sabores similares (durazno, naranja y manzana) tienen la característica de haber sido lanzados al mercado en el mismo mes y año. Los 3 archivos correspondientes a estos sabores similares contienen la descripción de las ventas desde su lanzamiento (Agosto de 2009) hasta 15 meses después (mediados de Octubre de 2010). La descripción consiste en el día, semana, mes, año, punto de venta, ciudad y cantidad correspondiente a este nivel de desagregación, durante el periodo de tiempo mencionado. El total de datos suministrados para el sabor de durazno, naranja y manzana fueron 10598 datos, 10091 datos y 11124 datos, respectivamente.
El archivo correspondiente al sabor objetivo o sabor de mango, tiene el mismo nivel de desagregación pero para un período de tiempo diferente. Este producto fue lanzado por primera vez al mercado durante mediados del mes de Octubre del año 2010 y los datos proporcionados cubren hasta el mes de Abril de 2011. Sin embargo, cabe resaltar que el pronóstico que se va a realizar corresponde a los primeros 3 meses en el mercado a nivel Colombia, es decir, el pronóstico de la demanda de Colombia para la bebida de mango correspondiente a los meses de Octubre (desde mediados de Octubre), Noviembre y Diciembre del año 2010. El total de datos suministrado para el sabor de mango fue de 4410 datos.
5 Situación Actual
La MCM cuando lanza un producto nuevo al mercado y decide elaborar el pronóstico de la demanda para dicho producto implementa un método basado en criterios subjetivos y queno está soportado en métodos estadísticos, La MCM noestá teniendo en cuenta que al tratarse de productos nuevos, el pronóstico de la demanda se vuelve una tarea difícil porque al no tener
historial de la demanda no se logra el desarrollo normal de las metodologías comúnmente estudiadas.
Por cuestiones de privacidad los datos numéricos para la realización del proyecto suministrados por la MCM, no serán los valores reales, es decir, serán datos “maquillados” para así no dejar al acceso del público dicha información de la compañía. Sin embargo, la información permitirá de todas maneras lograr un análisis de predicción de la demanda en relación al caso de estudio.
Se propone tener en cuenta las similitudes entre las características del nuevo producto que se quiere lanzar al mercado y un producto que ya esté dentro del mercado, con el fin de dar pautas o una guía del comportamiento de la demanda de ese nuevo producto.
6 Marco Teórico
6.1 Clasificación de los productos nuevos
Los nuevos productos se pueden clasificar según (Kahn 2006) de la siguiente manera:
6.1.1 Reducciones de costos (RC)
Esta categoría se caracteriza por modificaciones menores del producto original destinadas a influenciar el comportamiento de compra del consumidor, mediante la implementación de nuevas políticas de precio o el sostenimiento de una ventaja de costo. Por ejemplo, un hotel que baja los precios de los productos de su mini bar.
6.1.2 Mejoramientos del producto (MP)
Implican cambios en el producto original destinados a mejorar su forma o función. Estos cambios generalmente están referidos como “nuevo y mejorado” o “con mejor sabor”. Como resultado del mejoramiento, el producto original es reemplazado haciendo que los consumidores migren al nuevo producto. Por ejemplo, una pasta dental con fórmula reforzada.
6.1.3 Extensiones de línea (EL).
Mantienen las características estándar de un producto original y se le añaden propiedades únicas que el producto original no tenía. No implican la desaparición del producto original, es decir, el producto original y la extensión de línea ambos están disponibles para la venta. Por ejemplo, sacar nuevos sabores de una marca de yogurt existente.
6.1.4 Nuevos mercados (NM).
El nuevo producto está dirigido a nuevos mercados donde no ha sido ofrecido actualmente. No se altera ni la forma ni la función del producto original. Por ejemplo, lanzar una máquina de afeitar que se usa en los Estados Unidos al mercado australiano.
6.1.5 Nuevos usos (NU).
Se busca expandir el uso del producto original, tal como es o aplicando pequeños cambios, con el fin de posicionarlo en nuevos mercados. Por ejemplo, un mismo jabón que se usa en Japón para limpiar el bambú, se utiliza en Holanda para limpiar ventanas.
6.1.6 Nuevo para la compañía (NC).
Los definen los productos que son nuevos para la compañía pero que ha sido vendidos por un competidor en el pasado. Son productos de imitación. Por ejemplo, cuando salió Excel de Microsoft ya existían en el mercado otras hojas de cálculo como Lotus 123.
6.1.7 Nuevo para el mundo (NM).
Productos que son innovaciones tecnológicas y que crean un mercado que antes no existía. Por ejemplo, el lanzamiento de la vacuna para el SIDA.
Teniendo en cuenta el problema actual de la MCM frente al pronóstico de la demanda de nuevos productos, se creó un método híbrido que está compuesto por tres métodos: Método Delfi, Método de Analogías Estructuradas y Método de Redes Neuronales Artificiales todo con el fin de minimizar el error que existía entre la demanda real y la demanda pronosticada a través de este método propuesto.
7 Métodos de Pronóstico
7.1 Método Delfi
El método Delphi por definición es un proceso en grupo sobre un tema determinado con iteraciones entre el investigador y el grupo de expertos, que generalmente se hace a través de una
serie de cuestionarios. Esta técnica es útil cuando las opiniones y juicios de expertos son necesarios pero el tiempo, distancia y otros factores hacen que sean poco probable o imposible para el panel de trabajar juntos en la misma ubicación física (Yousuf, 2007).
Para que esta práctica se utilice lo más eficientemente posible es necesario que el procedimiento conste de las siguientes 4 características: Anonimato, iteración, realimentación controlada y agregación estadística de las respuestas de grupo. Sin embargo existen muchas maneras en las que se pueden aplicar este método (Rowe, 1999).
7.2 Método analogías estructuradas
El método de analogías estructuradas consiste en pronosticar la demanda de una nueva situación a partir de resultados de situaciones similares o en el pasado (Green & Armstrong, 2006). De esta forma si por ejemplo, se quiere pronosticar la demanda de películas de DVD se podría analizar la demanda histórica de reproductores DVD‟S e inferir como podría llegar a ser el comportamiento de la demanda de películas de DVD, esto se debe a que existe una relación causal entre estos dos productos.
El proceso que se lleva a cabo para el uso de este método es:
(1) Un administrador que prepara la descripción de la situación y elige a los expertos que tengan conocimiento de situaciones análogas (preferiblemente experiencia directa). (2) Los expertos identifican y describen situaciones análogas y la tasa de similitud con la
situación de destino (nuevo producto que se quiere lanzar al mercado) y combinan los resultados de sus analogías con los posibles resultados en la situación que se encuentran. (3) El administrador utiliza los pronósticos y la información proporcionada por los expertos
7.3 Método con Redes Neuronales Artificiales (RNA)
Una
(fuerza) de las conexiones (también llamados pesos) entre elementos, obtenidos por un proceso de adaptación a un conjunto de patrones de entrenamiento.
El funcionamiento de la RNA consiste principalmente en dos fases: Fase de activación y fase de Aprendizaje. Se realiza un aprendizaje Iterativo hasta que la RNA alcanza el error deseado para el modelo de aplicación.
Figura 2. Esquema de RNA para el Pronóstico de la Demanda
Como se puede ver en la Figura 2, las RNA constan de los siguientes elementos:
Capa de entrada: Esta capa está compuesta por neuronas que reciben datos procedentes del entorno.
Capa de salida: Esta compuesta una o varias neuronas que transfirieren la información de la red hacia el exterior
Neuronas o Neurona de Salida: Calcula un Valor de Salida
Capa oculta: Se encuentran al interior de la RNA no tienen contacto directo con el exterior. El número de neuronas se puede ir modificando con el fin de obtener la estructura más adecuada de la RNA.
Neuronas Ocultas: Representa relaciones complejas
Porcentaje datos de entrenamiento: Corresponde a los datos con los que se lleva a cabo el entrenamiento de la RNA y esta se ajusta de acuerdo a su error.
Porcentaje datos de Validación: Miden la generalización de los datos de la RNA
Porcentaje datos de Prueba: Proporcionan medidas independientes del rendimiento de la red durante y después del entrenamiento.
Función de Activación
Figura 3. Funcionamiento Función de Activación
Las sinapsis o conexiones entre las neuronas se hacen a través de una activación que depende del peso asociado a cada una de las neuronas de entrada como se ve en la Figura 3 y luego de esta activación se aplica sobre el valor resultante de una neurona generando un valor de
salida que se envía a la siguiente neurona en caso de que se esté tratando con una RNA multicapa o si solo tiene una capa oculta se genera el valor la capa de salida.
Estas activaciones pueden ser de tres tipos:
Peso negativo: sinapsis inhibidora
Peso cero: no hay relación entre las neuronas Peso Positivo: sinapsis excitadora
Las funciones de activación por lo general no son lineales (ver figura abajo).
Figura 4: Funciones de Activación de la RNA
7.3.1 Normalización de Datos
Un problema de las RNA es que los datos de entrada pueden tener diferentes escalas con valores numéricos con rangos muy grandes. Por esto es apropiado normalizar los datos. Existen diferentes métodos para la normalización de los datos. El método de normalización más común es el lineal, el cual usa el rango de la serie de datos para convertir un valor en la escala original a la nueva escala 0-1. La fórmula de normalización lineal es:
(1) Donde,
X = Valor en la escala original Z = Valor en la nueva escala
Xmin= Valor mínimo en la escala original Xmax= Valor máximo en la escala original Zmin= Valor mínimo en la nueva escala Zmax = Valor máximo en la nueva escala
Aplicando la formula inversa se pasa de la nueva escala a la escala original:
(2)
7.3.2 Generación del Pronóstico de la demanda
Para generar el pronóstico de la demanda a través de MATLAB, es necesario que previamente sea creado un archivo con las mismas variables empleadas en la capa de entrada, pero con los datos correspondientes al producto que se desea pronosticar, este archivo se denominará “Datos_Objetivo”.
El archivo de salida generado por MATLAB se denomina “Pronóstico <NOMBRE>” el cual proporciona la demanda del nuevo sabor de la bebida de acuerdo a la RNA entrenada.
El comando para generar este pronóstico esta dado por:
“Pronóstico <NOMBRE>” = net (Datos_Objetivo); (2)
Zmin) (Zmax Xmin Xmax Xmin X Zmin Z Xmin) (Xmax Zmin Zmax Zmin Z min X X
8 Propuesta de Solución
En este capítulo se describe el método híbrido propuesto para el pronóstico de la demanda de nuevos productos, está compuesto de 5 Etapas (ver figura 5):
8.1 FASE 1. MÉTODO ANALOGÍAS ESTRUCTURADAS
8.1.1 Identificar productos similares
A través del método de analogías estructuradas se seleccionan los productos similaresal nuevo producto que se va a lanzar al mercado.
8.1.2 Obtener datos históricos de las ventas de los productos similares
Teniendo en cuenta los productos similares elegidos se obtienen datos históricos de sus ventas con sus respectivos atributos (VARIABLES DE DATOS HISTÓRICOS).
8.2 FASE 2. MÉTODO DELPHI
8.2.1 Definir características físicas propias de los productos similares
Se implementa el método Delphi y se establece cuales son las características físicas propias de los productos similares, estas características son de gran importancia porque es a través de ellas que se logra consolidar varios productos similares en una única RNA.
8.3 FASE 3. PREPARACIÓN DE LOS DATOS
8.3.1 Identificar y eliminar puntos anormales
Las ventas correspondientes a cada producto similar deben ser analizadas con el propósito de identificar puntos anormales y eliminarlos.
8.3.2 Especificar valores numéricos y normalización de los datos
Se establecen los valores numéricos correspondientes a las variables de datos históricos y las variables de características. Luego, con el propósito de darle igual importancia a los valores introducidos en la RNA se procede a normalizar estas variables.
8.4 FASE 4. MÉTODO DE REDES NEURONALES ARTIFICIALES (RNA)
El uso de redes neuronales artificiales (RNA) tiene una ventaja sobre los métodos tradicionales para el pronóstico de la demanda y es que permite representar modelos complejos que involucran variables explicativas de la demanda. El aporte de esta tesis es usar varios productos similares en una sola RNA, esto se logra a través del uso de variables de características.
8.4.1 Calibrar la RNA
Capa de entrada, capa oculta, capa de salida y archivo de pronóstico.
Porcentajes correspondientes al entrenamiento, validación y prueba de los datos de la capa de entrada.
8.4.2 Configurar la RNA
Número de neuronas en la capa oculta
Número de pronósticos a realizar en el experimento
Funciones de transferencia para la capa oculta y la capa de salida
8.4.3 Establecer criterios de medición de exactitud de los pronósticos
Definir la manera en que se llevará a cabo la medición de los errores y el valor del coeficiente de determinación tolerado como indicador del grado de ajuste del entrenamiento de la RNA. Los cuales permitirán decidir qué tan bueno será el pronóstico de la demanda de cada experimento.
8.4.4 Detallar los experimentos propuestos
Teniendo en cuenta la configuración de la RNA y los dos tipos de datos de entrada (variables de datos históricos y variables de características), se construyen los experimentos con los que se desea probar la RNA.
8.5 FASE 5. PRONÓSTICO DE LA DEMANDA DEL NUEVO PRODUCTO
8.5.1 Generar el pronóstico de la demanda de cada experimento
seleccionado para cada uno de los experimentos propuestos a través de una herramienta computacional.
8.5.2 Seleccionar el mejor experimento a partir de los criterios de medición escogidos
8.5.2.1 Analizar los resultados obtenidos en cada uno de los experimentos
Debe haber un registro por cada experimento y teniendo en cuenta los resultados de los criterios de medición se selecciona el mejor experimento.
8.5.2.2 Realizar Pronósticos adicionales del experimento seleccionado
Se vuelven a generar pronósticos bajo las mismas condiciones del mejor experimento y se compara sus resultados, de acuerdo a los criterios de medición. La finalidad de esto es verificar que la estructura de la RNA seleccionada genere resultados semejantes a los previamente obtenidos en el experimento seleccionado.
9 Resultados computacionales
9.1 FASE 1. MÉTODO ANALOGÍAS ESTRUCTURADAS
9.1.1 Identificar productos similares
En esta fase se identificó que los productos similares al nuevo sabor de Mango eran bebidas con sabor a durazno, naranja y manzana; con el mismo empaque, presentación, color de la fruta y sabor semejante.
9.1.2 Obtener datos históricos de las ventas de los productos similares
VENTAS [Caja por docena]: Datos correspondientes a las ventas históricas de las bebidas con sabores a durazno, naranja y manzana.
VARIABLES DE DATOS HISTÓRICOS: Año, mes, mes de lanzamiento, semana, semana de lanzamiento, ciudad y precio.
Con el propósito de representar el comportamiento de la demanda durante los primero meses en el mercado se usaron las variables de datos históricos: mes de lanzamiento y semana de lanzamiento, las cuales corresponden al número de meses y semanas respectivamente, que han transcurrido desde el día en que el producto fue lanzado por primera vez al Mercado.
9.2 FASE 2. MÉTODO DELPHI
9.2.1 Definir características físicas propias de los productos similares
Se implementó el método Delphi con las personas involucradas en el proyecto y se establecieron las características físicas propias de las bebidas similares de durazno, naranja y manzana; Es mediante estas características que se logra consolidar varios sabores en una única RNA:
9.2.2 FASE 3. PREPARACIÓN DE LOS DATOS
9.2.2.1 Identificar y eliminar puntos anormales
A partir de este análisis se explica por qué existe una gran diferencia entre las ventas de durazno con respecto a las ventas de naranja y manzana durante la semana 32 de 2009 y porqué se considera como un punto anormal.
Se graficaron las ventas de las bebidas de sabores similares (durazno, naranja, manzana) en función de las semanas para cada uno de los años (2009 y 2010), con el fin de detectar los puntos anormales de los datos correspondientes cada sabor similar.
Gráfica 1. Ventas Semanales de los sabores de bebida similar para el año 2009 e identificación de puntos anormales
Gráfica 2. Ventas Semanales de los sabores de bebida similar para el año 2010 e identificación de puntos anormales.
0 200 400 600 800 1000 1200 1400
1 6 11 16 21 26 31 36 41
C
an
ti
d
ad
e
n
D
o
ce
n
as
Tiempo en Semanas
Ventas Semanales Año 2010
Durazno
Naranja
En la Gráfica 1 se identificó un posible punto anormal, con el propósito de ratificar esta idea se revisaron los datos suministrados por MCM durante la semana 32para cada uno de los sabores y se notó que el motivo del bajo valor de ventas era debido a datos incompletos (falta de datos de varias ciudades).Por esta razón la semana 32 no se tuvo en cuenta para ningún jugo similar.
9.2.2.2 Especificar valores numéricos y normalización de los datos
Los valores numéricos para los dos tipos de variables: variables de datos históricos y variables de características a:
Datos Actuales Año
Año
2009 1
2010 2
Tabla 1. Nomenclatura usada para los años.
Año
Datos Actuales
Mes Mes
Mes desde
Lanzamiento Año
Datos Actuales
Mes Mes
Mes desde Lanzamiento
1 Agosto 8 1 2 Enero 1 6
1 Septiembre 9 2 2 Febrero 2 7
1 Octubre 10 3 2 Marzo 3 8
1 Noviembre 11 4 2 Abril 4 9
1 Diciembre 12 5 2 Mayo 5 10
2 Junio 6 11
2 Julio 7 12
2 Agosto 8 13
2 Septiembre 9 14
2 Octubre 10 15
Tabla 2. Nomenclatura usada para los meses y los meses desde que el producto fue lanzado al mercado.
Año
Datos Actuales
Semana Semana
Semana desde Lanzamiento Año
Datos Actuales
Semana Semana
Semana desde Lanzamiento
1 Semana 32 32 1 2 Semana 11 11 32
1 Semana 33 33 2 2 Semana 12 12 33
1 Semana 34 34 3 2 Semana 13 13 34
1 Semana 35 35 4 2 Semana 14 14 35
1 Semana 36 36 5 2 Semana 15 15 36
1 Semana 37 37 6 2 Semana 16 16 37
1 Semana 38 38 7 2 Semana 17 17 38
1 Semana 39 39 8 2 Semana 18 18 39
1 Semana 40 40 9 2 Semana 19 19 40
1 Semana 41 41 10 2 Semana 20 20 41
1 Semana 42 42 11 2 Semana 21 21 42
1 Semana 43 43 12 2 Semana 22 22 43
1 Semana 44 44 13 2 Semana 23 23 44
1 Semana 45 45 14 2 Semana 24 24 45
1 Semana 46 46 15 2 Semana 25 25 46
1 Semana 47 47 16 2 Semana 26 26 47
1 Semana 48 48 17 2 Semana 27 27 48
1 Semana 49 49 18 2 Semana 28 28 49
1 Semana 50 50 19 2 Semana 29 29 50
1 Semana 51 51 20 2 Semana 30 30 51
1 Semana 52 52 21 2 Semana 31 31 52
2 Semana 01 1 22 2 Semana 32 32 53
2 Semana 02 2 23 2 Semana 33 33 54
2 Semana 03 3 24 2 Semana 34 34 55
2 Semana 04 4 25 2 Semana 35 35 56
2 Semana 05 5 26 2 Semana 36 36 57
2 Semana 06 6 27 2 Semana 37 37 58
2 Semana 07 7 28 2 Semana 38 38 59
2 Semana 08 8 29 2 Semana 39 39 60
2 Semana 09 9 30 2 Semana 40 40 61
2 Semana 10 10 31 2 Semana 41 41 62
Tabla 3. Nomenclatura usada para las semanas y las semanas desde que el producto fue lanzado al mercado.
Datos
Actuales Ciudad
Datos
Actuales Ciudad
Barranca 1 Medellín 15
Barranquilla 2 Montería 16
Bogotá 3 Neiva 17
Bucaramanga 4 Palmira 18
Buga 5 Pasto 19
Cali 6 Pereira 20
Cartagena 7 Popayán 21
Cartago 8 Riohacha 22
Cúcuta 9 Santa Marta 23
Duitama 10 Sogamoso 24
Facatativá 11 Tunja 25
Girardot 12 Valledupar 26
Ibagué 13 Villavicencio 27
Madrid 14 Zipaquirá 28
Tabla 4. Nomenclatura usada para las ciudades
Durazno Naranja Manzana Mango Acidez
[gramos/litro] 0,3 0,5 0,4 0,3
Calorías
[Kcal] 36 47 49 60
Tabla 5. Valores designados a cada uno de las características propias de las frutas de cada sabor de jugo1.
Los valores numéricos de cada variable anteriores son normalizados a la escala 0-1 usando la ecuación (1).
1
http://www.thefruitpages.com/contents.shtml
Por ejemplo, para la variable de la característica: “calorías” la correspondiente normalización en la escala 0-1 se presenta en la tabla 6.
Variable Calorías (Kcal)
Normalización (Escala 0-1)
Durazno 36 0
Naranja 47 0,46
Manzana 49 0,54
Mango 60 1
Tabla 6. Ejemplo de normalización de los datos en la escala 0-1
9.3 FASE 4. MÉTODO DE REDES NEURONALES ARTIFICIALES (RNA)
Se llevará a cabo una sola RNA compuesta por los sabores de bebidas que se consideraron similares al sabor de mango (durazno, naranja, manzana). Esta consolidación se logra hacer mediante el uso de las variables características.
Figura 7. Esquema de la RNA para le bebida nueva con sabor a Mango
9.3.1 Calibrar la RNA
Porcentajes correspondientes a: o Entrenamiento: 70% o Validación: 15% o Prueba: 15%
CAPA ENTRADA: Dos tipos de nodos Variables de datos históricos
Variables de características
CAPA SALIDA: Ventas en número de cajas CAPA OCULTA: 1 capa oculta
9.3.2 Configurar la RNA
Número de neuronas en la capa oculta
Seis Opciones de Neuronas en la capa oculta: 5, 10, 15, 20, 25, 30 neuronas.
Número de pronósticos a realizar por experimento. El experimento involucra una combinación de las variables de entrada (denominado escenario) con una opción de las neuronas de la capa oculta.
Tres corridas por escenarios, es decir 3 pronósticos diferentes por cada escenario Funciones de transferencia en la capa oculta y la capa de salida
Se eligieron dos funciones de transferencia la ¨tangente hiperbólica sigmoidea¨, llamada en MATLAB como „logsig‟ 2
y la ¨logarítmica sigmoidea¨, llamada en MATLAB como „tansig‟3 y se probaron en la capa oculta y la capa de salida de la siguiente manera:
Funciones de transferenciaalternativa 1 : CapaOculta: „logsig‟, Capa de Salida: „tansig‟ Funciones de transferenciaalternativa 2: CapaOculta: „tansig‟ ,Capa de Salida: tansig‟
9.3.3 Criterios de medición de exactitud de los pronósticos
Por ser un producto nuevo que no consta de un historial de demanda, la medición de los errores se llevó a cabo a través del MAPE de la demanda histórica de las bebidas de sabores similares y el R^2 (coeficiente de determinación) fue usado para medir la bondad de ajuste de los datos introducidos en la capa de entrada con las ventas en número de cajas o capa de salida.
2
http://dali.feld.cvut.cz/ucebna/matlab/toolbox/nnet/logsig.html
3
Como se hicieron tres pronósticos por experimento, se calculó el MAPE de la demanda histórica de las bebidas con sabores similares de dos maneras distintas:
MENOR MAPE: De los tres pronósticos generados por experimento se eligió el que tenía menor MAPE de la demanda histórica de las bebidas de sabores similares.
MAPE: se realizaba el promedio simple de los tres pronósticos por experimento y a ese valor se le calculaba el MAPE de la demanda histórica de las bebidas de sabores similares.
9.3.4 Experimentos propuestos
Los Experimentos corresponden a la combinación entre la configuración de la RNA propuesta y los escenarios.
Configuración de la RNA propuesta: Número de neuronas en la capa oculta y combinación de funciones de transferencia para la capa oculta y la capa de salida que se va a implementar.
Casos: se generan al realizar diferentes combinaciones de las variables de datos históricos.
Grupos: se generan al realizar diferentes combinaciones de las variables de características.
Escenarios: Unión de los Casos y los grupos.
Consistió en 24 escenarios cada uno probado con funciones de transferencia alternativa 1 y alternativa 2 y con 5, 10, 15, 20, 25 y 30 neuronas en la capa oculta, en total se probaron 288 experimentos. En la figura 8 se puede observar los diferentes experimentos que se llevaron a
cabo y las Tablas 7, 8 y 9 muestran las variables correspondientes a cada escenario, caso y grupo.
Figura 8. Experimentos propuestos a probar en la RNA.
VARIABLES DE CARACTERÍSTICAS
Grupo Acidez Calorías
A X X
B X
C X
VARIABLES DE DATOS HISTÓRICOS DE LAS BEBIDAD CON SABORES SIMILARES
Caso Año Mes
Mes de
Lanzamiento Semana
Semana de
Lanzamiento Ciudad Precio
1 X X X X X X
2 X X X X X
3 X X X X
4 X X X
5 X X X X X X X
6 X X X X X X
7 X X X X X
8 X X X X
Tabla 8. Descripción de los diferentes casos compuestos por las variables de datos históricos de las bebidas de sabores similares
CAPA DE ENTRADA (VARIABLES DE DATOS HISTÓRICOS DE
DE LAS BEBIDAS DE SABORES + VARIBLES DE
CARACTERISTICAS)
Escenario Caso Grupo Escenario Caso Grupo
1 1 A 13 1 A
2 2 A 14 2 A
3 3 A 15 3 A
4 4 A 16 4 A
5 1 B 17 1 B
6 2 B 18 2 B
7 3 B 19 3 B
8 4 B 20 4 B
9 1 C 21 1 C
10 2 C 22 2 C
11 3 C 23 3 C
12 4 C 24 4 C
9.4 FASE 5. PRONÓSTICO DE LA DEMANDA DEL NUEVO PRODUCTO
9.4.1 Generar el pronóstico de la demanda de cada experimento
Una vez entrenada la RNA se generó el pronóstico de la demanda del nuevo jugo sabor a Mango, todo lo correspondiente a la RNA se desarrolló a través del software MATLAB.
9.4.2 Seleccionar el mejor experimento a partir de los criterios de medición escogidos
9.4.2.1 Analizar los resultados obtenidos en cada uno de los experimentos
Se calculó para cada experimento el MAPE de la demanda histórica de los productos similares y se registró su respectivo R^2. Como se puede ver en las Figuras 9 y 10 los coeficientes de determinación para cualquiera de los experimentos probados oscilan entre 0.70 y 0.90 (son cercanos a 1). Por esta razón la manera implementada para el filtro de experimentos a través del MAPE de la demanda histórica de las bebidas de sabores similares.
Figura 9. R2 correspondiente a cada experimento
5 0,87 0,85 0,86 0,78 0,86 0,86
10 0,77 0,77 0,85 0,72 0,85 0,88
15 0,88 0,88 0,87 0,87 0,87 0,90
20 0,84 0,87 0,84 0,85 0,84 0,83
25 0,89 0,90 0,80 0,85 0,80 0,90
30 0,82 0,88 0,86 0,87 0,86 0,76
5 0,84 0,86 0,87 0,87 0,86 0,86
10 0,81 0,87 0,88 0,87 0,88 0,86
15 0,68 0,87 0,85 0,80 0,90 0,85
20 0,81 0,87 0,83 0,69 0,90 0,84
25 0,85 0,85 0,89 0,80 0,78 0,83
30 0,80 0,76 0,88 0,89 0,90 0,80
5 0,72 0,86 0,87 0,85 0,85 0,84
10 0,83 0,75 0,86 0,83 0,86 0,90
15 0,77 0,90 0,82 0,76 0,86 0,88
20 0,83 0,89 0,86 0,80 0,87 0,84
25 0,85 0,88 0,88 0,82 0,90 0,80
30 0,81 0,86 0,86 0,89 0,90 0,57
5 0,86 0,87 0,88 0,7 0,88 0,83
10 0,85 0,88 0,82 0,87 0,79 0,85
15 0,82 0,88 0,88 0,86 0,88 0,89
20 0,81 0,85 0,83 0,80 0,88 0,78
25 0,85 0,90 0,87 0,90 0,88 0,75
30 0,80 0,87 0,88 0,74 0,88 0,87
Caso 1. Coeficiente de Determinacón R^2
Grupo A Alternativa 1
Grupo B Alternativa 1 Grupo C Alternativa 1 Grupo A Alternativa 2 Grupo B Alternativa 2 Grupo C Alternativa 2 Número de Neuronas
Caso 2. Coeficiente de Determinacón R^2
Grupo A Alternativa 1
Grupo B Alternativa 1 Grupo C Alternativa 1 Grupo A Alternativa 2 Grupo B Alternativa 2 Grupo C Alternativa 2 Número de Neuronas
Caso 4. Coeficiente de Determinacón R^2
Grupo A Alternativa 1
Caso 3. Coeficiente de Determinacón R^2
Grupo A Alternativa 1
Grupo B Alternativa 1 Grupo C Alternativa 1 Grupo A Alternativa 2 Grupo B Alternativa 2 Número de Neuronas Grupo C Alternativa 2 Grupo A Alternativa 2 Grupo B Alternativa 2 Grupo C Alternativa 2 Número de Neuronas
Grupo B Alternativa 1
Grupo C Alternativa 1
Figura 10. R2 correspondiente a cada experimento
A través de las Tablas 10 y 11, se identifica dos comportamientos importantes para empezar el filtro de experimentos:
El menor MAPE de la demanda histórica de las bebidas de sabores similares, en todos los casos, se obtuvo con 5 neuronas en la capa oculta.
Los escenarios que involucraban el grupo B, es decir teniendo en cuenta solo la variable de característica Acidez otorgaban mejores resultados (ver Tabla 12).
5 0,83 0,88 0,86 0,79 0,89 0,76
10 0,76 0,90 0,73 0,78 0,86 0,87
15 0,85 0,77 0,87 0,64 0,84 0,84
20 0,77 0,85 0,88 0,84 0,91 0,90
25 0,86 0,87 0,89 0,84 0,89 0,88
30 0,83 0,90 0,81 0,77 0,89 0,89
5 0,84 0,86 0,79 0,83 0,89 0,85
10 0,78 0,74 0,89 0,84 0,88 0,88
15 0,86 0,87 0,84 0,76 0,76 0,88
20 0,78 0,84 0,88 0,87 0,78 0,87
25 0,87 0,79 0,88 0,88 0,88 0,77
30 0,85 0,88 0,86 0,78 0,90 0,72
5 0,72 0,86 0,87 0,86 0,87 0,85
10 0,83 0,75 0,86 0,82 0,77 0,90
15 0,77 0,90 0,82 0,74 0,89 0,86
20 0,83 0,89 0,86 0,80 0,87 0,84
25 0,85 0,88 0,88 0,86 0,90 0,90
30 0,81 0,86 0,86 0,82 0,88 0,85
5 0,86 0,84 0,84 0,8 0,86 0,74
10 0,82 0,89 0,87 0,84 0,79 0,87
15 0,86 0,76 0,85 0,81 0,89 0,86
20 0,72 0,87 0,85 0,82 0,86 0,87
25 0,82 0,84 0,88 0,78 0,88 0,83
30 0,59 0,91 0,88 0,83 0,84 0,88
Caso 8. Coeficiente de Determinacón R^2 Número de
Neuronas
Grupo A Alternativa 1
Grupo B Alternativa 1 Grupo C Alternativa 1 Grupo A Alternativa 2 Grupo B Alternativa 2 Grupo C Alternativa 2 Caso 7. Coeficiente de Determinacón R^2
Número de Neuronas
Grupo A Alternativa 1
Grupo B Alternativa 1 Grupo C Alternativa 1 Grupo A Alternativa 2 Grupo B Alternativa 2 Grupo C Alternativa 2 Grupo B Alternativa
1 Grupo C Alternativa 1 Grupo A Alternativa 2 Grupo B Alternativa 2 Grupo C Alternativa 2 Caso 5. Coeficiente de Determinacón R^2
Número de Neuronas
Grupo A Alternativa 1
Grupo B Alternativa 1 Grupo C Alternativa 1 Grupo A Alternativa 2 Grupo B Alternativa 2 Grupo C Alternativa 2
Caso 6. Coeficiente de Determinacón R^2 Número de
Neuronas
Grupo A Alternativa 1
Tabla 10. MAPE de la demanda histórica de las bebidas de sabores similares correspondientes a cada experimento.
Tabla 11. MAPE de la demanda histórica de las bebidas de sabores similares correspondiente a cada experimento
Grupo
Número de
Experimentos Exitosos % de Experimentos Exitosos A: Acidez y
Calorías 14 29%
B: Acidez 21 44%
C: Calorías 13 27%
Tabla 12. Número de casos éxitos por Grupo
Luego solo se tuvo en cuenta los experimentos con 5 neuronas en la capa oculta relacionados con la variable de característica Acidez (16 experimentos). Como se muestra en la Figura 11 a partir del R2, el MENOR MAPE y el MAPE se seleccionó el mejor experimento para el pronóstico de la demanda de la nueva bebida sabor a Mango.
Figura 11. Selección del Mejor escenario de acuerdo al MAPE histórico de la demanda de las bebidas de sabores similares
La Tabla 13 muestra la estructura de la RNA que se llevó a cabo para realizar el pronóstico de la demanda para la nueva bebidas (Mango), este pronóstico se hizo para 3 meses.
CAPA DE ENTRADA
CAPA DE
SALIDA DATOS_OBJETIVO
Función Transferencia Capa Oculta: „tansig‟
Año
Demanda
Durazno Año
Función Transferencia Capa de Salida: „tansig‟
Mes
Demanda
Naranja Mes
Número de Neuronas en la Capa Oculta: 5 Neuronas
Semana
Demanda
Manzana Semana
ESCENARIO: SIN PRECIO, CASO 4
Ciudad Ciudad
Acidez Acidez
Tabla 13. Explicación del experimento seleccionado para hacer el pronóstico de la demanda del jugo nuevo con sabor a Mango.
9.4.3 Realizar Pronósticos adicionales del experimento seleccionado
Se vuelven a generar pronósticos bajo el experimento elegido con el fin de verificar que la estructura de la RNA seleccionada genere resultados semejantes, de ser así se dice que la RNA es estable. A partir de los resultados resumidos en la Figura 11, se puede decir que los experimentos de prueba realizados con el mejor experimento elegido no muestran diferencia significativa en sus resultados.
10 Comparación con otros métodos
El problema que tienen los métodos tradicionales con respecto al pronóstico de la demanda de nuevos productos consiste en la ausencia de datos históricos, sin embargo con el fin de poder establecer si el método híbrido propuesto (compuesto por el método Delphi, Analogías Estructuradas y Redes Neuronales Artificiales) obtiene un menor error entre la demanda real y la demanda pronosticada, se calculó bajo los métodos tradicionales de Regresión lineal múltiple, promedios móviles, suavizamiento exponencial doble y SE simple el pronóstico de la demanda de la nueva bebida sabor a mango. Esta comparación se hace para comparar la efectividad del método híbrido propuesto con respecto a los métodos de pronóstico tradicionales. De ser exitoso espera que la MCM lo implemente en su plan de producción.
Se mide el error entre el pronóstico de la demanda a través del método híbrido y la demanda real de la bebida de mango mediante el criterio de medida MAPE. Luego se compara el MAPE del método híbrido con la solución a través de los métodos tradicionales: promedios móviles, regresión lineal múltiple, suavizamiento exponencial simple y suavizamiento exponencial doble o método de Holt.
10.1 MAPE Demanda Real con Método Hibrido Propuesto
En la Tabla 14 se muestra los tres meses pronosticados a través del método hibrido propuesto para la bebida nueva sabor a mango y su APE (AbsolutePercentage Error) respectivo. Finalmente se tiene el MAPE, medida de error con la que se va a comparar los métodos:
Método Híbrido Propuesto: Caso Seleccionado Mes Mango Pronostico Mango
Real APE MAPE
Octubre 1199 1890 37% 23%
Noviembre 2192 2474 11%
Diciembre 1803 1483 22%
Tabla 14. MAPE de la demanda real utilizando el método híbrido propuesto.
Gráfica 3. Pronóstico de la demanda a través del método hibrido propuesto
10.2 MAPE Demanda Real con Métodos Tradicionales
Los datos utilizados para hallar el pronóstico de la demanda de la nueva bebida sabor a mango fueronlas ventas históricas de la bebida con sabor a durazno. Se escogió este sabor porque las características físicas del durazno son las que más se asemejan a las características físicas del mango y por ende es la manera que la MCM llevaría a cabo el pronóstico de la demanda de una nueva bebida utilizando los métodos tradicionales.
Durante la preparación de los datos correspondientes al historial de ventas de la bebida con sabor a durazno se eliminó la semana 32 (lo mismo se hizo con los datos utilizados para el pronóstico de la demanda de la nueva bebida sabor a mango a través del método hibrido), los
0 1.000 2.000 3.000 4.000 5.000
0 2 4 6 8 10 12 14 16 18
V en tas ( caj as /d oc en a)
Tiempo en Meses
Pronóstico de la demanda con el método híbrido propuesto
Actual
Ajuste
valores de las ventas (caja/docena) históricas de la bebida sabor a durazno consolidadas a nivel mensual son:
Año Mes
Ventas históricas de la bebida sabor a durazno
[caja/docena] Año Mes
Ventas históricas de la bebida sabor a durazno [caja/docena]
1 8 2.580 2 3 2.343
1 9 1.469 2 4 2.553
1 10 2.888 2 5 3.170
1 11 2.430 2 6 2.939
1 12 1.700 2 7 2.705
2 1 2.895 2 8 2.825
2 2 2.505 2 9 3.015
Tabla 15. Consolidación mensual de las ventas históricas de la bebida sabor a durazno
10.2.1 MAPE demanda real con regresión lineal múltiple
Se hizo la regresión lineal múltiple de los datos con las variables correspondientes al experimento elegido como mejor:
Estadísticas de la regresión
Coeficiente de correlación múltiple 0,32 Coeficiente de determinación R^2 0,10
R^2 ajustado 0,10
Error típico 87,95
Observaciones 4672
Taba 16. Resultados Estadísticos de la regresión lineal múltiple aplicada.
Para este caso no se desarrollo el pronóstico de la demanda para la nueva bebida de mango debido a que el coeficiente de determinación fue de 0.10, lo cual rechaza la hipótesis de un pronóstico a través de este método.
10.2.2 Promedios Móviles Suavizamiento exponencial simple y doble
proporcionó los siguientes resultados, teniendo en cuenta que se quiere hacer el pronóstico de la demanda para los primeros 3 meses de la bebida de mango en el mercado, es decir para los meses correspondientes a Octubre, Noviembre y Diciembre. Los parámetros usados para cada uno de los métodos se muestran en la Tabla 16.
Método Calibración del Método
Promedios Móviles Período = 2
SE Simple Alfa = 0,19
SE Doble Alfa (nivel) = 0,22
Gamma (tendencia)= 0,27 Tabla 17. Parámetros usados en los métodos tradicionales
10.2.2.1 MAPE demanda real con promedios móviles PROMEDIOS MOVILES
Mes
Mango Pronóstico [caja /docena]
Mango Real
[caja /docena] APE MAPE
Octubre 2920 1890 54% 56%
Noviembre 2920 2474 18%
Diciembre 2920 1483 97%
Tabla 18. MAPE usando promedios móviles
10.2.2.2 MAPE demanda real con suavizamiento exponencial simple SUAVIZAMIENTO EXPONENCIAL SIMPLE
Mes
Mango Pronóstico [caja /docena]
Mango Real
[caja /docena] APE MAPE
Octubre 3557 1890 45% 47%
Noviembre 3557 2474 11%
Diciembre 3557 1483 85%
Tabla 19. MAPE usando suavizamiento exponencial simple
Gráfica 4. Pronóstico de la demanda a través del método SE simple
10.2.3 MAPE demanda real con suavizamiento exponencial doble
SUAVIZAMIENTO EXPONENCIAL DOBLE
Mes
Mango Pronóstico [caja /docena]
Mango Real
[caja /docena] APE MAPE
Octubre 3944 1890 60% 66%
Noviembre 4022 2474 25%
Diciembre 4101 1483 112%
Gráfica 5. Pronóstico de la demanda a través del método SE doble
Finalmente la Tabla 21 resume los MAPE respectivos a cada método, esto con el fin de ilustrar que efectivamente el uso del método híbrido para el pronóstico de la demanda de nuevas bebidas y en este caso concreto de la bebida sabor a mango tiene una gran ventaja respecto a los métodos tradicionales.
Gráfica 6. Comparación MAPE de la demanda real
TIPO DE PRONÓSTICO UTILIZADO MAPE
Promedios Móviles 56%
Suavizamiento Exponencial Simple 47% Suavizamiento Exponencial Doble 66%
Método Híbrido Propuesto 23%
11 Conclusiones
Los resultados obtenidos demuestran que es posible realizar el pronóstico de la demanda de productos nuevos en una sola RNA a partir de productos similares, con un error medio del 23%.
Los resultados de los pronósticos de demanda para la nueva bebida con el uso de RNA es superior que los obtenidos a través de los métodos tradicionales debido a que la RNA permite representar modelos complejos donde se involucran varias variables y en cambio los métodos tradicionales están diseñados para ser implementados a partir del historial de la demanda.
El método híbrido propuesto si proporcionó los resultados esperados y es una herramienta útil que permitirá a la MCM tener mejores pronósticos para bebidas nuevas lanzadas al mercado.
Como existen diferentes arquitecturas para la RNA, probar diferentes experimentos permite buscar un mejor ajuste y pronóstico de demanda.El gráfico de todas las etapas delmétodo híbrido propuesto brinda una guía para la implementación de este método en el pronóstico de la demanda de nuevos productos.
12 Bibliografía
B.Kahn, K. (2006). New product forecasting: an applied approach . M.E: Sharpe.
Bolongaro Gianni Delphi Technique can work for new product development [Publicación periódica] / Marketing News. - 1994. - pág. 11.
Dalkey N Predicting the Future. [Publicaciónperiódica] // Rand Corporation. - 1968. Dalkey N Delphi [Libro]. - Santa Monica : The RAND Corporation., 1967.
Dayhoff, J.,Neural Networks Architectures: AnIntroduction ,Van NostrandReinhold, New York, 1990.
Diederich, J. ed, Artificial Neural Networks: Concept Learning , Computer Society Press, Los Alamitos, CA, 1990.
Floyd K, H. a. (2004). An Intertemporal Analysis of the Nature of Demand for food Products. 381-386.
Green, K., & Armstrong, S. (2006). DemandForecastingEvidence-basedMethods. Strategic Marketing Management: A Business ProcessApproach.
Goldfisher Ken Modified Delphi:A Concept For New Product Forecasting [Publicación periódica] // Journal of Business Forecasting Method & Systems . - Winter 1992-1993. - págs. 10-11.
Hoeffler, S. (2003). Measuring Preferences for Really New Products. 406-420.
Mare, Harston& Pap , Handbook of Neural Computing Applications , Academic Press, San Diego, 1990
Nahmias, S. (2007). Análisis de la producción y las operaciones. Interamericana: McGraw Hill . Rowe Gene y Wright George The Delphi technique as a forescasting tool: issues and analysis
[Publicaciónperiódica] // International Journal of Forecasting. - 1995. - págs. 353-375. Simpson, Patrick K. , Artificial Neural Systems , Pergamon Press, New York, 1990.
Stephen, J. , Neural Network Design and The Complexity of Learning , MIT Press Cambridge, MA, 1990.
Vemuri, V. eds , Artificial Neural Networks: Theoretical Concepts , Computer Society Press, Los Alamitos, CA, 1990.
Woundenberg Fred An Evaluation of Delphi [Publicaciónperiódica] // Technological Forecasting and Social Change. - 1991. - págs. 131-150.
Yousuf Muhammad Imran Using Experts´Opinions Through Delphi Technique [Publicación periódica] // Practical Assessment Research & Evaluation. - 2007.
