EVALUACIÓN DEL ANÁLISIS SENSORIAL DE VINOS
DE MALVASÍA
Ginés Guirao Pérez Víctor Javier Cano Fernández Mª Carolina Rodríguez Donate José Juan Cáceres Hernández
Departamento de Economía de las Instituciones, Estadística Económica y Econometría Universidad de La Laguna
[email protected]; [email protected]; [email protected]; [email protected]
Resumen
El análisis sensorial mediante sesiones de cata es el método generalmente aceptado para la valoración de la calidad de los vinos. Si bien, los más modernos análisis de laboratorio pueden revelar un conjunto importante de sus características y detectar ciertos defectos, no son capaces de evaluar todos los parámetros asociados con la calidad del vino, sobre todo, en términos de la percepción subjetiva. En este sentido, tales resultados analíticos no permiten distinguir entre lo que podría considerarse un vino estándar y un gran vino, o dicho de otra forma, vinos con idénticas características físico-químicas pueden presentar valoraciones muy diferentes. Por tanto, la evaluación sistemática del análisis sensorial se convierte en un aspecto esencial del éxito potencial que puede tener un vino particular o un conjunto de vinos.
En este trabajo, se exploran los resultados del análisis sensorial sobre catas de vinos de malvasía llevado a cabo en el ámbito del proyecto “Protección, rehabilitación y valoración del recurso natural Malvasía”, utilizando algunos contrastes estadísticos alternativos para la valoración y comparación de las distintas elaboraciones (seco, semidulce y dulce) realizadas con las variedades de malvasía de La Palma y Lanzarote.
Palabras clave: Análisis sensorial, Malvasía, Comparación de variedades, Contraste de sumas de rangos. Área temática: Economía y Marketing.
1. Introducción
La evaluación de los vinos mediante sesiones de cata es el método generalmente aceptado para definir su calidad. A pesar de la subjetividad inherente al análisis, sin una posible confirmación objetiva, los resultados derivados de las mismas suelen tener cierto impacto sobre la imagen y/o posicionamiento del producto en el mercado. De hecho, algunos trabajos han analizado el efecto que pueden tener las puntuaciones asignadas a distintos vinos sobre los precios de mercado y otros aspectos.
Algunos autores coinciden en que, como mínimo, hay tres requisitos claves que determinan la validez interna de las catas: que éstas sean ciegas, que los juicios de los catadores sean independientes y que los resultados sean analizados de forma sistemática.
En este sentido, dado que el alcance de las conclusiones que de ellos se deriven puede conducir al éxito (o fracaso) de un vino en particular o de un conjunto de vinos, la evaluación adecuada de las mismas se convierte en un aspecto esencial. Además, esto último, que da una señal de calidad al mercado, puede ser utilizado en la estrategia de comercialización del producto.
Los análisis estadísticos estándar basan las conclusiones en el estudio directo de las puntuaciones obtenidas por los vinos en las distintas fases (visual, olfativa y gustativa) o en la puntuación global. En general, éstas están referidas a una escala numérica que puede tener cierta interpretación para los distintos intervalos. Sin embargo, el uso de las medidas basadas en éstos puede conducir a ciertas distorsiones derivadas de la mayor o menor variabilidad en las puntuaciones de los catadores. En este sentido, se propone como alternativa la utilización de los rangos (órdenes) en la valoración de los vinos. En este trabajo se exploran los resultados del análisis sensorial sobre vinos de malvasía llevado a cabo en el ámbito del proyecto “Protección, rehabilitación y valoración del recurso natural Malvasía”. Haciendo uso de algunos contrastes estadísticos alternativos basados en los rangos se valoran y comparan los vinos para las distintas elaboraciones (seco, semidulce y dulce) realizadas con las variedades de malvasía de La Palma y Lanzarote, así como, se extraen ciertas características informativas sobre los catadores participantes.
2. Material y métodos
La información utilizada proviene de las distintas sesiones de cata realizadas en las que se sometieron a juicio vinos elaborados en el ámbito del mencionado proyecto y vinos comerciales de las variedades de malvasía de La Palma y Lanzarote, para tres tipos de vinificaciones (seco, semidulce y dulce).
En las tres sesiones de cata llevadas a cabo intervinieron un panel de catadores (expertos, técnicos y consumidores) que emitieron sus juicios en las correspondientes fichas, cuyo modelo se ajustó al empleado en el Concurso Regional de Vinos Embotellados de Canarias. Aunque dichas fichas contienen información relativa a un conjunto de parámetros descriptivos de cada una de las fases de la cata, en este trabajo consideraremos únicamente la puntuación total asignada a cada vino, de forma que, se pueden clasificar desde excelente (0 a 7) hasta defectuoso (79 a 90)1.
Los datos de las puntuaciones que se utilizan están referidos a 10 catadores para 6 elaboraciones de seco, 8 para 6 de semidulces y 9 para 6 de naturalmente dulces. En todos los casos se consideraron 4 vinos del proyecto2 y 2 comerciales.
Como ya se ha indicado, es habitual utilizar para la comparación de vinos medidas estándar que están basadas en las puntuaciones numéricas de la escala considerada, siendo el promedio simple la más utilizada. Sin embargo, como señalan Ashenfelter y otros (2007) con este tipo de aproximación se concede un gran peso a aquellos catadores que muestran una mayor dispersión en sus puntuaciones, de forma que expresan fuertes preferencias a través de las diferencias numéricas. Ésta es la razón por la que, en muchas ocasiones, los grados (puntuaciones) son convertidos a rangos, garantizando que cada juez tenga la misma influencia sobre el resultado.
En este trabajo, emplearemos varios procedimientos basados en los rangos que permitan la valoración de cada vino en particular en las distintas elaboraciones, la comparación de las dos variedades y la evaluación del grado de acuerdo (desacuerdo) entre los catadores. Y que serán comparados con los obtenidos por los procedimientos estándar.
1
Véase Cano y otros (2007) para un mayor detalle de estas sesiones y de los resultados obtenidos.
2
Esta denominación se realizó para distinguirla de los vinos comerciales que fueron utilizados en las sesiones de cata.
2.1. Valoración de los vinos
En cuanto al primero de los objetivos, la valoración de un conjunto de vinos en las distintas elaboraciones y, con carácter general, supondremos m catadores que evalúan n vinos, lo que conduce a una tabla de m*n rangos. Dicha tabla proporciona una visión general sobre las preferencias del grupo, siendo la suma de los rangos de cada uno de los vinos la medida que mejor resume la información. Obviamente, el valor más bajo indica una mayor preferencia.
El problema, desde el punto de vista estadístico, radica en saber si una suma de rangos es significativamente baja o alta; es decir, si puede considerarse que existen diferencias estadísticamente significativas entre las sumas de rangos. Para este último aspecto, Quandt (2006) propone un contraste basado en medir la distancia cuadrática de cada suma y el valor medio3. El estadístico del contraste se formula como:
(
)
∑
= ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ − + = n 1 j 2 j d 2 1 n m s S ,j=1,...,n,siendo s la suma de rangos de cada uno de los vinosj
4
y m(n+1) 2 el valor medio de dichas sumas.
Obviamente, la presencia de estas diferencias se refleja en una notable variabilidad. De ahí que Quandt (2006) sugiera contrastar la hipótesis nula de ausencia de diferencias en sumas de rangos a través del estadístico S . Debe tenerse en cuenta que este contraste d
no indica lo significativamente bueno o malo que puede resultar un vino en particular, sino la existencia de diferencias de calidad en el conjunto de los vinos en función de las preferencias expresadas.
Una alternativa es el contraste clásico denominado “análisis de la varianza por rangos” de Friedman, mediante el cual se trata de verificar la hipótesis de que los rangos provienen de la misma población5. El estadístico de contraste toma las formas siguientes en función de la ausencia o presencia de empates en los rangos:
) 1 n ( m 3 s ) 1 n ( mn 12 F n 1 j 2 j⎥− + ⎦ ⎤ ⎢ ⎣ ⎡ + =
∑
= 3Esta propuesta supera los inconvenientes que se plantean en el contraste de Kramer (1956).
4
Dicho estadístico no sigue una distribución estándar. Los valores críticos para un α=0.05 están recogidos en Quandt (2006:27).
5
1 n t mn ) 1 n ( mn ) 1 n ( n m 3 s 12 F m 1 i g 1 j 2 ij n 1 j 2 2 j i − − + + + − =
∑∑
∑
= = = ,donde gi es el número de conjuntos de rangos empatados para cada catador y t es el ij
número de ítems que empatan para cada catador6.
2.2. Comparación de variedades
Como ya indicamos, uno de los objetivos del proyecto era observar las posibles diferencias entre las variedades de malvasía de La Palma y Lanzarote para las distintas elaboraciones. En este caso, no se trata de llevar a cabo la evaluación de un vino en particular, sino de observar si existen diferencias entre dos “tipos”, en este caso, variedades; es decir, si los vinos elaborados con una variedad son preferidos a los otros. Quandt (2007) propone un sencillo estadístico para abordar dicha comparación:
2 2 1 1 n R n R R= ,
siendo n1 y n2 el número de vinos de cada una de las variedades y Ri, 2i=1, , la suma de rangos correspondiente a cada variedad. Dado que este estadístico no sigue una distribución estándar bajo la hipótesis nula de no diferencias significativas entre las dos variedades, los valores críticos de este contraste son obtenidos por Quandt a través de ejercicios de simulación (Véase Quandt 2007: 100-101).
2.3. Acuerdo entre los catadores
El análisis sensorial permite no sólo estudiar la evaluación de los distintos tipos de vino, sino también apreciar ciertos matices sobre algunas características de los catadores. En este sentido, uno de los aspectos de interés es el análisis del grado de acuerdo entre ellos. Para su evaluación puede recurrirse al estadístico W de Kendall que, como en el test S de Quandt, utiliza la variabilidad en las sumas de rangos, pero interpretado como d
6
Los valores críticos de este estadístico se encuentran en Siegel y Castellan (1988:353) para menos de 5 catadores. Para muestras mayores el estadístico sigue, bajo la hipótesis nula, una distribución chi-cuadrado con n-1 grados de libertad.
expresión del acuerdo entre catadores. El estadístico se formula, en caso de no existencia de empates en los rangos, de la siguiente forma:
12 ) 1 n ( n ) R R ( W 2 n 1 i 2 i − − =
∑
= ,donde R es la media de los rangos asignados por los distintos catadores al i-ésimo vino i y R es la media de los rangos medios. En el caso de empate, la fórmula del estadístico es la siguiente: m T ) 1 n ( n ) 1 n ( n 3 R 12 W j 2 2 2 i
∑
∑
− − + − = ,donde T es el factor de corrección basado en los empates para los m conjuntos de j rangos (véase Siegel y Castellan 1988: 266). Nótese que si existe acuerdo pleno entre los catadores, el estadístico tomará un valor elevado, mientras que, en situación de desacuerdo, el valor del estadístico tenderá a hacerse más pequeño. Por tanto, es razonable utilizar el valor del estadístico para contrastar la hipótesis nula de ausencia de acuerdo, que deberá ser rechazada si el valor del estadístico es suficientemente grande7. Otro aspecto de interés reside en analizar el grado de acuerdo entre subconjuntos (pares) de catadores. En este caso, se puede acudir a estadísticos estándar comúnmente utilizados como el coeficiente de correlación de Spearman (ρ ). Por otro lado, y como señala Quandt (2006), puede ser ilustrativo comparar los rangos de un catador en particular con los rangos medios correspondientes al conjunto definido por el resto de catadores, ya que esto puede indicarnos quienes están más de acuerdo (o en desacuerdo) con la opinión mostrada por el resto del grupo.
3. Resultados
En las tablas 1 a 6 se presentan las puntuaciones, así como los rangos, para los 6 vinos evaluados por los distintos catadores en las tres elaboraciones consideradas. Como puede observarse, a través de las puntuaciones, en general, los vinos son calificados
7
El estadístico no sigue una distribución estándar bajo la hipótesis nula de no acuerdo. Los valores críticos pueden consultarse, para distintos valores de m y n (pequeños), en Siegel y Castellan (1988:365). Para valores grandes de m y n, m*(n-1)*W sigue una distribución chi-cuadrado con n-1 grados de libertad.
como correctos (puntuación entre 45 y 62). En relación a los vinos secos, atendiendo a la media, la mayor valoración la obtiene un vino comercial elaborado con malvasía de La Palma, seguido de un vino del proyecto para esa misma variedad. Si se observan los rangos, son estos dos vinos los que tienen una menor suma de rangos en concordancia con lo observado en las puntuaciones.
En cuanto a los semidulces, el mejor valorado es un vino del proyecto elaborado con malvasía de La Palma, seguido muy de cerca por un vino comercial elaborado con malvasía de Lanzarote. Nuevamente, la suma de rangos muestra el mismo sentido de dicha valoración.
Por último, en relación a los dulces, el vino mejor valorado a partir de las puntuaciones medias es un vino comercial de La Palma seguido de una elaboración del proyecto con malvasía de Lanzarote. Sin embargo, a partir de la suma de rangos se observa que si bien el mejor valorado es el mismo, el segundo no coincide con lo observado en las puntuaciones. Asimismo, debe destacarse que, a diferencia de lo que ocurre para las otras dos elaboraciones, el peor valorado tanto en media como en rango es un vino del proyecto elaborado con malvasía de La Palma.
Tabla 1. Puntuaciones Vinos Secos de Malvasía
Vino A (LZ) Vino B (LP) Vino C (LZ) Vino D (LP) Vino E (LZCom) Vino F (LPCom) Media Catador 1 56 57 72 72 61 51 61.50 Catador 2 41 46 41 64 55 55 50.33 Catador 3 60 13 52 90 49 50 52.33 Catador 4 49 44 45 45 42 49 45.67 Catador 5 64 41 44 54 52 36 48.50 Catador 6 68 67 63 69 40 39 57.67 Catador 7 68 54 60 54 61 41 56.63 Catador 8 47 71 33 33 59 11 42.33 Catador 9 74 44 68 33 63 17 49.83 Catador 10 76 49 49 39 57 31 50.17 Media 60.30 48.60 52.70 55.30 53.90 38.00 51.47
Tabla 2. Rangos Vinos Secos de Malvasía Vino A (LZ) Vino B (LP) Vino C (LZ) Vino D (LP) Vino E (LZCom) Vino F (LPCom) Catador 1 2 3 5.5 5.5 4 1 Catador 2 1.5 3 1.5 6 4.5 4.5 Catador 3 5 1 4 6 2 3 Catador 4 5.5 2 3.5 3.5 1 5.5 Catador 5 6 2 3 5 4 1 Catador 6 5 4 3 6 2 1 Catador 7 6 2.5 4 2.5 5 1 Catador 8 4 6 2.5 2.5 5 1 Catador 9 6 3 5 2 4 1 Catador 10 6 3.5 3.5 2 5 1 Suma 47 30 35.5 41 36.5 20
Tabla 3. Puntuaciones Vinos Semidulces de Malvasía
Vino A (LP) Vino B (LZ) Vino C (LP) Vino D (LZ) Vino E (LZCom) Vino F (LPCom) Media Catador 1 41 76 47 78 27 55 54.00 Catador 2 29 55 44 39 33 62 43.67 Catador 3 45 50 48 58 40 44 47.50 Catador 4 41 45 49 61 46 47 48.17 Catador 5 41 57 65 52 66 47 54.67 Catador 6 54 25 66 50 39 51 47.50 Catador 7 39 21 37 52 51 41 40.17 Catador 8 41 55 57 52 39 30 45.67 Media 41.38 48.00 51.63 55.25 42.63 47.13 47.67
Tabla 4. Rangos Vinos Semidulces de Malvasía Vino A (LP) Vino B (LZ) Vino C (LP) Vino D (LZ) Vino E (LZCom) Vino F (LPCom) Catador 1 2 5 3 6 1 4 Catador 2 1 5 4 3 2 6 Catador 3 3 5 4 6 1 2 Catador 4 1 2 5 6 3 4 Catador 5 1 4 5 3 6 2 Catador 6 5 1 6 3 2 4 Catador 7 3 1 2 6 5 4 Catador 8 3 5 6 4 2 1 Suma 19 28 35 37 22 27
Tabla 5. Puntuaciones Vinos Dulces de Malvasía
Vino A (LP) Vino B (LP) Vino C (LZ) Vino D (LZ) Vino E (LPCom) Vino F (LZCom) Media Catador 1 60 42 39 39 15 58 42.17 Catador 2 61 35 55 53 44 76 54.00 Catador 3 78 48 35 41 29 60 48.50 Catador 4 56 54 48 39 48 64 51.50 Catador 5 65 46 56 49 39 65 53.33 Catador 6 84 63 55 56 45 76 63.17 Catador 7 62 52 70 52 38 74 58.00 Catador 8 90 73 51 75 49 42 63.33 Catador 9 44 75 40 76 22 39 49.33 Media 66.67 54.22 49.89 53.33 36.56 61.56 53.70
Tabla 6. Rangos Vinos Dulces de Malvasía Vino A (LP) Vino B (LP) Vino C (LZ) Vino D (LZ) Vino E (LPCom) Vino F (LZCom) Catador 1 6 4 2.5 2.5 1 5 Catador 2 5 1 4 3 2 6 Catador 3 6 4 2 3 1 5 Catador 4 5 4 2.5 1 2.5 6 Catador 5 5.5 2 4 3 1 5.5 Catador 6 6 4 2 3 1 5 Catador 7 4 2.5 5 2.5 1 6 Catador 8 6 4 3 5 2 1 Catador 9 4 6 3 5 1 2 Suma 47.5 31.5 28 26.5 12.5 41.5
A partir de las puntuaciones asignadas por cada catador, se observa una menor dispersión en los semidulces que en las otras dos elaboraciones. En cuanto a la puntuación media, para los vinos secos el que peor valoración otorga es el catador número 1, frente al catador número 8 que ofrece una mejor valoración media. En las elaboraciones de semidulces, es el catador número 7 el que mejor valora los vinos, siendo el número 1 el que muestra una peor valoración media. Finalmente, atendiendo a la elaboración de dulce, el catador número 1 es el que mejor valoración hace, siendo el número 6 el que peor valora.
A continuación, se comentan los resultados que se han obtenido, siguiendo el esquema desarrollado en el epígrafe anterior.
Comparación de vinos
Si nos basamos directamente en las puntuaciones y aplicamos los contrastes estadísticos habituales de comparación de medias se observan diferencias significativas al 5% para secos y dulces, no así para semidulces. Haciendo uso de los contrastes estadísticos basados en los rangos, indicados en el apartado anterior, se obtienen los resultados que se presentan en la tabla 7.
Tabla 7. Estadísticos suma de rangos Quandt y F de Friedman.
Seco Semidulce Dulce
d
S 432,5* 248 754,25*
F 12,646* 8,857 21,21*
*Valores significativos al 5%.
Tanto el contraste de Quandt como el de Friedman revelan la existencia de diferencias significativas en la suma de rangos para las elaboraciones de seco y dulce, es decir, que existen diferencias significativas en las preferencias, mostrando así que, a través de la suma de rangos, los mejores vinos para cada una de las elaboraciones serían el vino comercial de La Palma en ambas elaboraciones, siendo los menos preferidos un vino del proyecto de Lanzarote y un vino del proyecto de La Palma, respectivamente.
En este caso, ambos tipos de contrastes conducen al mismo resultado, aspecto éste que no tiene por qué darse para otros conjuntos de datos.
Comparación de variedades
A través de las medias de las puntuaciones, para las dos variedades consideradas, se obtiene que únicamente hay diferencias significativas en las elaboraciones de secos, siendo en este caso, la variedad mejor valorada la de malvasía de La Palma (puntuación media 47,30).
Mediante los valores del estadístico R de Quandt (tabla 8), nuevamente se observa que se rechaza la hipótesis nula de ausencia de diferencias entre las dos variedades sólo para la elaboración de seco. Por tanto, cabe concluir que, globalmente, en las elaboraciones de semidulce y dulce ambas variedades muestran un potencial similar.
Tabla 8. Comparación de variedades
Seco Semidulce Dulce
R 1,3077 1,074 1,054
Valores críticos 1,2461 1,2786 1,2601
En este caso, de la misma forma que ocurría en la comparación de vinos, los resultados de las dos aproximaciones apuntan en la misma dirección.
Acuerdo entre los catadores
Si utilizamos las puntuaciones medias para la comparación entre los juicios emitidos por los catadores, se obtiene que, para ninguna elaboración, se presentan diferencias significativas. Sin embargo, atendiendo al estadístico W de Kendall (tabla 9), se observa que en la elaboración de dulce existe mayor acuerdo entre los catadores, siendo ésta significativa al 95%.
Tabla 9. Estadístico W de Kendall y valores críticos.
Seco Semidulce Dulce
W 0,252 0,2214 0,456
Valores críticos 0,215 0,241 0,267
Por otro lado, como ya se indicó en el epígrafe anterior, resulta interesante analizar el grado de relación entre los rangos asignados por un catador y el rango medio del resto, dado que podría ser una medida de la posición de cada catador en relación al resto8 (tabla 10). Desde esta perspectiva, nos permitiría establecer una clasificación ordenada de los catadores identificando desde el mejor predictor del grupo al peor (Ashenfelter y otros, 2007).
Con respecto a los vinos secos, el catador 5 es el mejor predictor del grupo, seguido por los catadores 6 y 7 que presentan las correlaciones más altas; mientras que los catadores 3, 8 y 2 presentan preferencias no relacionadas con el grupo. En cuanto a la elaboración de semidulce, los catadores 5 y 6 muestran preferencias contrarias al resto del grupo, siendo el catador 7 el que muestra la correlación positiva más débil y el catador 4 el que muestra la más alta. Por último, en la elaboración de dulce, 7 de los 9 catadores muestran correlaciones positivas por encima de 0,5, lo que puede relacionarse con el resultado obtenido en el contraste W de Kendall. En este caso, los mejores predictores son los catadores 3, 6 y 1.
8
Cabe destacar que los resultados del coeficiente de correlación de Spearman difieren si se utiliza la media de las puntuaciones en lugar del rango medio del grupo. De hecho, las correlaciones obtenidas utilizando las puntuaciones en lugar de los rangos son más débiles y en algún caso de signo contrario a las obtenidas con los rangos.
Tabla 10. Coeficientes de correlación de Spearman para cada catador en relación a la media del grupo formado por el resto de catadores.
Seco Semidulce Dulce
Catador 1 0,319 0,586 0,955 Catador 2 -0,265 0,428 0,543 Catador 3 0,029 0,557 0,985 Catador 4 0,657 0,828 0,579 Catador 5 0,985 -0,143 0,753 Catador 6 0,786 -0,029 0,985 Catador 7 0,737 0,086 0,5217 Catador 8 0,058 0,371 0,257 Catador 9 0,600 ---- 0,143 Catador 10 0,550 ---- ---- 4. Conclusiones
En este trabajo se han explorado los resultados del análisis sensorial sobre vinos de malvasía haciendo uso de algunos contrastes estadísticos alternativos con la finalidad de comparar vinos, variedades y características de los catadores.
Si bien, para este conjunto de datos, los contrastes estadísticos alternativos habituales basados en las puntuaciones otorgadas por cada catador y los contrastes basados en los rangos de dichas puntuaciones son, en general, coincidentes en cuanto a la dirección de los resultados respecto de vinos y variedades, lo es en menor medida en relación a los catadores. En cualquier caso, los contrastes basados en los rangos son más adecuados dado que pueden presentar menor distorsión derivada del grado de dispersión existente en las puntuaciones.
Los resultados muestran que existen diferencias significativas entre los vinos en las distintas elaboraciones; siendo, en general, los vinos elaborados con la variedad de La Palma mejor valorados, aunque en algún caso son los que muestran menor preferencia. Si acudimos al contraste de rangos para las variedades, sólo se observan diferencias significativas en la elaboración de secos, siendo los preferidos los elaborados con la
variedad de La Palma. En cuanto a los catadores, considerados globalmente, existe mayor acuerdo con respecto a la elaboración de dulce, no siendo significativa, esto es, no presentándose acuerdo, en la elaboración de semidulce. Además, si se comparan las preferencias establecidas por cada catador respecto al grupo, se observa que es, precisamente, respecto a los vinos dulces donde se da el mayor número de coeficientes de correlación elevados. Por el contrario, en la elaboración se semidulce, la mitad de los catadores presentan un grado de asociación débil o de signo contrario.
5. Referencias bibliográficas
Amerine, M.A. y Roessler, E.B. (1976): Wines: Their Sensory Evaluation. W.H. Freeman. New York.
Ashenfelter, O., Quandt, R.E. y Taber, G. (2007): “Wine tasting epiphany: an análisis of the 1976 California vs. France tasting” En Allhoff, F. (ed.), Wine and Philosophy, pp. 237-247. Blackwell Publishing.
Cano Fernández, V.J., Rodríguez Hernández, P., Rodríguez Donate, M.C., González Mendoza, L.A., Savoie Gutiérrez, J.L., Zerolo Hernández, J., Guirao Pérez, G. y Sarmiento Pérez, B. (2007): “Análisis sensorial de los vinos de malvasía en Canarias”. Anales de Economía Aplicada, 2007. Valladolid.
Kramer, A. (1956): “A quick rank test for significance in multiple comparisons”. Food Technology, 10, pp. 391-392.
Quandt, R.E. (2006): “Measurement and inference in wine tasting”. Journal of Wine Economics, 1, pp. 7-30.
Quandt, R.E. (2007): “A note on a test for the sum of ranksums”. Journal of Wine Economics, 2, pp. 98-102.
Ranking, B. (1999): Manual Práctico de Enología. Acribia. Zaragoza.
Siegel, S. y Castellan, N.J. jr. (1988): Nonparametric Statistics for the Behavioral Sciences. McGraw Hill.
