Principios)de)ANOVA)

(1)

Principios)de)ANOVA)

Dept. of Marine Science and Applied Biology Jose Jacobo Zubcoff

Licencia creative commons Attribution-ShareAlike 4.0 International (CC BY-SA 4.0)

(2)

Intro Test ANOVA Requisitos Resultados

¿Qué es y para que sirve?

ANOVA

Compara la distribución de una variable continua normal en

dos o más poblaciones

(niveles o categorías)

Pruebas de contraste para dos o más grupos

independientes (ANOVA entre sujetos): un factor

completamente aleatorizado.

(3)

Ejemplo de problema a resolver:

Se quiere estudiar la abundancia en tres zonas pesqueras, una de las cuales

tiene cierto nivel de protección (pesquera).

Se espera que comparando los valores de esta zona con la de otras dos con

parecidas características el hecho resultará evidente.

Hipótesis:

ANOVA

:

1 0

H

No existen diferencias entre las k zonas

Hipótesis nula no cierta (al menos alguna zona es diferente al resto)

(4)

ANOVA

H

₀

: No existen diferencias entre los

k

niveles

H

₁

: La hipótesis nula no es cierta

Hipótesis nula: (todas las medias poblacionales de los “k" grupos son iguales)

H0: µ1=µ2=µ3...=µa=µ

Hipótesis alternativa: (al menos una media poblacional difiere)

H1: No es cierto H0

•  Parte de un conjunto de observaciones muestrales

• K niveles o categorías

(5)

ANOVA

Supongamos un universo de notas de 9 alumnos

de 3 grupos distintos

No hay diferencia ENTRE grupos

Ni DENTRO de los grupos

Grupo 1 Grupo 2 Grupo 3

5

5 X

_i,j

= µ

(6)

ANOVA

Supongamos que aplicamos un método de enseñanza (

factor

)

que afecta:

Donde

α

_i

= {1,2,0}

efecto del factor!

Grupo 1 Grupo 2 Grupo 3

5+1=6

5+2=7

5+0=5

5+1=6

5+2=7

5+0=5

5+1=6

5+2=7

5+0=5

X

_i,j

= µ + α

_i!

El factor influye en establecer diferencias ENTRE grupos

Pero NO DENTRO

(7)

ANOVA

Donde

_ε

_i,j

= {-1,-2,0,2,0,1,3,4,0}

efecto aleatoriedad

Grupo 1

Grupo 2

Grupo 3

5+1-1 = 5 5+2+2 = 9 5+0+3 = 8

5+1-2 = 4 5+2+0 = 7 5+0+4

= 9

5+1+0 = 6 5+2+1 = 8 5+0+0 = 5

X

_i,j

= µ + α

_i

+ ε

_i,j!

La ALEATORIEDAD influye en la variabilidad

DENTRO

de los

grupos

•  Por razones ALEATORIAS algunos alumnos rinden mas que otros

(8)

ANOVA

Grupo 1

Grupo 2

Grupo 3

5+1-1 = 5

5+2+2 = 9 5+0+3 = 8

5+1-2 = 4

5+2+0 = 7 5+0+4

= 9

5+1+0 = 6 5+2+1 = 8 5+0+0 = 5

X

_1.

= 5

"

X

₂

.

= 8

"

X

3. = 7.33"

X

_..

= 6.78"

Calculamos las medias por grupo y la media global

(9)

ANOVA

Grupo 1

Grupo 2

Grupo 3

5

9

8

4

7

9

6

8

5 X

_1.

= 5

"

X

₂

.

= 8

"

X

3. = 7.33"

X

_..

= 6.78"

Para calcular el efecto aleatorio: medimos las diferencias DENTRO

∑

(

X

_ij

− X ..

)

2

∑

=

(

X

_ij

− X

_i.

)

2 j=1 n_i

∑

i=1 k

∑

+

n

_i

(

X

_i.

− X..

)

2 i=1 k

∑

9

(10)

ANOVA

Grupo 1

Grupo 2

Grupo 3

5

9

8

4

7

9

6

8

5 X

_1.

= 5

"

X

₂

.

= 8

"

X

3. = 7.33"

X

_..

= 6.78"

Para calcular el efecto del

factor

: medimos las diferencias

ENTRE

€

∑

(

X

_ij

− X ..

)

2

∑

=

(

X

_ij

− X

_i.

)

2 j=1 n_i

∑

i=1 k

∑

+

n

_i

(

X

_i.

− X..

)

2 i=1 k

∑

10

(11)

ANOVA)

Tenemos)dos)2pos)de)variabilidad:)

– 

ENTRE)grupos))(debida)al)factor))

– 

DENTRO)grupos))(debida)a)la)aleatoriedad))

)

Para poder afirmar que el factor produce efectos:

La variabilidad ENTRE grupos debe ser significativamente

grande respecto a la DENTRO grupos

(12)

ANOVA)

Generalizando+…+

1

2 Niveles del factor

k

1 X

_1,1

X

_2,1

_...

X

_k,1

2 X

_1,2

X

_2,2

X

_i,j

X

_k,2

j

X

_1,j

X

_2,j

_...

X

_k,j

n

X

_1,n1

X

_2,n2

_...

X

_k,nk

i = 1,2,3,...,k j = 1,2,3,..., n

_k

(no balanceado)

Media al nivel i del factor = (1/n

_i

)

∑

X

_i,j

j=1

Media general =

(

1/N) ∑ ∑ X

_i,j

Siendo N = ∑n

_i

(13)

ANOVA)

H

₀

:

µ

₁

= µ

₂

= … = µ

_k

!

H

₁

: Al menos una igualdad no es cierta!

)

• Según)la)Hipótesis)ﬁjada))))

modelo)probabilís2co)

NO)se)rechaza)H

₀

)sí)y)solo)sí:)

+

))

€

F =

Q

_E

k −1

Q

_D

n − k

≤ F

_{k−1,n−k,α} 14

(14)

Análisis de la varianza de un factor:

µ1 f(X_1j) X_1j µ₂ f(X_2j) X_2j µ_a f(X_aj) X_aj µ µ1 f(X_1j) X_1j µ₂ f(X_2j) X_2j µ_a f(X_aj) X_aj µ A₁ A₂ A_a 15

(15)

Análisis de la varianza de un factor:

Construcción del estadístico de contraste:

Si el F_calc > F_crit para (a-1) y a(n-1) g.l., se rechaza H₀:

al menos una de las medias X_i es significativamente diferente de las demás MC_ENTRE / MC_DENTROsigue una distribución F

1

Probabilidad p

Solo hay un valor crítico. La variable F es una t al cuadrado, de ahí que sólo haya una cola.

(16)

ANOVA

Fuentes de variación

Sumas de cuadrados G.L. Cuadrados

Medios

F

ENTRE

k–1

DENTRO

n–k

TOTAL

n–1

P-valor

Signif.

k n Q k Q F D E − − = 1

(

)

2 1 .. .

∑

= − = k i i i E n X X Q

(

)

(

)

∑

∑∑

= = = − = − = k i i k i n j i ij D S n X X Q i 1 2 2 1 1 . 1

(

)

∑∑

= = − = k i n j ij i X X Q 1 1 .. 2

1 /

_E E

k

S

Q

₋

₌

2

/

_D D

n

k

S

Q

₋

₌

2

1 /

n

S

Q

₋

₌

17

(17)

ANOVA

Hipótesis necesarias para realizar un ANOVA

a) 

Normalidad de la respuesta en cada nivel

b) 

Homogeneidad de las varianzas

c) 

Independencia de los valores obtenidos

(18)

Intro Test ANOVA Requisitos Resultados Requisitos de ANOVA Homogeneidad de varianzas: f(x₁) µ f(x₂) µ f(x₃) µ f(x₁) µ f(x₂) µ f(x₃) µ

Cuando varianzas ≠, se incrementa el error Tipo I

(19)

Requisitos de ANOVA

Homogeneidad de varianzas:

Test de heterogeneidad de varianzas:

Bartlett -> high alfa, sensible a NO normalidad

Levene -> es una ANOVA para VAR. Asume var iguales!!

Scheffe -> insensible a NO normalidad, pero no lo recomnieda … Hartley ->problema cuando 1 var es pequeña….

… etc.

Test de Cochran _{C =} mayor si2

∑ s_i2

La distribución C para a (tratamientos) y (n-1) g.l. ha sido tabulada Si C_obs < C_c, aceptamos la H₀ de homogeneidad de varianzas

(20)

Requisitos de ANOVA

Homogeneidad de varianzas: _Varianzas

homogéneas ANOVA

Varianzas no

homogéneas Transformación _{de datos}

Conteos (o datos que siguen una dist. de Poisson) ! √ (X + 1) Ratios, tasas, concentraciones, etc. ! log (X) o log (X + 1) Porcentajes y proporciones ! sen-1_{√ X (= arcsen X)}

Test de homogeneidad

(21)

Transformación de datos

•  Útil para eliminar heterogeneidad de la varianza.

•  Sólo es efectivo si la media tiene una relación constante con la varianza.

•  La transformación debe ser monotónica.

•  Deben mantenerse las medias en el mismo orden.

•  La transformación debe utilizarse únicamente para evitar el problema de

heterogeneidad de la varianza.

•  Transformaciones sistemáticas son perjudiciales.

Requisitos de ANOVA

(22)

Raíz cuadrada

•  Poblaciones que siguen una distribución de Poisson: medias y

varianzas son iguales

•  Frecuencias o recuentos por unidad de tiempo o superficie.

•  Principalmente con abundancias muy pequeñas.

√

X + 1

Transformación de datos

Requisitos de ANOVA

(23)

Logarítmo

•  Muestreos con valores muy altos: medias mayores y varianza mucho mayores. •  Datos distribuidos log-normal

•  Medidas de tasas, concentraciones, relaciones,...

•  Ej: Relación entre el número de presas comida por depredador, cantidad de clorofila por peso algal,...

•  Independiente del tipo de logaritmo usado.

•  Sumar una constante (1) para aplicar logaritmos por los valores que son 0. •  Problema en valores muy pequeños: solo cuando son mayores de 10.

log (X+1)

Transformación de datos

Requisitos de ANOVA

(24)

Arcoseno

•  Porcentajes y proporciones

•  Distribución Binomial.

•  Ej. Porcentaje de cobertura de

Posidonia

sen

-1

_√

_X

Transformación de datos

Requisitos de ANOVA

(25)

logit transformation

(1/2) log ((p / 1-p))

•  Transforma los valores de porcentajes desde -

∞

hasta +

∞

•  La transformación de arcoseno limita los valores desde 0 hasta

π

/ 2

radianes (0 hasta 90 º) .

Transformación de datos

Requisitos de ANOVA

(26)

Si la transformación de datos no es posible

•  Situaciones biológicas que presentan varianzas heterogéneas:

gran agrupación de organismos.

•  Cuando son experimentos bien replicados: el análisis de la

varianza es suficientemente robusto.

•  Experimentos grandes y balanceados.

•  La validez del test y probabilidades asociadas con la

distribución de la F ratio no se ven muy afectadas.

Requisitos de ANOVA

(27)

• Si se acepta la Ho no existe problema.!

• Si se rechaza debe ser un

α

menor (0.01): así se evita error tipo I.#

!

Utilizar un test no paramétrico !

no soluciona el problema de !

heterogeneidad de !

varianzas!

(debemos intentar explicar dicha heterogeneidad)!

!

Si la transformación de datos no soluciona la Heterogeneidad

Requisitos de ANOVA

(28)

Intro Test ANOVA Requisitos Resultados Requisitos de ANOVA Homogeneidad de varianzas: Test de homogeneidad Varianzas homogéneas ANOVA Varianzas no

homogéneas Transformación _{de datos}

Si se acepta H₀ (p > 0,05), no hay problema Si se rechaza H₀, considerar αc = 0,01

Utilizar un test no paramétrico (p.ej. Kruskal-Wallis) no soluciona el problema

(29)

Requisitos de ANOVA

Normalidad de los datos

El análisis de la varianza es suficientemente robusto a las desviaciones de la normalidad (Glass et al. 1972, Harwell et al. 1992, Lix et al. 1996)*, sobre todo cuando:

•  hay un gran número de tratamientos y / o réplicas; •  los datos están equilibrados.

Las transformaciones a menudo corrigen el apuntamiento, pero cuidado cuando existe homogeneidad de varianzas no es recomendable transformar.

(*) References!

!

Glass, G.V., P.D. Peckham, and J.R. Sanders. 1972. Consequences of failure to meet assumptions underlying fixed effects analyses of variance and covariance. Rev. Educ. Res. 42: 237-288.!

Harwell, M.R., E.N. Rubinstein, W.S. Hayes, and C.C. Olds. 1992. Summarizing Monte Carlo results in methodological research: the one- and two-factor fixed effects ANOVA cases. J. Educ. Stat. 17: 315-339.!

Lix, L.M., J.C. Keselman, and H.J. Keselman. 1996. Consequences of assumption violations revisited: A quantitative review of alternatives to the one-way analysis of variance F test. Rev. Educ. Res. 66: 579-619.!

Schmider, Emanuel; Ziegler, Matthias; Danay, Erik; Beyer, Luzi; Bühner, Markus. 2010. Is it really robust? Reinvestigating the robustness of ANOVA against violations of the normal distribution assumption.!

Methodology: European Journal of Research Methods for the Behavioral and Social Sciences, Vol 6(4), 2010, 147-151. doi:

(30)

Resumen del problema de la FALTA de INDEPENDENCIA de datos

No independencia

DENTRO de los tratamientos ENTRE los tratamientos No independencia

σ

2_e

dentro de las muestras

es subestimado

F-ratio excesivo

Incremento del error Tipo I:

Se detectan Diferencias

sin importancia

σ

2_e

entre de las muestras

es subestimado

F-ratio muy pequeño

Incremento del error Tipo II

Diferencias reales no

son detectadas

σ

2_e

dentro de las muestras

es sobreestimado

F-ratio demasiado pequeño

Incremento del error Tipo II

Diferencias reales no

son detectadas

σ

2_e

entre de las muestras

es sobreestimado

F-ratio excesivo

Incremento del error Tipo I

Diferencias sin importancia

son detectadas

Correlación

+

Correlación

-31

(31)

•  NOTA (ANOVA): en caso de rechazar la hipótesis nula se hace necesario

efectuar hipótesis específicas.

•  Hemos de efectuar contrastes entre medias. Estos pueden ser :

•  Contrastes Simples (cuando involucran únicamente dos medias)

•  Contrastes Complejos (cuando involucran tres o más medias).

•  Empleando otro criterio, los contrastes pueden ser:

•  "a priori" (cuando se plantean antes de analizar los datos)

•  "a posteriori" (cuando se plantean una vez vistos los datos)

Comparaciones múltiples

(32)

Al hacer varias comparaciones se aumenta la probabilidad de error de tipo I

Si en cada uno de los contrastes empleamos un = 0'05 al hacer los 3

contrastes del ejemplo, la probabilidad de cometer algún error de tipo I en el

experimento es mayor de 0'05.

(De manera análoga que comprar muchos billetes de lotería aumenta nuestras posibilidades de tener premio.)

Por tanto, se precisa controlar la probabilidad de error tipo I en cada

contraste, que será menor que 0'05.

Comparaciones múltiples

(33)

Dos tipos de definición de H_A

a priori (antes de realizar el experimento)

a posteriori (no propongo alternativas hasta haber

realizado el experimento)

Los tests a priori son más potentes, pero están sometidos a mayor riesgo de error Ej: Dunn Sidak

Ejemplo de comparación a priori: H₀_{: µ}₁_{= µ}₂_{= µ}₃_{= µ}₄

H_A_{: µ}₃_{> µ}₁_{; µ}₃_{> µ}₂_{; µ}₃_{> µ}₄

(34)

Tests a posteriori"

Comparan todos los posibles pares de medias entre sí, de tal modo que definen la alternativa a la H₀

Subconjuntos Homogéneos

•  Únicamente podrá definirse una H_A sin ambigüedad en el caso de que se los distintos tratamientos se reúnan en grupos tales que:

1.  no haya diferencias entre las medias dentro de un grupo, y 2.  cada media en un grupo difiere de todas las medias del otro

grupo

•  Uno de los tests más utilizados es el de Student-Newman-Keuls (SNK) •  Otros tests utilizables:

Scheffe Tukey LSD

Bonferroni … etc.

(35)

Bonferroni

"

Test que realiza comparaciones dos a dos basado en el contraste de diferencias de medias, σ2_{desconocidas pero iguales:}

Siendo:

Como interesa mantener Alfa por debajo del nivel predeterminado, se corrige utilizando para cada nivel K, (constante de penalización):

OJO: Test conservador que detecta menos diferencias de las reales. No se recomienda

cuando existen muchos niveles

chazo

No

t

n

S

X

K k n j i d j i

Re

1

1 <

, /

⇒

+

−

− α _n _k Q S D D − = 2

!

2 )!

2 (

!

2 ""

_#

=

₋

$

%%

&

'

=

k

K

Nº de posibles comparaciones

(36)

Otros test:

Existen otros test basados también en comparaciones de diferencias de medias

tomadas dos a dos. Entre otros:

Fisher LSD (diferencia mínima significativa): Test aplicado cuando no es

necesario el incremento del error Tipo I (aplicación directa del test t-Student):

No se aplica penalización (no conservador). Usado para pocas comparaciones.

Tukey HSD (diferencia significativa honesta): Aplica penalización (conservador).

Utiliza el llamado estadístico de rango studerizado

(37)

ANOVA y Test a posteriori

(38)

Intro Test ANOVA Requisitos Resultados -2 -1 0 1 Lago4-Lago3 Lago3-Lago2 Lago3-Lago1

95% family-wise confidence level

Differences in mean levels of grupo

Tukey: Ejemplo con R

Si aplicamos Tukey con R en un ejemplo que ANOVA rechazaba H

₀

OJO: MEDIAS IGUALES (no existen diferencias significativas p-valor>0.05) Se observa también en la gráfica Todas las líneas incluyen el CERO

Test a posteriori

(39)

Ejemplo: Se tienen los siguientes datos

¿Es suficientemente importante esta

diferencia como para concluir que la

zona 1 es diferente las demás?

Lago 1

7.8

9.2

6.9

8

8.6 Lago 2

7.2

6.5

5.9

7.8

6.4 Lago 3

5.6

7.1

6.3

6.7

6.5 Lago 4

7.2

6.6

6.3

7.4

6.5 ANOVA y Test a posteriori

Zona 1

Zona 2

Zona 3

Zona 4

lago1 lago2 lago3 lago4

5.5 6.0 6.5 7.0 7.5 8.0 8.5 9.0

(40)

1.  Hipótesis del contraste:

2.  Verificar hipótesis del modelo

(…)

•  Independencia de los valores observados (comprobar)

•  Normalidad (para cada grupo test –ej. KS-)

•  Homogeneidad de las Varianzas (Test de Cochran):

:

1 0

H

No existen diferencias entre las k lagunas

Hipótesis nula no cierta (alguna laguna es diferente al resto)

:

1 4 3 2 1 0

H

_µ

=

_µ

=

_µ

=

_µ

Al menos una igualdad no es cierta

(alfa:0.05)

ANOVA y Test a posteriori

(41)

b) Tabla ANOVA:

Fuentes de variación Sumas de cuadrados Grados de Libertad Cuadrados Medios

F

Signif.

ENTRE

DENTRO

TOTAL

878 .

5

459 .

0

70 .

2

1

exp

=

−

=

k

n

Q

k

Q

F

D E t

F

c

⇒

F

k−1,n−k,α

=

F

3,16,0.05 05 . 0 , 16 , 3 exp

5 .

878

3 .

24 F

F

_t

=

>

=

006648

.

0 )

(

₃_,₁₆

>

_exp

=

−

valor

P

F

_t

p

5.878 p<0.01 RECHAZO 3 16 19 8.09 7.34 15.43 2.70 0.459 0.812

ANOVA y Test a posteriori

(42)

Muestras Dif.med. tij t_{16, 0. 05/6} p-valorij aprox. p-valorij 1 y 2 1.34 4.945 Signif. p<0.005 0.000073 1 y 3 1.66 6.126 Signif. p<0.005 0.000007 1 y 4 1.30 4.797 Signif. p<0.005 0.000099 2 y 3 0.32 1.181 No signif. 0.1<p<0.25 0.127 2 y 4 -0.04 0.148 No signif. p>0.25 0.442 3 y 4 -0.36 1.328 No signif. 0.1<p<0.25 0.101

c) Test a posteriori (aplicación Bonferroni):

ANOVA y Test a posteriori

6 !

2 )!

2

4 (

!

4

2

4

2 ""

_#

=

−

=

$

%%

&

'

=

""

#

$

%%

&

'

=

k

K

677 .

0

459 .

0 ₌

=

−

=

k

n

Q

S

D D

...

945 .

4

5

1

5

1

677 .

0

76 .

6

10 .

8

1

12

=

+

−

=

⇒

+

−

=

t

n

S

X

t

j i D j i ij

673228

.

2

0083 . 0 , 16 / ,

=

t

₋

t

_c _n _k _α _K (Obtenido con R: qt(1-0.00833,16)

(Obtenido con R: pt(t,n-k,lower.tail=false)

Recuerda: Tanto tc como p-valor se pueden

(43)

c) Test a posteriori (aplicación Tukey con R):

ANOVA y Test a posteriori

-3 -2 -1 0 1 Lago4-Lago3 Lago3-Lago2 Lago3-Lago1

95% family-wise confidence level

(44)

Tests

a posteriori!

•  Comparan todos los posibles pares de medias entre sí, de tal modo que definen la alternativa a la H₀

•  Únicamente podrá definirse una H_A sin ambigüedad en el caso de que se los distintos tratamientos se reúnan en grupos tales que:

1.  no haya diferencias entre las medias dentro de un grupo, y 2.  cada media en un grupo difiere de todas las medias del otro

grupo

•  Uno de los tests más utilizados es el de Student-Newman-Keuls (SNK) •  Otros tests utilizables:

Scheffe Tukey LSD Bonferroni … etc. 46

(45)

Tests a posteriori Test SNK: Rango 1 2 3 4 5 test SNK Medias 2,6 3,8 4,1 6,4 7,1 g Q D=QxET Comparaciones 5-1_4,5* 4-1_3,8*5-2_3,3* 3-1_1,54-2_2,6*5-3_3,0* 2-1_1,2 3-2_0,3 4-3_2,3*5-4_0,7 5 4,10 1,97 4 3,84 1,84 3 3,49 1,68 2 2,89 1,39 ET = √ (MCDENTRO / n) = √ (1,60 / 7) = 0,48

Q_ij = X_i – X_j / ET está tabulado para H₀ verdadera

α  = 0,05 gl = 30 Si (X_i –X_j) > D, la diferencia es significativa (*) 5 > 1 5 > 2 5 > 3 5 = 4 4 > 1 4 > 2 4 > 3 3 = 1 3 = 2 2 = 1 5 = 4 > 3 = 2 = 1

Hay 2 Subconjuntos Homogéneos

(46)

Tests a posteriori Presentación de resultados

(47)

53

(48)

Tests a posteriori

Un resultado tal que:

5 4 3 2 1

… no hay una H_A identificable !!

… comportamiento en forma de gradiente.

¿Hay Subconjuntos Homogéneos?

55

Principios)de)ANOVA)