Un criterio de dasificadon
2.4 ESTIMACION CLASICA
2.4.3 Estimadores de maxima verosimilitud restnngida
El concepto de estimadores de maxima verosimilitud restringidos (REML) se introduce originalmente por Anderson y Bancroft (1952, p. 320) y mas tarde son generalizados por Thompson (1962) y Thompson y Moore (1963) para modelos aleatorios balanceados*. Para estimar los par&metros de escala, en general, el m6todo REML consiste en maximizar la verosimilitud conjunta que parte de la
funcion de verosimilitud o del conjunto de estadisticos suflcientes, la cual es invariante en escala. Hay dos argumentos a favor de este procedimiento sobre el
ML. El primero, produce estimadores “convencionales” en casos similares, donde
se reconoce los “estimadores” que deben ser usados. Por ejemplo, sea xlyx2,...,xn, una muestra aleatoria de una poblacion normal cuya media y varianza son desconocidas.
* Russell y Bradley (1958) consideraron un procedimiento similar en un modelo con dos criterios de clasificacion.
El metodo ML produciria el estimador de la varianza como ^ (x,- - x ) 2 /n, mientras
el metodo REML produce el estimador tradicional insesgado ^ ( x ,- - x )2/(n -l). 1=1
Segundo, la intention no deberia ser la de cuestionar los estimadores tradicionales, pero si investigar la manera en que los estimadores tradicionales deberian ser modificados si llegase a surgir el problema de estimation con valores negativos.
Ahora, para derivar los estimadores REML de a 2e y o 2a, notemos que por suficiencia esto es irrelevante si maximizamos la verosimilitud conjunta de las
y / s de (2.1.1) o la verosimilitud conjunta de y _, SSw y SSb. Para los estimadores
REML maximizamos unicamente la verosimilitud conjunta SSw y SSb, la cual es invariante a escala.
Sea v( = a ( n - l),v2 = a - l , S l = MSW,S2 =MSB,col = a 2e, y (02 - a ) +ncr2 .
Entonces de las leyes de distribucibn (2.3.9) y (2.3.10), la verosimilitud conjunta de Si y S2 esta dada por:
(2.4.13)
De (2.4.13), la log-verosimilitud de S{ y S2 se puede escribir como
(2.4.14)
Ahora, para el estimador R E M L , (2.4.14) deberia ser maximizada sujeta a la restricci6n o^>0 y o^>0. En vista de la invarianza de los estimadores, es suficiente maximizar con respecto a to, y ft)2 sujeta a la restriccion (02>a)l > 0. Los
argumentos analogos dados por Sahai y Thompson (1973) pueden ser usados para encontrar las soluciones ft), y co2, para maximizar (2.4.14) sujetas a la restriccion
co2 > 0), > 0. Sin embargo, haremos uso del siguiente Lema, el cual emplea las
condiciones de Kuhn-Tucker (1951) para encontrar la solution de maximizar una funcion objetivo sujeta a ciertas restricciones.
Lema 2.4.1: Sean ft) y do vectores columna p-dimensionales y se A una matriz
cuadrada no-singular de orden p. Dado que g(co) es una funcion de p variables, G(.(ft))= t? g(co)/3o)i , i=1, 2 y G'(tz7)=(G1(tE;),...,Gp(n7)). Si g(co) es diferenciable en ft), entonces un conjunto de condiciones necesarias para que esta tenga un mdximo relativo en ft), sujeto a la restriccion A~lco > 0, es que para cada i se cumpla una de las siguientes condiciones
b,.ft)=0 y a(G(ft))<0
b,.ft)>0 y a1G(ft)) = 0 (2.4.15)
donde m y bi denotan la t-esima fila de A y A respectivamente
Pruebax Ver Kuhn y Trucker (1951) 6 Thompson (1962).
Para aplicar el Lema 2.1 a nuestro problema de maximizacion. sea
co co,
ft). y g{(o) = lneL{(ova>2).
Entonces,
w . m . i . & z p i , , . u
y
G'(o)) = ( G > ) ,G > ) ) .
Tambien, podemos escribir
donde r / 2 ■> 2 (O = — = A 0)2 a ' + no-* ( * a ) A = 1 0 1 1
Ahora, las restricciones a] >0 y a\ >0son equivalentes a A [co >0. Ademas, A -1 = 1 0 -1 1 y a' = i i o 1 ’ asf que *,=(1,0), *2 = ( - U ) , f lj= ( i,i) , y a 2 = (o ,i).
De acuerdo al Lema 2.4.1, un conjunto necesario de condiciones para un maximo relativo en co sujeto a la restricciones A~xco >0 es
(0 ®, = 0 y ^ V, (s, - £0, )a>;2 + i v2 (s 2 - & 2 }3 2'2 < 0;
co, >0 y iv,(5,-ffl,)y,-2 + i v 2(52-(U2>u2-2=0
( ii) c52-£ y,= 0 y ~ v 2(s 2 - d ) 2)co22 < 0 ;
<S2 — c&j >0 y — v2(s2 - co2)cq22 = 0.
2
Ahora, si 5, > 0, entonces no se puede obtener un estimador de maxima verosimilitud ya que un maximo no puede ocurrir en co j = 0. Las condiciones de maximization (2.4.16), por lo tanto, se reducen a las siguientes posibilidades:
(/)' w l > 0,—v1(51 — d>j)a>!2 + — v2( S 2 - a>2)cd22 = 0 ; 2 2 d ) 2 - d ) l > 0- “ V 2i S 2 ~ &>2 ) ^ 2 2 = 0 (ii) >0, - v,(S{ - ft),)y~2 + - v2(s2 - d>2)cb22 = 0 2 2 co2 - ft), = 0, i v2(s2 - ft)2 }i)22 < 0 ■
Para el caso (i)\ las condiciones sobreS, y 52 y las soluciones resultantes son
5, < S 2;cb2 = S 2,ft), = S, (2.4.17)
Para el caso (ii) ' , las condiciones sobre 5, y S2 y las soluciones resultantes son
S, >
S2;
f t ) , = f t ) 2 = ( v j 5 j + v2 5 2 ) / (v, + v 2 ) - (2.4.18)Los estimadores ML restringidos de a 2 y a 2 , por lo tanto, estdn dados por a 2e.REML SSw y o l a ( n -1) “ U'REML a - l a ( n -1) a- 1 v _ 0 < x_S S w _> SSJL a ( n - l ) a ( n — L) a — 1 ae.REML (2.4.19)
Alternativamente, podemos escribir los estimadores en (2.4.19) de forma mas compacta como
® e.REML ~ m i n
r s s w S S W + S S B A
(2.4.20)
SS, SS,
Ga.REML a - 1 a(n - l)
donde u+ ~max{uy&)■
2.4.4 Modificadones de los estimadores ML
Kiotz y otros (1969) consideraron la siguiente modificacion de los estimadores ML en (2.4.8): Ve.MDML=mWr SSW SSw+SSt ^i(n — l) an + 1 ® a ,M D M L SSB SSr V a + l a(n - 1) (2.4.21)
La motivation de los estimadores en (2.4.21) es que el estimador tenga el cuadrado medio de error (MSE) uniformemente mas pequeno con respecto de los estimadores ML (2.4.8) correspondientes. El estimador o 2aMDML parece haber sido
tambien propuesto independiente por Robson (1965).
2.4.5 Estimadores tipo Stein (STN)
Siguiendo a Stein (1964), Kiotz y otros (1965) propusieron los siguientes estimadores:
SSW "t 55 B SSW + SSB + anymm a { n - 1)’ an + l ’ an + 2
y (2.4.22) Ga.STN = mini s s B a +1 s s w y a (n -\ ) SSB + a n yJ~ s s w '+ a + 2 a Oi-l) V v ' ) donde u+ = max(u, 0).
La motivation es que los estimadores en (2.4.22) tienen un cuadrado medio del error uniformemente mas pequeno que en (2.4.20).
2.4.6 Estimadores de Federer’s con correctores exponentiales no-truncados
Federer (1968) propuso dos formas de un conjunto de estimadores no- truncados no-negativos para a] y o 2a . La primera forma del estimador es:
®e,FDR\ = MS*
y (2.4.23)
t l .rDm = -W s B - MSW{I - , ' " 5*)].
n
donde S esta en el rango 0 < 8 < 1fSSw . La segunda forma del estimador es:
®e,FDR2 " MSW
y (2.4.24)
n
donde
r]=S MSW, 0<r]< 1 y F = MSB/MSW-
i. o 2eFDR^ a 2eFDR1 es insesgado, no-truncado y su distribucion es una funcion
analltica.
ii. 6 2aFDR2 (y similarmente o 2aFDRi) es no-negativo, es sesgado, (el sesgo
estimado es MSw e~nF es conocido y tiende a cero exponencialmente conforme F aumenta), es no-truncado y tiene una distribucion que es una funcion analltica.
Federer (1968) sugiere usar <5 = 1/ MSW 6 r]= 1, ya que esto minimiza el efecto del termino de sesgo sobre el componente de la varianza entre grupos estimado. El (1968) ademas declaro que los estimadores en (2.4.23) y (2.4.24) no son inadmisibles, refiriendo resultados ineditos de Robson (1965) sobre la inadmisibilidad de estimadores truncados y considerando un resultado de Sacks (1963), que muestra como algunos otros estimadores son inadmisibles. Sin embargo, de lo que argumento no necesariamente se sigue que sus estimadores son admisibles.