M´ etodos de evaluaci´ on

3.1.2. Datos de rean´alisis

Se utiliza el rean´alisis ERA-Interim reanalysis (Dee et al., 2011) del Centro Europeo de Predicci´on a Medio Plazo (European Center for Medium Range Weather Forecasts en ingl´es, ECMWF) como la principal referencia pseudo-observacional para evaluar los mode- los de CMIP. Este rean´alisis de ´ultima generaci´on es com´unmente utilizado en el contexto de CORDEX para evaluar el comportamiento de los modelos adem´as de proporcionar con- diciones de frontera inicial y lateral para las simulaciones de evaluaci´on. Por lo tanto, es natural utilizar ERA-Interim en este caso para evaluar las condiciones de frontera de los GCMs.

Adem´as, se consideran 3 productos adicionales de rean´alisis (Tabla 3.1) para tener en cuenta la incertidumbre relacionada con la referencia utilizada en la evaluaci´on (incer- tidumbre observacional): el ren´alisis japon´es desarrollado por la Agencia Meteorol´ogica Japonesa Japanese Meteorological Agency 55-year reanalysis (JRA-55; Kobayashi et al., 2015; Harada et al., 2016), los productos de rean´alisis estadounidense del National Cen- ters for Environmental Prediction / National Center for Atmospheric Research (NCEP- NCAR) (NNRP, Kalnay et al., 1996), y el ERA-20C del Centro Europeo (Poli et al., 2016). Las mayores diferencias entre los distintos rean´alisis se deben a la naturaleza de los datos observados que incorporan. El ERA-20C ´unicamente asimila observaciones de presi´on superficial y vientos mar´ıtimos, por lo que no es ciertamente comparable con los otros rean´alisis que asimilan una gama m´as amplia de observaciones de superficie, a´ereas y de sat´elites. Por otro lado, este rean´alisis es el ´unico que proporciona registros hist´oricos que se remontan al S. XX, siendo de gran inter´es para la evaluaci´on de tendencias a largo plazo de los modelos.

3.2.

M´etodos de evaluaci´on

Con el objetivo de evaluar el grado de exactitud de reproducci´on de las variables clim´aticas por parte de los Modelos Globales del Clima o GCMs, se utilizar´an medidas de validaci´on como las Probabilidades de transici´on, el Sesgo o Bias Relativo, la divergencia de Kullback–Leibler (KL), el Test de Proporciones (Two-proportions Z-Test en ingl´es) y el ´Indice de Matriz de Probabilidades de Transici´on (en ingl´es Transition Probability Matrix

30 3. CASO DE ESTUDIO: EVALUACI ´ON DE LA CIRCULACI ´ON ATMOSF ´ERICA

Score, T P M S). Gracias a la aplicaci´on de estas medidas, se proporciona una comparaci´on directa entre los modelos y datos de rean´alisis al obtener un valor cuantitativo del grado de disparidad/semejanza entre los mismos.

3.2.1. Sesgo Relativo

A partir de los LWTs obtenidos de las series hist´oricas de los modelos con resoluci´on diaria discreta X1, X2, . . . , XT y T d´ıas, se calcula la frecuencia de ocurrencia del LWT `

por estaci´on s y denotada f (`, s) como el n´umero de d´ıas con tipo de tiempo ` dividido por el total de d´ıas de la estaci´on s ∈ {DJ F, M AM, J J A, SON }. Las siglas DJ F , M AM , J J A y SON denotan las estaciones de invierno, primavera, verano y oto˜no respectivamente, de manera que las siglas est´an formadas por la primera letra de los meses que forman la estaci´on en ingl´es. As´ı, se considera el Bias Relativo ε para medir la desviaci´on de la frecuencia de los LWTs de un datasets con respecto a los de un dataset de referencia:

εm(`, s) =

fm(`, s) − fo(`, s)

fo(`, s)

(3.1) donde fm(`, s) se refiere a las frecuencias en el modelo m y fo(`, s) son las frecuencias

obtenidas del modelo de referencia, que en este caso se tratar´a de un rean´alisis o pseudo- observaciones.

3.2.2. Divergencia de Kullback–Leibler (KL)

La divergencia de Kullback–Leibler (Kullback y Leibler, 1951) o Entrop´ıa Relativa es un concepto de Teor´ıa de la informaci´on (Cover y Thomas, 2006) y hace referencia al grado de disparidad o discordancia entre dos funciones de distribuci´on de probabilidad P (x) y Q(x), ambas definidas en el mismo espacio de probabilidades X. Se define de la siguiente forma:

KL(P ||Q) = X

x∈X

P (x) logP (x)

Q(x) (3.2)

Esta disparidad entre distribuciones de probabilidad es siempre positiva, e igual a cero si y s´olo si P = Q. En este trabajo, se utiliza la divergencia de KL con el objetivo de

3.2. M ´ETODOS DE EVALUACI ´ON 31

comparar los LWTs obtenidos de un GCM con los obtenidos de varios rean´alisis y as´ı poder cuantificar el grado de disparidad de un modelo con respecto a las observaciones. De esta forma, se aplica directamente la divergencia de KL en el campo de la climatolog´ıa, m´as concretamente en la evaluaci´on del comportamiento de los GCMs. Para ello, an´alogamente a los trabajos de Jiang et al. (2011) y Sharma y Seal (2019), es necesario entender una clasificaci´on en clusters obtenida de un algoritmo de clustering (en este caso, Lamb) como una funci´on de probabilidad discreta. El n´umero de clusters se corresponde con el n´umero de muestras en el espacio X de la distribuci´on, donde cada muestra lleva asociada una probabilidad que es la frecuencia relativa (en porcentaje) observada de cada cluster. P (x) representa la funci´on de probabilidad discreta de los LWTs obtenidos para los modelos y Q(x) ser´a la de referencia (rean´alisis). As´ı, es posible comparar dos clasificaciones de clusters utilizando la divergencia de KL.

Esta aplicaci´on de la divergencia de KL en climatolog´ıa est´a presente en Weijs et al. (2010) donde se utiliza esta m´etrica para cuantificar la calidad de las predicciones y pro- yecciones clim´aticas. En el mismo estudio se defiende la ventaja de utilizar la divergencia de KL en lugar de distancias eucl´ıdeas para esta aplicaci´on, ya que en el caso de contar con probabilidades (frecuencias) extremas el resultado final puede quedar demasiado condicio- nado por dichos valores. La divergencia de KL ofrece una comparaci´on de distribuciones independiente de las probabilidades de las muestras, lo que supone una ventaja en el caso de probabilidades extremas. Seg´un Jiang et al. (2011), la divergencia de KL es necesaria en la comparaci´on de dos distribuciones de probabilidad por el hecho de que se pueden estar comparando distribuciones diferentes, con elementos muestras de diferente tama˜no o con diferentes centros geom´etricos. En este trabajo, se utiliza la implementaci´on software disponible en la paquete en R phylentropy (v0.4.0, Drost, 2018).

3.2.3. Test de Proporciones (Z-Test)

El Test de proporciones o Z-Test se utiliza para evaluar la significancia estad´ıstica entre la diferencia de dos proporciones. En este caso, se aplica este test en dos ocasiones: en primer lugar, las dos proporciones a las que se les aplica el Z-Test son las frecuencias relativas de los LWTs de cada modelo y los de un rean´alisis; y en segundo lugar, para las probabilidades de transici´on en de los LWTs de un modelo y las de un rean´alisis. Se aplica

32 3. CASO DE ESTUDIO: EVALUACI ´ON DE LA CIRCULACI ´ON ATMOSF ´ERICA

el Test para combinaci´on de LWT `, estaci´on s y modelo m. En este trabajo, se utiliza la implementaci´on software del Z-test disponible en la funci´on prop.test del paquete de R stats (v3.6.3, R Core Team, 2020).

3.2.4. Probabilidades de Transici´on

Las probabilidades de transici´on entre LWTs suponen una medida temporal de gran utilidad para medir la capacidad de los modelos de reproducir los patrones de circulaci´on atmosf´erica (Hochman et al., 2019). Sea la variable aleatoria descreta Xtque representa un

LWT en el time step t, con valores posibles xt∈ {1, . . . , K} y K = 26, el n´umero de LWTs,

se consideran los d´ıas consecutivos Xt−1 y Xt para construir la Matriz de Probabilidades

de Transici´on (TPM) A de dimensiones K × K. Aij = p(Xt = j|Xt−1 = i) representa la

probabilidad de pasar de un LWT en la fila i a un LWT en la columna j. Por tanto, la suma de los valores de cada fila de la matriz es igual a 1: X

j

Aij = 1. La TPM supone as´ı

una referencia de c´omo un modelo determinado reproduce la clasificaci´on en LWTs, y esta puede compararse con la TPM de una referencia pseudo-observacional a trav´es de alguna medida espec´ıfica de validaci´on (ver Sec. 3.2.5).

3.2.5. ´Indice de Matriz de Probabilidades de Transici´on (TPMS)

Con el objetivo de resumir la informaci´on obtenida en las Matrices de Probabilidades de Transici´on (Sec. 3.2.4), se presenta el TPM Score, T P M S como una m´etrica que permite ordenar los modelos en base a su comportamiento en las TPM, y se define de la siguiente forma:

T P M S = X

p∈A∗

|pm− po| (3.3)

donde pm y po son las probabilidades de transici´on en el modelo y en rean´alisis o

pseudo-observaciones, respectivamente, cuya diferencia (en valor absoluto) se calcula con- siderando el subconjunto de probabilidades de transici´on A∗ de la matriz completa (A) que son significativamente diferentes a las del rean´alisis, siguiendo los resultados del Z- Test o de Proporciones. Para incluir las transiciones “perdidas” en la puntuaci´on (es decir, las transiciones que existen en el rean´alisis pero que no tienen lugar en el modelo, o las