Backtesting
Modelos de Capital y Reservas
1. Antecedentes
2. Backtesting
3. Perspectivas
Backtesting de los Modelos de Reservas y Capital
z Nuevos esquemas regulatorios a nivel mundial, como Solvencia II, tienden a la
utilización de modelos propios por parte de las compañías de seguros y bancos.
z Dichos modelos idealmente habrían de medir las obligaciones de la compañía con
base en las características y comportamiento propio de sus riesgos; sin embargo, ante la complejidad de éstos, no es posible determinar analíticamente si darán resultados congruentes con la realidad.
z Adicionalmente, ante el comportamiento dinámico de los riesgos, existe la constante
posibilidad de que el modelo se desajuste.
z Ante tal circunstancia, la herramienta más eficiente para vigilar el desempeño de los
modelos es la prueba retrospectiva llamada “Back Testing”.
z México tiende a la adopción de un esquema regulatorio que contempla la aplicación
de modelos propios, lo que obliga a implementar esquemas de Back Testing.
1. Antecedentes
2. Backtesting
3. Perspectivas
Backtesting de Reservas y Capital
z
El Backtesting es un procedimiento técnico que consiste en validar la
precisión y validez de un modelo ideado para hacer estimaciones de un
determinado valor contingente, mediante la comparación de las
estimaciones hechas por el modelo respecto de los valores reales
observados en periodos anteriores.
z
No existe modelos únicos predefinidos de Backtesting, se debe crear la
prueba dependiendo del tipo de modelos que se quieren validar.
z
No obstante, existen principios fundamentales para hacer el Backtesting.
•
Un grado de tolerancia para la magnitud del error entre la estimación y la realidad.•
Una tolerancia para el número de veces que puede fallar el modelo.Backtesting de Reservas y Capital
z
En el contexto de Solvencia II, la adopción de modelos propios para
estimar las reservas y capital de solvencia, pueden generar resultados
que son susceptibles de diferir de la realidad en un grado de error
producido por la variación natural del fenómeno o por que el modelo es
erróneo.
z
Ante esto, resulta necesario definir esquemas de Backtesting para
determinar la precisión y validez de los modelos adoptados por la
compañías.
z
Tres cuestiones fundamentales deben definirse:
•
¿Cómo serán los modelos de Backtesting que deben aplicarse?•
¿A qué modelos se le debe aplicar Backtesting?•
¿Cuáles serán las tolerancias para el error de los modelos?Backtesting de Reservas y Capital
z En el esquema regulatorio de Basilea II, se establece el Backtesting que deben
aplicar las instituciones bancarias, al momento de calcular su capital de solvencia.
z Consiste en analizar el número de veces que un modelo de estimación del capital,
ajustado con un nivel del confianza del 99%, falla en un año, de 250 pruebas realizadas durante el periodo de un año.
1. Se dice que el modelo presenta una excepción, cuando se observa que el valor real de las pérdidas son superiores a la estimación dada por el modelo.
2. Dado que el modelo se supone ajustado al 99% de confianza, entonces se establece que la tolerancia es de una excepción por cada 100 ensayos (uno diario).
3. Cuando el modelo falla más de una vez en cada 100, se establecen esquemas de alerta que van de amarillo a rojo, dependiendo del número de veces que las excepciones han superado al parámetro de tolerancia. La máxima tolerancia es de 4 fallas en 100 veces (4%).
Función de Densidad de Pérdidas
Backtesting de Reservas y Capital
z En modelos de predicción, los valores que exceden la magnitud de la estimación
son llamadas “excepciones” o “fracasos”.
El Esquema de Basilea II, para Instituciones Bancarias
Backtesting de Reservas y Capital
z Dado que la estimación está determinada al 99% de confianza, se puede considerar
un modelo binomial con probabilidad de éxito del 0.99 y probabilidad de fracaso del 0.01. Con base en este criterio se establece que en 100 observaciones o más, sólo habrá el 1% de excepciones. En Basilea II, se da una tolerancia máxima del 4%, es decir, cuatro excepciones en 100 ensayos.
z La tolerancia del 4% se establece para evitar errores de tipo I y II. El error de tipo I
consiste en rechazar un modelo que es adecuado, el error tipo II consiste en aceptar un modelo que es inadecuado.
z Aun cuando un modelo sea adecuado, puede presentar excepciones por encima del
número esperado, pero a medida que se desvía el número de excepciones, es más improbable que el modelo sea adecuado. Para ello se puede establecer el número de excepciones a partir de lo cual se rechaza la hipótesis de que el modelo sea adecuado, con un alto grado de confianza.
z Este criterio ha sido criticado por no tomar en cuenta la magnitud de la excedencia
que se genera en cada excepción.
Backtesting de Reservas y Capital
z A manera de ejemplo, tenemos la fórmula de Requerimiento de Capital para
instituciones bancarias en Argentina:
z El factor multiplicativo ha sido justificado mediante la desigualdad de Chebyshev,
desigualdad que implica que las fronteras para un nivel de confianza del 99%, nunca estarán a más de 10 desviaciones de la media, independientemente de la distribución. En este sentido, cuando se desconoce la verdadera distribución, el factor se justifica.
La fórmula de Capital de Argentina
∗
+
=
∑
= − + 60 1 1 1max
,
(
3
)
i
t t
t
t
VaR
s
VaR
Backtesting de Reservas y Capital
z Se deben crear pruebas de Backtesting para los modelos propios de estimación de
reservas. En este caso, se debe probar tanto el valor esperado del riesgo, como el margen de riesgo.
z También se deben crear pruebas de Backtesting para modelos propios de capital.
z Por otra parte, las técnicas de VaR no son apropiadas, debido a que el riesgo de
seguros difiere de manera importante del riesgo financiero de instrumentos de inversión.
z Las diferencias más relevantes son:
1. Las mediciones de pérdidas de seguros no son diarias, por lo que la serie estadística para el backtesting requiere un mayor periodo de observación.
2. Las variables de riesgo de seguros son dos (siniestros y tasa), por lo que se presenta la dificultad de tener variables aleatorias conjuntas, cuya función de distribución conjunta es difícil de obtener.
Backtesting de Reservas y Capital
z Las reservas son el valor medio de las obligaciones. Lo anterior plantea la
necesidad de elaborar un Backtesting para la media. La media es un valor que con un determinado grado de confianza su valor se encontrará en un determinado intervalo (intervalo de confianza).
z Resulta natural realizar la prueba de Backtesting dando un intervalo de confianza
para la variación de esa media, y determinar en función de ello, el número de excepciones que se realizarán en un determinado periodo, que deben corresponder a aquéllas que permiten eliminar errores del tipo I y II. Con base en el número de excepciones, se pueden definir zonas de aceptación (verde), advertencia (amarilla), y rechazo (roja).
z Otro enfoque es crear un intervalo de confianza para el error de la media, con base
en una estadística de errores observado en el mercado, definidos dichos errores como porcentaje de la media.
z Se produce una excepción cuando el valor de la media real difiere del estimador en
una cantidad que se ubica fuera del intervalo de confianza.
Backtesting de Reservas y Capital
z Las reservas son el valor medio de las obligaciones. Lo anterior plantea la necesidad de elaborar
un Backtesting para la media. La media es un valor que con un determinado grado de confianza su valor se encontrará en un determinado intervalo (intervalo de confianza).
Un modelo de Backtesting para Reservas
Media 10
Varianza 1
Veces la desv. (k) 2.00
Intervalo aceptación 8.00
Prob. acumuladas 0.0228
Prob. intervalo 95.45%
Prob. excepción 4.55%
0.00 0.05 0.10 0.15 0.20 0.25
0 2 4 6 8 10 12 14 16 18 20 Prob intervalo Densidad
Backtesting de Reservas y Capital
Un modelo de Backtesting para Reservas
Media 10
Varianza 1
Veces la desv. (k) 2.00 Prob. intervalo 95.45%
Prob. excepción 4.55%
0.00 0.05 0.10 0.15 0.20 0.25
0 2 4 6 8 10 12 14 16 18 20 Prob intervalo Densidad Excepciones Probabilidad 0 18.70% 1 50.80% 2 77.58% 3 92.04% 4 97.73% 5 99.47% 6 99.90% 7 99.98% 8 100.00% 9 100.00% 10 100.00% 11 100.00% 12 100.00% 13 100.00% 14 100.00% 15 100.00% 16 100.00% 17 100.00% 18 100.00% 19 100.00% 20 100.00% 0 2 4 6 8 10 12 14
Backtesting de Reservas y Capital
Un modelo de Backtesting para Reservas
Excepciones Probabilidad 0 18.70% 1 50.80% 2 77.58% 3 92.04% 4 97.73% 5 99.47% 6 99.90% 7 99.98% 8 100.00% 9 100.00% 10 100.00% 11 100.00% 12 100.00% 13 100.00% 14 100.00% 15 100.00% 16 100.00% 17 100.00% 18 100.00% 19 100.00% 20 100.00%
z Con base en el número de excepciones, calculando la
probabilidad del número excepciones mediante una binomial, cuya probabilidad de éxito es la probabilidad de excedencia de la estimación, en caso de pruebas de una cola o la probabilidad de caer fuera del intervalo de confianza en el caso de pruebas con intervalos de confianza, como es el caso.
z El número de excepciones que puedan presentarse con a lo
Backtesting de Reservas y Capital
Un modelo de Backtesting para Reservas
0.00 0.05 0.10 0.15 0.20 0.25
0 2 4 6 8 10 12 14 16 18 20
Prob intervalo Densidad Excepciones Probabilidad 0 90.73% 1 99.57% 2 99.99% 3 100.00% 4 100.00% 5 100.00% 6 100.00% 7 100.00% 8 100.00% 9 100.00% 10 100.00% 11 100.00% 12 100.00% 13 100.00% 14 100.00% 15 100.00% 16 100.00% 17 100.00% 18 100.00% 19 100.00% 20 100.00% Media 10 Varianza 1
Veces la desv (k) 3.00 Prob. intervalo 99.73% Prob. de excepción 0.27%
0 2 4 6 8 10 12 14
Backtesting de Reservas y Capital
Un modelo de Backtesting para Reservas
z Adicionalmente, es necesario establecer una prueba que permita detectar un modelo que no
obstante que se mantiene dentro del intervalo, “extrañamente” presente resultados siempre inferiores a la media.
z En este caso, se puede aplicar una prueba binomial que nos indique la probabilidad de que una
serie de valores aleatorios sea factible. Supongamos que se observó que de 30 ensayos, 25 veces estos se ubicaron debajo de la media. ¿Cuál es la probabilidad de tener 25 valores por debajo de la media en 30 ensayos?.
0 2 4 6 8 10 12 14
Backtesting de Reservas y Capital
Un modelo de Backtesting para Reservas
z La probabilidad de que ese escenario ocurra es inferior a 0.005 por lo que el modelo se rechaza,
con una probabilidad muy baja de que exista un error de tipo I o II.
000132719
.
0
2
1
2
1
25
30
)
Pr(
5 25=
=
iE
0 2 4 6 8 10 12 14Backtesting de Reservas y Capital
Un modelo de Backtesting para Reservas
z No obstante, un modelo incorrecto podría pasar las dos pruebas ya que podría cumplir con la
binomial pero estar “cargado” hacia abajo o hacia arriba.
z Para estos caso, se probaría la diferencia de medias, determinando que el modelo es incorrecto
cuando la media de los resultados del modelo, aún pasando las dos pruebas anteriores, sea inferior “representativamente a la media real”. Esta último caso se basaría en realizar una prueba de hipótesis sobre la media.
0 2 4 6 8 10 12 14
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29
Backtesting de Reservas y Capital
Un modelo de Backtesting para Capital
z El modelo de Backtesting para capital o para margen de riesgo, debe basarse en la probabilidad de
exceder la estimación hecha al 99.5% de confianza, considerando excedencia a toda pérdida observada superior a la estimación.
z Se debe considerar que el criterio coincide con el de VaR, sin embargo la función de distribución de
pérdidas tiene un mayor grado de dificultad.
Función de Densidad de Pérdidas
1. Antecedentes
2. Backtesting
3. Perspectivas
Backtesting de Reservas y Capital
Perspectivas
z
