Modelos de clasificación en el otorgamiento de créditos financieros - comparación entre diferentes técnicas de Machine Learning y modelos de regresión múltiple

0 Universidad de Los Andes

Departamento de Ingeniería Industrial

Andrés Mauricio Mendoza Espinosa

Código: 200912298

Asesor: Hernando Mutis

Tesis de Pregrado

Titulo:

Modelos de clasificación en el otorgamiento de créditos financieros: Comparación entre diferentes técnicas de Machine Learning y modelos de regresión múltiple.

1 Contenido

1. Introducción ... 3

2. Marco teórico ... 4

2.1. Descripción General del Problema ... 4

2.2. Teoría del problema de investigación ... 5

2.2.1 Credit Scoring ... 5

2.2.2. Regresión Lineal Múltiple: Modelo Logit y Modelo Probit ... 6

2.2.3. Machine Learning ... 7

2.2.4. Redes Neuronales ... 9

2.2.5. Adaboost (Boosting) ... 11

2.2.6. Support Vector Machines. ... 13

2.3. Revisión Bibliográfica ... 14

3. Objetivos ... 15

3.1. Objetivo General ... 15

3.2. Objetivos Específicos ... 15

4. Metodología ... 15

5. Descripción de la información ... 16

6. Clasificadores: Análisis de regresión ... 19

6.1. Base de datos Alemana ... 19

6.2. Base de Datos Australiana ... 23

6.3. Comparación entre bases de datos ... 26

7. Clasificadores: Redes Neuronales ... 26

7.1. Base de datos Alemana ... 26

7.2. Modelo Base de Datos Australiano ... 31

7.3. Comparación entre las bases de datos ... 35

8. Clasificadores: Adaboost ... 36

8.1. Base de datos Alemana ... 36

8.2. Base de datos Australiana ... 38

8.3. Comparación entre Bases de datos ... 39

9. Clasificadores: Support Vector Machines ... 40

9.1. Base de Datos Alemana ... 40

9.2. Base de datos Australiana ... 44

9.3. Comparación de bases de datos ... 47

2 11. Conclusiones ... 51

12. Trabajos futuros ... 51

3 1. Introducción

En los últimos años el ser humano ha desarrollado múltiples procedimientos y modelos de solución a problemas, que no se tenían en la antigüedad; principalmente por el desarrollo de la tecnología y el invento de los métodos numéricos (Chapra & Canale, 2006); uno de los principales modelos que se ha visto afectado mediante este avance corresponde al problema de concesión de crédito por parte de una entidad financiera. Las técnicas de Credit Scoring, para solucionar el problema antes mencionado, datan de los años 60 en Estados Unidos (Carpenter Team, 2004), en donde comenzaron a ser de gran utilidad dado el volumen de solicitudes de crédito que se recibían. Sin embargo, pese a su temprana existencia, no fue sino hasta 1980 cuando se registra una elevada utilización de modelos de credit scoring; a partir de ese momento, los clasificadores de crédito han ido evolucionando hasta convertirse en lo que son hoy en día.

Mediante el presente documento se pretende determinar, entre ciertos diseños establecidos, cuál puede llegar a ser el mejor modelo en la solución del problema de concesión de crédito. La investigación se basa en el análisis minucioso de diferentes modelos de credit scoring, planteando las ventajas y desventajas de cada uno de ellos y determinando, en base al análisis realizado, cuál puede ser considerada la técnica óptima en la resolución del problema de otorgamiento de crédito y que ventajas ofrece sobre las demás técnicas.

Para la realización del proyecto se utilizará en primer lugar Matlab,el cual es un programa muy completo y de fácil utilización, en donde se presentan algoritmos bastante optimizados que disminuyen los tiempos de ejecución de los modelos a probar durante el desarrollo del trabajo. Adicional a ello, se utilizará Stata, un software estadístico muy eficiente que facilita la realización de modelos y tratamiento de cualquier tipo de datos.

En primer lugar, el documento presenta un marco teórico del problema de investigación a tratar, en el cual se presenta una breve descripción de los modelos a ser considerados en el análisis de crédito; en principio se tratan los modelos estadísticos de clasificación, correspondientes al modelo Logit propuesto por Gaddum y Bliss en 1934, y el modelo Probit introducido también por Bliss en la década de 1930 (Cramer, 2003), sin embargo para el alcance del documento únicamente se evaluará el problema mediante el modelo Logit. Posterior a ello se trataran los modelos no estadísticos, las redes neuronales de Donald Hebb (Hebb, 1949) , el método de Adaboost propuesto por Freund y Schapire (Freund & Scahpire, 1995) y el modelo de Support Vector Machines establecido por Vapnik (Vapnik & Cortes, 1995).

Una vez establecida la teoría respectiva de la situación, se proceden a desarrollar el algoritmo de entrenamiento para cada una de las técnicas anteriormente descritas, para dos bases de datos de entidades financieras, la primera correspondiente a una base de datos alemana (Hofmann, 2000), y la segunda correspondiente a datos australianos (UCI, 1998). En primer lugar se desarrolla el modelo de regresión Logística Logit calculando el error en los datos de prueba y en los datos de entrenamiento; posteriormente se desarrollara un modelo para redes neuronales con ambas bases de datos determinando la cantidad óptima de neuronas en la capa oculta de la red; en seguida se desarrollara un algoritmo de boosting en base a un clasificador débil basado en arboles de decisión; y finalmente se evaluaran los modelos planteados por el algoritmo Support Vector Machines tanto con un kernel polinomial como con un kernel gaussiano.

4 Posteriormente se desarrollara una comparación entre los algoritmos determinando cual o cuales son los mejores para el problema de Credit Scoring y en particular para las bases de datos utilizadas en el entrenamiento del algoritmo.

Finalmente se plantearan las conclusiones del trabajo desarrollado y se expondrán posibles trabajos futuros para ampliar la información e investigación planteada.

2. Marco teórico

2.1.Descripción General del Problema

El problema de otorgamiento de crédito, ha sido un problema de gran interés para las entidades financieras durante los últimos años (Avery, Bostic, Calem, & Canner, 2000) esto se debe principalmente a que para tomar la decisión de otorgar un préstamo las entidades bancarias deben estudiar detenidamente el riesgo que representa el préstamo y de esta manera determinar si el cliente es apto o no es apto para recibir el mismo (Bridges, 2011), lo cual no es una tarea fácil, pues de una u otra manera se está procurando predecir el comportamiento de una variable aleatoria (representada por el riesgo del crédito); es así, que la entidad bancaria debe analizar detenidamente ciertas características propias del solicitante de crédito tales como el sexo, la edad, la historia crediticia, entre otras, las cuales, dependiendo del valor que presenten determinarán si finalmente se otorga o no se otorga el préstamo al solicitante.

Para solucionar el problema de los de otorgamiento de crédito anteriormente descritos, nace en 1960 el credit Scoring, correspondiente a todas las técnicas y modelos estadísticos que ayudan a los prestamistas en el otorgamiento de un crédito, principalmente si el mismo corresponde a un crédito de consumo (Dabós, 2011), dichos métodos basados en clasificaciones históricas pretenden crear un mecanismo que disminuya el error de asignar equivocadamente a un cliente un préstamo, y con lo mismo hacer mucho más eficiente y confiable la aplicación a los créditos tanto para los usuarios como para las entidades (Liu, 2002)

Múltiples técnicas estadísticas son útiles al momento de diseñar un modelo de clasificación de clientes en el otorgamiento de un crédito; es así que se pueden construir diferentes modelos estadísticos y matemáticos capaces de simular esta situación, los cuales pueden variar en complejidad, en precisión y en confianza; de esta manera surge el problema de determinar cuál podría llegar a ser el modelo de clasificación óptimo en la situación anteriormente descrita.

Como posibles modelos de solución del problema de credit scoring se plantean diferentes metodologías numéricas y estadísticas, algunas de las técnicas más populares se presentan a continuación:

1. Regresión Logística: Modelo Logit y Modelo Probit 2. Modelos aditivos Generalizados

3. Redes Neuronales 4. Adaboost (Boosting) 5. Support Vector Machines. 6. Modelos matemáticos dinámicos

5 Cada una de estas técnicas varía en complejidad y precisión, y puede aportar al modelo de predicción diferentes relaciones entre las variables de entrada y las variables de salida. Para determinar la opción más conveniente en este problema en particular es necesario comparar y analizar cada una de las técnicas anteriormente encontradas, comparando mediante unas bases históricas de datos crediticios y su correspondiente clasificación (datos de entrenamiento), cuál de las técnicas enunciadas es la más precisa con un nivel de confianza determinado, cual es la menos compleja, cual presenta una relación directa con las variables de entrada y finalmente cual es la más conveniente para ser utilizada por la entidad bancaria. Dado al tiempo que se cuenta para la realización del proyecto y a la incapacidad de encontrar bases de datos de otorgamiento de créditos por protección de la información de las entidades bancarias. El alcance del proyecto se plantea básicamente como el análisis de dos bases de datos de concesión de créditos con diferentes atributos, analizadas mediante el modelo logísticos Logit, e, una red neuronal multicapa con una única capa oculta, un algoritmo de boosting “Adaboost” basado en una técnica de árboles de decisión y 2 técnicas de Support Vector Machines, una correspondiente a un Kernel polinomial, y otra correspondiente a uno gaussiano. Los modelos existentes de clasificación son innumerables, pero la comparación de clasificadores únicamente se realizará con los anteriormente mencionados.

2.2.Teoría del problema de investigación

2.2.1 Credit Scoring

El problema de Credit Scoring, corresponde a la toma de decisiones óptimas por parte de diferentes entidades financieras, para la posible otorgación de un crédito a personas o instituciones (llámense clientes). El planteamiento de Credit Scoring se resume para una entidad financiera en lograr maximizar sus beneficios de acuerdo a la concesión o no de un crédito financiero, y el problema se centra en decidir si el mismo se aprueba o se niega (Carpenter Team, 2004)

Con el fin de optimizar sus beneficios, las entidades financieras, deben minimizar el riesgo que se presenta de tener deudores morosos entre sus clientes, así como la probabilidad existente de que esto ocurra; en base a estos indicadores la entidad determinará la concesión o negación de créditos.

El planteamiento teórico presente en cada uno de los modelos de credit scoring se puede simplificar, teniendo en cuenta las siguientes características (Gracia-Diez & Serrano, 1992)

 Es un modelo dinámico, es decir es variante en el tiempo.

 El método debe seguir la idea de estimar el valor presente (VP) del crédito a un individuo particular.

 Se debe conceder el crédito si la esperanza del VP calculado es positivo, y no si el mismo es negativo.

6 Sin embargo, la concesión de créditos siguiendo estos criterios es prácticamente imposible de aplicar, ya que no es fácilmente estimable el riesgo de un cliente de ser un deudor moroso o no; por lo mismo para la estimación del modelo general se usan modelos partiendo de la información inicial de otros clientes, de los cuales se tiene previa investigación de si anteriormente fueron deudores morosos.

Los modelos de resolución de Credit Scoring pueden ser planteados como modelos estadísticos o modelos no estadísticos. Cuando los mismo fueron desarrollados entre 1959 y 1960 (Carpenter Team, 2004), únicamente se pensó en modelos estadísticos, los cuales en la actualidad siguen siendo los modelos más comunes de resolución de problemas de concesión de crédito. Las principales ventajas que presentan este tipo de modelos, corresponde a que en los mismos se pueden utilizar herramientas estadísticas importantes como lo son las pruebas de hipótesis, intervalos de confianza, entre otras, además de ello, se puede determinar fácilmente la relación existente entre cada una de las variables o entradas del modelo y la correspondiente salida del mismo. El método estadístico más importante corresponde a la regresión logística, otro método de carácter significativo, basado en la regresión logística es el método de modelos aditivos generalizados (GAM); ambos métodos serán tratados en la comparación de técnicas de Credit Scoring presente en el problema de investigación a desarrollar.

A partir de 1980, Freed y Glover (Freed & Glover, 1981), notaron que el problema podía ser modelado como un problema de programación lineal y nacieron los métodos no estadísticos para la resolución del problema de credit scoring. De esta manera nacen los algoritmos de clasificación de Machine Learning, los cuales pueden ser muy útiles al momento de estimar la concesión de un crédito, dichos algoritmos serán analizados dentro de las técnicas existentes para la concesión o negación de un crédito presente en el trabajo de investigación. (Holland, 1975)

2.2.2. Regresión Lineal Múltiple: Modelo Logit y Modelo Probit

Un modelo de regresión lineal múltiple, permite entender el comportamiento de una variable Y, a partir de una serie de variables independientes X y un término de perturbación o error u (Walpole, 2012). Es así que se tiene una expresión como la que se presenta a continuación:

( ) ( )

En caso de tratarse de un modelo de regresión lineal la función f corresponde a una combinación de las variables de entrada X, con unos coeficientes tal como se muestra en la siguiente expresión:

( )

El objetivo de la regresión consiste en la estimación de los coeficientes o parámetros de la regresión (los coeficientes beta), de manera que el modelo resultante se ajuste lo mejor posible a las variables de entrada. La estimación de los coeficientes se lleva a cabo mediante el método de mínimos cuadrados ordinarios (MCO), o máxima verosimilitud según sea el caso más conveniente. (Walpole, 2012)

7 Sin embargo cuando la variable y, corresponde a una variable binaria (como es el caso propuesto de otorgamiento de crédito, en donde únicamente es posible o aceptar o rechazar el crédito) el modelo lineal presentará una serie de complicaciones, pues el mismo busca ajustar una nube de puntos a un espacio lineal, sin tener en cuenta que los mismos solo pueden tomar datos binarios (Dougherty, 2007); en este caso es necesario recurrir a otro tipo de regresión como la regresión logística.

El modelo Logit corresponde a una posible solución a los problemas anteriormente mencionados, en donde la función o variable de salida está representada por la siguiente expresión (Aldrish, 1984) :

( ) ( )

Donde f corresponde a una función de discretización de valores, como la que se presenta a continuación:

( ) ( )

( ) ( )

Dado a que el modelo presente corresponde a un modelo altamente no lineal, los valores de los coeficientes beta no son fácilmente interpretables, sin embargo el signo del mismo puede explicar el aumento o disminución de la probabilidad de que una variable tome el valor binario 1 o 0.

Para la estimación de los coeficientes beta en este modelo se utiliza el estimador de máxima verosimilitud (MV), pues es el que mejor se ajusta a la predicción y características óptimas de los estimadores buscados (Walpole, 2012)

Otro modelo útil al momento de realizar una clasificación binaria en un problema corresponde al modelo Probit, en donde nuevamente se puede expresar la variable de salida mediante la ecuación 3.

En donde, para este caso, f corresponde a la siguiente función (Aldrish, 1984): ( ) ∫

√ ( ) ( )

Al igual que en el caso anterior el modelo Probit permite relacionar los estimadores con la probabilidad de la variable de salida mediante el signo del mismo y su estimación se realiza por el método de máxima verosimilitud.

Los métodos anteriormente descritos son de gran utilidad al momento de estimar modelos de decisiones, es decir que la variable de salida sea una variable binaria (0 o 1), tal como el problema del otorgamiento de crédito, sin embargo es conveniente analizar qué tan útiles pueden llegar a resultar estos modelos logísticos y en que se diferencian con los métodos de Machine learning en un problema real de Credit Scoring.

2.2.3. Machine Learning

El concepto de Machine Learning hace referencia a la generalización de comportamientos de un problema en particular, la clasificación de realiza, fundamentándose en la mayoría de los casos, en la relación existente entre los atributos de entrada históricos del problema a tratar (Kulkarni, 2012) , los cuales de denominarán datos de entrenamiento.

8 Es así que para un problema de clasificación básico como el otorgamiento de un crédito se tiene como entradas diferentes atributos (Xs) y se genera una clasificación de acuerdo a la combinación que puedan presentar los mismos.

Para resolver problemas de machine learning, dependiendo del tipo de problema que se tenga y la facilidad de obtener los datos en el mismo, se pueden usar dos técnicas diferentes, el aprendizaje supervisado y el aprendizaje no supervisado; la principal diferencia entre las mismas corresponde a que en la primera técnica se tienen conocimientos a priori de la información, y el modelo de aprendizaje está basado a partir de datos de entrenamiento; mientras que en la segunda técnica no se tiene este conocimiento y los datos de entrada son tratados como variables aleatorias específicas. (Wang L. , 2011)

No obstante como en el caso de otorgamiento de un crédito se cuenta inicialmente con datos de entrenamiento (atributos de un cliente y su correspondiente aceptación o negación del crédito), únicamente se van a tratar técnicas de aprendizaje supervisado.

El problema de aprendizaje supervisado se basa principalmente en la obtención de un modelo analítico de relación entre el conjunto de entrada X y la variable de salida Y, con el fin de obtener un predictor de los valores de salida para las nuevas entradas (Mohri, 2012). Este problema se puede modelar mediante la siguiente imagen:

FIGURA 1DESCRIPCIÓN DE UNA CAJA NEGRA PARA EL PROBLEMA DE APRENDIZAJE SUPERVISADO

Sin embargo no es fácil obtener un modelo analítico preciso para modelar la caja negra presentada en la figura 1, por lo cual es necesario usar técnicas estadísticas avanzadas y métodos numéricos para aproximarse de manera cercana al modelo buscado (Wang L. , 2011). El objetivo corresponde a aproximar el modelo de la caja negra a un valor muy cercano al modelo real mediante un indicador de error determinado.

Es así que la idea de los modelos de aprendizaje supervisado se basan en buscar un modelo de entrenamiento sobre un conjunto de datos, que no presente error en datos de entrenamiento y que presente un error mínimo para nuevas observaciones (Trevor, 2001).

No obstante la estimación de un modelo predictivo tiene gran cantidad de complicaciones, en primer lugar no se sabe en principio si el problema en cuestión puede solucionarse mediante cualquier técnica de aprendizaje supervisado, es decir no se tiene la certeza de la existencia de una solución a priori, ni de la capacidad de representación de la misma. En segundo lugar se tiene un problema de estimación, ya que se debe tener un número suficiente de datos para predecir un buen modelo de aprendizaje; además de ello se tiene un problema en la implementación, pues el modelo desarrollado puede tomar un tiempo computacional elevado en su resolución, volviéndolo de una u otra forma ineficiente (Taskar & Lise, 2007)

9 Adicional a los problemas previamente mencionados, los modelos de aprendizaje supervisado tienden a ser modelos complejos, con tiempo de ejecución relativamente elevados y en donde la interpretación de la variable de salida, no es fácilmente explicable analíticamente a partir de las variables de entrada. Por otra parte los modelos de predicción por lo general presentan una dimensionalidad elevada, es decir gran cantidad de atributos de entrada (por ejemplo en el caso del otorgamiento de un crédito se tienen muchas características del cliente como entrada para que la entidad bancaria determine la aceptación del crédito), esta dimensionalidad elevada genera que se requiera una mayor cantidad de observaciones para la predicción del modelo. (Yanhung, Jigiang, & Wang, 2009)

Para solucionar este tipo de problemas, es conveniente realizar observaciones linealmente independientes de los datos de entrenamiento y seleccionar la mayor cantidad de datos posibles, además de esto, es apropiado realizar un pre procesamiento del conjunto de entrada con el fin de seleccionar únicamente características útiles, y reducir la dimensionalidad del problema. (Trevor, 2001)

De esta manera se presenta el siguiente algoritmo para la solución de un problema de aprendizaje supervisado:

FIGURA 2ALGORITMO APRENDIZAJE SUPERVISADO

Los principales modelos de aprendizaje supervisado, y los cuales serán tenidos en cuenta para el problema de otorgamiento de un crédito, corresponde a redes neuronales, boosting y Support Vector Machines (Kulkarni, 2012), dichas técnicas construyen un modelo a partir de los datos de entrenamiento del problema.

10 El modelo de redes neuronales corresponde a un modelo de aprendizaje supervisado, en donde se determina la clasificación de una serie de valores de entrada, basados principalmente en el modelo de una neurona (Kussul, Baydik, & Wunsch, 2010)

El modelo de una neurona consiste en, dadas unas variables de entrada X, la generación de una variable de respuesta Y representada como una combinación lineal de los atributos después de ser procesada a través de un clasificador duro o una función de activación, tal como se observa en la figura (Hopfield, 1982):

FIGURA 3DISEÑO DE UNA NEURONA ARTIFICIAL1

Las ecuaciones de representación del modelo para una neurona se presentan a continuación: ( ) ( )

( ( )) ( )

En donde la función de activación, corresponde a una función discreta que después de cierto valor umbral asigna un valor de salida (1), diferente al asignado en caso de no cumplir con el umbral (0)

Los métodos más populares de resolución de una red mono neurona son el Algoritmo LMS (Blowey & Craig, 2004), el algoritmo del perceptrón (Aizeman, Braveman, & Rozonoer) y el perceptrón de bolsillo (Gallant, 1993). Los cuales se basan en la disminución del valor estimado del error en base a los datos de entrenamiento del modelo.

Sin embargo, a pesar de que las redes mono neuronas pueden ser muy útiles para la resolución de ciertos problemas, las mismas presentan una capacidad funcional limitada, por lo tanto se plantea la idea de una red neuronal multicapa con el fin de implementar funciones más complejas que sean capaces de construir representaciones internas de los datos de entrada.

1

Imagen Tomada de

11 Las redes multicapa se pueden modelar de acuerdo a la siguiente figura:

FIGURA 4DISEÑO DE UNA RED NEURONAL MULTICAPA2

En donde se presentan 2 capas una correspondiente a la capa de salida, y la otra correspondiente a una capa oculta. En la capa oculta pueden haber tantas neuronas como se requieran, mientras que en la capa de salida existirán tantas neuronas como salidas presente el modelo (para el caso particular del otorgamiento de crédito únicamente se tiene una neurona en la capa de salida). Cada neurona actúa como una red mono neurona y se interconectan para obtener una salida final del modelo tal como muestra la figura. (Widrow & Lehr, 1990)

Para determinar la cantidad de neuronas óptima para la resolución del problema es necesario realizar varias pruebas y evitar un sobreajuste en los datos, dichos procedimientos serán desarrollados para el problema de otorgamiento de crédito con el fin de determinar un modelo óptimo basado en redes neuronales multicapa.

La resolución de redes multicapa se puede realizar mediante el método de perceptrón multinivel (backpropagation), o el método de función de base radial (Buhman, 2003), los cuales, nuevamente, pretenden disminuir el error estimado de los datos (Schwenker & Gayar, 2010).

Para la comparación y evaluación de técnica en el problema de otorgamiento de crédito a desarrollar dentro del proyecto de grado se pretende utilizar una red multicapa con una capa oculta. La cantidad de neuronas en la capa oculta se determinará en base a la dimensión de los atributos y al comportamiento del modelo de red encontrado.

2.2.5. Adaboost (Boosting)

El objetivo de un modelo de boosting es mejorar la precisión y confianza de algún modelo de clasificación determinado, o lo que es lo mismo realizar la construcción de un clasificador

2

12 fuerte basado en múltiples clasificadores débiles (entiéndase por clasificador débil un clasificador que presente una confianza determinada menor que 0 ( ), con una precisión determinada entre 0 y 50% ( ) (Overett & Petersson, 2008)). Es así que se construye un clasificador fuerte basado en la combinación lineal de múltiples clasificadores débiles.

Por ejemplo si se tienen clasificadores que cumplen la condición de clasificación débil, es posible crear un algoritmo de clasificación fuerte H en base a la siguiente formula (Yoav & Schapire, 1997):

( ) ∑ ( ) ( )

La idea es que a partir de una confianza y precisión de un clasificador débil determinados , se logre realizar el boosting correspondiente, para llegar un clasificador fuerte con confianza y precisión no establecidas y (aumentando la confianza y precisión del modelo); para que esto sea posible, es necesario que el modelo que se pretende construir sea un modelo PAC (Klivans, 2005)

Para tener un modelo PAC se deben cumplir las siguientes condiciones (Kearns & Vazia, 1994):  Espacio de Entrada

 Distribución  Concepto

 : Clase de conceptos

 Oráculo ( ) que genera x con distribución D independiente y que retorna (x, y) y=c(x)

Uno de los algoritmos de boosting más populares y el cual será tratado en el proyecto para la solución de otorgamiento de un crédito, a partir del algoritmo inicial del perceptrón simple, corresponde al algoritmo Adaboost el cual es capaz de generar boosting de (aumentar) la precisión y la confianza de un modelo inicial determinado. El resumen del algoritmo se presenta a continuación:

Dados unos datos X de entrenamiento con su correspondiente salida Y, y un algoritmo de clasificación establecido A se tiene (Schapire, 2012): ( ) ( )

( )) ( ) ( )

∑ ( ) ( ) ( )

( ) ( )

( )

( ) ( ( ))

∑ ( )

( )

( ) ∑ ( ) ( )

De esta manera se observa como el algoritmo de Adaboost realiza boosting a partir de clasificadores débiles generados a partir de modelos de clasificación dados.

13 Para el caso particular del otorgamiento de crédito se pretende utilizar un modelo perceptrón de una sola neurona (explicado anteriormente) y generar boosting sobre el mismo, de manera que se logre obtener un mejor clasificador, no se genere un tiempo de clasificación muy elevado (como en el caso de usar un algoritmo de red neuronal multicapa como base) y sea posible realizar la comparación con otro tipo de clasificadores.

2.2.6. Support Vector Machines.

Support Vector Machines hace referencia a un conjunto de algoritmos de aprendizaje supervisado, propiamente relacionados con modelos de regresión establecidos. La idea básica de los modelos de support vector machines corresponde a la proyección de los datos de entrada en un espacio de dimensionalidad muy alta, o incluso infinita, en donde el problema de clasificación puede ser fácilmente separable (Abe, 2010)

La idea se fundamenta en proyectar los atributos a otro espacio de mayor dimensionalidad: ( )

( ) ( )

En donde H es un espacio de Hilbert, es decir es posible realizar producto punto en dicho espacio y el mismo corresponde a un espacio completo. (Faria, 2010)

El problema de optimización a desarrollar en el algoritmo de Support vector machines, se presenta a continuación (Wang L. , 2005)

∑ ∑ ∑ ( ) ( ) ( )

∑ ( )

( )

En donde los coeficientes alfa corresponden a coeficientes de LaGrange, corresponde a la salida del sistema (1 o 0) para el caso binario, phi corresponde a la proyección de x en un espacio de Hilbert H, y C corresponde un parámetro que permite balancear el margen deseado entre los datos y el error de los mismos.

Para solucionar este problema de optimización, se plantea la idea de un Kernel. Es así que se define un Kernel como el producto punto de dos espacios de entrada x, proyectados en un espacio de Hilbert H, tal como se presenta a continuación (Cristianini & Shawe- Taylor, 2000):

( )

14 La presencia de un Kernel, permitirá que no se necesite conocer el espacio H, o realizar la proyección al mismo para solucionar el problema de clasificación.

Para resolver el problema anteriormente descrito, es necesario definir el tipo de Kernel que va a utilizar el algoritmo, los tipos de Kernel más comunes se presentan a continuación:

 Polinomial: ( ) (( ) ) ( )  Gaussiano: ( ) ( || ||) ( )  Sigmoidal: ( ) ( ( ) ) ( )

Dado el alcance del proyecto, en la resolución del problema mediante Support Vector Machines, únicamente se va a modelar la situación a partir de un Kernel polinomial y gaussiano, utilizando validación cruzada con los datos de entrenamiento (Devijver & Kittler, 1982).

2.3. Revisión Bibliográfica

El problema a desarrollar además de la teoría anteriormente mencionada, se fundamenta principalmente en trabajos de investigación previamente desarrollados por estudiantes.

Uno de ellos corresponde a la tesis de Ingeniería Industrial de David González Laharrondo, en donde se comparan diferentes tipos de clasificadores en el problema de concesión de un crédito (principalmente modelos logísticos y redes neuronales) (González Laharondo, 2008) ;en este nuevo trabajo de investigación se pretende solucionar algunos de los problemas encontrados en la tesis consultada, ampliando un poco la cantidad de clasificadores utilizados para el análisis.

Otro trabajo de investigación consultado corresponde a la tesis de Hernán Mejía Moreno en donde se trata la resolución de un problema de forma y ranking de contenido utilizando Support Vector Machines (Mejía Mora, 2012), el trabajo de investigación pretende replicar alguno de los modelajes propuestos en la tesis para la solución del problema con Support Vector Machines.

Finalmente el último trabajo de investigación en el cual se pretende fundamentar la tesis a desarrollar, corresponde a la investigación titulada “Accounting-based Credit-scoring models: Econometric Investigations” (Dyrberg Rommer, 2005), en donde se tratan diferentes modelos de clasificación para un problema particular de credit Score y de los cuales se fundamentaran algunos de los modelos utilizados en el problema planteado.

15 3. Objetivos

3.1.Objetivo General

Determinar el mejor tipo de clasificador para el problema de otorgamiento de un crédito, en base a la comparación de ventajas y desventajas de diferentes tipos de clasificadores estadísticos y no estadísticos, entre los que se evaluaránel error estimado y la complejidad (tiempo de diseño). Dichos estimadores serán calculados con base en herramientas estadísticas de regresión, métodos computacionales y numéricos de Machine Learning, y simulaciones de sistemas dinámicos.

3.2.Objetivos Específicos

 Desarrollar y analizar los modelos de regresión logística Logit, determinando las ventajas y desventajas de los mismos, estableciendo los errores de estimación de cada modelo de clasificación de datos, y nivel complejidad. Para lo mismo serán utilizadas pruebas estadísticas de borrado de variables y regresión logística en el diseño e implementación de clasificadores.

 Implementar, analizar y comparar modelos básicos de Machine Learning (Redes neuronales, Support vector Machines, Boosting), enfatizando en las diferencias entre tiempos de ejecución, complejidad y porcentaje de error; indicadores que serán obtenidos al realizar pre procesamiento de datos por medio de la técnica de componentes de análisis principales y mediante la implementación de los modelos por medio de métodos numéricos.

4. Metodología

Para lograr determinar el mejor clasificador en el problema de concesión de un crédito, en principio es necesario obtener la información histórica de algunas entidades bancarias a analizar; para el caso en particular, y dado el problema de confidencialidad de las mismas, se utilizará una base de datos del sistema bancario alemán recopilada por el Doctor Hans Hoffman (Hofmann, 2000), de la cual se tienen 1000 muestras con 20 atributos cada una. La segunda base de datos que se utilizará para el caso a analizar, corresponde a una base de datos cuyo origen es confidencial (UCI, 1998), la cual posee 690 muestras con 15 atributos cada una.

Una vez recopilada la información se procede a realizar el correspondiente análisis de la misma. En primer lugar se estudiará la base de datos con los modelos estadísticos de clasificación; para el correcto análisis de la información, se identificarán las variables de entrada significativas mediante la prueba t (Walpole, 2012), en base a esto se pretende disminuir notablemente la dimensionalidad de los datos y crear un modelo logístico mucho más robusto y menos complejo.

Una vez determinadas las variables significativas para cada base de datos y con ayuda del software Stata (Longest, 2012), se procede a determinar el modelo estadístico Logit, basándose en el 70% de la muestra. En base a los resultados del software estadístico, se probará el modelo con el 30% de los datos restantes (datos de prueba), determinando el nivel

16 de complejidad del modelo y el porcentaje de error encontrado en la clasificación, así como la precisión y confianza del mismo.

Habiendo analizado los modelos estadísticos, se procede a observar el comportamiento de los modelos no estadísticos, o modelos de Machine Learning; para los mismos se realizará un pre procesamiento a los datos de los atributos, con el fin de disminuir su espacio de entrada y reducir su complejidad y tiempo de ejecución. El pre procesamiento de los datos se realizará por medio de la técnica de análisis de componentes principales (Jolliffe, 2002), principalmente porque es una técnica sencilla de usar y muy efectiva en la práctica.

Después de pre procesar los datos, se realizará el diseño de una red neuronal multineurona con una capa oculta; la cantidad de neuronas presentes en la capa oculta se determinará mediante la técnica de validación cruzada (Devijver & Kittler, 1982) . Para el correcto diseño e implementación del modelo de redes, se utilizará el software Matlab y la toolbox Neural Networks (MathWorks, 2009) , los cuales permiten diseñar y examinar redes neuronales de una manera eficiente y simplificada. Para la prueba de las redes neuronales, se utilizará 60% de los datos como entrenamiento, 10% como datos de validación y el 30% restante como prueba.

En base a los datos pre procesados anteriormente y tomando nuevamente una relación entre datos de entrenamiento y prueba de 70 a 30, se procede a realizar boosting del método arboles de decisión (disponible en la toolbox GML_AdaBoost_Matlab_Toolbox_0.3) mediante el método de Adaboost; generando tiempos de ejecución, complejidad y porcentajes de error . El algoritmo de Adaboost se implementará por medio de la librería de GML_AdaBoost_Matlab_Toolbox_0.3 creada por Alexander Vezhnevets (Vezhnevets) .

Finalmente con estos mismos datos pre procesados y la misma distinción entre datos de entrenamiento y prueba se examinará el algoritmo de Support Vector machines con un Kernel polinomial y un Kernel gaussiano, estimando sus parámetros por medio de validación cruzada y generando tiempos de ejecución y porcentajes de error de los mismos. El algoritmo anterior será implementado por medio de la librería LIBSVM desarrollada por Chang et al (Chung & Jen Lin, 2013), y disponible online. Habiendo implementado estos algoritmos no estadísticos, será posible analizar y comparar errores en datos de prueba, tiempos de ejecución y niveles de complejidad, estableciendo ventajas y desventajas de cada modelo.

Habiendo determinado ventajas y desventajas se procede a establecer si es posible establecer un clasificador óptimo para el problema de concesión de crédito, y en caso de serlo, determinar cuál es; o si por el contrario el mejor modelo de clasificación depende de ciertas características propias de la entidad bancaria, en cuyo caso se procedería a determinar el clasificador óptimo para cada uno de los casos estudiados.

5. Descripción de la información

Para entender cómo funciona de manera detallada los métodos tanto en el caso estadístico, como en el caso correspondiente a técnicas de Machine Learning, es conveniente explicar de manera detallada el significado de cada uno de los parámetros que recibe como entrada el simulador y en los cuales se basa para la determinación de otorgamiento o negación del crédito. A continuación se expone de manera detallada el significado de cada uno de los datos, para cada uno de los sets de prueba:

17 El primer set de datos que se pretende analizar corresponde a los datos correspondientes al set de datos del profesor Hans Hoffman en donde se presentan tanto variables categóricas, como variables no categóricas para el estudio de crédito. A continuación se presentan las características de cada uno de los parámetros representados en este set:

- Estatus actual de la cuenta corriente: Esta variable corresponde a una variable cualitativa, ya que los datos d representados en forma de rangos de acuerdo a la cantidad de marcos alemanes (moneda antigua de Alemania) presentes en la cuenta corriente. De esta manera la variable representara con el número 1 aquellas cuentas corrientes con saldo negativo, con el número 2 aquellas entre 0 y 200 marcos alemanes, con 3 aquellas con un monto superior a 200 DM e con 4 aquellas personas que no tienen cuenta corriente.

- Duración: Esta variable es una variable numérica discreta expresada en meses, que corresponde a la duración del crédito que la persona va a solicitar.

- Historia Crediticia: El tercer atributo corresponde a la historia crediticia del individuo en cuestión, el mismo presenta una categoría cualitativa, en donde se expresan los siguientes valores: 0 en caso de inexistencia de historia crediticia, 1 en caso de que todos los créditos pagados satisfactoriamente y sin retrasos, 2 en caso en caso de que exista al menos 1 crédito pagado satisfactoriamente, 3 en caso de existencia de retrasos en los pagos anteriormente, y 4 en caso de que la cuenta presente otros créditos no en el banco actual.

- Motivo: Esta variable es una variable cualitativa que se encarga de indicar el motivo por el cual se está realizando el préstamo en cuestión, la variable toma el valor de 0 en caso de que el crédito a analizar corresponda a un crédito de auto nuevo, el valor de 0 en caso de que el mismo corresponda a un crédito de autos usado, el valor de 2 en caso de créditos de artículos para el hogar, 3 en caso de crédito para radio y televisión, 4 para usos domésticos, 5 para reparaciones, 6 para educación, 7 para turismo, 8 para retenerlo, 9 para negocios y 10 cualquier otro uso.

- Cantidad solicitada: Corresponde a una variable numérica que indica el monto solicitado al banco.

- Cantidad de dinero en la cuenta de ahorros. La misma es una variable cualitativa por rangos, en donde 1 corresponde a menos de 100 marcos alemanes, 2 a montos entre 100 y 500 DM, 3 a montos entre 500 y 1000 DM, 4 en caso de que el monto sea superior a 1000DM y 5 para datos desconocidos o cuando no se tiene una cuenta de ahorros.

- Status de Empleo: Es una variable cualitativa que indica el empleo de la persona en cuestión, corresponde a 1 si es desempleado, 2 con empleo menor a 1 año, 3 con empleo entre 1 y 4 años, 4 con empleo entre 4 y 7 años y 5 en caso de ser un empleado de antigüedad mayor a 7 años.

- Tasa de instalación en caso de disponer del préstamo: Variable numérica

- Características de las personas: Variable cualitativa, definida como 1 en caso de que el sujeto en cuestión sea hombre divorciado, 2 mujer divorciada o casada, 3 hombre soltero, 4 hombre casado o viudo, 5 mujer soltera.

- Presencia de otras deudas: Corresponde a una variable cualitativa en donde 0 indica que no presenta otras deudas, 1 que es coaplicante y 3 que es fiador de alguna deuda

18 - Residencia: Indica la cantidad de tiempo en que el individuo ha estado en la residencia

actual.

- Patrimonio: Variable cualitativa que permite identificar si la persona cuenta con propiedades propias, en donde 1 corresponde a que si se presenta propiedades, 2 hace referencia a un proceso de compra o pago, 3 a que posee auto y solamente auto, y 4 ninguna de las anteriores.

- Edad

- Otros plazos de pago: Variable cualitativa que corresponde a otros pagos a plazos que tenga la persona, en donde 1 corresponde a pagos en bancos, 2 a pagos en tiendas y 3 a ninguna de las 2.

- Vivienda: variable cualitativa que indica 1 si es una vivienda en renta, 2 si corresponde a una vivienda propia y 3 si vive mantenido de alguna otra persona.

- Número de créditos existentes en el banco

- Trabajo: En donde se establece 1 como desempleado no residente, 2 como profesional descalificado residente, 3 como empleado oficial, 4 como gerente a independiente. - Número de personas que se deben mantener

- Ausencia (1) o presencia (2) de número telefónico

- Indica si en un trabajador extranjero, en donde 1 indica que si lo es y 2 que no.

 Set 2: Base de datos australiana

El segundo set de datos que se pretende analizar corresponde a los datos correspondientes a una base australiana, dada la confiabilidad de la información de las personas cuando se tratan créditos financieros, las variables presentadas en este set de información son secretas y no se sabe que característica del individuo representan, sin embargo se sabe si las mismas son cualitativas o cuantitativas. Una breve descripción de las variables se presenta a continuación:

- A1: variable cualitativa que puede tomar el valor de b o a - A2: variable cuantitativa continua

- A3: Variable cuantitativa continua

- A4: Variable cualitativa que puede tomar el valor de u,y,l,t - A5: Variable cualitativa que puede tomar el valor de g,p,gg

- A6: Variable cualitativa que puede tomar el valor de c,d,cc,i,j,k,m,r,q,w,x,e,aa,ff - A7: Variable cualitativa que puede tomar el valor de v,h,bb,j,n,z,dd,ff,o

- A8: Variable cuantitativa continua

- A9: Variable cualitativa que puede tomar el valor de t o f - A10: Variable cualitativa que puede tomar el valor de t o f - A11: Variable cuantitativa continua

- A12: Variable cualitativa que puede tomar el valor de t o f - A13: Variable cualitativa que puede tomar el valor de g,p o s - A14: Variable cuantitativa continua

19 6. Clasificadores: Análisis de regresión

6.1.Base de datos Alemana

Dado a que el conjunto utilizado para realizar el análisis de datos tiene en su representación la presencia tanto de variables cualitativas como de variables cuantitativas es necesario utilizar alguno de los siguientes procedimientos:

1. Utilizar los datos tal como se han expuesto hasta el momento representando las variables cualitativas por medio de variables dummies, dichas variables deben presentar una interacción con las demás variables cualitativas, es por eso que se deben tener en cuenta los efectos de la interacción entre variables.

2. Realizar algún procedimiento que permita convertir las variables cualitativas utilizadas actualmente en variables cuantitativas, cuya representación puede disminuir la cantidad de información de los datos y la representación directa de cada una de las variables en el modelo, además que puede crear un nivel de dimensionalidad mayor en el número de variables

Dados los objetivos principales del proyecto, y para no aumentar la complejidad del modelo de regresión, se procederá con la realización de la segunda opción. Para lo mismo se escogerá el procedimiento de estandarización y conversión de variables categóricas a variables numéricas, con el fin de representar de la manera más fiel posible la variabilidad de la información y evitar la presencia de múltiples interacciones entre variables en el modelo, para el caso actual se tiene una transformación con 25 variables numéricas..

Una vez determinada la cantidad de datos a utilizar, se determinara que el 70% será utilizado como datos para realizar el modelo de regresión (o datos de entrenamiento), y el 30% restante corresponderá a los datos de prueba, y a partir de los cuales se calculará el error de la información.

La prueba que se usará para el análisis por medio de la regresión logística corresponde a la prueba de borrado de variables, con el fin de no aumentar la complejidad del modelo; para lo mismo inicialmente se tendrán en cuenta las dieciocho variables y se irán eliminando una por una de acuerdo a su nivel de significancia, los resultados iniciales se encuentran en la siguiente imagen:

20 FIGURA 5MODELO LOGIT BASE DE DATOS ALEMANA

En el modelo desarrollado por Stata se puede observar que es globalmente significativo, ya que la prueba chi cuadrado tiene un P-Value de aproximadamente 0%.

En la tabla anterior se observa claramente que existen variables significativas y variables no significativas dentro del modelo, las cuales pueden ser determinadas mediante el P-value del estadístico Z presente en la tabla. Es así que se decide eliminar del modelo una de las variable menos significativa correspondiente a la variable 8 con un P-value equivalente a 97.3%. De igual manera se procede a eliminar cada una de las variables menos significativas después de correr el modelo, detallando siempre en la significancia del modelo global; algunas de las iteraciones intermedias así como el resultado final se presentan en las imágenes que siguen a continuación:

21 FIGURA 6MODELO LOGIT ITERACIÓN BORRADO DE VARIABLES BASE ALEMANA

22 FIGURA 8MODELO LOGIT FINAL BASE DE DATOS ALEMANA

En las imágenes anteriores se puede observar que la significancia global del modelo no disminuye al reducir el número de variables, sin embargo es un procedimiento adecuado ya que disminuye en gran medida la probabilidad de un overfitting en el modelo.

En el modelo final se observa que todas las variables son significativas con un grado de significancia del 10%, el mismo puede presentarse por medio de la siguiente ecuación:

(

) ( )

En donde cada una de las variables del modelo corresponde a los datos después de realizar la disminución de dimensionalidad.

En base a esta ecuación se puede calcular la probabilidad de que se tenga un valor positivo en el evento, de la siguiente manera:

( ) ( )

Una vez calculado el modelo se procede a encontrar el error de asignación de los datos, asumiendo que se tiene la misma probabilidad de éxito que de fracaso, es así que todas aquellas probabilidades superiores a 0.5 se asignará un valor de éxito (conceder el crédito) y todos los valores inferiores será equivalentes a 0. Una vez determinada esta regla de éxito y fracaso, se procede a calcular el porcentaje de éxito tanto en los datos de entrenamiento como en los datos de prueba, se presentan a continuación:

23 TABLA 1ERRORES BASE DE DATOS ALEMANA

Se puede observar que en general se tiene un resultado equivalente para los 2 conjuntos de datos, por lo cual se puede concluir que no existe algún tipo de sobreajuste de información. Se observa que los datos de prueba tienen un porcentaje de error de 26%, mientras que en los datos de entrenamiento es equivalente un error de 22.3%.

Se observa en general que el modelo encontrado tiene un comportamiento regular, ya que el error hallado es superior al 20%; sin embargo tiene una muy baja complejidad pues el tiempo de solución es inferior a los 10 segundos, adicional a ello el resultado se expresa en términos de probabilidades lo que hace posible para la entidad financiera determinar un área gris en donde no se es tan claro el otorgamiento o no otorgamiento del crédito, igualmente la entidad financiera puede priorizar el otorgar un crédito cuando el mismo no se debería hacer que al contrario.

6.2.Base de Datos Australiana

Al igual que en el caso anterior se puede encontrar que para esta base de datos existe un gran porcentaje de variables cualitativas, como el objetivo corresponde en disminuir la complejidad al máximo, y convertir las variables categóricas en variables numéricas; se procedió a utilizar nuevamente el método de estandarización de variables categóricas a variables cualitativas. Para este caso se redujo la dimensionalidad de los datos de 15 a 13.

Una vez representados los datos de una forma adecuada se procede a realizar el modelo Logit por medio del método de borrado de variables, para lo mismo se seleccionaran aleatoriamente 80% de los datos como datos de entrenamiento y a los cuales se les realizara la regresión logística; y los datos restantes (20%) corresponderán a datos de prueba.

Una vez realizada la regresión logística con todas las variables se obtiene el siguiente resultado:

Datos de entrenamiento Datos de Prueba

24 FIGURA 9MODELO LOIT INICIAL BASE AUSTRALIANA

De la tabla anterior se puede observar en primer lugar que presenta un modelo global significativo, ya que el pvalue de la pruba chi cuadrado tiende a cero. Adicional a ello es probable notar que la mayoría de las variables son significativas en el modelo, a excepción de la variable 13 y la variable 3.

Inicialmente se eliminara la variable 13 del modelo, y se observara el comportamiento general del modelo:

25 FIGURA 10MODELO LOGIT INTERMEDIO BASE DE DATOS AUSTRALIANA

Se observa que el modelo resultante es un modelo significativo globalmente con una única variable no explicativa correspondiente a la variable 3; una vez se elimine esta variable se tendrá el modelo definitivo, el cual se presenta a continuación:

FIGURA 11MODELO LOGIT FINAL BASE AUSTRALIANA

En el modelo final se observa que todas las variables son significativas con un grado de significancia del 10%, el mismo puede presentarse por medio de la siguiente ecuación:

(

) ( )

26 En base a esta ecuación se puede calcular la probabilidad de que se tenga un valor positivo en el evento, de la siguiente manera:

( ) ( )

Una vez calculado el modelo se procede a encontrar el error de asignación de los datos, asumiendo que se tiene la misma probabilidad de éxito que de fracaso, es así que todas aquellas probabilidades superiores a 0.5 se asignará un valor de éxito (conceder el crédito) y todos los valores inferiores será equivalentes a 0. Una vez determinada esta regla de éxito y fracaso, se procede a calcular el porcentaje de erro tanto en los datos de entrenamiento como en los datos de prueba, los resultados se presentan a continuación:

TABLA 2ERRORES LOGIT BASE AUSTRALIANA

Datos de entrenamiento

Datos de Prueba

14,86% 13,77%

Se observa en general un valor cercano y bajo tanto para los datos de entrenamiento como para los datos de prueba, esto permite concluir que no existe ningún tipo de sobreajuste en los datos evaluados, además de ello se observa claramente que el error encontrado es un error bajo (inferior al 15%), por lo que se puede determinar que el modelo logístico se ajusta muy bien a la información.

6.3.Comparación entre bases de datos

Se observa en general que la segunda base de datos, se ajusta de manera muy adecuada a la regresión logística a diferencia de la base de datos alemana, esto se puede deber básicamente a que esta segunda base de datos presenta un comportamiento mucho más suave y mucho más lineal que le es suficiente para ajustarse a una función logística.

Por otra parte se puede observar que la regresión logística no necesariamente es una mala opción por el simple hecho de no adecuarse a algún tipo de datos, si no que por el contrario la misma puede predecir de manera correcta ciertos datos y errar de manera significativa ante la presencia de otros datos.

Finalmente vale la pena aclarar que la regresión logística a pesar de no ajustarse en ciertas ocasiones a la información tiene ventajas significativas sobre otras técnicas, ya que la misma permite determinar la probabilidad de éxito o fracaso, además que presenta una relación directa e interpretable entre las variables y la probabilidad resultante.

7. Clasificadores: Redes Neuronales

7.1.Base de datos Alemana

Para la realización del modelo usando redes neuronales se utilizó, al igual que en el caso anterior, la técnica presentada por la Universidad de Strathclyde, para la transformación de los

27 datos, debido a que la misma transforma los datos categóricos presentes en el modelo original en datos cuantitativos.

Para este caso se decidió realizar la partición de los datos de la siguiente manera, el 70% correspondiente a datos de entrenamiento, que serán los datos que utilizará el algoritmo para realizar el modelo de predicción, 5% correspondiente a la validación del modelo y que permitirán ajustar el modelo final con el fin de evitar overfitting; el 20% restante correspondiente a datos de prueba. Estos últimos datos serán los datos utilizados para calcular el error final del modelo.

El modelo de redes neuronales utilizado en este caso para el credit Scoring corresponderá a un modelo de redes neuronales con una capa oculta, dado a que el mismo presenta un comportamiento y un ajuste diferente de acuerdo a la cantidad de neuronas presentes en la capa oculta, se realizará una validación en malla, que permitirá determinar el número óptimo de neuronas en la misma (después de diferentes corridas). Así mismo se utilizara como medida de complejidad del modelo el tiempo que tarda en realizar el entrenamiento de los datos en un algoritmo simple desarrollado en MATLAB, sin embargo dado a que este tiempo puede llegar a ser muy grande, el entrenamiento definitivo de la red así como el error en los datos de prueba se calculará en base al toolbox Neural Network de matlab.

Los resultados de la validación en malla, así como los tiempos de entrenamiento mediante un algoritmo no robusto, se observan en la siguiente tabla:

TABLA 3NEURONAS VS ERRORES BASE ALEMANA

El comportamiento del error de acuerdo al número de neuronas presentes en la capa escondida se observa claramente en la siguiente gráfica:

Numero de capas Escondidas Error Tiempo de Ejecución Algoritmo simple

1 29,3% 380

2 28,60% 450

3 28,90% 523

4 23% 602

5 25,00% 687

6 27% 721

7 27,00% 867

8 31,00% 892

9 0,2566 915

10 25% 1023

11 23,33% 1135

12 30,60% 1324

13 24,00% 1543

14 24% 1821

15 25,30% 2036

20 27,33% XXX

30 25% XXX

28 FIGURA 12ERROR REDES NEURONALES BASE ALEMANA

De acuerdo a la tabla anterior y a la gráfica de comportamiento del error, se puede observar que el número óptimo de neuronas que logra minimizar el error corresponde a aproximadamente 4 neuronas, en base a esto se desarrollará el entrenamiento de la red con este número de neuronas. Para la determinación de los demás parámetros de inicialización de la red neuronal, se corrió el modelo de red en múltiples oportunidades variando progresivamente los parámetros y seleccionando el de menor error en los datos de prueba. El modelo de redes neuronales a utilizar se presenta a continuación:

FIGURA 13MODELO RED NEURONAL BASE ALEMANA

La imagen anterior describe el comportamiento de la red neuronal que se usará en el credit scoring. En la imagen se puede observar que inicialmente se tiene un vector de entrada con dimensión 24 (después de realizar la transformación de dimensional dada por medio de la transformación de variables), dicho vector de inputs entra a cada una de las neuronas de la capa oculta de la red, expresando la salida de cada una de las neuronas como Xn, en donde n varia de 1 a 4, se tiene la siguiente ecuación:

* + ( )

Los resultados de cada neurona expresados como Xn, pasan finalmente a través de una única neurona de salida y una función de activación que determina el bit de respuesta de la salida de acuerdo a los datos de entrada, las ecuaciones que permiten modelar este comportamiento se presentan a continuación:

0,0% 5,0% 10,0% 15,0% 20,0% 25,0%

0 10 20 30 40 50 60

Er

ro

r

Numero de neuronas en la capa oculta

29 ( )

( ) ( )

En donde f corresponde a la función de activación de salida de la neurona y que determina para el caso actual la aprobación o negación del crédito financiero.

Una vez entrenados la red en base a los datos calculados se obtienen los siguientes resultados, para la matriz de confusión:

FIGURA 14MATRIZ DE CONFUSIÓN BASE ALEMANA

Se puede observar claramente que de acuerdo al vector de entrada el modelo calculado acertó en los datos de entrenamiento en un 78,2%, en los datos de validación en un 77%, y en los datos de prueba en un 77.6%. Los resultados anteriores permiten determinar que el modelo calculado no tuvo problemas de sobreajuste, ya que en general presenta un error comparable en los tres tipos de datos. La información detallada de aciertos y errores para cada conjunto de datos se puede detallar claramente en la tabla.

De esta manera se puede calcular el nivel de precisión y el nivel de confianza del modelo diseñado. El mismo se puede encontrar de acuerdo a la siguiente formula, en donde el valor de corresponde a la confianza del modelo, corresponde a la precisión del error en el modelo

30 calculado, finalmente el valor de n representa el número de datos utilizados para el cálculo del error, en el caso actual correspondiente a 300

( ) ) _{( )}

√ ( )

( ) 3,52% (35)

De esta manera se puede determinar que el error total del modelo corresponde a un 23.3% (Únicamente teniendo en cuenta los datos de prueba), con una precisión del 3,52% y una confianza del 95%.

Finalmente es conveniente observar el resultado de la curva ROC (reciever Operating Caracteristic) para el modelo calculado, la misma se presenta a continuación:

31 Al observar las Gráficas ROC, se puede observar que para todos los conjuntos de datos, la clasificación obtenida es óptima (es mejor que una realizada aleatoriamente), pues la misma se encuentra por encima de la línea discriminante. Más aún el área bajo la curva, en esta prueba puede llegar a representar que tan bueno es el modelo calculado, para el caso actual se observa que en los datos de prueba la misma es aproximadamente .75, por lo que se puede determinar que en general el comportamiento del modelo tiende a ser un comportamiento bueno.

Para terminar es conveniente analizar el comportamiento de la suma de las normas delas matrices de los gradientes, que usualmente se usa como criterio de terminación del algoritmo; en este caso puede observarse que al aumentar el número de iteraciones, en general disminuye la sumatoria de los gradientes, tendiendo en el límite una sumatoria equivalente a 0. Se puede observar que la tolerancia para el algoritmo actual (con el fin de obtener un desempeño optimo y que el mismo no tome tiempos elevados) corresponde a 0.01.

FIGURA 16COMPORTAMIENTO DEL GRADIENTE BASE ALEMANA

7.2.Modelo Base de Datos Australiano

Una vez analizado el modelo de base de datos alemana, se procede a analizar el modelo con base de datos australianos. Al igual que en el caso anterior, y debido a que muchas de las variables para este modelo eran de carácter cualitativo, fue necesario realizar una conversión de variables cualitativas y cuantitativas, asi como disminuir las dimensiones del vector de entrada.

Para este caso se tomarán el 70% de los datos correspondientes a 483 muestras como datos de entrenamiento, el 10% correspondiente a 69 muestras como datos de validación, y el 20% restante referente a datos de prueba, el cual representa 138 muestras.

Tal como se realizó para el caso anterior se procede a calcular el número de neuronas óptimo en la capa oculta, los resultados se presentan en la siguiente tabla:

32 TABLA 4NEURONAS VS ERRORES BASE AUSTRALIANA

En la tabla anterior se encuentra que el modelo que mejor se ajusta a los datos

seleccionados corresponde a un modelo de red neuronal con una capa oculta y 8 neuronas en la capa oculta, la representación de dicho modelo se presenta en la siguiente imagen:

FIGURA 17ESTRUCTURA RED NEURONAL BASE AUSTRALIANA

En la imagen se puede observar la dimensionalidad del vector de entrada correspondiente a 13, el número de neuronas escondidas en la capa oculta, y la función de salida.

Por otra parte la tabla permite observar el comportamiento de los errores en la red neuronal al aumentar el número de neuronas:

Numero de capas Escondidas

Error

Tiempo de Ejecución Algoritmo simple

1 15,9% 102

2 11,59% 145

3 18,11% 198

4 13,76% 256

5 19,56% 290

6 13,76% 345

7 19,56% 387

8 21,70% 445

9 14,49% 502

10 15,90% 578

11 15,94% 650

12 13,76% 702

13 14,49% 795

14 16,67% 901

15 18,84% 1003

20 13,76% XXX

30 16,70% XXX

33 FIGURA 18ERROR NÚMERO DE NEURONAS BASE AUSTRALIANA

Nuevamente se puede observar que cuando son pocas neuronas el error no parece tener alguna tendencia, sin embargo al aumentar el número de neuronas parece aumentar el overfitting, lo que desencadena un error mayor en los datos de prueba, y una tendencia al alta presente en el modelo.

Una vez seleccionado el modelo óptimo para este conjunto de datos se procede a calcular la matriz de confusión de datos de la misma, dicha matriz se observa a continuación:

FIGURA 19MATRIZ DE CONFUSIÓN BASE AUSTRALIANA

0,0% 5,0% 10,0% 15,0% 20,0% 25,0%

0 10 20 30 40 50 60

Er

ro

r

Numero de neuronas en la capa oculta

34 En la matriz anterior se puede observar que el error en los datos de entrenamiento es de aproximadamente 11.8%, mientras que en los datos de prueba el mismo corresponde a 13.8%. Una vez determinada la matriz de confusión se puede calcular el nivel de precisión y el nivel de confianza del modelo diseñado. El mismo se puede encontrar de acuerdo a la siguiente formula, en donde el valor de corresponde a la confianza del modelo, corresponde a la precisión del error en el modelo calculado, finalmente el valor de n representa el número de datos utilizados para el cálculo del error, en el caso actual correspondiente a 138.

( ) ) _{( )}

√ ( )

( ) 5,19% (38)

De esta manera se puede determinar que el error total del modelo corresponde a un 13.8% (Únicamente teniendo en cuenta los datos de prueba), con una precisión del 5,19% y una confianza del 95%. Se puede observar claramente que dado a que se tiene un nivel muy bajo de precisión el error encontrado inicialmente no es un error lo suficientemente confiable, para determinar un erro conveniente del modelo sería necesario aumentar la cantidad de datos de prueba.

Finalmente es conveniente observar las gráficas ROC resultantes para este modelo, las mismas se presentan en la siguiente imagen:

35 FIGURA 20GRAFICAS ROCBASE AUSTRALIANA

Las gráficas anteriores permiten notar que en general se tiene un buen desempeño del modelo, porque tanto para los datos de entrenamiento como para los datos e prueba se puede observar claramente que se tiene un área bajo la curva ROC superior a 0.8 y cercana a 0.9, lo que indica un muy buen ajuste del modelo a los datos.

Para terminar es conveniente analizar el comportamiento de la suma de las normas delas matrices de los gradientes, Se puede observar que la tolerancia para el algoritmo actual (con el fin de obtener un desempeño optimo y que el mismo no tome tiempos elevados) corresponde a 0.01, nuevamente y dado a que el modelo es adecuado, se observa que al aumentar las iteraciones el gradiente disminuye.

FIGURA 21COMPORTAMIENTO DEL GRADIENTE BASE AUSTRALIANA

7.3.Comparación entre las bases de datos

Al observar el comportamiento del algoritmo de redes neuronales en ambas bases de datos puede concluirse que por más de que ambas bases corresponden al problema de credit scoring, no existe un criterio único para determinar el número óptimo de neuronas que debe tener la capa oculta de una red neuronal, así como el nivel de tolerancia de las mismas.

En general se observa además que la base de datos australiana se ajustó en una mejor medida a los datos que la base de datos alemana a pesar de tener menor dimensionalidad, esto de una

36 u otra forma indica que la dimensionalidad es independiente del desempeño final del modelo, por lo cual es posible presentar una dimensionalidad muy pequeña y un modelo muy adecuado.

Finalmente es de resaltar que la cantidad de muestra para ambas bases de datos resulta insuficiente para determinar con exactitud el error de cada uno de los modelos a un nivel de confianza del 95%.

8. Clasificadores: Adaboost 8.1.Base de datos Alemana

Para realizar un modelo de Boosting en principio es necesario tener algún clasificador débil, para este caso en particular y dado a las facilidades que presenta este algoritmo para realizar boosting se escogerá un algoritmo débil basado en arboles; el mismo se basa en crear reglas para que para ciertas combinaciones entre sobrepasar o no un umbral determinado, en algunas componentes del vector de entrada se tenga una salida determinada. Un ejemplo particular del algoritmo utilizado se presenta en la siguiente imagen:

FIGURA 22EJEMPLO CLASIFICADOR DÉBIL ÁRBOL DE DECISIÓN

En la gráfica se nota claramente que de acuerdo a las combinaciones entre umbrales de las componentes del vector de entrada X, se tiene un resultado y, establecido por reglas de decisión de un árbol.

Para el caso actual se utilizó como clasificador débil un clasificador de árboles como el presentado anteriormente, dado a que inicialmente no se conoce el número óptimo de separaciones que debe tener el árbol, para tener un clasificador inicial más robusto y confiable, se realizó el algoritmo Adaboost para varios clasificadores y se escogió como el modelo indicado aquel que tuviera un error menor en los datos de prueba.

Para la selección del mejor algoritmo, se decidió evaluar 3 algoritmos de boosting (variaciones del algoritmo Adaboost) correspondientes a Real Adaboost, Gentle Adaboost y Modest Adaboost; los resultados obtenidos para cada uno de estos algoritmos, teniendo en cuenta las variaciones correspondientes al algoritmo de clasificación débil y a su número de particiones, se presentan en la siguiente tabla, en la misma se tiene en cuenta el error encontrado con el algoritmo sobre los datos de prueba, así como el tiempo que tardó el algoritmo en realizar el entrenamiento: