dirse en MSV lineal y no lineal, basado este último en diferentes funciones núcleo (kernel). En el caso del MSV lineal, se construye un hiperplano n-dimensional de separación en el espacio, que se selecciona de tal forma que la distancia desde los ejemplos más cercanos al hiperplano sea máxima [46]. En el caso de la clasificación no lineal la idea es similar, excepto que se realiza una transformación no lineal del conjunto de entrenamiento; o sea, el conjunto de puntos originales es remplazado por los obtenidos con una función núcleo, de forma que se fije el hiperplano en el espacio de rasgos transformados. Hay que tener en cuenta que para que una función pueda ser considerada función núcleo es necesario ante todo que sea simétrica y semidefinida positiva. Algunas de las funciones núcleo más comúnmente usadas son: k(x,x0) =hx·x0id Polinomial (1.1a) k(x,x0) =exp −kx−x 0k 2σ2
Gaussiana de base radial (1.1b)
1.7
Evaluación de Clasificadores
Después de representado el problema, seleccionado el algoritmo del clasificador y entre- nado el mismo, sólo resta comprobar que el clasificador puede ser utilizado para modelar la propiedad. Para ello, el modelo debe cumplir tres requisitos: tener buena bondad de ajuste, robustez y capacidad generalizadora. Para evaluar la bondad de ajuste se tienen en cuenta el entrenamiento, o sea la capacidad de “aprender” del modelo. Para probar la robustez se elimi- nan algunos casos dentro del conjunto de entrenamiento, se entrena nuevamente y se predice la clase de los casos eliminados; si el modelo es robusto los resultados obtenidos no deben alejarse mucho del entrenamiento inicial. La capacidad generalizadora puede determinarse mediante una prueba interna con casos ajenos al conjunto de entrenamiento, y por lo gene-
ral, sus resultados son inferiores a los del entrenamiento. Una vez seleccionados los modelos de clasificación de mejor desempeño, se procede a la prueba externa con los datos que fue- ron excluidos del proceso de desarrollo y validación de los modelos, que permite evaluar el desempeño real del clasificador.
No es posible encontrar, de manera general, un clasificador mejor que otro. Para cada problema nuevo se necesita determinar cuál ofrece mejores resultados. Existen varios estadí- grafos para evaluar la clasificación y comparar los modelos. En los problemas de clasifica- ción, los más conocidos están basados en la “matriz de confusión” que se obtiene cuando se prueba el clasificador en un conjunto de datos. LaTabla 1.1 muestra la matriz de confusión de un problema de dos clases, dondeC1es la clase negativa yC2la clase positiva.
Tabla 1.1:Matriz de confusión general para problemas de dos clases
Clase Predicha Clase Real C1 C2
C1 TN FP
C2 FN TP
TP y TN son la cantidad de elementos bien clasificados de la clase positiva y negativa respectivamente. FP y FN son la cantidad de elementos negativos y positivos mal clasificados respectivamente. Basados en estas medidas, se calcula el error, la exactitud (accuracy), la razón de TP (TP rate) o sensibilidad, la razón de FP (FP rate), la precisión y la especificidad, que se dan por las expresiones siguientes:
Error= FP+FN T P+T N+FP+FN Exactitud=1−Error Razón de TP= T P T P+FN Razón de FP= FP FP+T N Precisión= T P T P+FP Especificidad= T N T N+FP
1.7 Evaluación de Clasificadores 25
El estadígrafokappase utiliza para evaluar la predicción de un modelo respecto a lo que sería un modelo perfecto. A partir de un clasificador aleatorio, se hace una redistribución de los casos en la matriz de confusión de tal forma que se mantengan los totales por fila y columna. Luego se determina la diferencia entre el número de predicciones correctas de la matriz del modelo en cuestión y las de la matriz del modelo aleatorio. Se calcula la diferencia del número total de casos (que serían los clasificados correctamente por un modelo perfecto) y el número de predicciones correctas del modelo aleatorio. Por último, para obtenerkappa, se divide la primera diferencia entre la segunda. Los valores que puede tomar se encuentran entre 0 y 1 y mientras más cercano esté de 1, más se aproxima al clasificador perfecto [47].
Otra forma de evaluar el rendimiento de un clasificador es por el análisis de la llamada Receiver Operator Characteristic(ROC) [48]. En esta curva se representa el valor de razón de TP contra la razón de FP, mediante la variación del umbral de decisión. Se denomina umbral de decisión a aquel que decide si una instancia x, a partir del vector de salida del clasificador, pertenece o no a cada una de las clases. Usualmente, en los problemas de dos clases se toma como umbral por defecto 0.5; pero esto no es siempre lo más conveniente. Se usa el área bajo esta curva (Area Under the Curve, AUC) como un indicador de la calidad del clasificador. En tanto dicha área esté más cercana a 1, el comportamiento del clasificador está más cercano al clasificador perfecto (aquel que lograría 100 % de TP con un 0 % de FP).
2
Materiales y Métodos
La investigación aquí expuesta requirió el uso de varios programas informáticos del sis- tema operativo GNU\Linux y el DRAGON 6.0 de Windows. También fueron desarrollados otros programas en lenguaje de programación Python como apoyo para la visualización de las moléculas, procesamiento y extracción de datos, la integración de programas y el manejo de ficheros. Además fue necesario modificar el programa WEKA en lenguaje de programación Java para corregir un error de código. Mientras que para la confección de este documento se utilizó el editor de texto LATEXy el sistema de gestión bibliográfica Mendeley.