M´ etricas y curvas de evaluaci´ on

La elecci´on de las m´etricas o curvas de evaluaci´on de las prestaciones del clasificador que se trata de dise˜nar debe tener en cuenta aspectos como el desequilibrio de clases o aportar informaci´on sobre c´omo son clasificadas las observaciones pertenecientes a cada clase.

Real Predicci´on

Clase1 Clase2 Total

Clase1 Verdadero Positivo (TP) Falso Negativo (FN) PReal

Clase2 Falso Positivo (FP) Verdadero Negativo (TN) NReal

Total PP red NP red M

Tabla 3.1: Matriz de confusi´on.

En el campo de la AI, la MC es una herramienta muy usada para visualizar el desempe˜no de un algoritmo empleado para un aprendizaje supervisado. Cada columna de la matriz representa el n´umero de predicciones de cada clase, mientras que cada fila representa a las observaciones correspondientes a la clase real. La principal virtud de la MC es la facilidad con la que permite observar si el sistema est´a confundiendo dos clases. Si los datos de entrada son desequilibrados, es decir, la proporci´on del n´umero de muestras de cada clase es muy diferente, la tasa de error del clasificador no es representativa de lo bien que realiza la tarea el clasificador. Si por ejemplo hay 990 muestras de la Clase1 y s´olo 10 de la Clase2, el

clasificador puede tener f´acilmente un sesgo hacia la Clase1. Si el clasificador clasifica todas

las muestras como Clase1 su precisi´on ser´a del 99 %. Sin embargo, esto no significa que sea

un buen clasificador, pues tuvo un 100 % de error en la clasificaci´on de las muestras de la Clase2.

En la Tabla 3.1 se presenta la MC para un problema biclase. A partir de esta tabla, se pueden obtener m´etricas como:

1. Accuracy o exactitud. Una de las m´etricas m´as utilizadas para evaluar la clasificaci´on discreta en el diagn´ostico de m´aquinas el´ectricas es la exactitud oaccuracy. Esta m´etrica es indicativa del error de clasificaci´on cometido evaluando dos o m´as clases:

Accuracy = T P +T N

Al clasificar varias clases, este m´etrica es optimista ya que todos los errores de clasifica- ci´on se consideran igualmente, y los errores de cada clase no son evaluados individual- mente. Dos clasificadores podr´ıan tener la misma exactitud pero pueden proporcionar una clasificaci´on diferente para cada clase.

Las siguientes m´etricas aportan m´as informaci´on sobre las clases de la variable a pre- decir.

2. Especificidad o True Negative Rate (TNR). TNR es una m´etrica de rendimiento enfo- cada en la clase negativa.

T N R= T N

T N +F P (3.59)

3. Precisi´on o Precision. Por el contrario, esta m´etrica de rendimiento eval´ua la clasifica- ci´on correcta de la clase positiva.

P recision= T P

T P +F P (3.60)

4. Sensibilidad, True Positive Rate (TPR) o Recall. Esta medida, junto con la especifici- dad, proporciona una proporci´on de muestras de una clase correctamente clasificadas. Sin embargo, al igual que Precision, s´olo eval´ua la clase positiva.

T P R (Recall) = T P

T P +F N (3.61)

5. Medida-F o F-measure. Esta m´etrica puede ayudar a resolver cualquier contradicci´on que pueda aparecer entre las m´etricas Precision y Recall. Existen varias versiones, de- pendiendo del valor asignado aα, lo que permite elegir c´omo ponderar a la Precision y Recall. Paraα∈ <, α >0, la expresi´on general se muestra a continuaci´on:

fα =

(1 +α)(P recision×Recall)

(α×P recision) +Recall (3.62)

6. Media geom´etrica o Geometric mean. Esta m´etrica proporciona informaci´on sobre el rendimiento del clasificador en un problema desequilibrado. Hay dos versiones de esta

m´etrica.Gmean,1 se utiliza para evaluar el equilibrio relativo del rendimiento del clasifi-

cador en todas las clases:

Gmean,1 =

√

T P R×T N R (3.63)

La otra versi´on, Gmean,2, pone el foco en la clase positiva, tomando en cuenta la Preci-

sion.

Gmean,2 =

√

T P R×P recision (3.64)

En ciertas situaciones, se requiere que los clasificadores asignen la pertenencia a una u otra clase usando un umbral. Para estos casos, es necesario incorporar alguna infor- maci´on adicional adem´as de la deducida de la MC. Para ello, los m´etodos de an´alisis gr´afico sirven como herramientas efectivas para describir el rendimiento de los algorit- mos. Existen varios m´etodos gr´aficos para evaluar las prestaciones de los algoritmos de aprendizaje [129]. A continuaci´on se presentan algunos de ellos.

7. Curva ROC (Receiver Operating Characteristic). El an´alisis ROC se introdujo en la teor´ıa de detecci´on de se˜nales y permite visualizar el rendimiento de un clasificador de forma gr´afica. Esta curva (Fig. 3.12) ilustra el rendimiento de un clasificador binario seg´un va variando su umbral de discriminaci´on entre clases. La curva se crea trazando la tasa de TP frente a la tasa de FN variando el umbral. A diferencia de la Medida-F y la Precisi´on, esta m´etrica es insensible al desequilibrio de clases. El punto ´optimo de operaci´on se puede elegir de acuerdo a varias formulaciones [129, 160]. El ´area bajo la curva ROC es un escalar que nos da informaci´on ´util del comportamiento de un clasificador [160]. Sin embargo, este escalar no sirve para comparar clasificadores cuando sus curvas ROC se cortan [130].

Figura 3.12: Ejemplo de curva ROC para dos clasificadores [161].

8. Curva Precision-Recall. Este tipo de gr´afico (Fig.3.13) sirve para analizar el equilibrio entre los ejemplos positivos correctamente clasificados y los ejemplos negativos mal clasificados. B´asicamente, es una gr´afica donde el valor Precision del clasificador est´a representado como una funci´on de los valoresRecall. En otras palabras, en un escenario de diagn´ostico de fallos, estas curvas representan la proporci´on de casos de fallos ver- daderamente detectados referida a aquellos que se identifican como sanos (eje vertical) y en el eje x referido con respecto a la tasa de ocurrencia de falsas indicaciones posi- tivas. Estas curvas han demostrado ser tambi´en ´utiles cuando se tiene el problema del desequilibrio de clases.

Figura 3.13: Ejemplo de curva Precision-Recall para dos clasificadores [161].

9. Otros gr´aficos. Las curvas de costes usan los costos de clasificaci´on err´onea (en caso de que se conozcan) en lugar de emplear las m´etricas de la curva ROC. La principal ventaja es su uso sencillo al decidir el clasificador m´as adecuado en aquellos casos en los que se conoce el coste de error, la distribuci´on de clase o la proporci´on desequilibrada de las clases. La diferencia con las curvas ROC es que proporcionan informaci´on m´as pr´acti- ca para aquellas circunstancias en las que la informaci´on requerida est´a disponible. Es decir, cuando el operador tiene suficiente conocimiento o informaci´on de los costes de parada inesperada, intervenci´on innecesaria, etc.

Existen otros gr´aficos conocidos comoLift Chart que permiten visualizar los verdaderos positivos, pero en este caso contra el tama˜no del conjunto de datos utilizado para lograr dicho n´umero de verdaderos positivos. Para este gr´afico, los verdaderos positivos se trazan en el eje vertical mientras que el eje horizontal indica el n´umero de observaciones en el conjunto de datos tomado en cuenta los verdaderos positivos obtenidos en el eje vertical.