7. M´ etodos de an´ alisis propuestos 45
7.4. Algoritmos de clasificaci´ on
7.4.4. Vecinos m´ as cercanos (kNN)
Los vecinos mas cercanos o K-NN (K Nearest Neighbors) es un m´etodo de clasifi- caci´on supervisada (Aprendizaje, estimaci´on basada en un conjunto de entrenamiento y prototipos) que sirve para estimar la funci´on de densidad F(x/Cj) de las predictoras x por cada clase Cj.
Este es un m´etodo de clasificaci´on no param´etrico. Que estima el valor de la funci´on de densidad de probabilidad o directamente la probabilidad a posteriori de que un ele- mentoxpertenezca a la claseCj a partir de la informaci´on proporcionada por el conjunto de prototipos. En el proceso de aprendizaje no se hace ninguna suposici´on acerca de la distribuci´on de las variables predictoras.
En el reconocimiento de patrones, el algoritmo K-NN es usado como m´etodo de clasificaci´on de objetos basados en un entrenamiento mediante ejemplos cercanos en el es- pacio de los elementos K-NN es un tipo de “Lazy Learning”, donde la funci´on se aproxima solo localmente y todo el c´omputo es diferido a la clasificaci´on.
7. M´etodos de an´alisis propuestos 63 El espacio es particionado en regiones por localizaciones y etiquetas de los ejemplos de entrenamiento. Un punto en el espacio es asignado a la clase C si esta es la clase m´as frecuente entre los k ejemplos de entrenamiento m´as cercano. Generalmente se usa la distancia euclidiana.
d(xi, xj) = v u u t
ρ
X
r=1
(xri−xrj)2 (7.10)
La fase de entrenamiento del algoritmo consiste en almacenar los vectores carac- ter´ısticos y las etiquetas de las clases de los ejemplos de entrenamiento. En la fase de clasificaci´on, la evaluacion del ejemplo (del que no se conoce su clase) es representada por un vector en el espacio caracter´ıstico. Se calcula la distancia entre los vectores almace- nados y el nuevo vector, y se seleccionan los K ejemplos m´as cercanos. El nuevo ejemplo es clasificado con la clase que m´as se repite en los vectores seleccionados. Este m´etodo supone que los vecinos m´as cercanos nos dan la mejor clasificaci´on y esto se hace utilizan- do todos los atributos; el problema de dicha suposici´on es que es posible que se tengan muchos atributos irrelevantes que dominen sobre la clasificacion: dos atributos relevantes perder´ıan peso entre un conjunto de atributos irrelevantes.
Para corregir el posible sesgo se puede asignar un peso a las distancias de cada atributo, d´andole as´ı mayor importancia a los atributos m´as relevantes. Otra posibilidad consiste en tratar de determinar o ajustar los pesos con ejemplos conocidos de entre- namiento. Finalmente, antes de asignar pesos es recomendable identificar y eliminar los atributos que se consideran irrelevantes [51].
En s´ıntesis, el metodo K-NN se resumen en dos algoritmos:
Algoritmo de entrenamiento: Para cada ejemplo < x, f(x)> dondexX, agre- gar el ejemplo a la estructura representando los ejemplos de aprendizaje.
Algoritmo de clasificacion: Dado un ejemplar Xq que debe ser clasificado, sean X1, ..., Xk los K vecinos m´as cercanos aXq en los ejemplos de aprendizaje, regresar
f(x)←argmaxvV
k
X
i=1
δ(v, f(xi)) (7.11) Donde
δ(a, b) = 1 si a=b; y 0 en cualquier otro caso.
64 7.4. Algoritmos de clasificaci´on El valor F(Xq) devuelto por el algoritmo como un estimador de F(Xq) es solo el valor mas comun de entre los K vecinos mas cercanos a Xq. Si elegimos K = 1;
entonces el vecino mas cercano a Xi determina su valor.
Eleccion del K: La mejor eleccion de K depende fundamentalmente de los datos;
generalmente, valores grandes deKreducen el efecto de ruido en la clasificaci´on, pero crean l´ımites entre clases parecidas. Un buenK puede ser seleccionado mediante una optimizaci´on de uso. El caso especial en que la clase es predicha para ser la clase m´as cercana al ejemplo de entrenamiento (cuando K = 1) es llamada Nearest Neighbor Algorithm, Algoritmo del vecino m´as cercano.
El desempeno de este algoritmo puede ser severamente degradada por la presen- cia de ruido o caracter´ısticas irrelevantes, o si las escalas de caracter´ısticas no son consistentes con lo que uno considera importante.
Cap´ıtulo 8
Resultados
Contenidos
8.1. Resultados de los par´ametros de tiempo . . . 66 8.2. Resultados de los par´ametros de frecuencia . . . 67 8.3. Resultados de los par´ametros no lineales . . . 67 8.4. Resultados con el uso de clasificadores . . . 68 8.4.1. Tabla resumen del uso de clasificadores . . . 74 8.5. S´ıntesis de resultados . . . 75 8.6. Discusi´on . . . 77 8.7. Limitaciones . . . 78
En este cap´ıtulo se incluyen todos los resultados obtenidos para los distintos par´ametros estudiados. Se presentan dividi´endose fundamentalmente en dos secciones. En la primera, se explican las diferencias encontradas en base a los marcadores propuestos; mientras que la se- gunda se centra en el uso de clasificadores para intentar realizar una predicci´on de las ECV . Despu´es, se plantea la discusi´on que analizar´a global y parcialmente los resultados, as´ı como el comportamiento de los m´etodos empleados. Por ´ultimo, se comentar´an las limitaciones de este estudio.
65
66 8.1. Resultados de los par´ametros de tiempo
8.1. Resultados de los par´ ametros de tiempo
En este primer apartado del cap´ıtulo de resultados, se podr´an contemplar los resul- tados obtenidos con los diferentes marcadores estudiados para separar un ECG de uno de los pacientes con hipertensi´on que no desarroll´o ninguna cardiopat´ıa grave(pacientes que pertenecen al grupo 0 dentro de este estudio) de otro que sufri´o una ECV (pacientes que pertenecen al grupo 1). En este primer bloque se ha estudiado la capacidad predictiva de cada par´ametro de forma individual mediante el an´alisis de la curva COR que devuelve los valores de especificidad Sp, sensibilidad Sey ´area bajo la curva AU C. Adem´as de los par´ametros de la curva COR se ha incluido el c´alculo de p para determinar si cada uno de los par´ametros son significantes estad´ısticamente hablando (p <0,05).
Hay que tener en cuenta que para diferenciar entre los dos grupos de se˜nales se ha creado una variable que otorga un 0 a las se˜nales de aquellos que no sufrieron ECV y un 1 a las que s´ı que las sufrieron. Esta variable permite al programa colocar cada valor en uno de los dos grupos seg´un el umbral que considere oportuno para dicha clasificaci´on.
En el dominio del tiempo se analizaron los 10 par´ametros descritos anteriormente (v´ease 7.2.1), obteniendo algunos de ellos mejores resultados que otros, y siendo el mejor de ellos la curtosis de la serie NN con una precisi´on diagn´ostica del 0.70588.
Tabla 8.1: Resultados de Sensibilidad, Especificidad, ´area bajo la curva y significancia de los par´ametros de tiempo
Como se observa en la Tabla 8.1, la curtosis de la serie NN es un par´ametro que podr´ıamos considerar pr´acticamente como significativo puesto que su pes muy cercana a 0,05 que es el punto que determina la significancia estad´ıstica.
8. Resultados 67
8.2. Resultados de los par´ ametros de frecuencia
En el caso de los par´ametros de frecuencia, se ha estudiado la potencia dentro de cuatro bandas, el cociente entre dos de ellas as´ı como la potencia total del espectro de las se˜nales (v´ease 7.2.2).
En este caso los resultados de la banda de las muy bajas frecuencias (0.003Hz
<vlf>0.04Hz) obtienen una precisi´on diagn´ostica de 0,70588, gracias a que es capaz de diferenciar al 94,11 % de un grupo y al 47,05 % del otro. Esos datos le hacen ser un par´ametro pr´acticamente significante con una p=0,085.
Tabla 8.2: Resultados de Sensibilidad, Especificidad, ´area bajo la curva y significancia de los par´ametros de frecuencia
En las bandas ULF y HF la significaci´on es muy alta debido a que el par´ametro no es bueno para poder clasificar estos dos grupos de se˜nales. Una significaci´on de 0,75 o de 0,91 indica que el marcador no puede ser aceptado.
8.3. Resultados de los par´ ametros no lineales
Los par´ametros no lineales han sido los que han conseguido peores resultados, no siendo ninguno de ellos significante aunque varios de ellos han alcanzado unos valores de precisi´on diagn´ostica similares a los de tiempo y frecuencia. Se trata sobre todo de
”ApEn” y ”CEn” donde ambos alcanzan precisi´on del 0,67647 como se muestra en la Tabla 8.3.
68 8.4. Resultados con el uso de clasificadores
Tabla 8.3: Resultados de Sensibilidad, Especificidad, ´area bajo la curva y significancia de los par´ametros no lineales
En este caso no podemos tomar ning´un par´ametro como significativo ya que los valores m´as bajos depson de 0,16 y 033, no pudi´endose aceptar como par´ametros v´alidos para discriminar entre los grupos estudiados.
Puesto que fueron muchos los par´ametros estudiados pero la gran mayor´ıa de ellos con los resultados obtenidos no pueden ser considerados como v´alidos de manera indivi- dual, lo que se hizo fue recurrir al uso de los clasificadores descritos en 7.4, para poder optimizar y mejorar mucho los resultados de discriminaci´on entre grupos.
8.4. Resultados con el uso de clasificadores
Como ya se ha comentado los resultados de los par´ametros de manera individual no han conseguido clasificar todas las se˜nales y el que m´as ha conseguido se ha quedado en un 70 %. Por ello, un m´etodo que permite mejorar esos resultados es el uso de clasificadores donde se combinan varios de los par´ametros analizados para identificar a cu´al de los grupos de pacientes corresponde cada muestra de ECG.
Los clasificadores que se han utilizado en este trabajo han sido: ´arbol de deci- si´on, an´alisis discriminante linear y cuadr´atico, maquina de vector soporte (SVM) linear, cuadr´atica y c´ubica y vecinos m´as cercanos (kNN)
Para ello el estudio se ha realizado siguiendo varias casu´ısticas que se comentan a continuaci´on y por ´ultimo una tabla comparativa de los escenarios que se han incluido en este estudio.
Par´ametros de tiempo: con los clasificadores indicados se han analizado los
8. Resultados 69 par´ametros de tiempo en dos formatos: todos de manera conjunta y por otro la- do, los tres con mejor significancia de la Tabla 8.1.
Utilizando la aplicaci´on propia de Matlab para clasificadores se obtienen tanto los datos num´ericos de AUC, como los gr´aficos de dispersi´on, curva COR y matriz de confusi´on para cada uno de los clasificadores. Los resultados se agrupar´an en una tabla no siendo necesario incluir todas las gr´aficas de cada uno de los clasificadores.
A modo de ejemplo, se muestran a continuaci´on los resultados gr´aficos obtenidos para el clasificador ´arbol de decision con todos los par´ametros de tiempo:
Figura 8.1: Gr´afico de dispersi´on con el uso del clasificador ´arbol de decisi´on procesando todos los par´ametros de tiempo
Figura 8.2: Matriz de confusi´on con el uso del clasificador ´arbol de decisi´on procesando todos los par´ametros de tiempo
70 8.4. Resultados con el uso de clasificadores Tanto en la Figura 8.1 como en 8.2 se puede observar que este clasificador consigue clasificar correctamente 31 de los 34 pacientes del estudio, no consigui´endolo con 3 de ellos (1 del grupo 0 de pacientes sanos, y 2 en el grupo 1 de pacientes con alguna ECV).
Figura 8.3: Curva COR con el uso del clasificador ´arbol de decisi´on procesando todos los par´ametros de tiempo
Por otro lado, en la curva COR representada en la Figura 8.3 un AUC = 0.93, que mejora muy considerablemente los resultados obtenidos con los par´ametros de manera individual.
Par´ametros de frecuencia: del mismo modo que con los par´ametros de tiempo, con los de frecuencia se ha procedido a analizarlos todos conjuntamente por un lado y por otro, los tres con mejores resultados de la Tabla 8.2.
En esta ocasi´on los resultados gr´aficos est´an basados en otro clasificador como es el an´alisis discriminante, y no en el ´arbol de decisi´on como con los par´ametros de tiempo.
8. Resultados 71
Figura 8.4: Gr´afico de dispersi´on con el uso del clasificador an´alisis discriminante proce- sando todos los par´ametros de frecuencia
Figura 8.5: Matriz de confusi´on con el uso del clasificador an´alisis discriminante proce- sando todos los par´ametros de frecuencia
Mediante este clasificador se consigue determinar el grupo correcto de 28 pacientes del total de 34, no siendo posible en 3 (18 %) de cada grupo como se puede observar tanto en el gr´afico de dispersi´on 8.4, como en el la matriz de confusi´on 8.5.
De la curva COR 8.6 se obtiene un AUC = 0,81 con unos par´ametros que de manera individual se quedaban en AUC = 0,70588 en el caso de la banda VLF.
72 8.4. Resultados con el uso de clasificadores
Figura 8.6: Curva COR con el uso del clasificador an´alisis discriminante procesando todos los par´ametros de frecuencia
Par´ametros no lineales: el clasificador para mostrar los gr´aficos en el caso de los par´ametros no lineales ha sido SVM lineal. Estos par´ametros obtuvieron unos resultados un poco inferiores en el estudio individual y eso se ve reflejado tambi´en a la hora de utilizar los clasificadores.
Figura 8.7: Gr´afico de dispersi´on con el uso del clasificador SVM lineal procesando todos los par´ametros no lineales
8. Resultados 73
Figura 8.8: Matriz de confusi´on con el uso del clasificador SVM lineal procesando todos los par´ametros no lineales
Los resultados de las Figuras 8.7 y 8.8 muestran como se han clasificado correcta- mente a 13 de los 17 pacientes del grupo de personas sanas, o lo que es lo mismo el 76 %, y a 11 de los 17 del grupo de pacientes con ECV, el 65 %.
Figura 8.9: Curva COR con el uso del clasificador SVM lineal procesando todos los par´ame- tros no lineales
El AUC tambi´en confirma unos resultados ligeramente peores en el caso del estudio
74 8.4. Resultados con el uso de clasificadores no lineal, con un AUC = 0,68. Esto significa que en este caso el uso de este clasificador SVM no mejora los registros que se obtienen con los par´ametros .ApEn 2 C¸ En”(AUC = 0,67647).
8.4.1. Tabla resumen del uso de clasificadores
Por ´ultimo, se ha desarrollado una tabla con el resultado del AUC de cada uno de los clasificadores utilizados para una serie de situaciones en la que se van mezclando el uso de todos los par´ametros de tiempo, frecuencia y no lineales, con el uso de los que mejor significancia alcanzaron por separado.
El objetivo es comprobar si el uso de m´as par´ametros mejora los resultados de clasificaci´on, as´ı como verificar si entre los dominios de tiempo, frecuencia y los no lineales se complementan de manera que permiten mejorar la distinci´on entre los dos grupos de pacientes del estudio.
La Tabla 8.4 muestra el dato de AUC para cada una de las ocho situaciones anali- zadas:
Tabla 8.4: Tabla resumen de los resultados de AUC obtenida con los distintos clasificadores Se observa que en el caso del clasificador KNN se consigue situar al 100 % de los pacientes en su grupo correspondiente. El resultado de este clasificador es muy propenso al sobreentrenamiento por lo que en principio no se tendr´an en cuenta en el estudio.
Los mejores resultados, comparando entre los de tiempo, frecuencia y no lineales, son los de tiempo llegando a alcanzar con dos clasificadores distintos unAUC = 0,9120.
El mejor clasificador ha resultado ser la SVM C´ubica, llegando a conseguir clasificar
8. Resultados 75 a todos los pacientes mediante los par´ametros no lineales con unAUC = 1,0y unAUC
= 0,9410 utilizando el mejor par´ametro de cada dominio.
Como conclusi´on, se puede afirmar que el uso de los distintos clasificadores ha me- jorado notablemente los resultados obtenidos en una primera fase, donde solo se consigui´o clasificar el 70 %, llegando a alcanzar la totalidad de pacientes identificados correctamente.
8.5. S´ıntesis de resultados
Tras presentar los resultados de todos los an´alisis realizados, aqu´ı se muestra una s´ıntesis tanto parcial como global de estos. El objetivo era encontrar una serie de par´ame- tros obtenidos desde la VRC que fueran capaces de encontrar diferencias entre los registros de los dos grupos de pacientes analizados. Para ello se buscaron determinados marcadores que luego fueron analizados por separado o de forma conjunta. Los resultados de cada uno de los par´ametros de manera individual no fueron lo suficientemente buenos como para poder darlos por v´alidos para hacer la diferenciaci´on que se persigue en este estudio.
En los par´ametros detiempo los mejores resultados se han obtenido con la curtosis de la serie NN (NNkurt), el cual consigue una sensibilidad del 0,6470, una especi- ficidad del 0,7647 y una precisi´on diagn´ostica de 0,7058. Estos resultados, aunque el par´ametro se podr´ıa considerar pr´acticamente significante (p = 0,062) a nivel estad´ıstico, son mejorables.
El resto de par´ametros consiguieron una capacidad discriminante inferior y ninguno de ellos puede considerarse significativos. Aunque es cierto que con la media, la mediana y la moda de la serie NN se obtienen resultados pr´acticamente similares al anterior, pero la probabilidad de aceptar la hip´otesis alternativa como cierta no ha no han alcanzado los niveles suficientes para ser considerados significantes (sus p est´an entre 0,13 y 0,16).
En el dominio de la frecuencia el mejor par´ametro fue la energ´ıa en la banda de las muy bajas frecuencias ”vlf”, con una sensibilidad de 0,9411, una especificidad de 0,4705 y un AUC de 0,7058. Aunque estrictamente no puede considerarse signi- ficativo, est´a muy cerca de poder serlo con una p = 0,085. Al igual que ocurri´o con los de tiempo los resultados de los par´ametros individuales pueden mejorarse con el uso de t´ecnicas estad´ısticas.
El resto de par´ametros de frecuencia se quedan por debajo de VLF y sus AUC no superan el 0,6470, adem´as todos est´an lejos de poder ser considerados significantes.
76 8.5. S´ıntesis de resultados El caso de los par´ametros no lineales es el paquete de par´ametros con peores resultados de los tres analizados. Aunque algunos de ellos como“ApEn” o“CEn”
tienen una capacidad discriminante cercana a los mejores de tiempo y frecuencia, en este caso alcanzan el 0,6764. Sin embargo, ning´un par´ametro no lineal est´a cerca de poder ser considerado significante.
Para mejorar los resultados se recurre al uso de clasificadores estad´ısticos que hacen uso de m´as de un par´ametro para, dependiendo de los escenarios planteados, que se puedan complementar entre ellos de manera que el volumen de pacientes correctamente clasificados aumente con respecto a lo que consegu´ıan de manera individual. Con esa idea se utilizan varias combinaciones de par´ametros del mismo grupo (tiempo, frecuencia o no lineales) y tambi´en una mezcla entre ellos para intentar encontrar una combinaci´on que se complemente lo m´aximo posible.
Antes de comentar los resultados de los clasificadores hay que indicar que aunque con el uso de KNN (vecinos m´as cercanos) se consigue clasificar el 100 % de las se˜nales del estudio, es un clasificador bastante sensible al sobreentrenamiento y que debido al bajo n´umero de muestras dentro del estudio, los resultados pueden no ser fiables. Por ello, no se mencionaran dentro del siguiente an´alisis.
Tomando el grupo completo de marcadores de tiempo (10) se han obtenido resulta- dos realmente buenos, llegando incluso a clasificar el 91,20 % de los registros, o lo que es lo mismo 31 de 34 pacientes. Adem´as esa alta clasificaci´on se obten´ıa tanto con el ´arbol de decisi´on (Fine Tree) como con la m´aquina de vector soporte c´ubica (SVM Cubic).
Cuando solo se seleccionaron los 3 mejores par´ametros de tiempo, los resultados fueron ligeramente inferiores, siendo los mismos dos clasificadores que en el caso anterior los que alcanzaron mejores resultados, pero esta vez qued´andose en una AUC = 0,8820.
Con todos los par´ametros de frecuencia combinados en cada uno de los clasificadores los resultados alcanzaron un acierto del 97,10 % de nuevo con la SVM Cubic. El resto, aunque obtuvieron resultados mucho mejores que cuando el an´alisis se hizo de forma individual, se quedaron un poco por debajo del ya comentado.
En cuanto a los resultados seleccionando los 3 par´ametros m´as significantes de fre- cuencia, al igual que ocurriera con los de tiempo, se da la circunstancia de que la precisi´on baja ligeramente, pero reduciendo el n´umero de par´ametros a la mitad, de 6 a 3, solo han sido 2 se˜nales menos las que ha sido imposible clasificar (AUC = 0,9120).