An´ alisis de la Tasa de Transferencia de Informaci´ on

De lo analizado en las secciones 3.3.4.3 y 3.3.4.3, resulta que las cantidades de trials m´as convenientes est´an comprendidas entre 12 y 15 trials, para el entrenamiento; y, para la predicci´on online, entre 10 y 15 trials, para todos los clasificadores en general, y 9 y 15 trials para los SVM. En una etapa m´as profunda de an´alisis, y a fin de definir no s´olo el o los mejores clasificadores, sino tambi´en el n´umero de trials ´optimo a utilizar durante el entrenamiento y la prueba online, se estudia la Tasa de Transferencia de Informaci´on. ´Esta, de manera opuesta a la accuracy, que aumenta en relaci´on con el n´umero de trials, toma en consideraci´on el tiempo necesario para el reconocimiento del car´acter. Est´a definida por la ecuaci´on 2.4, calculada de acuerdo a lo explicado en la secci´on 2.6.2.2.

La figura 3.14 muestra las diferentes curvas de ITR obtenidas por los clasificadores en funci´on del n´umero de trials empleados en la prueba online, para 9, 12 y 15 trials de entrenamiento. Se puede ver que, al igual que en los resultados de predicci´on de caracteres, los clasificadores presentaron, para el sujeto A, puntajes similares; mientras que, para el B, se observa una gran variabilidad. Es notoria, a su vez, la diferencia en puntajes m´aximos alcanzados por uno y otro sujeto: de 6 bpm, para el A; y de 10 bpm, para el B. Respecto del n´umero de trials usados durante el entrenamiento, se puede apreciar que, para el sujeto A, los puntajes obtenidos no var´ıan de manera apreciable en base a estos. En cambio, para el sujeto B se observa que, entre 9 y 12 trials de entrenamiento, existe un leve incremento en la ITR de los modelos y que, para 15 trials, este incremento es menos evidente.

En consecuencia, en lo referente al n´umero de trials empleados durante la prueba online, se analizan los resultados obtenidos para los tama˜nos de entrenamiento de 12 y 15 trials. Se observa que, para el sujeto A, se produjo un leve incremento durante los 4 primeros trials, para luego establecerse una meseta. Para el sujeto B, si bien tambi´en se observa un incremento en la ITR durante los tres o cuatro primeros trials, esta tasa, luego, se mantuvo relativamente constante hasta los 8 trials de simulaci´on online; para luego decrecer para mayor cantidad de repeticiones durante esta prueba. Adem´as, los clasificadores que mejores ITR demostraron fueron los lineales. En consecuencia, se decidi´o estudiar estos tres clasificadores por separado, analizando las ITR obtenidas para tama˜nos de entrenamiento de 12 y 15 trials, y para el uso de 5, 10 y 15 trials durante la predicci´on de caracteres.

(a) (b)

(c) (d)

(e) (f)

Figura 3.14: Valores de ITR en bits por minuto (bpm) obtenidos por los clasificadores para los diferentes n´umeros de trials empleados durante la simulaci´on online. Se comparan los resultados obtenidos para el promedio de los sujetos A y B, para tama˜nos de entrenamiento de 9, 12 y 15 trials. A la izquierda, resultados correspondientes al sujeto A; a la derecha, al B. (a) y (b), modelos entrenados con 9 trials. (c) y (d), modelos entrenados conre 12 trials; (e) y (f), modelos entrenados con 15 trials.

La tabla 3.6 muestra los porcentajes de aciertos (Acc) y las ITR (en bits por minuto, bpm) para los tres clasificadores lineales, discriminando seg´un el sujeto, el n´umero de trials en el entrenamiento y el n´umero de trials usados durante la simulaci´on online. En negrita se resaltan los mejores valores de ITR obtenidos para cada clasificador.

Se puede apreciar que, en efecto, esta m´etrica penaliza el tiempo necesario para la pre- dicci´on del car´acter. Mientras que para 15 trials de prueba online se obtuvieron las mejores tasas de reconocimiento de caracteres para los tres clasificadores, superiores al 80 %; la ITR, en estos casos, penaliza el tiempo extra precisado en comparaci´on con los 10 y 5 trials, que es de 2,1 · 5 = 10,5 y 2,1 · 10 = 21 segundos respectivamente. En consecuencia, si bien para 10 trials de simulaci´on online se obtuvieron porcentajes de exactitud inferiores en aproximadamente un 10 % respecto de los obtenidos para 15 trials, las ITR fueron superiores en m´as de 1 punto. Por otra parte, al comparar los valores obtenidos para los modelos evaluados con 5 y 10 trials de simulaci´on, se observa que, a pesar de que la diferencia en ITR obtenida es s´olo de aproximada-

mente 0.5 puntos, la accuracy fue muy baja para 5 trials, un 20 % menor que para 10, y menor al 50 %. Por ende, no constituye un valor aceptable, a pesar de su alta ITR, y se descarta este tama˜no de prueba online.

Tabla 3.6: Comparaci´on de exactitudes e ITR de los clasificadores lineales respecto de los diferentes n´umeros de trials en entrenamiento y simulaci´on online3

LDA LinearSVM GaussianSVM Sujeto Trials 12 trials 15 trials 12 trials 15 trials 12 trials 15 trials

Acc ITR Acc ITR Acc ITR Acc ITR Acc ITR Acc ITR A 5 36,36 4,24 39,45 4,87 33,73 3,73 36,55 4,28 35,91 4,15 38,82 4,74 10 61,36 5,58 65,45 6,20 63,27 5,86 64,27 6,02 63,64 5,92 66,45 6,35 15 74,82 5,34 78,36 5,76 74,64 5,31 79,09 5,85 75,27 5,39 79,91 5,96 B 5 55,73 8,62 59,55 9,60 61,00 9,99 61,27 10,06 59,27 9,53 60,18 9,77 10 80,64 8,75 82,18 9,04 83,09 9,21 83,73 9,33 80,55 8,73 80,64 8,75 15 86,55 6,83 87,27 6,93 89,18 7,20 89,55 7,25 88,45 7,10 87,82 7,01 Media 5 46,05 6,43 49,50 7,24 47,36 6,86 48,91 7,17 47,59 6,84 49,50 7,26 10 71,00 7,16 73,82 7,62 73,18 7,54 74,00 7,67 72,09 7,33 73,55 7,55 15 80,68 6,08 82,82 6,35 81,91 6,26 84,32 6,55 81,86 6,24 83,86 6,48

De acuerdo expuesto al inicio de esta secci´on, resulta evidente que, tomando en consideraci´on tanto la tasa de reconocimiento de caracteres, como el tiempo demandado por cada uno, se debe establecer una soluci´on de compromiso entre ambas, para lograr determinar el clasificador y los par´ametros de dise˜no del experimento m´as convenientes a emplear en la aplicaci´on real de la interfaz. Esto se realiza para disminuir la fatiga del usuario y aumentar la velocidad de deletreo, al tiempo que se garantiza una buena tasa de detecci´on de caracteres (indicada por la accuracy); caracter´ısticas deseables en una herramienta de comunicaci´on como la constituida por esta interfaz.

Consecuentemente, analizando los resultados resaltados para los clasificadores en la tabla 3.6, se puede concluir que, si bien los tres presentaron similares tasas de transferencia de in- formaci´on, el SVM lineal present´o, en promedio, un valor superior al resto. Sin embargo, es pr´acticamente despreciable la diferencia entre la ITR de ´este, de 7.67 puntos, respecto de la del LDA, de 7.62 puntos. A pesar de esto, si bien podr´ıa considerarse que el desempe˜no de ambos fue pr´acticamente equivalente, si se tiene en cuenta el proceso de optimizaci´on demandado por el SVM lineal, se puede concluir que el LDA es una opci´on tentadora a considerar, dado que su tasa de ITR s´olo se encuentra 0.05 puntos debajo y no requiere proceso de optimizaci´on alguno. Estos valores se dan para el uso de 15 trials durante la etapa de entrenamiento. Si se los compara con los obtenidos para los mismos modelos, pero entrenados con 12 trials, se observa que los valores de accuracy obtenidos disminuyeron en menos de un 5 %, mientras que los de ITR lo hicieron en menos de 0.5 puntos. En este caso, el SVM lineal obtuvo puntajes superiores a los otros dos clasificadores, en la medida en que su accuracy disminuy´o en menos del 1 %, y

continu´o siendo superior en un 1 % y 2 % al LDA y SVM gaussiano, respectivamente; mientras que su ITR s´olo disminuy´o en 0.17 puntos y fue 0.4 y 0.2 puntos superior a los mencionados clasificadores. En consecuencia, para la elecci´on de un tama˜no de entrenamiento de 12 trials, constituye el mejor clasificador a elegir.

3.3.4.3.2 An´alisis de los tiempos de selecci´on del car´acter durante la calibraci´on