Analizar los Resultados, Elaborar las Conclusiones y Documentar

y Documentar

En esta sección se presenta la información obtenida a partir de las actividades de análisis y comparación de los indicadores de calidad

23

Capítulo 6

91 (elementales, parciales y globales). También se discuten brevemente las posibles causas de los resultados obtenidos.

6.4.1. Análisis de Resultados y Recomendaciones

Una vez realizado el cálculo de preferencia global, a partir de los indicadores parciales, es posible analizar el grado de cumplimiento respecto a la hipótesis elaborada para el estudio. También es factible considerar el cumplimiento de objetivos parciales, esto es a nivel de características.

Considerando los resultados obtenidos, presentados en la Tabla 6.11, se observa que el cálculo del puntaje del indicador global de calidad en uso resultó por debajo del valor mínimo de aceptabilidad del 70,00%, arrojando un 57,45%. Además, teniendo en cuenta el puntaje a nivel características, esto es: Eficacia (59,70), Productividad (51,89) y Satisfacción: (87,08) no se cumple con la hipótesis de que “al menos a nivel de características, el sitio está por encima de un umbral de satisfacción aceptable”, ya que solo Satisfacción está por encima del nivel de aceptabilidad esperado del 70%.

A nivel de características, es alto el nivel de Satisfacción que demostraron los usuarios (87,08%), pero marginal (51,89%) el nivel de Productividad y algo mejor, pero igualmente debajo del mínimo aceptable (59,70%), el nivel de Eficacia. Consecuentemente, se puede inferir que la percepción subjetiva que tienen los usuarios del producto es muy favorable, a pesar de que no resultaron productivos ni altamente eficaces en la realización de las tareas propuestas.

Profundizando el análisis de indicadores elementales se encuentra que es marginal el puntaje obtenido en Completitud de Tareas (54,20%) pero en aquellas que fueron completadas correctamente, que afectan el nivel de eficacia Eficacia, se obtuvo un nivel casi satisfactorio (65,60%). A partir de estos datos se puede decir que una parte importante de las tareas no pudieron ser concluidas, pero de entre las que sí lo fueron, la mayor parte fueron concluidas correctamente. Por otro lado están claramente en área marginal las calificaciones obtenidas para los atributos relacionados con Productividad, esto es Eficiencia en relación Completitud (49,80%) y Eficiencia en relación a Eficacia (54,04%).

Dado que eficiencia está asociada al consumo de recursos para llevar adelante una tarea y en este caso el recurso mensurado fue tiempo, se puede concluir que, o bien hay ciertos mecanismos que no son lo suficientemente fáciles de aprender, o bien no son sencillos de utilizar para un usuario intencional pero no experto. Parece lógico entonces que sea necesaria una gran cantidad de tiempo para poder finalizar una tarea correctamente, si el usuario no tiene el entrenamiento necesario.

Al analizar las causas de los puntajes alcanzados, se debe recordar que el grupo de usuarios que participó del caso de estudio empleó “Qplus Campus Virtual” prácticamente sin entrenamiento. En la mayoría de los

Medición y Evaluación de Calidad en Uso de Aplicaciones Web

92

casos el producto les fue presentado brevemente cuando se presentaron a inscribirse como alumnos de la Facultad de Ingeniería de la UNLPam, en diciembre de 2003.

Finalmente, es oportuno resaltar que la elección del modelo de agregación LSP para el cálculo del indicador global otorga gran flexibilidad a distintos enfoques de la evaluación. Permite, si se emplean los operadores adecuados, penalizar o relativizar los puntajes obtenidos para cada atributo y subconcepto. Llegado el caso, por ejemplo para una población de usuarios expertos, se podrían utilizar los operadores de tal manera que si tan sólo uno de los subconceptos no alcanza el mínimo de aceptabilidad (70% en este estudio) tampoco se pueda obtener un puntaje aceptable para el concepto calculable de más alto nivel.

6.5. Conclusiones

Las conclusiones respecto a la implementación del caso de estudio se consideran desde dos perspectivas: por un lado respecto de los resultados del caso de estudio en sí y, por otro, en relación a los metadados obtenidos para las métricas e indicadores de calidad en uso.

Respecto a los resultados del estudio, una vez realizado el análisis (6.4.1), sólo queda por sintetizar que la causa principal por la que el producto evaluado no resultó eficaz y productivo, en la medida de lo esperado, fue la falta de un entrenamiento indispensable. Un WbIS es una aplicación Web con cierto grado de sofisticación y si bien está al alcance de un usuario intencional, requiere de un entrenamiento básico para ser utilizada de un modo eficaz y productivo.

Por otro lado, en relación a la percepción subjetiva y según los resultados obtenidos, los usuarios se sintieron satisfechos empleando el producto, por encima del nivel esperado. Esto revela aspectos positivos del producto en cuanto a la disposición favorable que generó entre ellos, ya sea porque la mayoría manifestó la decisión de continuar utilizándolo, o porque también indicó que aprendió a usarlo sin un gran esfuerzo y que lo recomendaría a otros usuarios de características semejantes.

En relación a la segunda perspectiva, se puede afirmar que los metadatos obtenidos, o sea la definición exhaustiva de atributos, métricas e indicadores, abren otra dimensión de análisis para otros estudios de calidad en uso de otros WbIS.

Estos metadatos pueden ser empleados para estudios subsiguientes de calidad en uso sobre el mismo producto o para productos similares, conside- rando hipótesis elaboradas a propósito de cuestiones específicas, por ejemplo: otros perfiles de usuario, algún servicio señalado como deficitario por los usuarios a partir de encuestas, etc.

Capítulo 6

93 Además, también es factible reutilizar el proceso de diseño de las métricas e indicadores, que para este estudio se inició con la consideración del marco de medición y evaluación, luego prosiguió con la selección y adaptación de un modelo para calidad en uso y finalizó con el diseño y especificación de los atributos, métricas e indicadores. Cada etapa se realizó teniendo como referencia las distintas fases de la metodología de evaluación WebQEM, quedando reflejado, a su vez, el vínculo existente entre la metodología y el marco de medición y evaluación.

Capítulo 7: Consideraciones Finales y Trabajos