Como se mencion´o anteriormente, la evaluaci´on busca comprobar la siguiente hip´otesis, que es el objetivo del presente trabajo: H1a. (Hip´otesis Alternativa) La utilizaci´on del sistema propuesto incentiva el consumo de oferta tur´ıstica por medio de la habilitaci´on y maximizaci´on de posibles movimientos a realizar por parte de un turista optimizando su tiempo en un destino. Para lo cual se realiz´o una experimentaci´on de manera on-line, realiz´andose en primera instancia la evaluaci´on de las m´etricas anteriormente definidas sobre los datos obtenidos en dicha experimentaci´on, y seguidamente la conducci´on de la Prueba t sobre los datos recolectados por medio de la encuesta aplicada. En ambas evaluaciones se plantear´a una hip´otesis que es la deseable a comprobar, de manera que si ambas hip´otesis son validas entonces la hip´otesis general H1a se comprueba y se cumple con el objetivo del presente trabajo.
6.2.1. Plan de Ejecuci´on de Pruebas: M´etricas
A trav´es de esta evaluaci´on se busca comprobar o refutar la siguiente hip´otesis por medio del c´alculo de las m´etricas anteriormente descritas: H01. (Hip´otesis) La utilidad y Precision promedio calculados de los datos obtenidos a trav´es de la experimentaci´on del sistema se encuentran por encima del 70 %.
Plan de Ejecuci´on de Pruebas: Aceptaci´on del Sistema
Por medio de esta evaluaci´on se busca determinar el grado de aceptaci´on del sistema por parte de usuarios finales, en este caso los turistas. A trav´es de esta evaluaci´on, el presente proyecto busca comprobar o refutar la siguiente hip´otesis: H02: Los turistas demuestran una opini´on positiva con respecto a la pertinencia de las actividades recomendadas de acuerdo al contexto del usuario por medio del sistema propuesto. Ya que el objetivo de la hip´otesis es medir el grado de percepci´on sobre el objeto de evaluaci´on, se emplea una encuesta con el fin de conocer aspectos relevantes sobre si el sistema es capaz de cumplir las expectativas de los turistas. De esta manera, la encuesta (ver Anexo B) est´a conformada por 15 preguntas que se componen de: Una descripci´on de la caracter´ıstica a evaluar, una estimaci´on sobre su grado de importancia, una escala de evaluaci´on y un espacio para observaciones; tal como se muestra en el siguiente Figura:
Figura 6.1: Ejemplo de pregunta de la Encuesta.
Esta encuesta se fundamenta en la evaluaci´on expuesta por [226], cuyo enfoque est´a centrado en el usuario para la evaluaci´on de los sistemas de recomendaciones. Esto quiere decir que se tienen en cuenta aspectos subjetivos relacionados con el comportamiento del usuario objetivo, las caracter´ısticas personales y situacionales en la experiencia del usuario. As´ı mismo se observa que la percepci´on de la calidad y/o variedad de las recomendaciones son medidores importantes de la experiencia del usuario, teniendo en cuenta el esfuerzo o dificultad percibido, la eficacia percibida del sistema y la satisfacci´on de la elecci´on. Para conducir la evaluaci´on se emplea una Prueba t para una muestra, que permite verificar si en una muestra la variable de inter´es presenta una media determinada para evaluar la hip´otesis nula de igualdad de la media con un valor determinado. De esta manera, la evaluaci´on cont´o con 31 participantes teniendo en cuenta la teor´ıa de peque˜nas muestras, este n´umero genera una distribuci´on de muestreo adecuada, debido a que, cuando este n´umero de muestras se aproximan a 31
o tienden a n´umero infinito, la dispersi´on correspondiente a la curvatdisminuye aproxim´andose a la curva est´andar, raz´on por la cual, se conoce como curva z a la curvatcuandoN tiende a infinito. Es necesario especificar los conceptos de Alfa, p-Valor y Significancia Estad´ıstica.
Alfa: Representa el nivel de significancia, es decir, el nivel de alfa es la probabilidad de rechazar la hip´otesis nula cuando la hip´otesis nula es verdadera. Este concepto tiene un valor comprendido entre [0,1]. Adem´as, el valor de alfa est´a asociado a un nivel de confianza de la prueba. A continuaci´on se enumeran algunos niveles de confianza con sus valores correspondientes de alfa:
Para obtener resultados con un nivel de confianza del 90 %, el valor de alfa es 0,1 (1-0,90 = 0,10).
Para obtener resultados con un nivel de confianza del 95 %, el valor de alfa es 1-0,95 = 0,05. Por lo general, el valor de alfa puede adoptar un rango diverso de valores. Por lo tanto, para resultados con un nivel de confianza C %, el valor de alfa es: 1 - C/100.
p-Valor (p): El p-Valor es la probabilidad de obtener un resultado estad´ıstico de la prueba, bajo el supuesto que la hip´otesis nula es verdadera. A continuaci´on, se expone la interpretaci´on del p-Valor con base en un nivel de significancia del 10 %:
p<0.01: evidencia una muy fuerte suposici´on en contra de la hip´otesis nula. p = 0.01: evidencia una fuerte suposici´on en contra de la hip´otesis nula.
0. 01<p<0.05: evidencia una suposici´on moderada en contra de la hip´otesis nula. p>0.1: ninguna suposici´on en contra de la hip´otesis nula.
Significancia Estad´ıstica: Para determinar si un resultado observado es estad´ısticamente significa- tivo, se comparan los valores de alfa y p. Lo que conlleva a dos posibilidades:
Si p es menor o igual a alfa: En este caso se rechaza la hip´otesis nula. Cuando esto ocurre se dice que el resultado es estad´ısticamente significativo.
Si p es mayor que alfa. En este caso, no se rechaza la hip´otesis nula. Cuando esto ocurre se dice que el resultado no es estad´ısticamente significativo.
Considerando un nivel de significancia de 0.05 (correspondiente al de mayor aceptaci´on en la academia y la industria), en la secci´on 6.3 se presentan los resultados conseguidos en cada evaluaci´on descrita en la secci´on anterior.