Diseño experimental

La figura 20, ilustra el esquema general de esta evaluación. Como se mencionó anteriormente, se llevaron a cabo dos pruebas, que consistieron en realizar una búsqueda de literatura y concentrar los registros encontrados; una usando métodos manuales ─i.e., accediendo a diversos sitios, descargando registros, concentrándolos en un archivo y eliminando los duplicados manualmente o con ayuda de diversos programas─ y la otra, de forma automática usando el sistema CICESEarch. Antes y después de haber realizado las pruebas, se aplicaron entrevistas que resaltaron la experiencia de haber realizado la búsqueda, concentrado los registros identificados en múltiples fuentes de información; y eliminado los registros duplicados de forma manual, así como con el sistema CICESEarch.

Figura 20. Esquema general de la evaluación 1.

Tipo de evaluación: intra-sujetos (within subjects). Este tipo de evaluación considera dos grupos, quienes hacen las mismas dos pruebas en dos etapas. Sin embargo, cada grupo ejecuta las pruebas en un orden distinto. Esto con el fin de eliminar la posible influencia entre las pruebas tras su ejecución.

Perfil: Estudiante/Egresado de maestría en Ciencias de la Computación que haya realizado alguna revisión de literatura en distintos motores de búsqueda o bases de datos arbitradas.

Grupos: Ocho personas que cumplan con el perfil (dos grupos de cuatro personas)

Cada grupo constó de dos estudiantes de maestría en ciencias de la computación; y dos egresados del mismo posgrado.

Factores a evaluar:

Los aspectos por evaluar en este experimento están relacionados con las percepciones de los participantes sin experiencia realizando RSLs, con respecto a:

• Utilidad del sistema para apoyar la realización de búsquedas de registros asociados a la RSL y su concentración. Esto se realizó a través del análisis de: (1) los comentarios u opiniones emitidos en las entrevistas de la evaluación; y como complemento el de (2) los resultados del cuestionario TAM y del análisis de la completitud de los listados de registros de citas generados en el sistema, en comparación con los generados en el proceso manual.

• Facilidad de uso o usabilidad del sistema; al igual que en la evaluación de la utilidad, se realizó el análisis de las entrevistas, usando como complemento los resultados obtenidos del cuestionario TAM.

Agenda para la evaluación 1 (tiempo estimado):

● 20 minutos. Introducción: dar instrucciones, firmar el consentimiento informado de participación y responder una breve entrevista sobre hábitos de búsqueda.

● 40 minutos. Prueba 1 (ver anexo B.5). Dada una cadena de búsqueda, ejecutarla en los motores de búsqueda indicados, concentrar los resultados de forma manual y eliminar los registros duplicados.

● 20 minutos. Prueba 2 (ver anexoB.6). Usando la misma cadena de búsqueda indicada en la prueba anterior, ejecutarla en los motores de búsqueda indicados usando el sistema CICESEarch.

● 5 minutos. Observar con el participante las diferencias entre los listados obtenidos tanto manualmente, como con el sistema CICESEarch.

● 10 minutos. Responder un cuestionario tras haber finalizado las pruebas.

Datos generados de la evaluación:

La figura 21 muestra cómo se generaron los archivos homologados (.csv) que permitieron el análisis de la completitud de los archivos de citas generados.

Figura 21. Proceso para la generación de los archivos homologados (.csv) usados para el análisis de la completitud de los registros de citas. Todas las líneas punteadas representan a los procesos que se realizarán de forma manual.

Evaluación 2

La figura 22, muestra el esquema general de esta evaluación. La evaluación señalada consistió en el uso del sistema y la aplicación de dos protocolos de entrevista a personas que participaron en la evaluación. La entrevista de entrada realizada permitió resaltar la experiencia que ha desarrollado al hacer las búsquedas y concentraciones de los registros identificados en múltiples fuentes de información de forma

manual en otras RSLs.; y la entrevista de salida, aplicada después de haber usado el sistema, se utilizó para evaluar la utilidad y usabilidad del mismo.

Figura 22. Esquema general de la evaluación 2.

Perfil: Egresado de doctorado en Ciencias de la Computación que haya realizado o participado en alguna revisión sistemática de literatura.

Número de participantes: Dos personas que cumplan con el perfil.

Factores a evaluar:

Los aspectos por evaluar en este experimento están relacionados con las percepciones de los participantes, considerando su conocimiento empírico adquirido en la elaboración de RSLs, con respecto a:

• Utilidad del sistema para apoyar la realización de búsquedas de registros asociados a la RSL y su concentración. Esto se realizó a través del análisis de: (1) los comentarios u opiniones emitidos en las entrevistas de la evaluación; y como complemento el de (2) los resultados del cuestionario TAM y el número registros de citas incompletos proporcionados por el sistema.

• Facilidad de uso o usabilidad del sistema evaluado en el experimento; al igual que el análisis de las entrevistas realizadas durante la evaluación. Complementando con los resultados del cuestionario TAM.

Agenda para la evaluación 2 (tiempo estimado):

● 30 minutos. Introducción: proporcionar las instrucciones, firmar el consentimiento informado de participación y realizar una entrevista sobre hábitos de búsqueda y experiencias en la elaboración de RSLs.

● 20 minutos. Ingresar una cadena de búsqueda arbitraria en el sistema CICESEarch usando diversas fuentes de información y distintos métodos para almacenar los registros identificados en el sistema CICESEarch.

● 20 minutos. Realizar una entrevista con base en las respuestas de los cuestionarios aplicados y sobre su experiencia tras haber usado el sistema CICESEarch.

Datos generados de la evaluación:

Los participantes de la evaluación 2, a diferencia de los participantes de la evaluación 1, solamente realizaron la prueba 2 (ver anexo B.6), esto es, únicamente llevaron a cabo la prueba usando CICESEarch, realizando las siguientes actividades: ingresar una cadena de búsqueda y ejecutarla en diversos motores de búsqueda usando el sistema CICESEarch.

Los datos resultantes, se obtuvieron de la misma forma que en la evaluación 1 (ver figura 21); los cuales fueron los archivos .csv generados a través del sistema.