Elaboración de Preguntas Básicas

Las preguntas básicas establecen cuáles son los ítems de información necesarios para una evaluación completa de la replicación. La elaboración de esta lista de preguntas es la primera actividad del proceso y se realiza antes de comenzar a recoger información de replicaciones.

El objetivo de estas preguntas es establecer de antemano la información que debe buscar el investigador que evalúa la replicación. Dicha información puede provenir de documentos o de la consulta a las personas participantes. Si luego de la entrevista con el replicador quedan preguntas básicas sin respuesta, debe ampliarse la consulta hasta obtener la información.

Las preguntas básicas intentan recoger un espectro amplio de información y se elaboran en base a distintos propósitos. En primer lugar se debe caracterizar la replicación realizada y las personas participantes. Por otro lado, se desea profundizar específicamente en los instrumentos utilizados y el PL en particular. Las preguntas también deben recoger la opinión del replicador sobre oportunidades de mejora directas para el PL. Un objetivo particular de estas preguntas es identificar los incidentes ocurridos en cada actividad de la replicación.

La pregunta fundamental que se plantea es: qué se realizó en la replicación. Esta cuestión puede dividirse en varias partes más específicas. En consecuencia, se establecen varias secciones de preguntas, correspondientes a las distintas áreas donde se desea obtener información. La sección descripción de la replicación recaba información para caracterizar el contexto donde se realizó la replicación y el replicador responsable. La sección

instrumentos utilizados analiza la comunicación entre investigadores y el PL utilizado en la replicación. La sección actividades e incidentes de la replicación se profundiza en detalle sobre cada una de las actividades realizadas. Finalmente, la sección aspectos generales

realiza una evaluación de los aspectos que abarcan todas las actividades en general y los resultados de la replicación. En la Tabla 6.1 se muestran las secciones o sub-secciones de preguntas.

En la sección descripción de la replicación no se evalúa directamente las actividades de la replicación, sino que se describe el replicador responsable y el sitio donde fue realizada. La mayoría de los detalles abarcados son informativos, como la fecha y el lugar de la replicación. Sin embargo, esta información es fundamental para poder evaluar otros aspectos de la replicación.

En la sección instrumentos utilizados, se obtiene información sobre la comunicación y los artefactos utilizados para la replicación. La investigación del uso de los PL y otros instrumentos de colaboración para la replicación de experimentos es el objetivo central de esta investigación. Por ese motivo, es importante analizar con detalle los instrumentos utilizados. Las preguntas de esta sección exploran los mecanismos de comunicación y cómo

fue utilizado el PL en cada una de sus partes. Se utilizan dos cuestionarios escritos para analizar la usabilidad del documento y su utilización.

Secciones de preguntas básicas S.1.Descripción de la replicación

S.1.1.Sobre el contexto S.1.2.Sobre el replicador

S.2.Instrumentos utilizados

S.2.1.Sobre la comunicación entre investigadores S.2.2.Sobre el PL

S.3.Actividades e incidentes de la replicación

S.3.1.Sobre el diseño experimental

S.3.2.Sobre el entrenamiento de los sujetos S.3.3.Sobre la preparación del material S.3.4.Sobre la operativa de la replicación S.3.5.Sobre el análisis de datos

S.3.6.Sobre el proceso de investigación

S.4.Aspectos generales

S.4.1.Sobre el esfuerzo del replicador S.4.2.Evaluación del replicador

Tabla 6.1: Secciones de preguntas básicas.

En la sección actividades e incidentes de la replicación, las preguntas básicas exploran las actividades de la replicación en detalle y los incidentes que surgieron en cada una. Esta sección está subdividida en cada una de las actividades del proceso experimental: diseño experimental, entrenamiento de los sujetos, preparación del material, operativa de la replicación, análisis de datos y proceso de investigación. Junto con la caracterización de cada actividad, se profundiza en los incidentes ocurridos. Estos incidentes serán considerados para la evaluación de los atributos de realización de la replicación.

En la sección aspectos generales, las preguntas básicas tratan temas que afectan globalmente a la replicación y no son específicos de una actividad. Por ejemplo, se investiga sobre los beneficios obtenidos como resultado de la replicación. De forma separada, se estudia el esfuerzo aplicado para realizar la replicación. Este aspecto afecta en forma directa el atributo eficiencia de la evaluación. Se intenta establecer una medición del esfuerzo total para el replicador y el esfuerzo específico de cada etapa. También es parte de esta sección una evaluación general de la replicación desde la perspectiva del replicador. Se pregunta sobre los beneficios para el replicador y para los sujetos que participaron en el experimento. También se obtiene la percepción general del replicador sobre los resultados experimentales.

Las secciones de las preguntas básicas permiten abarcar toda la información de una replicación. El propósito del proceso de evaluación es llegar a valorar los atributos que componen cada aspecto de evaluación. Existe una relación entre la información que recogen estas preguntas y los aspectos de evaluación definidos. Sin embargo, esta relación no es unidireccional. Para evaluar algunos aspectos se utiliza información de más de una sección de preguntas básicas. En otros casos, la información de una sección puede afectar a varios aspectos. Por ejemplo: los incidentes obtenidos en las distintas fases influyen indirectamente sobre el aspecto de evaluación eficacia.

Por otro lado, no todas las secciones están vinculadas directamente a la evaluación de atributos. Algunas preguntas sirven para caracterizar el contexto y conocer más detalles de la replicación. En la Tabla 6.2 se muestra la relación entre las secciones de las preguntas básicas

y los aspectos de evaluación, así como las secciones que se utilizan para caracterizar la replicación. La relación detallada entre las preguntas y los aspectos de evaluación, se detallará en la actividad valoración de atributos, en la fase de síntesis de los resultados, de la Sección 6.3.

Secciones de preguntas básicas

1.1 1.2 2.1 2.2 3.1 3.2 3.4 3.5 3.6 4.1 4.2 Aspecto de

evaluación Eficiencia Eficacia Satisfacción Completitud Usabilidad

Caracterización de la replicación

Tabla 6.2: Relación entre aspectos de evaluación y secciones de preguntas básicas. La lista de preguntas explora todas las actividades de la replicación y se detiene en los detalles de cómo se llevó a cabo cada una. Algunas preguntas pueden tener respuestas concretas mientras que otras serán amplias y más descriptivas. También el replicador realizará valoraciones subjetivas de lo sucedido. En el caso de las preguntas descriptivas se espera que la respuesta proporcione detalles sobre la realización de una actividad. Estas preguntas pueden no representar una evaluación directa de los atributos, pero sirven para comprender en detalle cómo se realizó la replicación.

En la Tabla 6.3 se listan las preguntas básicas agrupadas por sección. En general, el lenguaje utilizado para la pregunta es impersonal. Pero en algunos casos, el estilo de redacción de la pregunta está dirigido al replicador, para ser utilizado como guía en una entrevista personal o cuando se busca información de naturaleza subjetiva.

Sección Sub-sección y preguntas básicas Replicación Sobre el contexto de la replicación

¿Cuándo se realizó la replicación? ¿Dónde se replicó el experimento? ¿En qué asignatura se realizó?

¿Es distinto a lo que se realiza habitualmente en la asignatura? ¿Cuáles fueron los objetivos de la replicación?

¿Qué restricciones se tenían?

Sobre el replicador

¿Quién participó de la replicación? ¿Sabía experimentación?

¿Conocía algo del experimento antes?

¿Cuál era su motivación para hacer la replicación?

Instrumentos

utilizados Sobre la comunicación entre investigadores ¿Qué reuniones hubo antes de la replicación?

¿Surgieron dudas después de recibir el PL? ¿Cómo se resolvieron? ¿Hubo incidentes en la comunicación?

Sobre el PL

¿Cuándo se recibió el PL? ¿Qué contenía el PL recibido? ¿Cómo evalúa en general el PL? Cuestionario de evaluación del PL ¿El nivel de detalle es suficiente?

¿Los conceptos de experimentación están bien explicados? ¿Estaba bien estructurado para encontrar las cosas? Cuestionario de utilización del PL

¿Se modificó o agregó algo al PL?

Actividades e incidentes de la replicación

Sobre el diseño experimental

¿Qué diseño experimental se utilizó como base?

¿Qué características específicas tenía el diseño de esta replicación? ¿El diseño fue adaptado a las restricciones del sitio?

¿Se elaboró alguna guía para hacer las asignaciones? ¿Hubo incidentes relacionados al diseño del experimento?

Sobre el entrenamiento de los sujetos

¿Se utilizó el material de entrenamiento contenido en el PL? ¿Utilizó otro material o ejemplos?

¿Cuánto tiempo se utilizó para el entrenamiento? ¿Hubo incidentes en el entrenamiento?

Preparación del material

¿Cómo preparó el material para las sesiones? ¿Utilizó alguna guía? ¿Cambió los formularios?

¿Hubo que cambiar algo en los programas? ¿Problemas con la plataforma? ¿Hubo incidentes relacionados a la preparación del material?

Sobre la operativa de la replicación

¿Cómo fue el ambiente durante la sesión? ¿Se respondían dudas?

¿Estaba acotado el tiempo de las sesiones? ¿Cuál era el límite de tiempo? ¿Hubo incidentes durante la operativa?

Sobre el análisis de los datos

¿Realizó la corrección de los formularios?

¿Realizó una sesión de devolución de los resultados a los alumnos? ¿Cómo evaluó cada práctica? ¿Qué criterio se utilizó para la corrección? ¿Qué peso tenía el experimento en el total de la nota del curso?

¿Realizó el análisis estadístico de los resultados? ¿Hubo incidentes relacionados al análisis de los datos?

Sobre el proceso de investigación

¿Se realizó un reporte de la replicación?

¿Se realizó la agregación con resultados anteriores?

¿Se incorporaron comentarios para evolucionar el experimento? ¿Hubo incidentes relacionados al proceso de investigación?

Aspectos

generales Sobre el esfuerzo del replicador ¿Pudo estimar el esfuerzo antes?

¿Cuánto esfuerzo supone hacer la replicación?

¿Cómo se distribuye el esfuerzo en las distintas actividades para realizar el experimento?

¿Cuánto sujetos participaron el experimento?

Evaluación del replicador

¿Cómo evalúa en general haber realizado la replicación? ¿Qué percepción tiene sobre los resultados del experimento? ¿Cuál fue la respuesta de los alumnos?

¿Qué beneficios obtuvo por hacer la replicación?

Tabla 6.3: Lista de preguntas básicas.

En la lista de preguntas básicas se incluyen preguntas específicas sobre los incidentes ocurridos en cada actividad de la replicación. Estas preguntas buscan explícitamente la mención de problemas o profundizar en la descripción de los incidentes de la replicación. Las preguntas sobre incidentes se repiten para cada actividad de la replicación. Por ejemplo: ¿Hubo incidentes relacionados al diseño? ¿Hubo incidentes relacionados a la preparación del material? De esta forma, es más fácil ubicar los incidentes en un contexto específico.

También se utilizan preguntas que buscan recoger la opinión del replicador sobre mejoras posibles para el PL. La respuesta a este tipo de preguntas es abierta. Normalmente, en el transcurso de la recogida de la información, el replicador puede proponer mejoras involucrándose en el objetivo último de esta evaluación.

Las respuestas a las preguntas pueden ser abiertas o cerradas. Para el caso de las preguntas cerradas, los niveles de las respuestas se definen antes de comenzar las evaluaciones de replicaciones. Para las preguntas de respuestas abiertas los valores se establecen a posteriori por un proceso iterativo, que se completa al final de la evaluación de todas las replicaciones. Los valores de las respuestas a las preguntas básicas se detallan en la fase de análisis de la información.

Las preguntas básicas 2.2.4 y 2.2.8 se plantean mediante cuestionarios escritos que se entregan directamente al replicador responsable para ser cumplimentados. Estos cuestionarios detallan aspectos que pueden plantearse por escrito para que el replicador responsable evalúe en forma directa. La utilidad de los cuestionarios es que permiten profundizar detalles que sería más engorroso tratar oralmente en formato pregunta - respuesta.

Para utilizar los cuestionarios, es importante que el replicador sepa lo que es considerado como PL para su replicación particular. El PL de cada replicación es el conjunto de documentos recibidos antes de comenzar el proceso de la replicación. Los documentos generados por el replicador, no se consideran parte del PL. Sin embargo, estos documentos son tenidos en cuenta porque muestran posibles carencias del PL que fueron compensadas por el replicador.

El primer cuestionario realiza una evaluación general de la usabilidad del documento. Este cuestionario está basado en los atributos de la usabilidad del documento definidos en la fundamentación de la evaluación. Cada uno de estos atributos se descompone en componentes concretos que son evaluados por el usuario del PL. Para la evaluación el usuario utiliza un escala unidimensional del tipo Likert [McIver y Carmines, 1981] con la siguiente correspondencia: 1 - Muy malo, 2 - Malo, 3 - Neutro, 4 - Bueno, 5 - Muy bueno. El cuestionario posee una columna para que se puedan agregar comentarios por escrito para explicar la valoración del componente o realizar aclaraciones. El cuestionario de usabilidad del documento se muestra en la Tabla 6.4.

Atributo Componente Evaluación Comentario

Fácil de aplicar Orientación a la tarea Precisión

Completitud

Fácil de entender Claridad

Concreto Estilo

Fácil de buscar Organización

Capacidad de recuperación Efectividad visual

Tabla 6.4: Cuestionario de usabilidad del documento.

El segundo cuestionario tiene como propósito analizar cómo se utilizó el PL durante la replicación. El cuestionario posee una fila para cada uno de los posibles componentes del PL. Es posible que la versión utilizada del PL no tuviera alguno de esos componentes. El replicador responsable indica directamente que partes faltaban, fueron leídas, modificadas o agregadas al PL. Se indica con una marca en la columna correspondiente. También se admite la posibilidad de escribir comentarios aclaratorios. El cuestionario de uso del PL se muestra en la Tabla 6.5.

Componente del PL Falta Leído Modificado Agregado Comentario

Introducción al experimento Historial de replicaciones Descripción de las técnicas Diseño del experimento Material de entrenamiento Guías operativas

Instrumentos (Formularios) Objetos (Especificaciones, Código, Faltas)

Guías para la corrección Resultados anteriores Reporte de la replicación Teoría e interpretaciones Evolución del experimento

Tabla 6.5: Cuestionario de uso del PL.