Parte V BIBLIOGRAFÍA Y APÉNDICES
D.4 Extensiones Utilizadas
7.2.1 Recogida de Información
7.2.3.6 Resumen de Valores de Atributos
La síntesis de la información para la replicación UPM 2000 se muestra en la Tabla 7.12. En la tabla se muestran los valores para todos los atributos de la evaluación.
Aspecto Atributo Componente Valor
Completitud Alcance Planificación Falta
Introducción Presente
Diseño Presente
Entrenamiento Falta
Preparación del material Falta
Operativa Presente Corrección Falta Análisis Falta Reporte Falta Instrucción Planificación - Introducción Básico Diseño Básico Entrenamiento -
Preparación del material -
Operativa Solo material
Corrección -
Análisis -
Reporte -
Adaptabilidad Diseño fijo
Escalabilidad Reporte de replicación Tardío Agregación de resultados No
Versionado Solo versión actual
Usabilidad Fácil de aplicar Orientación a la tarea 2
Precisión 4
Completitud 2
Fácil de entender Claridad 3
Concreto 3
Estilo 3
Fácil de buscar Organización 3
Capacidad de recuperación 3 Efectividad visual 1,5
Eficiencia Esfuerzo real 8 a 12 semanas – persona
Esfuerzo subjetivo Difícil
Estimación previa Subestimado
Eficacia Resolución de dudas Baja
Reproducción del ambiente S/D
Severidad media de errores Medio
Satisfacción Satisfacción del replicador Alta
Lista de beneficios Estudio técnicas IS
Motivación sujetos Aprender experimentación Practicar experimentación Tabla 7.12: Síntesis de la información para UPM 2000.
7.3
Evaluación de la Replicación UPM 2004
La replicación UPM 2004 fue la primera de este grupo donde cambia el replicador responsable. Se buscaba trasmitir el conocimiento a otro miembro del grupo, a la vez que producir un documento sobre la replicación que recogiera el conocimiento tácito generado en los años transcurridos desde la primera replicación.
El diseño experimental no sufrió cambios importantes con respecto a las replicaciones anteriores del grupo, pero si es distinto al diseño de UPM 2000. Para esta replicación se utilizó un diseño crossover de los tratamientos.
Aunque el replicador responsable no tenía experiencia práctica operativa, si tenía un nivel alto de conocimientos sobre experimentación. El replicador es autor de un libro sobre experimentación aplicada a la ingeniería de software. Por otro lado, el grupo tenía varios años de experiencia con el experimento y el replicador responsable de la replicación anterior estaba disponible para consultas en forma directa.
7.3.1
Recogida de Información
Los documentos que se considera PL de esta replicación son: los materiales del experimento (programas y formularios en un fichero ZIP) y el capítulo de libro que reportaba resultados anteriores. El replicador también contaba con los datos anteriores y otros documentos de soporte, como un plantilla para la organización del material. Este material no es el mismo de la replicación UPM 2000 ya que ha evolucionado a lo largo de los años en que se replicó el experimento.
Los demás documentos recogidos como fuentes de información fueron: la tabla de asignación de subgrupos, los formularios del experimento y la planilla de datos. En la Tabla 7.13 se muestran los documentos recogidos como fuentes de información para la replicación. El documento con la información recogida y estructurada en base a las preguntas básicas se encuentran en el CD adjunto en la carpeta: /Evaluación/UPM2004. Los documentos fuentes de información se encuentran en el CD adjunto en la carpeta: /Evaluacion/UPM2004/Fuentes.
Tipo de fuente Documento Código
Documentación de la replicación
Capítulo de libro sobre replicaciones anteriores ART
Material operativo MAT
Formularios de recogida de datos FOR
Planteamiento de la replicación PLA
Planilla de datos DAT
Entrevista con el
replicador Fecha: 24/5/2007 y 4/6/2007 Lugar: Facultad de Informática, UPM, Madrid Entrevistado: Ana María Moreno
Entrevistador: Martín Solari Otros participantes: No
ENT
Consultas posteriores Ninguna
Tabla 7.13: Fuentes de información para UPM 2004.
7.3.2
Análisis de Información
Categoría Ítem Dato Pregunta básica
Replicación Fecha Diciembre 2004 1.1.1
Sitio UPM, Facultad de Informática 1.1.2
Asignatura Evaluación de Sistemas Informáticos 1.1.3
Encuadre en la
asignatura Encuadre completo 1.1.4 Objetivos Replicación confirmatoria 1.1.5
Restricciones No 1.1.6
Replicador Participantes Ana Moreno, responsable
Sira Vegas, apoyo continuo 1.2.1
Experiencia en
experimentación Teoría: Alta Práctica: Ninguna 1.2.2
Conocimiento previo
del experimento Presencia en sesiones 1.2.3 Motivación Generar una versión mejorada del PL
Contrastar resultados anteriores Conocer la operativa de una replicación
1.2.4
Comunicación Reuniones Muchas
Tipo de reunión: objetivos, diseño, preparación, de material, presencia en sesiones
2.1.1
Consultas posteriores Muchas
Tipo de contacto: presencial, teléfono 2.1.2
Incidentes Esfuerzo importante para comprender el experimento
Detalles: trabajo para comprender aspectos implícitos del experimento
2.1.3
PL Fecha recibido Setiembre 2004 2.2.1
Contenido Material operativo Formularios Hoja suplementaria Especificación Código Ejecutables
Formato: Estructura de directorios
2.2.2
Evaluación general Bueno
Detalles: todo el material orientado al sujeto experimental, salvo la hoja con el orden para repartir material
2.2.3
Cuestionario de usabilidad del documento
Ver debajo de la tabla 2.2.4
Nivel de detalle N/C 2.2.5
Explicación de
conceptos N/C 2.2.6 Estructura N/C 2.2.7
Cuestionario de uso del
PL Ver debajo de la tabla 2.2.8
Modificaciones o
agregados Introducción Diseño
Anexos de material operativo
2.2.9
Mejoras posibles N/C 2.2.10
Diseño Diseño base UPM 2004 3.1.1
Diseño específico Sin modificaciones 3.1.2
Adaptado Si 3.1.3
Tabla de asignación Si 3.1.4
Incidentes No mencionados 3.1.5
Entrenamiento Uso del material
contenido Si Detalles: material de años anteriores no integrado todavía al PL
3.2.1
Otro material No 3.2.2
Tiempo de
Categoría Ítem Dato Pregunta básica Incidentes No mencionados 3.2.4
Preparación
del material Guía para organización Cambios en los Si 3.3.1 formularios Ninguno 3.3.2 Cambios en los
programas No 3.3.3 Incidentes Se requirió apoyo de otras para preparar el
material 3.3.4
Operativa Ambiente Sesiones fuera del horario de la asignatura
Replicador anterior presente 3.4.1
Tratamiento de dudas Dudas sobre los programas o artefactos 3.4.2
Tiempo de las sesiones No limitado 3.4.3
Incidentes Replicador no conocía los programas en detalle y
no se podía responder algunas dudas 3.4.4
Análisis Corrección No 3.5.1 Sesión de devolución No 3.5.2 Criterio de corrección S/D 3.5.3 Peso en la nota de la asignatura 50% 3.5.4 Análisis estadístico Si 3.5.5
Incidentes Casos de prueba y faltas escritas por los sujetos son ambiguos
Corrección percibida como actividad muy difícil
3.5.6
Proceso de
investigación Reporte de la replicación Tardío Detalles: artículo 3.6.1
Agregación de
resultados Parcial Detalles: con replicaciones anteriores del mismo grupo
3.6.2
Evolución del
experimento No 3.6.3 Incidentes Se realizaron notas sobre la replicación que no se
conservaron (alguna si fueron incorporadas al documento)
3.6.4
Esfuerzo Estimación Subestimado 4.1
Esfuerzo total 5 semanas-persona
Detalles: 1 mes-persona mínimo 4.2
Distribución Diseño, 1 mes
Preparación del material, 1 semana Sesiones (con ayuda de otras personas)
4.3
Número de sujetos S/D 4.4
Evaluación del
replicador Evaluación general Percepción de Muy satisfecho 5.1 resultados N/C 5.2 Respuesta de los
alumnos N/C 5.3
Beneficios Aprendizaje práctico de la operativa experimental Utilización de un soporte escrito para el
experimento
Estudio sobre técnicas de prueba, profesor Entender complejidad de la operativa experimental
Entender pasos del experimento Utilidad de tener un soporte escrito para el experimento
Aprendizaje sobre técnicas de prueba
5.4
7.3.3
Síntesis de Resultados
Para la replicación UPM 2004 se utilizó básicamente el mismo material de la replicación UPM 2000, pero, en este caso se partía del material ya traducido al idioma español. También, en el transcurso de los años entre replicación y replicación, algunos materiales adicionales se agregaron. Entre estos se cuenta el reporte del experimento anterior, publicado como capítulo de libro.
Más allá del PL, lo que diferencia esta replicación de la anterior es el aumento del conocimiento tácito sobre el experimento en el grupo de investigación. A lo largo de varias replicaciones se fueron mejorando paulatinamente aspectos de diseño, entrenamiento, preparación del material, operativa y análisis. Sin embargo, no todos estas mejoras se reflejaban en el documento del PL. El experimento había evolucionado en mayor grado que lo que el documento reflejaba, ya que no era necesario para replicar el experimento mientras fuera realizado por la misma persona.
En esta replicación cambian las personas que participaron del experimento. Otra investigadora del grupo fue la encargada del entrenamiento y participó de las sesiones del experimento. Esta persona fue la encargada de generar un nuevo PL para el experimento. Por eso se la considera replicadora responsable de esta replicación. Esta persona tiene distintas características de experiencia con respecto a la replicadora anterior. Por otro lado, es probable que ciertos conocimientos sobre el experimento se hayan trasmitido informalmente de una persona a otra. De hecho, esto fue realizado en forma explícita al comienzo de la elaboración del PL. También es relevante para la evaluación que las replicadoras de UPM 2000 y UPM 2004 comparten el mismo despacho.
Otra cuestión relevante de este caso, es que el PL se reescribió con el objetivo de ser utilizado en próximas replicaciones. Estas replicaciones iban a ser realizadas por nuevos miembros de una red de experimentación nacional con poco conocimiento del experimento. Por ese motivo, se utilizó la menor experiencia del nuevo replicador sobre el experimento para capturar más detalles de conocimiento tácito, no recogidos hasta ahora en el PL. La versión del PL al comienzo de esta replicación, es sustancialmente distinta a la versión final. No solo se agregó el informe de una nueva replicación sino que se profundizaron las explicaciones y se cambió la estructura del documento.
Se considera que la construcción de este PL fue un paso previo a la replicación. De hecho, entre la construcción del documento y la realización de la replicación pasaron algunos meses. Para la evaluación de los atributos de la completitud, y la usabilidad del documento, el PL considerado es el que existía antes de este proceso de mejora. Para evaluar los atributos de realización de la replicación, se contempla todo el trabajo realizado desde el primer contacto directo con el experimento. Es necesario considerar todo el proceso, ya que este también incluye el estudio del experimento. Esto implica que los objetivos incluyen también la mejora del propio PL y el esfuerzo será mayor.
7.3.3.1
Valoración de la Completitud
7.3.3.1.1
Atributo: Alcance
En esta versión del PL están presentes los mismos componentes de la versión anterior con algunos agregados. Para esta versión se incorpora el nuevo material de entrenamiento generado dentro de la asignatura, el diseño de las replicaciones anteriores (que fue modificado al agregarse entrecruzamiento y estudio separado de la visibilidad de fallos), guías básicas para preparación del material y planillas para el análisis de los datos.
En la Tabla 7.15 se muestra las respuestas dadas en el cuestionario escrito sobre uso del PL. Se transcriben las respuestas de la misma forma que han sido escritas por el replicador responsable, incluyendo los comentarios de cada campo y las notas agregadas. Este cuestionario es el desarrollo de la pregunta básica 2.2.8.
Componente del PL Falta Leído Modificado Agregado Comentario
Introducción al experimento ¿?
Historial de replicaciones x
Descripción de las técnicas x
Diseño del experimento x
Material de entrenamiento x
Guías operativas x
Instrumentos (Formularios) x
Objetos (Especificaciones,
Código, Faltas) x
Guías para la corrección no realizada
Resultados anteriores x
Reporte de la replicación no realizado
Teoría e interpretaciones x Evolución del experimento x
Tabla 7.15: Cuestionario de uso del PL UPM 2004.
La valoración del atributo alcance se realiza por actividad de la replicación. Los valores para cada componente del PL son:
Planificación: Falta Introducción: Presente Diseño: Presente
Entrenamiento: Presente
Preparación del material: Presente Operativa: Presente
Corrección: Falta Análisis: Presente Reporte: Falta
El replicador no realizo las actividades de corrección y análisis de resultados. Pero puede confirmarse en el cuestionario de uso del PL, contenido en la pregunta 2.2.8, que cierta información cubría estas actividades. Por ejemplo, se contaba con resultados anteriores.
7.3.3.1.2
Atributo: Instructivo
Para valora el nivel de instrucción se tiene en cuenta las mejoras realizadas desde la versión anterior del PL. La perspectiva del replicador está recogida en las preguntas 2.2.3 a 2.2.6, evaluación general, usabilidad del documento, nivel de detalle y explicaciones de
conceptos. La evaluación general del PL es muy buena desde la perspectiva del replicador. Los niveles de detalle y explicación de conceptos son bueno, aunque en el cuestionario de usabilidad del documento se muestra una valoración baja de los atributos. Se indica que uno de los agregados fue la guía para la preparación del material, aunque en base a un material anterior disponible.
La valoración del atributo instrucción para cada uno de sus componentes es el siguiente:
Introducción: Básico Diseño: Básico
Entrenamiento: Detallado
Preparación del material: Solo material Operativa: Solo material
Análisis: Solo material
Cabe aclarar que no necesariamente este nivel de instrucción se mantiene en el PL final. Si bien al comenzar se contaba con datos anteriores y una plantilla para organizar el material, estos componentes no fueron incluidos en la versión del PL generada durante la replicación.
7.3.3.1.3
Atributo: Adaptabilidad
El diseño del experimento estaba adaptado a las restricciones del sitio. Pero esta adaptación de realizó en replicaciones anteriores. El replicador se limitó a tomar los diseños anteriores y revisar su validez desde el punto de vista de la teoría de experimentación. Sin embargo, en este proceso el replicador repitió parte del trabajo de adaptación del experimento, por la necesidad de documentarlo.
El PL considerado tenía un diseño adaptado a las restricciones del sitio y este fue utilizado sin modificaciones, aunque se generó un documento para validarlo y detallarlo más. Se recoge en las preguntas 3.1.3 y 3.1.4 que el diseño fue adaptado y se generó una tabla de asignación de subgrupos. Por lo tanto el nivel para valorar este atributo es: adaptable parcial. No se registraron incidentes en el diseño que evidenciaran dificultades en la capacidad de adaptación del material. Esto es razonable por los motivos anteriormente expuestos, si bien se adaptó el diseño, el diseño final fue el mismo que en replicaciones anteriores realizadas por el mismo grupo.
7.3.3.1.4
Atributo: Escalabilidad
El componente de reporte de la replicación se recoge en la pregunta 5.6.1, de lo que surge que se realizó un reporte en forma de artículo. Sin embargo, debe considerarse que este reporte no se integró en el PL, se realizó tiempo después y por parte de otro investigador. Incluso se indica como incidente que parte de las notas sobre la replicación no fueron incorporadas al PL. Por este motivo se considera el nivel del componente reporte de la replicación como: tardío.
En cuanto a la agregación, esta información se recoge en la pregunta 3.6.2. Los datos de esta replicación no fueron agregados a los anteriores como parte del proceso de la propia replicación. La valoración del componente agregación es en el nivel: no.
7.3.3.1.5
Atributo: Versionado
La versión considerada del PL contenía la información de varias replicaciones anteriores, aunque no integradas en un mismo documento. La descripción detallada y los materiales solo abarcaban una versión del experimento. Si se explicaban algunas modificaciones del diseño del experimento. La valoración de este componentes es: solo versión actual + historial parcial.
7.3.3.2
Valoración de la Usabilidad
La valoración realizada por el replicador de la usabilidad del documento muestra valores medios y muy bajos. Esta percepción negativa de la usabilidad puede estar influida por la heterogeneidad de los documentos utilizados. Si bien al cabo de unos años se generó bastante información sobre el experimento, no existía un PL unificado fácil de usar. Uno de los objetivos específicos de la replicación era mejorar esta usabilidad para replicadores responsables con menor nivel de experiencia.
En la Tabla 7.16 se resume la valoración de los atributos de la usabilidad del documento, por parte del replicador y por parte del evaluador.
Atributo Componente Valoración Comentario
Fácil de aplicar Orientación a la tarea 1
Precisión 3
Completitud 1
Fácil de entender Claridad 1
Concreto 1
Estilo 1
Fácil de buscar Organización 1 Capacidad de recuperación 3 Efectividad visual 1
Tabla 7.16: Valoración de la usabilidad del documento para UPM 2004.
7.3.3.3
Valoración de la Eficiencia
La eficiencia de la replicación se recoge en la pregunta 4.2. El esfuerzo real se estima en 5 semanas - persona, el propio replicador establece un mínimo absoluto de 1 mes – persona para la estimación. En este caso no se incluye la producción de otros PL con diseños adaptados, sino solo lo relativo a esta replicación.
En cuanto al esfuerzo subjetivo, este se recoge en las preguntas 4.3 y 4.4, junto con los incidentes relativos al esfuerzo de cualquier actividad. La mayor parte del esfuerzo se aplica en la etapa de diseño del experimento. Se indica que se requirió un importante para comprender el experimento. El material estaba más elaborado que en la versión anterior del PL y la posibilidad de resolver dudas inmediatamente existía en esta replicación. Aunque el replicador no tenía experiencia práctica, si nivel de conocimientos en experimentación era alto. Por estos motivos, el esfuerzo subjetivo fue de nivel medio. El replicador reporta la actividad de análisis como la más difícil por la ambigüedad de los datos recogidos, pero no se muestra una dificultad excesiva para el experimento en general.
En cuanto el componente posibilidad de estimación previa, se recoge la información en la pregunta 4.1. El replicador subestima el esfuerzo necesario para realizar el experimento.
7.3.3.4
Valoración de la Eficacia
En esta replicación no se observan incidentes importantes que impidan la integración de la replicación realizada al cuerpo de conocimientos de la familia de experimentos. No se registran errores de diseño y la reproducción de las condiciones de replicaciones anteriores es efectiva. Esto no se relaciona con una mejora sustancial el PL, sino por el hecho de tratarse de una replicación interna, donde la comunicación está disponible en forma inmediata y hay conocimiento sobre el experimento en el grupo de investigación. En la Tabla 7.17 se muestra el resumen de los incidentes de esta replicación.
Actividad Resumen de los incidentes
Comunicación Esfuerzo importante para comprender el experimento
Detalles: trabajo para comprender aspectos implícitos del experimento
Diseño No mencionados
Entrenamiento No mencionados
Preparación del material Se requirió apoyo de otras para preparar el material
Operativa Replicador no conocía los programas en detalle y no se podía
responder algunas dudas
Análisis Casos de prueba y faltas escritas por los sujetos son ambiguos
Corrección percibida como actividad muy difícil
Proceso investigador Se realizaron notas sobre la replicación que no se conservaron (alguna si fueron incorporadas al documento)
Tabla 7.17: Incidentes de la replicación UPM 2004.
Para la valoración del componente resolución de dudas, se considera la capacidad del PL para hacerlo y no de todos los instrumentos de comunicación en conjunto. En las preguntas 2.1.1 y 2.1.2 se indica que la cantidad de reuniones y consultas realizadas fue grande. Se generaron múltiples dudas. Aunque estas fueron resueltas en su mayoría, esto no se dio por la capacidad del PL, sino por otros instrumentos de comunicación. La capacidad del PL de resolver dudas se valora en nivel bajo.
La reproducción del ambiente fue lograda en esta replicación, fundamentalmente debido a la presencia de replicadores anteriores durante las sesiones. Para valorar este componente es difícil separar cuanto de esto es debido a la descripción del PL y cuanto es debido a otros instrumentos. En general, se valora el componente de reproducción del ambiente en el nivel completo.
Como se ha dicho, la severidad media de errores en esta replicación tiene nivel leve. Hay actividades donde no se registran incidentes, como diseño y entrenamiento. En las que se reportan incidentes, ninguno tiene efecto en los resultados
Los objetivos particulares de la replicación UPM 2004 fueron:
1. Generar una versión mejorada del PL. Aparte de los objetivos de investigación, uno de los objetivos de esta replicación era generar un PL más detallado y adaptable para su uso futuro en una red de investigación. En este caso el PL no es un medio, sino un fin