Instrumentos de Colaboración

La primera replicación considerada del experimento fue realizada en UPM. Esta replicación es la primera de la serie de replicaciones considerada. El PL resultante de esta primera replicación fue mejorado sustancialmente en la replicación UPM 2004 y luego extendido a otros sitios de replicación.

En el período que abarcan las replicaciones, el experimento fue modificado en distintos aspectos. Los cambios pueden ser en los instrumentos de comunicación o en el experimento en sí. Esta sección tiene como propósito caracterizar los instrumentos utilizados en cada replicación. Esta información será profundizada al aplicar el proceso de evaluación para cada una.

En primer lugar, se establece una clasificación general para el PL utilizado en cada replicación. Esta clasificación se basa en la establecida en [Solari y Vegas, 2006] pero es

extendida para mostrar cambios importantes en el PL y en la familia de experimentos concreta.

Los cambios que afectaron al PL se dividen en cuatro versiones principales:

Precedente. Se refiere a la versión anterior del experimento elaborada por otro grupo de investigadores. Este material es anterior a la primera replicación de la serie considerada. Ninguna de las replicaciones evaluadas utiliza esta versión directamente. La versión precedente está en inglés y consta solo de material operativo.

Material. Esta versión del PL está constituida únicamente por el material operativo. La única intervención realizada con respecto a la replicación anterior fue la traducción del material al español y la lectura de artículos de replicaciones anteriores.

Documento. En esta versión del PL se agrega un documento que explica el diseño del experimento y pone un contexto para el material. El material es agregado como anexo al documento y además en un archivo que organiza los ficheros del mismo. Esta versión del PL fue construida con el objetivo explicito de facilitar replicaciones posteriores. Se intenta capturar los conocimientos principales para realizar el experimento.

Instanciado. Esta versión del PL es una derivación del documento anterior. Para facilitar el trabajo del replicador, particularmente si tiene poca experiencia en experimentación, se elaboraba un PL con el diseño experimental instanciado. Esta instancia del diseño se elabora en colaboración con cada replicador considerando las restricciones del sitio.

Cambio fallos. En esta versión se hace una modificación importante en los objetos del experimento para el estudio de una nueva hipótesis. El conjunto de fallos sembrados en los programas se selecciona de acuerdo a una nueva clasificación según el potencial de detección de cada técnica. Si bien el documento no fue modificado en su mayor parte, esto implicó cambios en los objetos y en algunos anexos del documento. No se tienen en cuenta los cambios sufridos por el experimento entre las replicaciones que no son consideradas para la evaluación. Por ejemplo en las replicaciones realizadas en UPM entre el 2000 y el 2004 se realizaron cambios en el esquema de clasificación de faltas. Pero estas replicaciones están realizadas por el mismo grupo de investigación y no fueron origen de replicaciones externas.

La utilización de una determinada versión del PL permite agrupar las replicaciones. También es posible realizar un mapa de la evolución del experimento entre replicaciones. Cada replicación tiene al menos una replicación original en la que se basa. Replicación original es una replicación anterior que guarda similitud con la actual y fue utilizada como base para el diseño de la misma. Al identificar las replicaciones originales se puede visualizar la cadena de comunicación entre los investigadores.

La Figura 7.1 muestra la evolución del PL utilizado en la evaluación. Se muestra el agrupamiento de las replicaciones en cada versión del PL. Las replicaciones consideradas para la evaluación están indicadas en gris. Las flechas representan una dependencia de comunicación e indican cuales son las replicaciones originales. Si la comunicación fue parcial se indica con una línea discontinua. También se muestran las principales publicaciones que

son consideradas reportes de las replicaciones. Es esquema permite ver globalmente el proceso de evolución del PL y la dependencia entre replicaciones.

Para caracterizar los instrumentos utilizados en cada replicación se utilizan dos datos: el PL y la comunicación entre investigadores. Se indica la versión de PL utilizada y sus principales componentes. Para la comunicación, se indica si se realizaron reuniones previas y evacuaron consultas posteriores por algún medio.

En la Tabla 7.6 se resumen la información previa sobre los instrumentos utilizados en cada replicación considerada para la evaluación.

Replicación PL Comunicación UPM 2000 Artículos de replicaciones previas y material operativo

(en inglés). Ninguna, excepto solicitud del material.

UPM 2004 Capítulo de libro sobre replicaciones anteriores, material operativo adaptado, platilla para organizar material.

Resolución presencial de dudas Reuniones para preparar material Presencia en sesiones

UdS 2005 Documento con introducción y diseño instanciado. Reunión previa Dudas por email

ORT 2005 Documento con introducción y diseño anterior, no adaptado.

Sin material de entrenamiento.

Los programas se extrajeron de los anexos del documento.

Puntual por email

UPV 2006 Documento con introducción y diseño instanciado. Se cambiaron los fallos de los programas que se enviaron por separado.

Reunión previa y presencia en sesiones

Tabla 7.6: Información previa sobre los instrumentos de colaboración. UPM 2004 Precedente UPM 2000 Documento Instanciado UPV 2005 Material US 2005 UPM 2006 ORT 2006 UPV 2006 ORT 2005 Cambios fallos Cap. libro ISESE`06

7.2

Evaluación de la Replicación UPM 2000

Esta replicación es cronológicamente la primera de las consideradas para la evaluación. Se trata de la primera replicación operativa que realiza este grupo de investigación. La replicadora responsable tiene experiencia media en teoría de experimentación, pero baja en la operativa práctica de replicaciones.

El PL utilizado en esta replicación consiste en un conjunto de artículos sobre la familia de experimentos, más el material operativo solicitado a uno de los grupos que realizó una de las últimas replicaciones. Más allá de la solicitud y recepción de este material, no hubo comunicación entre el replicador responsable y el grupo original.

Esta replicación es la primera de una secuencia de replicaciones realizadas en el Grupo de Investigación en Ingeniería de Software Empírica (GrISE) de UPM que lleva varios años. Las siguientes replicaciones fueron realizadas el mismo replicador responsable entre los años 2000 y 2004.