Conclusiones sobre los Sistemas que Gestionan Repositorios

Las carencias que se han detectado en los sistemas que se han estudiado, se puede resumir en el siguiente modo:

Las Tabla 2-39 y Tabla 2-40, muestran de modo global los valores de los criterios de comparación que se asignó en base al análisis de la información de los sistemas que gestionan repositorios.

De modo genérico, tras estudiar los sistemas se puede observar que tienen las siguientes carencias:

 La mayoría de estudios no permiten añadir información sobre nuevas o modificadas versiones de materiales experimentales a los existentes guardados en el sistema.  No muestra información para establecer el estado y la traza de materiales, resultados

y replicaciones dentro de la investigación.

 En la totalidad de estudios no se observa información la cual permita generar variantes del experimento.

 En la mayoría de los estudios no existe herramientas para gestionar tanto los materiales experimentales así como las replicaciones.

76 Edi son Go nzal o E spino sa G all ardo GCS y L PS en R epli ca ción de Ex pe ri m ent os

Prestación del Material Experimental a los Replicadores Estudio Criterios Tipo de Acceso Tipo Soporte de

(Storage) Nivel de Contribución de los Replicadores al Material Información Materiales Experimentales Control del Estado de Materiales Trazabilidad de los Experimentos Control de Cambios Soporte con Herramientas Informáticas

A Collaborative Research to Develop, Validate and Package Reading Techniques for Software Defect Detection

Público Web sin

restricciones Uso material del Lista detallada poco No identifica No identifica No identifica No Identifica Software - Artifact Infrastructure

Repository Privado Web restricciones con Uso Material del Lista detallada muy Por fecha No incorpora No identifica Propia Tabla 2-39: Prestaciones del Material a los Sistemas de Gestión de Repositorios Experimentales

Edi son Gon zal o Es pin os a Gallardo 77 Ca pít ul o 2 E stado d e la C ues ti ón

Soporte al Proceso de Replicación Experimental

Estudios Criterios

Nivel de

Información para la Replicación

Existen variantes

del experimento Información sobre Replicaciones Experimentales Control de Cambios de la Replicación Nivel de Contribución Nuevas Replicaciones A Collaborative Research to Develop, Validate and

Package Reading Techniques for Software Defect Detection

Solo Material No incorpora No especifica No identifica No permite cambiar

Software - Artifact Infrastructure Repository Ninguno Ninguna No especifica No indica Ninguna Tabla 2-40: Soporte al Proceso de Replicación a los Sistemas de Gestión de Repositorios Experimentales

2.4

Conclusiones sobre del Estado de Cuestión

Así pues, del estudio llevado a cabo sobre investigación de gestión de materiales experimentales y su uso en replicaciones, se puede concluir que existen pocos estudios que se relacionan con nuestra investigación, específicamente se encontraron en las dos iteraciones realizadas cuatro estudios sobre la temática. El primero aborda la problemática del conocimiento a trasmitir entre experimentadores para incrementar y mejorar las replicaciones experimentales, para lo cual propone el uso de una estructura colaborativa, que utiliza varios medios de comunicación y paquetes de laboratorio. El segundo aborda la problemática sobre la transmisión de conocimiento entre grupos de investigación tanto internos como externos para llevar a cabo procesos de replicación de un experimento y proponen como solución FIRE (Framework for Improving the Replication of Experiments). En FIRE se direcciona el problema a la actividad de compartir conocimiento entre investigadores a través de fomentar la coordinación entre grupos de investigación. Para fomentar esta coordinación proponen los autores el uso de diferentes medios y mecanismos de comunicación. Estos medios y mecanismos a decir de los autores facilitan la transmisión de conocimientos, permite bajar costos, mejora la calidad de las replicaciones y provee resultados generalizables. El tercero aborda la problemática de la transferencia del conocimiento tácito entre experimentadores para realizar: mejores procesos de replicación de experimentos, estudios complementarios y robustas conclusiones en una área específica de la ingeniería del software empírica. La solución propuesta por los autores es fomentar la relación entre experimentador original y el replicador para transmitir el conocimiento tácito a través de una estructura colaborativa además del uso del paquete del laboratorio y el cuarto aborda la problemática de la baja cantidad de experimentos en efectividad de las técnicas de testing, la escasa cantidad de datos empíricos y además sobre los costos que conlleva la ejecución de experimentos controlados en IS. La solución propuesta es una infraestructura para soportar experimentos controlados en técnicas de testing y regresión testing. La infraestructura a decir de los autores permite la replicabilidad de experimentos, la agregación de resultados y la amortización de costos en experimentación. En concreto, el análisis de los estudios encontrados permitieron identificar que la mayoría de estudios adolecen de problemas en la gestión de versiones de materiales experimentales para poder llevar a cabo un proceso de replicación, específicamente se encontraron carencias con respecto a: (1) información que permita conocer el estado y la traza de los elementos o materiales experimentales y (2) no incorporan información sobre actividades de gestión sobre los elementos o materiales experimentales.

En relación a las herramientas de gestión de replicaciones y sus materiales experimentales, se puede concluir que existen pocos trabajos que soportan con sistemas el proceso de replicación de experimentos. En general en los sistemas que administran materiales experimentales se han encontrado limitaciones con respecto: (1) la mayoría de estudios no permiten añadir información sobre nuevas o modificadas versiones de materiales experimentales a los existentes guardados en el sistema, (2) no muestra información para establecer el estado y la traza de: materiales, resultados y replicaciones dentro de la investigación, (3) en la totalidad de estudios no se observa información la cual permita generar

variantes del experimento y (4) en la mayoría de los estudios no existe herramientas para gestionar tanto los materiales experimentales así como las replicaciones.

Por lo tanto se puede deducir que el problema de la adopción de los paradigmas de gestión de configuración y línea de producto software para soportar al proceso de replicación de experimentos, es un marco novedoso y poco trabajado, ya que no existe ninguna aproximación que sea satisfactoria. Además, consideramos que esta tesis aporta soluciones a varias de las limitaciones encontradas en los trabajos relacionados sobre la gestión de materiales y replicaciones del experimento.

Capítulo 3

Planteamiento del Problema

En el presente capítulo se describe el problema planteado para resolver en esta investigación. Los límites del problema a resolver se definen a partir de las carencias que muestra el estado de la cuestión sobre la gestión de los materiales experimentales y replicaciones de experimentos en IS.

El capítulo se estructuró en tres secciones. En la primera sección se realiza una descripción detallada del problema a resolver. En la segunda sección se establecen los objetivos de la investigación, objetivos que incluyen la gestión de los materiales experimentales y replicaciones. De los objetivos se derivan las hipótesis de trabajo que se utilizan a lo largo de la investigación y por último en la tercera sección, se expone el mecanismo de contrastación de hipótesis que será utilizada para evaluar la solución planteada.

3.1

Descripción del Problema

Como se concluyó de la revisión del estado de la cuestión, ninguna de las propuestas existentes en la literatura aborda el problema de la gestión de los materiales experimentales y replicaciones de experimentos en IS, más bien esta propuesta de investigación puede ser implementada en los trabajos de investigación que se evaluaron. La implementación en los trabajos evaluados permitirá mitigar algunas de las carencias encontradas en los estudios sobre la temática. A pesar de no existir en la actualidad la solución a este problema, sí se conocen las características de la solución:

 Se necesita un plan de gestión de configuración de experimentos (PGCE en sus siglas en español) que permita administrar las distintas versiones del material y resultados experimentales de un experimento. El PGCE debe estar disponible para ser instanciado en cualquier experimento de IS.

 Se necesita construir las técnicas que soporten el desarrollo de la línea de producto para experimentos en IS (LPE en sus siglas en español). La LPE se utiliza para administrar las versiones de las replicaciones de un experimento.

En base a estos requisitos, a continuación se definirá exactamente el problema que se está intentando resolver. La idea en esta investigación es proporcionar por un lado un PGCE y

por otro lado proporcionar las técnicas para desarrollar la LPE, para mejorar la administración de los materiales y replicaciones de experimentos en IS. Parecería razonable pensar que los investigadores responsables de la administración de un experimento tengan conocimiento sobre:

 Las distintas versiones de los materiales (en uso o en desuso) del experimento.

 Los materiales experimentales utilizados en cada una de las replicaciones del experimento.

 La composición de materiales experimentales para ejecutar una replicación del experimento.

 La lista de replicaciones ejecutadas del experimento.

 Las variantes introducidas en la replicación respecto al experimento original.

 Los elementos y materiales experimentales comunes y variables entre replicaciones de un experimento.

 El lugar donde se guardan la información tanto de las distintas versiones de los materiales experimentales como de las replicaciones del experimento.

La evolución en el tiempo del experimento y la ejecución de replicaciones del experimento en diferentes contextos son aspectos importantes que provocan nuevas versiones de documentos, materiales y replicaciones. La ejecución de replicaciones en diferentes contextos provoca comúnmente la introducción de variantes para validar el conocimiento en un área específica de la IS. Estas variantes en las replicaciones respecto al experimento original ocasionan la necesidad de cambios (crear, modificar) de parte o la totalidad de materiales experimentales. Los cambios son realizados en grupos de investigación geográficamente distribuidos y son guardados en diferentes sitios, con diferentes formatos. Además, el incremento de versiones de materiales y replicaciones provoca confusión y desorden que ocasionan caos en la gestión de los materiales experimentales y replicaciones del experimento. El caos en la gestión de los materiales experimentales se evidencio en los trabajos evaluados en el estado de la cuestión. En resumen cuando se realizan replicaciones de un experimento en diferentes contextos muy habitualmente dificultan la gestión de materiales y replicaciones a los administradores del experimento, dificultad provocada por la incorporación y el incremento de versiones de materiales y replicaciones.

Por último, el escenario propuesto para este trabajo, es que los experimentadores puedan instanciar tanto el PGCE y la LPE para experimentos concretos en IS. Para desarrollar el PGCE y la LPE es importante considerar dos escenarios. El primer escenario es instanciar el PGCE y la LPE para un experimento nuevo. El segundo escenario es instanciar el PGCE y la LPE para experimentos ejecutados. El segundo escenario demanda mayor esfuerzo a los experimentadores para instanciar el PGCE y la LPE puesto que deben obtener, organizar y clasificar la información, documentos, materiales y resultados experimentales que guardan y organizan los administradores del experimento en algún tipo de estructura de almacenamiento. En los dos escenarios una de las actividades que realizan los experimentadores es registrar la información en los instrumentos del PGCE y en la técnica de la LPE. En el PGCE los experimentadores registran la información en los instrumentos sobre los documentos, materiales y resultados experimentales que son incorporados a la gestión de la configuración del experimento. En la LPE los experimentadores registran en la técnica la información sobre las replicaciones ejecutadas

del experimento y además, desarrollan los distintos modelos de la LPE para lo cual utilizan la simbología y los modelos proporcionados para la LPE. Para finalizar, con respecto a la información de los documentos, materiales y resultados registrados en los instrumentos del PGCE, estos permiten a los experimentadores conocer de cada uno su estado y su traza dentro del proceso de experimentación. En relación a la LPE del experimento, este permite a los experimentadores conocer: las variantes de los experimentos, la composición de materiales de cada una de las replicaciones, las similitudes y diferencias de elementos, materiales y resultados experimentales entre replicaciones ejecutadas de un experimento. Además, de permitir identificar el estado y traza de las replicaciones del experimento.

Por tanto, se puede concluir que el problema a resolver se traduce en la gestión de los materiales experimentales y replicaciones de experimentos para mejorar la administración de los materiales y replicaciones del experimento en IS en términos de tiempos, costes y el uso de recursos empleados en su ejecución.

3.2

Objetivos de la Investigación

Elpropósito general de esta investigación es la mejora de la investigación experimental en IS. En forma más específica se pretende mejorar la gestión de materiales experimentales y replicaciones de experimentos para soportar a los procesos de experimentación y replicación en IS. El resultado de esta investigación debe ser un PGCE y técnicas para soportar el desarrollo de la LPE para experimentación en IS.

Para fundamentar el proceso que se va a seguir para obtener la solución, es necesario identificar los objetivos de la gestión del material experimental y las replicaciones para mejorar su administración en experimentación en IS. A partir de estos objetivos será posible identificar los aspectos que permitan evaluar y mejorar la gestión del material experimental y las replicaciones de los experimentos en IS.

El objetivo de una replicación es contribuir con una pieza de evidencia al cuerpo de conocimientos de una investigación experimental. Para que este proceso sea exitoso, se debe mejorar la administración de los materiales experimentales y replicaciones de un experimento. Se considera una mejora cuando se evidencie que la administración de los materiales experimentales dan soporte a las actividades del proceso de replicación, para lo cual el PGCE y la LPE deben proporcionar:

 Los instrumentos y técnicas para planificar, organizar, clasificar y registrar la información sobre los materiales, replicaciones y resultados de un experimento.

 La información sobre el experimento que se encuentra en el PGCE y la LPE. Esta información permite, conocer el estado y traza de materiales y replicaciones dentro del proceso experimental. Además, permite localizar y obtener información y materiales fiables y oportunos para su reutilización en el proceso de replicación de un experimento. Tanto el PGCE y la LPE se constituyen en instrumentos de apoyo para administrar los experimentos en IS. El PGCE y la LPE deben mejorar la administración de los materiales experimentales y replicaciones del experimento. Se pretende por lo tanto mitigar el caos de la

administración de los materiales y replicaciones de experimentos que obstaculizan su búsqueda y localización de materiales y replicaciones para reutilizarlos en procesos de replicación de experimentos. La reutilización busca disminuir tiempos, costes y recursos en las tareas de planificación, ejecución y evaluación de replicaciones de experimentos en IS. El PGCE y la LPE deben lograr también la satisfacción de los investigadores involucrados.

Objetivo de la Investigación: Mejorar la administración del material experimental y las replicaciones de los experimentos en IS, para apoyar al proceso de replicación de experimentos, en el contexto de un grupo de experimentadores en IS.

Esencialmente, el PGCE y la LPE son instrumentos para la administración de los materiales experimentales y replicaciones de un experimento. Los dos instrumentos se utilizan para mejorar la administración de materiales y replicaciones en IS. El primer instrumento que es el PGCE, contiene los conceptos adoptados de la GCS y los instrumentos desarrollados para soportar la evolución en el tiempo de los materiales experimentales. Los distintos instrumentos del PGCE permiten conocer de cada uno de los materiales el estado y la traza durante el proceso experimental. El segundo instrumento que es la LPE, contiene la técnica, simbología y un conjunto de modelos que permiten desarrollar la línea de producto del experimento y se emplea en la gestión de las replicaciones del experimento.

El nivel de profundidad de las descripciones tanto de los instrumentos del PGCE como de la técnica, simbología y modelos de la LPE debe ser adecuado para que se puedan instanciar en experimentos en IS. Además, las instrucciones, instrumentos, simbología y modelos contenidos en el PGCE y la LPE deben estar presentados en un documento usable. La calidad del documento es una parte fundamental para el cumplimiento del objetivo del PGCE y LPE. El documento debe tener una organización y formato que lo hagan fácil de usar. Por facilidad de uso de un documento se entiende que la información contenida sea fácil de encontrar, entender y aplicar, por parte de los usuarios del mismo.

Una vez obtenida el PGCE y la LPE, estos deben permitir generar instancias de experimentos concretos. Esto implica analizar la viabilidad de la propuesta para instanciar experimentos y también la flexibilidad para instanciar experimentos en distintas áreas de la IS. Aunque sea viable, no tendría valor práctico una propuesta que se adapta solo a un experimento concreto. La propuesta del PGCE y la LPE debe ser validada mediante el uso en replicaciones y en experimentos de distintas familias.

3.3

Hipótesis de Trabajo

A partir de los objetivos definidos para la gestión de los materiales experimentales y replicaciones en experimentación en IS, se presentan las hipótesis que plantea esta investigación. Se intenta comprobar que la administración de los materiales experimentales y replicaciones en experimentos de IS mejora cuando se emplea los paradigmas del PGCE y LPE.

Hipótesis de la investigación: El proceso de administración de los materiales experimentales y replicaciones de experimentos en IS mejora usando los paradigmas del PGCE y la LPE.

Esta investigación se centra en establecer una propuesta para experimentación en IS por un lado para adoptar la gestión de materiales experimentales utilizando un PGCE y por otro lado aplicar la LPE para la gestión de replicaciones, para luego comprobar la hipótesis planteada. En la investigación se intenta comprobar que utilizar los paradigmas del PGCE y LPE mejora la administración de los materiales experimentales y replicaciones en experimentación en IS. En realidad la aplicación de los dos paradigmas que se proponen en este trabajo es solamente una forma de concretar esa idea general. Es decir este trabajo no desea defender la idea de que los paradigmas aquí propuestos son los mejores de todos los posibles.

Como todo instrumento, el PGCE y la LPE deben ser construidos para luego pasar al uso operativo. En el ciclo de vida de un experimento, el PGCE y la LPE no es un documento pre- existente ni estático. Primero se crea y luego evoluciona junto al experimento, en base a la información, materiales, resultados y replicaciones que se van incorporando a medida que se generan nuevas o modificadas versiones. Las versiones de materiales, resultados y replicaciones son resultado de la inclusión de variantes en el experimento. Se utilizará el termino instanciación para referirse a la creación de un PGCE y LPE a partir de la información, documentos, replicaciones, materiales y resultados experimentales disponibles o del conocimiento explícito de un grupo de investigación sobre un experimento. La instanciación es un proceso que debe realizarse para cada nuevo experimento o en su defecto para un experimento existente. La instanciación del PGCE y la LPE de un experimento se realiza en base a la utilización del PGCE y LPE que se proporciona en la propuesta.

Una vez instanciado, tanto el PGCE y la LPE son instrumentos que puede analizarse por separado de forma estática o dinámica. Se entiende por análisis estático el realizado sobre el propio documento. El análisis dinámico consiste en la observación del PGCE y LPE durante su uso en la administración de los materiales experimentales y replicaciones de un experimento dentro del proceso experimental. La combinación de estos dos enfoques de evaluación permite analizar la calidad del PGCE y la LPE y su capacidad para alcanzar los objetivos descritos.