En esta sección, presentamos un extracto del método desarrollado por Barbara Kitchenham (Kitchenham, 2004) para realizar revisiones sistemáticas en el área de la Ingeniería del Software.
Este método comprende un conjunto de variantes que pueden aplicarse según el tipo de revisión sistemática que quiera realizarse. Por ello, el extracto que presentamos en esta sección abarca tan sólo la parte que resulta de interés para nuestra cuestión de investigación y los objetivos que deseamos alcanzar.
A.1. Procedimiento para la realización de Revisiones Sistemáticas
En este capítulo, describimos el método propuesto por (Kitchenham, 2004). En él se detalla cómo deben realizarse las revisiones sistemáticas dentro de la ingeniería del software. De acuerdo con lo anterior, esta guía está dirigida tanto a investigadores como estudiantes de doctorado. En esta propuesta también se trata la realización de experimentos (aspecto que no es relevante por el momento para nuestro ámbito), aunque nosotros sólo describiremos los pasos que están directamente relacionados con la realización de estudios o revisiones sistemáticas. Hasta ahora, en el mundo de la ingeniería del software no se disponía de ninguna guía o método eficiente para realizar estudios exhaustivos, por lo que esta propuesta, adaptada de los métodos investigadores de la medicina, viene a ser una buena solución para esta carencia.
Una revisión sistemática es una forma de evaluar e interpretar toda la investigación disponible relevante a una cuestión concreta en la investigación, en un área temática o fenómeno de interés (Kitchenham, 2004).
A.1.1. Introducción
Esta guía para la realización de revisiones sistemáticas se basa en la revisión de otras tres guías existentes en el ámbito de la medicina, sólo que la autora ha adaptado dichas guías a las necesidades de los investigadores de la ingeniería del software.
A.1.2. Revisiones Sistemáticas
Una revisión sistemática de la literatura es una forma de identificar, evaluar e interpretar toda la investigación disponible relevante a una cuestión de investigación particular, un área temática o un fenómeno de interés. Los estudios individuales que contribuyen a una revisión sistemática son denominados estudios primarios, las revisiones sistemáticas son consideradas como estudios secundarios.
A.1.2.1. Razones para realizar una Revisión Sistemática
Existen muchas razones para emprender una revisión sistemática. Las más comunes son:
Resumir las evidencias existentes relacionadas con una tecnología, como puede ser resumir las evidencias empíricas de los beneficios y limitaciones de un método ágil específico.
Identificar los huecos existentes en un tema determinado de investigación, a fin de proponer áreas susceptibles de ser abordadas en futuras investigaciones.
Proveer un marco de trabajo o estado del arte de forma que podamos situar apropiadamente nuevas actividades investigadoras.
A.1.2.2. La importancia de las Revisiones Sistemáticas
La mayor parte de las investigaciones comienzan con algún tipo de revisión de la literatura existente. Sin embargo, a menos que esa revisión sea rigurosa e imparcial, tendrá poco valor científico. Ésta es la principal motivación para emprender revisiones sistemáticas. De esta forma, las revisiones sistemáticas sintetizan el trabajo existente, de manera que sea y parezca ser imparcial. Por ejemplo, las revisiones sistemáticas deben ser emprendidas de acuerdo a una estrategia de búsqueda predefinida
A.1.2.3. Ventajas y Desventajas
Las revisiones sistemáticas requieren un esfuerzo considerablemente superior al que había que dedicar a las revisiones tradicionales. La principal ventaja es que se provee información sobre los efectos de algún fenómeno a través de un amplio rango de configuraciones y métodos empíricos.
En el caso de estudios cuantitativos, ofrece la posibilidad de combinar datos utilizando técnicas meta-analíticas. Esto incrementa la posibilidad de detectar más efectos reales que los que pueden detectar revisiones de menor dimensión.
A.1.2.4. Características de las Revisiones Sistemáticas
Algunas de las características que diferencias las revisiones sistemáticas de las revisiones de literatura convencionales son:
Las Revisiones Sistemáticas comienzan por la definición de un protocolo de revisión que será usado para realizar la revisión.
Las Revisiones Sistemáticas están basadas en una estrategia de búsqueda que ayudará a encontrar tanta literatura relevante como sea posible.
Las Revisiones Sistemáticas documentan su estrategia de búsqueda, de forma que los lectores puedan verificar su rigor y compleción.
Las Revisiones Sistemáticas requieren criterios de inclusión y exclusión explícitos para verificar cada estudio potencial primario.
Las Revisiones Sistemáticas especifican la información que debe ser obtenida de cada estudio primario, incluyendo los criterios de calidad mediante los que se evalúa cada estudio primario.
Una revisión sistemática es un prerrequisito para los meta-análisis cuantitativos.
A.1.3. El Proceso de revisión
Una revisión sistemática está compuesta por diversas actividades separadas entre sí.
Concretamente, el método que vamos a seguir propone tres fases principales: la Planificación de la Revisión, la Realización de la Revisión y los Informes de la Revisión.
Cada una de estas fases principales está dividida en subetapas, salvo la fase de Resultados de la Evaluación, que está compuesta por una única etapa.
Las etapas asociadas con la planificación de la revisión son:
1. Identificación de la necesidad para hacer una revisión.
2. Desarrollo de un protocolo de revisión.
Las etapas asociadas con la realización de la revisión son:
1. Identificación de las investigaciones.
2. Preparación para la selección de las investigaciones identificadas.
3. Selección de los estudios primarios.
4. Validación de la calidad del estudio.
5. Extracción y supervisión de los datos.
6. Síntesis de los datos.
Aunque pueda parecer que todas las etapas mencionadas son secuenciales, algunas de ellas implican iteración. De hecho, algunas de estas etapas se inician durante la etapa de desarrollo del protocolo de revisión, siendo refinadas posteriormente. Por ejemplo:
La selección de los estudios primarios esta guiada por criterios de inclusión y exclusión.
Estos criterios son inicialmente especificados cuando el protocolo es definido, aunque pueden ser refinados después de definir los criterios de calidad.
Los formularios de extracción de datos son inicialmente preparados durante la construcción del protocolo, pero pueden ser posteriormente corregidos una vez que se han establecido los criterios de calidad.
Los métodos de síntesis de datos definidos en la fase de construcción del protocolo también pueden ser corregidos una vez que se han recolectado todos los datos.
A.1.4.1. La necesidad de una revisión sistemática
Como punto de inicio de una investigación o, para extraer simplemente conclusiones de algún fenómeno o suceso es necesaria una revisión sistemática que resuma toda la información existente sobre dicho fenómeno de manera rigurosa e imparcial.
Dada la magnitud y el considerable esfuerzo que requiere una revisión sistemática, es recomendable que, antes de emprender la tarea investigadora, nos cercioremos de que realmente es necesario realizar la revisión sistemática. A tal fin, en (Greenlaugh, 1997) y (Khan et al., 2001) nos encontramos listas de comprobación y cuestionarios que nos pueden ser útiles para tal fin.
A.1.4.2. Desarrollo de un Protocolo de Revisión
El protocolo de revisión especifica los métodos que serán usados para emprender una revisión sistemática específica. Es necesario disponer de un protocolo predefinido para evitar los prejuicios del investigador (la selección de los estudios individuales podría estar guiada por las expectativas del investigador).
Un protocolo está compuesto por todos los elementos de la revisión más información adicional de planificación:
Antecedentes. Los fundamentos de la investigación.
Incógnitas a las que el investigador pretende dar respuesta.
Estrategia de búsqueda de los estudios primarios, incluyendo los términos y recursos que serán buscados, incluyendo bases de datos, revistas específicas y actas de congresos.
Criterios y procedimientos de selección de estudios. Los criterios de selección de estudios determinan los criterios para la inclusión o exclusión de un estudio en la revisión sistemática. Una buena práctica es probar los criterios de selección sobre un conjunto de estudios primarios. En el protocolo se define como se deben aplicar los criterios.
Procedimientos y listas de comprobación para la verificación de la calidad del estudio.
Desarrollo de listas que nos permitan verificar la calidad de estudios individuales.
Estrategia de extracción de datos. ¿Cómo la información requerida de cada estudio primario puede ser obtenida?. En el caso de que haya que manipular los datos, hacer supuestos o inferir, el protocolo tendrá que incluir mecanismos de validación.
Síntesis de los datos extraídos. Comprende la estrategia de síntesis. Si se desea realizar un meta-análisis formal habrá que especificar las técnicas que serán usadas para tal fin.
Programación del proyecto. Definición de la planificación de la revisión.
A.1.4.2.1. La Cuestión de nuestra Investigación
Tipos de Cuestión
La actividad más importante durante el protocolo es la formulación de la
cuestión de investigación. Para tal fin, los autores de este método han adaptado una serie de cuestiones válidas en el ámbito de la ingeniería del software:
1. Valorar el efecto de una tecnología de la ingeniería del software.
2. Valorar la frecuencia o proporción de un factor de desarrollo de un proyecto, como la adopción de una tecnología, o la frecuencia o proporción con la que el proyecto resulta en éxito o por el contrario, en fallo.
3. Identificación de los factores de riesgo y coste asociados a una tecnología.
4. Identificación del impacto de las tecnologías en los modelos de fiabilidad, rendimiento y coste.
5. Análisis de los beneficios y los costes de las tecnologías software.
El punto crítico en una revisión sistemática es realizar la pregunta correcta, que en este contexto suele ser una que cumpla las siguientes condiciones:
Es significativa e importante para los profesionales, así como para los investigadores.
Conducirá a cambios tanto en la práctica actual de la ingeniería del software como en el aumento de la confianza en el valor de la actual práctica. Por
ejemplo, profesionales e investigadores desearían saber bajo qué condiciones un proyecto puede adoptar tecnologías ágiles de manera segura y bajo qué
condiciones no debería.
Identificar las discrepancias entre las creencias comunes y la realidad.
Una revisión sistemática en una tesis doctoral debe identificar la información
existente para el trabajo del alumno investigador y ubicar la investigación en el estado actual del conocimiento de la materia.
Estructura de la Cuestión 167
En las guías médicas, se recomienda considerar la cuestión desde tres puntos de vista:
La población. Una cuestión puede referirse a grupos de población muy específicos. Referido a la ingeniería del software puede ser cualquiera de lo siguiente:
o Un rol específico de la ingeniería del software (ingeniero de pruebas, jefe de proyecto,.).
o Tipo de ingeniero del software (principiante o experto).
o Área de aplicación (sistemas de IT, sistemas de control,.)
Las intervenciones. Serán las tecnologías software que aborden asuntos específicos, por ejemplo, tecnologías que realicen tareas específicas como especificaciones de requisitos, prueba de sistemas o estimación de costes.
Los resultados. Estarán relacionados con los factores de importancia para los profesionales, como fiabilidad mejorada, costes de producción reducidos, y
reducción del tiempo de puesta en el mercado. Por ejemplo, en algunos casos, necesitamos alguna intervención (tecnología software) que mejore algún aspecto de la producción software sin que afecte a otro aspecto, como por ejemplo, incrementar la fiabilidad sin incrementar el coste.
A.1.4.2.2. Revisión del Protocolo
El protocolo es una parte crítica dentro de cualquier revisión sistemática, por lo que si es posible y necesario, un grupo de expertos independientes deberían revisar el protocolo.
Este grupo de expertos podrían ser después requeridos para la revisión final de los resultados y los informes finales.
A.1.5. Realización de la revisión
Una vez que disponemos de un protocolo la revisión propiamente dicha puede comenzar. Tendríamos las siguientes etapas:
1. Identificación de la investigación.
2. Selección de estudios.
3. Verificación de la calidad del estudio.
4. Extracción de datos y monitorización del progreso.
5. Síntesis de datos.
168
Aunque algunas etapas pueden sucederse secuenciálmente, otras pueden ser emprendidas simultáneamente.
A.1.5.1. Identificación de la Investigación
El propósito de una revisión sistemática es encontrar tantos estudios primarios relacionados con la cuestión de investigación como sea posible, utilizando una
estrategia de búsqueda imparcial (no dejarnos influir, por ejemplo, por el idioma de una publicación).
A.1.5.1.1. Generación de una estrategia de búsqueda
Es muy importante determinar y seguir una estrategia de búsqueda. Estas estrategias suelen ser iterativas y se aprovechan de:
Búsquedas preliminares enfocadas tanto a identificar otras revisiones sistemáticas existentes, como a valorar el volumen de estudios potencialmente relevantes.
Siempre que se pueda, realizar pruebas de búsqueda que utilicen varias combinaciones de términos de búsqueda derivados de la cuestión de búsqueda.
Revisiones de los resultados de la búsqueda.
Consultas a expertos en el tema.
Las búsquedas iniciales de los estudios primarios se hacen utilizando bases de
datos electrónicas (siempre que esto sea posible, que no es en todos los casos), aunque al ser insuficiente, habría que buscar otras fuentes de información:
Listas de referencias de los estudios primarios más relevantes y artículos revisados.
Revistas, literatura gris (informes técnicos, trabajo en curso) y actas de congresos.
Registros de investigación.
Internet.
También puede resultar muy útil pedir consejo a investigadores especializados en la materia, a fin de recibir orientación acerca de posibles fuentes.
169
A.1.5.1.2. Prejuicios sobre las publicaciones
Esto representa un serio problema que consiste en que los resultados positivos son más susceptibles de ser publicados que los resultados negativos (aunque el que un resultado sea positivo o negativo depende en gran medida del punto de vista del investigador).
A.1.5.1.3. Gestión de la Bibliografía y Recuperación de la Documentación Es de gran utilidad el disponer de entornos que nos permitan la gestión de las
referencias (como Endnote). Es necesario disponer de sistema de registro para asegurarnos de que todos los estudios relevantes han sido recuperados.
A.1.5.1.4. Documentación de la Búsqueda
La realización de una revisión sistemática debe constituir un proceso transparente y replicable:
Hay que documentar la revisión con suficiente detalle como para que los lectores puedan verificar el rigor de la búsqueda.
Durante la búsqueda, los hallazgos deben ser documentados según van apareciendo, y los cambios en el protocolo de búsqueda deben ser indicados y justificados.
Los resultados de la búsqueda que no hayan sido filtrados, deben ser guardados para posibles análisis posteriores.
A.1.5.2. Selección de Estudios
Una vez identificados los estudios potencialmente relevantes, deben ser evaluados para comprobar su relevancia real.
A.1.5.2.1. Criterios de Selección de Estudios
Los criterios de selección están pensados para identificar los estudios primarios que nos ofrezcan evidencias de estar directamente relacionados con la cuestión de investigación.
Deben ser seleccionados durante la realización del protocolo para evitar los prejuicios.
Los criterios de inclusión y exclusión deben estar basados en las cuestiones de investigación. Deben ser probados para comprobar que no habrá ambigüedad en su 170
interpretación, y que clasificarán los estudios correctamente. A tal fin, hay que tener en cuenta ciertos aspectos:
Evitar exclusiones basadas en el idioma del estudio primario.
Las decisiones de inclusión pueden verse afectadas por los conocimientos de los autores. Instituciones, revistas o año de publicación.
Tabla 15. Documentación del proceso de búsqueda Fuente de Datos Documentación
Bases de Datos Electrónicas Nombre de la base de datos
Estrategia de búsqueda para cada base de datos
Fecha de la búsqueda
Años cubiertos por búsqueda
Búsquedas en Revistas Nombre de la revista
Años buscados
Cuestiones no búscadas
Actas de congresos Título de las actas
Nombre del congreso (si es diferente)
Traducción del título (si es necesario)
Nombre de la revista (si se publico como parte de una revistra)
Esfuerzos para identificar
estudios no publicados
Grupos de investigación e investigadores contactados (Nombre y detalles del contacto)
Sitios Web investigados (fecha y URL) Otras fuentes Fecha de búsqueda/contacto
URL
Condiciones relacionadas con la búsqueda
A.1.5.2.2. Proceso de selección de estudios
Inicialmente, los criterios de selección deben ser interpretados libremente (con cierta tolerancia), por lo que a menos que los estudios identificados electrónica y
manualmente por los investigadores puedan ser excluidos basándose en los títulos y los resúmenes, se deben obtener las copias completas de los estudios.
171
La decisión final de inclusión o exclusión se realizará cuando se hayan
recuperado los trabajos completos. Se recomienda mantener una lista con todos los estudios excluidos, identificando por cada uno la razón de la exclusión.
A.1.5.2.3. Fiabilidad de las decisiones de inclusión
Cuando dos o más investigadores revisen un estudio y obtengan conclusiones contradictorias, deberán discutirlas y resolverlas.
Cuando se trate de un único investigador, la decisión de incluir o excluir un estudio primario tendrá que ser discutida con un jurado de expertoa.
A.1.5.3. Verificación de la calidad del Estudio
Además de los criterios, es importante verificar la calidad de los estudios primarios:
Proveer criterios de inclusión/exclusión más detallados.
Investigar cuando las diferencias de calidad dan una explicación para las diferencias en los resultados de los estudios.
Cuando se están sintetizando los datos, dar diferentes pesos a los diferentes estudios.
Guiar la interpretación de los resultados y determinar la firmeza de las inferencias.
Dar recomendaciones para futuras investigaciones.
Tabla 16. Definición de conceptos de calidad Término Sinónimos Definición
Prejuicio Error Sistemático Tendencia a producir resultados relacionados tan sólo con los resultados positivos
Validación interna Validación Grado con el que el diseño y realización del estudio están preparados para evitar errores sistemáticos. Es un
prerrequisito para la validación externa Validación externa Generalizable, aplicable
Grado con que los efectos observados en el estudio son aplicables fuera del mismo.
La calidad podría estar relacionada con el grado con el que el estudio reduce las propensiones y maximiza la validación interna y externa (Tabla 16).
172
A.1.5.4. Extracción de datos
El objetivo de esta fase es el diseño de formularios que permitan representar los datos para que los investigadores puedan almacenar la información que han extraído de los estudios primarios. De nuevo, para reducir propensiones, los formularios deben ser diseñados y probados (con un conjunto de estudios primarios) cuando se está definiendo
el protocolo.
Diseño de formularios de extracción de datos
Serán diseñados para recolectar toda la información necesaria para dirigir las cuestiones de investigación y los criterios de calidad. Además, también tendrán que colectar todos los elementos especificados en la sección de la estrategia de síntesis del protocolo.
En la mayoría de los casos la extracción de datos definirá un conjunto de valores numéricos que tendrán que ser extraídos por cada estudio. Esto es necesario para resumir los resultados de un conjunto de estudios primarios o para el meta-análisis. A tal fin, los formularios electrónicos pueden ser útiles, además de facilitar el posterior análisis de los datos.
Contenido de los formularios de recogida de datos
Los formularios de recogida de datos deben incluir información estándar, incluyendo:
Nombre de la revisión
Fecha de la extracción de datos
Título, autores, revista, detalles de la publicación
Espacio para notas adicionales
Procedimientos de extracción de datos
Siempre que sea posible y factible, la extracción de datos debe realizarse
independientemente por dos o más investigadores. Posteriormente será comparada y los desacuerdos serán resueltos, bien mediante consenso de los investigadores, bien
173
mediante un investigador adicional que haga las veces de árbitro. Si no se llega a un acuerdo, el estudio primario será sometido a un análisis más exhaustivo. Se utilizará un formulario adicional para marcar y corregir errores y desacuerdos.
No obstante, en casos de existir un solo investigador, como es el caso de los
estudiantes de doctorado, es necesario utilizar otras técnicas de comprobación, como consultar a los directores de tesis para una extracción de datos sobre una muestra aleatoria de los estudios primarios y una comprobación adicional de los resultados.
Múltiples publicaciones de los mismos datos
Es importante evitar incluir múltiples publicaciones sobre los mismos datos en
una revisión sistemática, ya que los informes duplicados pueden influir seriamente en el resultado. Sólo nos quedaremos con el más reciente. En caso de duda, contactaremos con los autores para cerciorarnos.
Datos no publicados, perdidos o que requieren manipulación
Si hay información disponible de estudios en curso, debe ser incluida agregando también información del objetivo de la misma, y el correspondiente permiso de los investigadores que la llevan a cabo.
Los informes no siempre incluyen los datos relevantes, y en algunas ocasiones puede que su contenido sea ambiguo. En este caso, hay que contactar con los autores para obtener la información requerida.
A veces, los estudios primarios no publican todos los datos, no obstante, es
posible recrear los datos necesitados mediante la manipulación de los datos publicados.
En este caso, hay que adjuntar también los datos publicados que se manipularon, además de someter a un análisis más sensible los datos obtenidos.
A.1.5.5. Síntesis de Datos
La síntesis de datos implica el cotejo y resumen de los estudios primarios
incluidos. La síntesis puede ser descriptiva (no cuantitativa). Sin embargo, a veces es 174
posible complementar una síntesis descriptiva con un resumen cuantitativo. El uso de técnicas estadísticas para tal fin se conoce como meta-análisis.
Las actividades de síntesis de datos deben ser especificadas en el protocolo de
revisión, aunque a veces, algunos asuntos no pueden ser resueltos hasta que los datos no son realmente analizados.
Síntesis descriptiva
La información extraída de los estudios (por ejemplo, intervenciones, población, contexto, tamaños de muestra, salidas, calidad del estudio) deben ser tabulados de manera consistente con la cuestión de investigación. Las tablas tienen que ser
estructuradas de forma que se resalten las similitudes y diferencias entre las salidas del estudio.
Es importante identificar cuando los resultados de los estudios son consistentes
(ej. homogéneos) unos con otros o, por otro lado, inconsistentes (ej. heterogéneos). Los resultados deben ser tabulados para mostrar el impacto de las posibles fuentes de heterogeneidad, ej. tipo de estudio, calidad del estudio y tamaño de la muestra.
Síntesis Cuantitativa
Para sintetizar resultados cuantitativos de diferentes estudios, las salidas del estudio deben estar presentadas de una manera comparable
A.1.6. Informe de la revisión
Es importante comunicar los resultados de una revisión sistemática de manera efectiva.
Por lo general, las revisiones sistemáticas se mostrarán al menos de dos formas, bien en un informe técnico en una sección de una tesis doctoral, o en una revista o articulo de congreso.
Las revistas o los artículos de congresos suelen tener ciertas restricciones de tamaño, por ello, a fin de permitir que lectores puedan evaluar la rigurosidad y la 175
validación de la revisión sistemática, los artículos de revistas y congresos harán referencia al informe técnico o tesis donde se contemplan todos los detalles.
A.1.6.1. Estructura para las revisiones sistemáticas
En (Khan et al., 2001) se propone una estructura para las revisiones sistemáticas, siendo esta una buena estructura para los informes técnicos y las revistas. En el caso de las tesis doctorales, se utiliza un subconjunto de toda la estructura sugerida.
A.1.6.2. Evaluación por otros investigadores
Si se reúne un jurado de expertos para revisar el protocolo del estudio, el mismo jurado podría ser el apropiado para emprender una evaluación del informe de la revisión sistemática. En el caso de que la revisión sistemática vaya a formar parte de una tesis doctoral, entonces será evaluada dentro del proceso de evaluación de la misma tesis. Sin embargo, si la revisión es publicada en una revista, congreso o la misma Web, quedará expuesta para que los propios lectores la lean y evalúen.
A.1.7. Comentarios finales
El número limitado de estudios primarios en la ingeniería del software implica que es necesario considerar evidencias desde todos los tipos existentes de estudios primarios,
incluyendo experimentos desarrollados en laboratorios y en el ámbito académico y las evidencias que podamos obtener de los expertos.
El método expuesto ha sido desarrollado para guiar tanto estudiantes de
doctorado como grupos de investigadores. Teniendo en cuenta que algunos de los pasos descritos requieren de la participación de varias personas, se recomienda para el caso de los estudiantes de doctorado que emprendan los siguientes pasos:
Desarrollar un protocolo.
Definir la cuestión de investigación.
Especificar que se hará para solucionar el problema de un único investigador aplicando los criterios de inclusión/exclusión y la extracción de todos los datos.
Definir una estrategia de búsqueda.
176
Definir los datos que serán extraídos de cada estudio primario, incluyendo los datos de calidad.
Mantener una lista con los estudios incluidos y excluidos.
Usar las guías de síntesis de datos.
Usar las guías de generación de informes.a
