5.10. E VALUACIÓN E INTERPRETACIÓN DE LOS CLÚSTERES LOCALIZADOS
5.10.2. Evaluación extrínseca de los clústeres
5.10.2.2. Análisis directo relacionado con la actividad estudiada
DISEÑO Y METODOLOGÍA 131
132 JUAN MARTÍNEZ-FUENTES
Desarrollo del sistema de codificación de los clústeres
Con el objetivo de registrar características relevantes de los clústeres identificados en cada periodo se utilizó una estrategia de codificación diseñada ad hoc para este estudio.
El sistema de clasificación resultó de la adaptación de una estrategia similar, planteada y aplicada en dos estudios por Coronado et al. (2011a y 2011b), aunque en nuestro trabajo la entidad planteada fueron los clústeres de documentos cocitados etiquetados con términos de los títulos de los artículos citantes.
Por este motivo se adaptó el sistema de codificación a las características conceptuales ofrecidas por los clústeres.
Las dimensiones del sistema de codificación fueron “Área de especialidad”,
“Intención principal”, “Patología” e “Intervención”.
1.- La dimensión ÁREA DE ESPECIALIDAD se utilizó para dividir los clústeres en función de la especialidad clínica o del área profesional, académica o científica de Fisioterapia con la que estaban más relacionados.
Las categorías o códigos de clasificación coincidieron con las cuatro grandes áreas profesionales en las que, con mayor frecuencia, se desarrolla la actividad clínica en Fisioterapia (musculoesquelético, neurológico, cardiopulmonar y tegumentario) y que coinciden con las formas de organización de las áreas de conocimiento integradas en gran parte de los programas académicos de Fisioterapia (Valera Garrido et al., 2007; Coronado et al., 2011a; Torres Narváez et al., 2012), y de los grandes sistemas en guías de práctica clínica del fisioterapeuta (APTA, 1997; APTA, 2001) y en la Agenda de investigación clínica para la Fisioterapia de la APTA (APTA, 2000).
A estas cuatro categorías se les añadieron tres más para completar las áreas vinculadas con el desarrollo de la actividad profesional, académica y científica en la Fisioterapia, (educación, investigación y práctica profesional y normativa) (Goldstein et al., 2011; Coronado et al., 2011a).
DISEÑO Y METODOLOGÍA 133 Para la toma de decisiones en la codificación del clúster se dio preferencia a los términos de los títulos de los artículos citantes, seguido de la relación de los términos de los títulos de los artículos citantes con los títulos de los documentos citados y, por último, a los títulos de los documentos citados.
Los clústeres sólo podían ser codificados en una de las siete categorías de esta dimensión [Tabla 5.3].
TABLA 5.3. Descripciones de las categorías de la dimensión Área de especialidad.
Categoría Descripción
Musculoesquelético Clústeres centrados en el área de la especialidad profesional musculoesquelética
Neurológico Clústeres centrados en el área de la especialidad profesional neurológica Cardiopulmonar Clústeres centrados en el área de la especialidad profesional
cardiopulmonar
Tegumentario Clústeres centrados en el área de la especialidad profesional tegumentaria
Educación
Clústeres centrados en el área de desarrollo educacional preprofesional o postprofesional, lo que incluye conceptos curriculares, estilos de enseñanza-aprendizaje y comportamientos profesionales
Investigación
Clústeres centrados en la enseñanza de la obtención, uso, realización, o interpretación de investigación en rehabilitación, métodos de estudio, diseños de investigación y análisis estadístico
Práctica profesional y normativa
Clústeres centrados en el área de los estándares profesionales de Fisioterapia, que incluyen consideraciones legales / éticas, seguridad en el trabajo, administración, normas / procedimientos, estímulo del desarrollo de la base de conocimiento profesional, promoción de la salud, gestión fiscal y documentación
134 JUAN MARTÍNEZ-FUENTES
Para ayudar a los revisores en la codificación de la dimensión Área de especialidad, se plantearon las siguientes cuestiones para cada clúster:
Pregunta 1: ¿Está claro cuál es el área de especialidad, tras una revisión de los términos extraídos de los títulos de los documentos citantes (por ambos algoritmos)? Si es así, codifica el clúster en un área de especialidad según los términos de los títulos de los artículos citantes. Si no, pasa a la pregunta 2.
Pregunta 2: ¿Existe relación conceptual entre algunos términos extraídos de los títulos de los documentos citantes y los títulos de los documentos citados? Si es así, codifica el clúster en un área de especialidad según la relación conceptual entre términos de documentos citantes y títulos de documentos citados. Si no, pasa a la pregunta 3.
Pregunta 3: ¿Está claro cuál es el área de especialidad, tras la revisión aislada de los títulos de los documentos citados en el clúster? Si es así, codifica el clúster en un área de especialidad según los títulos de los artículos citados.
2.- En la dimensión INTENCIÓN PRINCIPAL se identificó el propósito principal del clúster.
Las categorías o codificaciones se han planteado en estudios previos y en la Agenda de investigación clínica en Fisioterapia de la APTA y fueron Anatomía/Fisiología, etiología, mediciones, evaluación/diagnóstico, pronóstico, tratamiento, prevención, calidad, economía (APTA, 2000; Miller et al., 2003; Coronado et al., 2011a y 2011b).
Para la toma de decisiones en la codificación del clúster se dio preferencia a los términos de los títulos de los artículos citantes, seguido de la relación de los términos de los títulos de los artículos citantes con los títulos de los documentos citados y, por último, a los títulos de los documentos citados.
Los clústeres sólo podían ser codificados en una de las nueve categorías de esta dimensión [Tabla 5.4].
DISEÑO Y METODOLOGÍA 135 TABLA 5.4. Descripciones de las categorías de la dimensión Intención principal.
Categoría Descripción
Anatomía/Fisiología
Clústeres que se centran en información nueva o existente de carácter teórico o fundamental, como anatomía, anatomía patológica, cinesiología, comportamiento/ aprendizaje motor, y procesos o respuestas físicas, emocionales, psicológicas, fisiológicas o fisiopatológicas
Etiología Clústeres que se centran en la incidencia, prevalencia, factores de riesgo, y el impacto de enfermedades o trastornos concretos
Mediciones
Clústeres que se centran en el desarrollo, fiabilidad, validez, o sensibilidad de una herramienta de medición o terapéutica, escala, cuestionario, o técnica
Evaluación/diagnóstico
Clústeres que se centran en datos en el proceso diagnóstico o aspectos específicos de diagnóstico, que incluyen detección de enfermedades, caracterización de la enfermedad o estado, características específicas o síntomas y clasificación
Pronóstico Clústeres que se centran en factores relacionados con la predicción del transcurso clínico o la historia natural de una enfermedad o estado
Tratamiento
Clústeres que se centran en los mecanismos potenciales, el uso, o los efectos de un tipo de intervención de Fisioterapia, rehabilitadora o médica
Prevención Clústeres que se centran en los mecanismos potenciales, uso, o efectos de medidas preventivas
Calidad
Clústeres que se centran en la mejora de la calidad de los servicios de Fisioterapia mediante la descripción o investigación de factores como la formación continuada, adquisición de evidencia, educación preprofesional o postprofesional, conducta profesional, resolución de problemas y razonamiento clínico
Economía
Clústeres que se centran en los aspectos económicos de los procesos salud/enfermedad por la intervención de un fisioterapeuta. Incluye documentos relacionados con costes de atención sanitaria, acceso directo, relaciones interdisciplinares, etc.
136 JUAN MARTÍNEZ-FUENTES
Para ayudar a los revisores en la codificación de la dimensión Intención principal, se plantearon las siguientes cuestiones para cada clúster:
Pregunta 1: ¿Está claro cuál es la intención principal del clúster, tras una revisión de los términos extraídos de los títulos de los documentos citantes (por ambos algoritmos)? Si es así, codifica el clúster en una intención principal según los términos de los títulos de los artículos citantes. Si no, pasa a la pregunta 2.
Pregunta 2: ¿Existe relación conceptual entre algunos términos extraídos de los títulos de los documentos citantes y los títulos de los documentos citados? Si es así, codifica el clúster en una intención principal según la relación conceptual entre términos de documentos citantes y títulos de documentos citados. Si no, pasa a la pregunta 3.
Pregunta 3: ¿Está claro cuál es la intención principal del clúster, tras la revisión aislada de los títulos de los documentos citados en el clúster? Si es así, codifica el clúster en una intención principal según los títulos de los artículos citados.
3.- La dimensión PATOLOGÍA se usó para conocer las patologías, alteraciones o lesiones relacionadas con el clúster.
Las categorías o codificaciones de esta dimensión no estuvieron predeterminadas, debido a que la expectativa era encontrar diversidad de patologías y heterogeneidad de la terminología utilizada para definirlas.
Por este motivo no se restringió el número de categorías que se podían asignar a un clúster y se solicitó a los revisores que plasmaran la terminología utilizada en los datos del clúster (términos de títulos de artículos citantes y títulos de documentos citados). Se dejó la entrada en blanco en clústeres que no se referían o no incluían una patología, alteración o lesión.
4.- La dimensión INTERVENCIÓN permitió la identificación de las intervenciones o métodos terapéuticos relacionados con el clúster.
Como en la dimensión anterior, las categorías o codificaciones de esta dimensión no estuvieron predeterminadas debido a que la expectativa era encontrar diversidad de intervenciones y métodos, y heterogeneidad de la terminología utilizada para definirlos.
DISEÑO Y METODOLOGÍA 137 Por este motivo no se restringió el número de categorías que se podían asignar a un clúster y se solicitó a los revisores que plasmaran la terminología utilizada en los datos del clúster (términos de títulos de artículos citantes y títulos de documentos citados). Se dejó la entrada en blanco en clústeres que no se referían o no incluían una intervención o método de Fisioterapia.
Estrategia de codificación de los clústeres
La elaboración de un protocolo de evaluación de los clústeres supone el análisis por parte de un panel de investigadores y presenta dificultades a la hora de conseguir un resultado sistemático y satisfactorio. Además estos problemas suelen provocar que el método no sea reproducible de un experimento a otro.
Sin embargo esta metodología permanece como único marco para conseguir la vinculación con el mundo real de la disciplina analizada (Ibekwe-San Juan, 2006).
Por esto, una vez desarrollados el sistema y la herramienta de clasificación/codificación de los clústeres, se codificó una muestra piloto, correspondiente a los clústeres del periodo 1983-1989 (27 clústeres) por parte de tres revisores cegados (JMF, JMG y JRD).
Tras completar la codificación de esta muestra y sin analizar el resultado del proceso, los revisores discutieron las áreas identificadas que requerían aclaración en el sistema de clasificación. Se realizaron las modificaciones que incluyeron cambios o ampliación en las definiciones y fusión de categorías de clasificación antes de hacer la codificación de la muestra completa.
La codificación de la muestra completa (100 clústeres) por periodos fue realizada por los mismos revisores de forma independiente y cegada. La codificación se realizó en tres series distintas, realizadas en tres semanas consecutivas. Cada serie coincidió con el grupo de clústeres de un periodo de análisis.
Semana 1: 27 clústeres del periodo 1983-1989.
Semana 2: 35 clústeres del periodo 1990-1999.
Semana 3: 38 clústeres del periodo 2000-2009.
138 JUAN MARTÍNEZ-FUENTES
Respecto al perfil de los revisores, los tres son fisioterapeutas con experiencia docente.
En el momento de la codificación, el primer revisor (JMF) tenía 13 años de experiencia docente en Fisioterapia y era el revisor con mayor conocimiento del estudio ya que adaptó el sistema y la herramienta de codificación para el análisis de los clústeres.
El segundo revisor (JMG), doctor en Fisioterapia y experto en Fundamentos de Fisioterapia tenía 12 años de experiencia docente en Fisioterapia y 5 años de experiencia clínica.
El último revisor (JRD), doctor en Ciencias Biológicas y experto en Bioestadística y Metodología de la Investigación, tenía 11 años de experiencia docente en Fisioterapia.
Los datos de la codificación fueron introducidos por un único revisor (JMF) en tres bases de datos separadas pero idénticas generadas en Microsoft Excel 2007 con los mecanismos adecuados para la detección de datos anómalos. Las bases de datos se combinaron tras completar la codificación de la muestra completa.
Análisis de fiabilidad interobservador del sistema de codificación para las dimensiones Área de especialidad e Intención principal
Se realizó un análisis de la fiabilidad interobservador entre los tres revisores por parejas para los dominios Área de especialidad del clúster e Intención principal del clúster. Cada revisor sólo podía seleccionar una categoría de cada una de las dos dimensiones.
Se evaluó el grado de acuerdo entre los tres observadores por parejas mediante el coeficiente kappa (IC 95%) adecuado para las variables nominales (Landis y Koch, 1977; Shrout y Fleiss, 1979, Fleiss et al., 2003).
La interpretación del índice kappa podrá tomar valores comprendidos entre +1 y -1, donde el límite superior (1) indica acuerdo máximo y el límite inferior (-1) máximo desacuerdo. El valor 0 indica que el acuerdo entre las evaluaciones es el que se esperaría por el azar (Doménech, 2012; Viladrich y Doval, 2013).
DISEÑO Y METODOLOGÍA 139 Aunque la interpretación de estas escalas es hasta cierto punto arbitraria, se consideró concordancia muy buena (0,81 a 1,00), buena (0,61 a 0,80), moderada (0,41 a 0,60), baja (0,21 a 0,40) e insignificante o mala (<0,20).
El programa de análisis estadístico usado fue IBM SPSS Statistics 19.0 (SPSS Inc. IBM Company, 2010) y en todas las pruebas estadísticas se aplicó un intervalo de confianza del 95%.
Tras los resultados del análisis de fiabilidad en estas dos dimensiones se realizó una codificación definitiva de los clústeres, dónde se consideraron válidas las categorías en las que hubo acuerdo por parte de dos o tres revisores en ambas dimensiones.
Sólo fueron revisados y discutidos por los tres revisores, hasta alcanzar un acuerdo de codificación, los clústeres que no tuvieron ningún acuerdo en las categorías de alguna de las dos dimensiones.
Proceso de normalización y definición de las categorías en las dimensiones Patología e Intervención
Como se ha comentado antes, las dimensiones Patología e Intervención permitían una codificación libre, tanto en el número de categorías que los revisores podían incluir, como en la definición de las categorías.
Una vez recogidos los datos de la codificación de la muestra completa se realizó una normalización de las categorías de estas dos dimensiones en dos fases.
En la primera fase el revisor que introdujo los datos en las bases de datos hizo la traducción y normalización de las definiciones extraídas de los clústeres en categorías por afinidad conceptual.
Una vez completado el listado de categorías de estas dos dimensiones, en la segunda fase, se hizo una puesta en común con los tres revisores para consensuar la definición de categorías más amplias que permitieran la agrupación de las generadas en la primera fase para facilitar el análisis posterior.
En los anexos I y II se muestra un resumen del proceso de normalización y definición de las categorías de las dimensiones “Patología” e “Intervención”.
140 JUAN MARTÍNEZ-FUENTES