Sobre los resultados de impacto.

Con el análisis del impacto de los centros del estudio se busca determinar el prestigio y calidad de su producción científica. Medidas como análisis de citas, el factor de impacto, el ratio citas/documento o el Índice-H son frecuentemente utilizadas en estudios bibliométricos, como por ejemplo en el trabajo realizado por Sira Díaz-Morán y cols.,(189) sobre la contribución, productividad e impacto de la investigación en psiquiatría del Departamento de Psiquiatría y Medicina Legal de la Universidad Autónoma de Barcelona (UAB) durante el periodo 2004-2009. Este trabajo obtuvo los datos de actividad científica de las bases de datos PubMed y Thomson Scientific Index (TSI), y solo incluyó artículos originales en su muestra. No obstante, la metodología empleada en cuanto a recuperación, depuración de datos, análisis y empleo de indicadores bibliométricos, tales como el factor de impacto, número de citas e Índice-H, fue similar a la utilizada en el presente estudio. Este estudio determinó la productividad e impacto del Departamento de Psiquiatría y Medicina Legal a nivel de citas recibidas por sus trabajos en función de la actividad desarrollada por grupos de investigación básica y clínica, los cuales publicaron durante el periodo estudiado el 11,84 % de los documentos más citados en la psiquiatría española.

Para Garfield, el análisis de citas, cuando se usa adecuadamente, puede introducir una medida útil de objetividad en el proceso de evaluación de la producción científica(319). No obstante, a la hora de utilizar estos indicadores hay que tener en cuenta, por ejemplo, que

el número de citas es normalmente más alto en publicaciones antiguas, es decir, tiende a aumentar el número de citas que reciben los trabajos a lo largo del tiempo. A veces, el número de citas se incrementa a través de la autocitación y puede variar en función de la tipología documental o de la especialidad. Además, hay que tener en consideración que la tasa de citas varia ampliamente entre las disciplinas de investigación de las ciencias clínicas y básicas(320, 321).“Aunque el factor de impacto es una herramienta sujeta a sesgos culturales, idiomáticos y geográficos, es el menos malo de los sistemas actuales para evaluar y cuantificar la calidad de la productividad científica”(322). No obstante, en países como Australia o EEUU, el factor de impacto no es tenido en cuenta como medida de calidad o evaluación en la solicitud de proyectos de investigación o en promociones académicas (donde sí se contemplan medidas como el Índice-H). Por el contrario, en Escandinavia y China, algunas universidades asignan fondos de investigación o bonificaciones a investigadores que publican en revistas con un factor de impacto mayor a 15 (323, 324).

En referencia a la importancia del Índice-H, en cuanto al impacto de la investigación, hay que señalar que se trata de uno de los indicadores más utilizados en los análisis bibliométricos y que además es usado actualmente por el portal Google Scholar como “un indicador bibliométrico para medir el rendimiento científico”(325). Además, según un estudio llevado a cabo por Smita Saraykar y cols.,(326) un alto Índice-H en el área de psiquiatría está relacionado con una mayor financiación recibida por parte del National Institute of Mental Health (NIMH), instituto que forma parte del National Institutes of Health (NIH) norteamericano y que financia la investigación con fondos públicos en EEUU. Por lo tanto, y según este estudio, “el Índice-H podría ser tenido en cuenta como un indicador que evalué el impacto de la psiquiatría en el ámbito académico”(326).

Con respecto a los resultados obtenidos, los centros que mayor impacto absoluto recibieron (traducido en un mayor número de citas recibidas) durante el periodo del estudio fueron el Hospital Clinic i Provincial de Barcelona, el Complejo Hospitalario Gregorio Marañón, el Hospital Universitari de Bellvitge, el Hospital de la Santa Creu i Sant Pau, el Hospital Universitari Vall d´Hebron y el Hospital Universitario Marqués de Valdecilla. Los datos de impacto acumulado e impacto medio están generalmente en consonancia con los de producción, lo que indica que quizás el factor de impacto podría ser tenido en cuenta como medida de producción. No obstante, hay que considerar la disparidad existente entre los 50 centros evaluados en cuanto al número de trabajos

publicados, por eso es interesante considerar también un indicador de impacto relativo, como puede ser el de citas por documento.

En relación a la elección del mejor indicador de impacto, y a pesar de las numerosas métricas existentes para medir el impacto de la investigación, aún no existe un consenso claro sobre cuál es la más precisa. Entre los estudios que han examinado indicadores de impacto, y por proximidad al área estudiada, destacamos el realizado por Seena Fazel y Achim Wolf(327), del Departamento de Psiquiatría de la Universidad de Oxford, donde se resumen los resultados (encontrados en las revistas de Psiquiatría, Psicología Clínica y Neurología) de un análisis bibliométrico llevado a cabo en 2014 en el Reino Unido donde se compararon 15 métricas de impacto en la evaluación de 150.000 documentos por parte de paneles de expertos. Este estudio encontró una fuerte correlación entre las decisiones del panel de expertos y el SCImago Journal Rank, lo que sugirió que quizás este indicador podría ser considerado como una medida Gold Standard. No obstante, los autores concluyen que la fórmula más efectiva de medir el impacto es la combinación de diferentes tipos de métricas, tanto estandarizadas como alternativas.

Volviendo a los resultados, estos también indican que los centros con un ratio de citas por documento superior a 20 son el Hospital Universitario de Cruces, el Complejo Hospitalario de Especialidades Virgen del Valme y Complexo Hospitalario Universitario de Santiago. Sin embargo, estos 3 centros se sitúan en una posición baja en cuanto a su productividad científica. Una razón para esto podría encontrarse en que estos centros tienen publicaciones en revistas de alto factor de impacto, que han sido muy citadas, y en las que colaboran aportando pacientes o muestras genéticas a estudios multi-céntricos, pero en las cuales sus autores no tienen autorías principales.

De modo idéntico a lo expuesto anteriormente, los resultados de Índice – H institucional vuelven a colocar a los mismos 5 centros líderes en la clasificación de este indicador, lo que indica una posible relación entre Índice-H y una mayor productividad.“El Índice-H se utiliza frecuenten como medida de evaluación académica y de la producción científica de un investigador"(328). Aunque no discrimina por la posición del autor, es tenido en cuenta para promociones, nombramientos o concesiones de financiación(329), por lo que podría también ser considerado para medir el impacto y la productividad por especialidades o instituciones de investigación(330). Esto permitiría establecer el Índice-H como una medida idónea en la evaluación de grupos o instituciones de investigación.

Finalmente, hay que señalar que los resultados sitúan a estos 5 hospitales (Hospital Clinic i Provincial de Barcelona, Complejo Hospitalario Gregorio Marañón, Hospital Universtari de Bellvitge, Hospital Universitari Vall d’Hebron y Hospital Universitario Marqués de Valdecilla) a la cabeza de las 3 dimensiones bibliométricas analizadas: Producción, colaboración e impacto, esto avalaría la capacidad científica de la investigación que realizan.Por otra parte, hay que tener en cuenta la heterogeneidad de todos los centros examinados, muchos de ellos sin apenas actividad científica, y con un personal y protocolos de actuación más centrados en el trabajo clínico que en la investigación; lo que podría estar motivado por una escasa experiencia investigadora por parte del personal hospitalario, por una mayor dedicación clínica motivada por las diferentes patologías a tratar, por la escasa implicación de las direcciones de los centros en el desarrollo de políticas que fomenten el desarrollo de la actividad investigadora, y/o por la falta de recursos, no solo humanos sino también económicos y materiales.