Para comprender la evaluación de la investigación, su dinámica de cambio y sus desafíos, se debe situarla en el contexto del sistema de Investigación y Desarrollo y su interacción con las políticas que tienden a promoverlo.
La evaluación, considerada como control de calidad, juega en el sistema de producción de conocimiento científico, un papel primordial ya que certifica lo que es la ciencia. Históricamente hablando, la evaluación se convirtió en práctica institucionalizada cuando la Royal Society15 y que según Charles R. Weld, en
- 27 -
1753, se tomó la responsabilidad formal de evaluar los textos publicados y se instauró un sistema por el cual la presentación de trabajos para su publicación debía realizarse con el informe favorable de un miembro de la misma. La difusión de esta práctica se produjo a partir del siglo XX, después de la II Guerra Mundial, debido al crecimiento exponencial del número de investigadores, a la fragmentación de la ciencia en subdisciplinas y al desarrollo de terminologías específicas.
Los sistemas de Investigación y Desarrollo a escala internacional se enfrentan a una serie de retos, con independencia de sus contextos institucionales específicos, tales como:
• La existencia de posibles desajustes cognitivos, por lo que los procesos de evaluación y de control de calidad de la investigación, deben ser capaces de evitar que su aplicación frene el desarrollo de las ideas más innovadoras en ciencia.
• La creciente interdisciplinariedad de la actividad investigadora, por lo que el sistema debe tener ante sí el control de calidad de la investigación generada fuera de los ámbitos disciplinares.
• Las dificultades de diferenciación de dos elementos: por un lado, la calidad de la investigación y, por otro, la relevancia de la misma con relación a las prioridades de investigación que se hayan establecido.
• El sistema de evaluación de la investigación debe encontrar un mayor equilibrio entre los objetos a ser evaluados y, sobre todo, desarrollar métodos y técnicas complementarias.
La evaluación en la actividad investigativa se analiza desde una perspectiva cuantitativa y tiene que ver con el concepto mismo de evaluación como medición y desde una perspectiva cualitativa, se refiere como a la capacidad y la acción de apreciar, valorar, comparar, comprender.
- 28 -
La evaluación tiene que ver con dos paradigmas diferentes: el paradigma positivista que pone su acento en lo observable y medible, en donde subyace la cuantificación, donde se sostiene la defensa de la objetividad y neutralidad en el proceso de evaluación; es decir lo que interesa es producir información que sea de útil para el control, y el paradigma naturalista ya que adopta una orientación cualitativa y surge de las críticas y limitaciones del paradigma positivista, donde se valorizan los aspectos contextuales y situacionales, de ahí que lo que caracteriza a este paradigma es su preocupación por indagar en profundidad, atendiendo a la complejidad de los indicadores, su carácter heurístico y la posición del evaluador o evaluadores que van a actuar de acuerdo con sus propios conocimientos y creencias por lo cual no se puede exigir objetividad y neutralidad absoluta.
Así pues, la institución social por excelencia, destinada a producir ciencia y tecnología es la universidad; esa es una de sus razones de ser, sin embargo, por una serie de motivos de diversa índole, ya sean financieras, políticas y gerenciales, la investigación que la universidad produce es poco positiva y escasa. La investigación en la universidad se requiere que sea efectiva por lo que el proceso de investigación debe ser continuo en el tiempo, pertinente con las demandas sociales, eficientes y eficaces, cuyos productos sean publicables y que haga posible que los docentes se desarrollen como investigadores.
La evaluación de la actividad investigativa es una acción que se hace de forma consciente y con un sistema, es decir, siguiendo unos pasos o aplicando algún método o forma sistemática de actuación. Se lleva a cabo para determinar el valor (mérito y/o valía) del objeto investigado con el fin de mejorarlo, rendir cuentas y/o ilustrar acciones futuras, por lo que se puede decir que es un modo de indagación práctico.
La evaluación es siempre de carácter aplicado, nunca básica, ya que se hace para valorar el mérito y/o valor de una investigación, para resolver determinadas necesidades de información y con la intención de mejorar lo evaluado, rendir cuentas sobre el mismo o ilustrar sobre acciones futuras.
- 29 -
“Las evaluaciones suelen utilizar métodos subjetivos y no están tan estrechamente controladas ni sujetas a manipulación como las investigaciones”16. Algunos autores llegan a identificar a la evaluación inscrita en una perspectiva constructivista, examinando diferentes ‘hechos’, vistos desde muchos puntos de vista17.
La utilización de los métodos y técnicas en la evaluación tiene como fin hacer que el proceso valorativo sea más exacto y sistemático por lo que los evaluadores deben contar con una serie de destrezas y ciertas habilidades para determinar la calidad de la investigación, y por tanto requieren de conocimientos metodológicos amplios y de sus posibilidades de aplicación.
La realización de evaluaciones, las cuales deben ser sistemáticas, contribuye a la acumulación de conocimiento sobre el problema que se trata de investigar y la forma de hacerlo.
Las evaluaciones se hacen a través de indicadores que son, en definitiva, conceptos que se van a “medir”. Para cada uno de los indicadores se establece la métrica o sistema de medida que se va a utilizar y se debe determinar cada cuánto tiempo se va a analizar el resultado de los indicadores.
Para determinar un sistema de indicadores en la investigación, se debe partir de la idea de productividad en lamisca, que implica la relación entre las actividades de investigación llevadas a cabo por los docentes universitarios y los resultados o productos generados por dichas actividades.
Así pues, se debe de tener en cuenta como muy bien apunta González Rodríguez, W.18, et al que generalmente se consideran cinco sistemas de indicadores que son los medidores en una evaluación a nivel universitario nacional, a saber:
16 Stufflebeam y Shinkfield, Evaluación sistémitica. Guía teórica y práctica. Madrid: Paidós/MEC, 1987, p. 23.
17 Cordray, D.S., and Lipsey, M.W., Evaluation Studios for 1986, Program Evaluation Sudies Rewiw Annual 11, pp. 17 y ss, 1987
18 González Rodríguez, W., La utilización de un Sistema de Indicadores de Ciencia y Tecnología para la Gestión de la Actividad de Investigación en las Universidades Cubanas, pp. 2-3
- 30 -
• Relevancia: Está conformado por indicadores que miden premios y reconocimientos otorgados por instituciones nacionales y extranjeras a resultados de la investigación, de significativa contribución científica, económica, social y ambiental, entre otros aspectos.
• Ciencia. Incluye los tradicionales y a veces controvertidos, indicadores bibliométricos relacionados con las publicaciones científicas.
• Tecnología. Las patentes de invención y los registros de productos resultados del desarrollo tecnológico.
• Pertinencia. Indicadores evaluativos del monto de recursos financieros ingresados por las universidades, como resultado de la comercialización de tecnologías, software, proyectos, consultorías y servicios científico técnicos, entre otros productos de la ciencia y la tecnología, y el financiamiento nacional e internacional otorgados a proyectos de investigación.
• Impacto. La evaluación de los aportes económicos de los productos universitarios en las principales ramas de la economía y la repercusión económica y social en la sociedad.
Así pues, según distintas instituciones internacionales19 plantean como los indicadores más comunes que se consideran en una evaluación de la actividad investigativa y tomando como base la determinación de las distintas áreas de la investigación universitaria20, los siguientes:
1. Efectividad:
1.1. Interés de la sociedad por la investigación realizada en la universidad y/o el departamento.
1.2. Contribuciones innovadoras al campo disciplinar. 1.3. Distinciones a la investigación:
19 Ministerio de Ciencia y Tecnología, Indicadores de Ciencia y Tecnología, Periodo 1996-1998, San José, 2000 y Observatorio Colombiano de Ciencia y Tecnología, Indicadores de Ciencia y
- 31 - 2. Eficacia:
2.1. Evaluación interna en la investigación:
2.2. Desarrollo en equipo de los trabajos de investigación: 3. Eficiencia:
3.1. Eficiencia en la obtención del financiamiento para realizar investigaciones: 3.2. Equipo de cómputo adecuado para la realización de actividades
académicas:
3.3. Espacios adecuados para la realización de actividades académica: 4. Suficiencia o competencia
4.1. Financiamiento (interno y externo) suficiente para realizar investigaciones. 4.2. Idoneidad del equipo de cómputo destinado a la realización de actividades
académicas.
4.3. Espacios suficientes para la realización de actividades académicas. Mientras que Jaim Royero21 plantea los siguientes indicadores:
▪ Eficacia a través de sus variables de adecuación de recurso, costo-efectividad y costo-beneficio.
▪ Efectividad cuyas variables son las metas formuladas, el cumplimiento de las metas, los logros y la gestión.
▪ Relevancia a través de la pertinencia, el impacto y la oportunidad. ▪ Productividad mediante la cobertura, los costos y la calidad.
▪ Disponibilidad de recursos tanto humanos, materiales y financieros.
Otros criterios22 que se deben tener en cuenta para evaluar una actividad investigativa deben ser:
▪ Originalidad. Toda investigación debe tener la particularidad de ser una formulación, que no revista características de ser copias, imitaciones o traducción de otras investigaciones.
21 Royero, J. Modelo de Control de Gestión para sistemas de investigación universitarios, p. 4 y ss. 22 Universidad Nacional Autónoma de Honduras. Dirección de Investigación Científica. Criterios de Investigación Científica, www.unah.hn
- 32 -
▪ Relevancia. La investigación debe tener importancia teórica y/o practica para la sociedad, debe servir para algo.
▪ Pertinencia. La investigación debe responder a las necesidades sociales en cualquiera de las áreas del quehacer.
▪ Coherencia. Debe observarse armonía entre los objetivos y los resultados previstos, no deben existir contradicciones o divorcio entre estas dos partes. ▪ Factibilidad. La actividad de investigación debe reflejar la posibilidad de
realizarlo con los medios y recursos disponibles, por lo que se deben evitar las formulaciones etéreas.
▪ Metodología. La Investigación debe responder al rigor científico de los métodos universalmente aceptados.
▪ Cognición. La calidad y cantidad de la información que sustenta la investigación debe cumplir con criterios básicos de precisión, sensibilidad y objetividad. Entendida la precisión como la forma de explicar de manera clara los conceptos e ideas; la sensibilidad debe entenderse como la oportunidad del proyecto de ajustarse en el proceso a los cambios súbitos del entorno y su formulación interna a fin de evitar posibles fracasos.
▪ Costo/beneficio. Los costos de la investigación deben mantener una relación proporcional con los beneficios, procurando que los beneficios sean mayores que los costos. Se destaca el hecho de que el éxito de un proyecto no necesariamente se deriva de la magnitud de la inversión, sino del impacto que él produce en función de los objetivos perseguidos.
▪ Impacto. Es la medida en que la investigación define sus supuestos para provocar cambios (beneficios) en la calidad de vida de la persona humana o en sus relaciones naturales.
Corona23 plantea el estudio de tres aspectos fundamentales en la actividad investigativa y que deben de tenerse en cuenta a la hora de plantearse una evaluación:
23 Jiménez de Vargas, B., Aspectos teóricos sobre la productividad en investigación del docente universitario, Espacios. Vol.13 (2) 1992, http://www.revistaespacios.com/a92v13n02/50921302.html
- 33 -
▪ El recurso humano con que cuentan la institución universitaria. ▪ Los recursos e instalaciones dedicadas a la investigación.
▪ La labor de investigación realizada y que se realiza en el ámbito universitario. Para la valoración o evaluación24 de la actividad investiga se requiere de:
▪ El interés y relevancia del salto cualitativo que suponga la actividad científico- tecnológica.
▪ La novedad, viabilidad y oportunidad de la actividad investigadora; adecuación de la metodología; diseño de la investigación y plan de trabajo.
▪ La complementariedad con otras investigaciones u otras acciones relacionadas con la Investigación, Desarrollo e Innovación.
▪ El impacto previsible de las actividades investigativas propuestas; contribuciones científico-tecnológicas esperables.
▪ La aportación financiera (cofinanciación) acreditada de otras entidades públicas o privadas para evaluaciones de investigaciones.
▪ La coherencia en la planificación de procedimientos y entre los recursos, capacidades y objetivos propuestos.
▪ La existencia de un procedimiento adecuado y suficiente de difusión y transferencia de tecnología y de resultados.
▪ La presentación de un procedimiento riguroso de evaluación de resultados que facilite el control con criterios o indicadores predeterminados.
La evaluación en la actividad investigativa es de tipo institucional por lo que debe de tener en cuenta algunas políticas, tales como:
• Fijación de áreas prioritarias.
• De apoyo a la formación de los investigadores, • De apoyo a los investigadores formados. • Publicación de los resultados.
• Cantidad y categoría de los investigadores.
24 Ministerio de Educación y Ciencia, Investigación Científica, Evaluación de los Programas Consolider: Procedimiento y Criterios Generales,
- 34 - • Cantidad de proyectos.
• Cantidad de proyectos financiados. Cantidad de evaluadores • Tipos de actividades investigativas.
• Numero de investigaciones por carrera. • Relación de convenios para la investigación. • Porción tiempo efectivo docencia/investigación.
• Relación de la investigación con otras actividades de docencia. • Calidad del apoyo computacional.
• Numero de patentes e innovaciones. • Otros.
La evaluación de la actividad investigativa científica comprende todas las participaciones que el individuo haya tenido en tarea de investigación y que estén comprendidas durante un período determinado, por lo que se deben considerar los siguientes parámetros25, entre otros:
▪ Participación en proyectos de investigación. ▪ Formación de otros investigadores.
▪ Actividades divulgativas y/ o de extensión. ▪ Participación en eventos científicos. ▪ Organización de eventos científicos. ▪ Tutorías, asesorías y evaluación de tesis.
▪ Participación en cursos para la actualización de conocimientos.
La actividad investigativa comprende publicaciones, productos de carácter didáctico, tesis, patentes, innovaciones, entre otros.
Respecto al investigador, se debe considerar el grado de formación, el país donde el individuo realizó estudios, el tiempo dedicado a la investigación ya que este
25 Jiménez de Vargas, B., Aspectos teóricos sobre la productividad en investigación del docente universitario.
- 35 -
puede ser un investigador por vocación, o haberse dedicado a la investigación por la formación recibida o si se debe a circunstancias eventuales.
Los criterios esenciales en la evaluación de una actividad son: eficiencia en la utilización de recursos en la evaluación de la actividad investigativa ya sea entre recursos utilizados y los estimados, o el grado de aprovechamiento de los mismos; efectividad o relación entre los resultados obtenidos y los propuestos; y eficacia o valor de la evaluación. El comportamiento de estos tres criterios permite medir cuan competitiva ha sido la evaluación de dicha actividad investigativa.
Cada indicador debe satisfacer los siguientes criterios:
▪ Medible: es decir, que la característica descrita debe ser cuantificable en términos ya sea del grado o frecuencia de la cantidad.
▪ Entendible: el indicador debe ser reconocido fácilmente por todos aquellos que lo usan.
▪ Controlable: el medidor debe ser observado sistemáticamente dentro de la estructura de la organización.
El indicador es de proceso o de resultados. En el primer caso, se pretende medir que esta sucediendo con las actividades, en el segundo se quiere medir las salidas del proceso.
Un elemento esencial es el control en la gestión evaluativo, que no es más que el proceso por medio del cual se alcanza los objetivos por lo que el fin es hacer que el sistema se encamine hacia los objetivos propuestos. El control no es un fin sino un medio para alcanzar el fin.
El control de la gestión para la evaluación es la guía para alcanzar eficientemente los objetivos con el mejor uso de los recursos disponibles, ya sean humanos, técnicos, financieros, entre otros.
El uso eficiente de los recursos disponibles para la evaluación de la actividad investigativa es el fin del control de gestión, pero además tiene otros fines específicos tales como informar que es trasmitir la información necesaria para la toma de decisiones; coordinar que es encaminar todas las actividades
- 36 -
eficientemente en consecución de los objetivos; evaluar que consiste en la valoración de el logro planteado; y motivar que es el impulso y la ayuda al responsable para la consecución de la actividad planteada.
Los instrumentos para el control son la planificación que esta relacionada a mediano y largo plazo y el presupuesto que se plantea a corto plazo.
El control de la gestión se fundamenta en una serie de procedimientos o procesos dentro del sistema diseñar los indicadores, los cuales son medidos por índices confiables que garanticen el seguimiento efectivo de una adecuada evaluación. Los procedimientos son las maneras de actuar para conseguir un fin, conjunto de acciones ordenadas y finalizadas dirigidas a la consecución de una meta, por lo que para que una evaluación de la investigación universitaria sea exitosa, se deben seguir ciertos procedimientos que controlen y ayuden a obtener el máximo provecho y éxito en cada una de las investigaciones que se realicen.
También se puede definir los procedimientos como “secuencias ordenadas de acciones que se siguen para conseguir un objetivo o meta determinados. Estas acciones pueden estar bien o mal definidas y pueden ser mentales o visibles”26. Se debe observar qué se sabe de ese procedimiento, observar si la aplicación es correcta.
Los procedimientos para la evaluación de una actividad investigativa tienen unos orígenes más bien difusos o poco claros, pudiendo asociarse en general a las necesidades prácticas que han tenido en las universidades en materia de institucionalización de la investigación.
Así pues, las actividades de investigación de las Universidades, deben ser evaluadas a través del intercambio de criterios de especialistas ya sea por medio de pares o de acuerdo a cada investigación.
Los procesos de evaluación de las actividades investigativas, están orientados por criterios asociados con la calidad, coherencia, pertinencia, relevancia, ciencia,
- 37 -
tecnología, efectividad, eficiencia, eficacia, difusión nacional e internacional, interacción y fortalecimiento de la docencia, y por la validación de los resultados ante la sociedad.
I.4.