En el apartado anterior hemos visto que el proceso evaluativo se realiza dentro de un contexto pero, hay que tener en cuenta que ese contexto no es algo vacío, sino que está integrado por múltiples agentes que son quienes lo dinamizan y dan sentido. Es decir, al contexto le “dan vida” los agentes que lo integran, es por ello que se hace necesario conocerlos, para ahondar en dicho contexto y comprender mejor su influjo en la evaluación. Así, al ser la evaluación un proceso contextualizado integrado por agentes, es necesario destacar que en él, tales agentes vuelcan sus destrezas, habilidades, intereses particulares, intereses comunes, etc., por lo que vienen a ser el motor de la evaluación, pues se aplican a ella y pueden tomar decisiones respecto de ella.
Cuando hablo de “agente”, no me estoy refiriendo sólo a un individuo o a un sujeto, sino que también me refiero a un conjunto o grupo de ellos, pues, como veremos, por ejemplo, la evaluación no la suele realizar una sola persona, sino que se suelen conformarse “equipos de evaluación” en función de la naturaleza del objeto que pretende evaluarse, con funciones claramente definidas y distribuidas (p. ej.: veremos que las evaluaciones de asuntos de Cooperación para el Desarrollo, las realizan empresas consultoras seleccionadas por la Administración en razón del objeto a evaluar).
Quizás, lo común a todos los agentes de la evaluación es el interés que en ella puedan tener, así, basta con que tengan interés en la evaluación para que puedan implicarse en ella y, de alguna manera, participar en ella. A estos agentes, en la literatura evaluativa, se les conoce como stakeholder o agentes críticos, que vienen a ser aquellos agentes que tienen interés en la evaluación y en su objeto. Al respecto, Guba y Lincoln (1989, 14) nos ofrecen una clasificación de agentes, en función del interés que puedan tener en la evaluación así, distinguen: agentes propiamente, aquellos involucrados en la producción, uso y puesta en marcha del objeto a evaluar; los beneficiarios, aquellos que se benefician del uso del objeto a evaluar; y, las “víctimas”, aquellos afectados negativamente por el uso del objeto a evaluar. Tales grupos incluyen:
Tabla I.1.:
CLASES DE AGENTES
AGENTES BENEFICIARIOS VÍCTIMAS
Los que formulan el objeto a evaluar Las personas para las que fue diseñado el
objeto a evaluar (beneficiarios directos)
Los grupos sistemáticamente excluidos de la utilización del objeto a evaluar Los financiadores a nivel local, regional y
nacional
Las personas cuya relación con los beneficiarios directos se ve mediatizada,
facilitada, fomentada o positivamente influida (beneficiarios indirectos)
Los grupos que sufren efectos colaterales negativos
Los que identifican la necesidad que pretende satisfacer el objeto a evaluar
Las personas que obtienen algo por el hecho de que el objeto a evaluar se esté
usando
Las personas que se ven en desventaja política
Los que toman las decisiones y deciden utilizar o desarrollar el objeto a evaluar
Las personas que sufren costes de oportunidad
Los proveedores de materiales El que contrata la evaluación (el cliente)
El personal que pone en marcha el objeto a evaluar
Fuente: Guba y Lincoln (1989, 14), traducción y diseño de Bustelo (2001)
Esto es una muestra de la amplia gama de distintos agentes que es posible identificar en los procesos evaluativos. Desde mi punto de vista, el número mayor o menor de agentes identificables será una función del enfoque evaluativo (esto podemos verificarlo más adelante cuando analicemos los diversos enfoques de evaluación); de la envergadura del objeto a evaluar (p. ej.: no es lo mismo el número de agentes interesados de un programa sobre salud y saneamiento, que de un programa de sensibilización); o, de los roles atribuidos y que vayan desempeñarse (p. ej.: no es lo mismo una evaluación en la que hayan agentes encargados de los aspectos técnicos de la evaluación y que se dedican sólo a ello, que una que no los tenga y que una sola persona, que hace también otras cosas, tenga que hacerlos).
Al respecto, Stufflebeam y Shinkfield (1987 y 2002, 43 – 53; 2007, 42 – 50) han desarrollado de manera sistemática una clasificación de roles a desempeñar en el proceso evaluativo. Así, establecen que en la evaluación intervienen un conjunto de personas, las cuales tienen un rol que desempeñar durante todo el proceso. En ese sentido, se establecen doce roles o papeles básicos a desempeñar: el cliente, el diseñador, el coordinador, los asistentes, los respondentes, los técnicos especialistas, los especialistas en información, los especialistas en comunicación, el preparador, el investigador evaluativo, el promotor y el metaevaluador. Pasaremos a describir sucintamente cada uno de esto roles:
1. El cliente de la evaluación
El cliente es la persona o grupo de personas que utilizarán los resultados para algún propósito. En esta categoría se incluye, tanto a quién ha encargado la
evaluación como a todos los que esperan resultados para hacer uso de ellos. Generalmente, son los clientes quienes proporcionan los recursos necesarios para el desarrollo de la evaluación. Además, son quienes plantean las cuestiones y los criterios necesarios para interpretar los resultados.
2. El diseñador de la evaluación
Al rol que desempeña el cliente se corresponde una necesidad de satisfacer sus demandas de información. Para tal fin, es necesario diseñar una evaluación tendiente a ello. Los autores precisan que el diseñador de la evaluación debe ser un observador sensible a los ambientes sociales, saber entrevistar y escuchar, y estudiar con voluntad y capacidad lo esencial del programa que va a ser examinado. Asimismo, debe ser un experto en técnicas comunicativas y de encuestas, y ser capaz de sistematizar la información recibida para que sea practica, coherente y racional.
3. El coordinador de la evaluación
El proceso de evaluación es complejo tanto por la naturaleza de su objeto, como por la multiplicidad de agentes que intervienen en el mismo. Es decir, requieren de los esfuerzos de varios participantes, y la utilización de considerables recursos y servicios para múltiples clientes. En ese sentido, es necesario coordinar todo ese trabajo. El rol de coordinador implica que las personas especializadas en evaluaciones deben prepararse para funciones administrativas y deben tener conocimientos básicos sobre la planificación de evaluaciones.
4. Asistentes de la evaluación
Este papel supone contacto con los clientes, revisión de los documentos del programa y/o política, realización de entrevistas, recolección de información aportada por todos los intervinientes y redacción de informes. Generalmente, el asistente siempre estará encargado de colaborar con el personal del programa y/o política y de cooperar en la planificación respectiva.
El rol de asistente implica el desarrollo de habilidades técnicas y de relaciones humanas. Asimismo, el asistente debe generar en su entorno un ambiente de confianza y credibilidad ante los clientes y demás intervinientes del programa.
5. Respondentes de la evaluación
Con este concepto nos referimos a las personas que rellenan los formularios, responden a los test, contestan a las entrevistas y permiten que les observen en su trabajo. En ese sentido, podría decirse que la calidad de la información vertida en la evaluación depende de ellos es decir, de su buena voluntad para cooperar y de dar lo mejor de sí mismos.
6. Especialistas en ayuda técnica
Este rol está en función de que la mayor parte de las evaluaciones suponen una gran cantidad de trabajo técnico, por el cual se requiere la ayuda de expertos especializados. Este grupo de expertos puede incluir especialistas en elaboración de pruebas, en muestreo, en procesamiento de datos estadísticos, en el estudio de casos, etc.
7. Especialistas en información
El especialista en información es un rol previsto especialmente para las organizaciones que disponen de un Departamento de Evaluación. Las evaluaciones dirigidas por estos Departamentos deben considerar el panorama institucional y su contexto histórico, examinar los descubrimientos del pasado y de la actualidad para determinar las tendencias y evitar una innecesaria pluralidad de esfuerzos en lo que se refiere a recopilación de datos. Asimismo, el rol de especialista en información supone disponer de conocimientos y técnicas en áreas como la comunicación, los sistemas de información, el proceso de datos, la contabilidad financiera y la planificación de gran alcance.
8. Especialistas en comunicación
En cierto sentido, la evaluación es una comunicación efectiva acerca del mérito y el valor de un programa y/o política. Es decir, los problemas de los clientes son el objeto de investigación de los evaluadores y, a su vez, las conclusiones a las que éstos llegan son para ser transmitidas a los clientes. Por tanto, es necesario que los evaluadores tengan conocimientos de tecnologías de la comunicación: redactar informes con claridad, saber comunicar conclusiones, saber hablar en público, saber utilizar medios audiovisuales, etc.
9. Preparador de la evaluación
En todo proceso de evaluación debe garantizarse la buena preparación de los intervinientes en el mismo. Es decir, es importante que tales intervinientes disfruten
de una amplia gama de oportunidades para prepararse bien: programas de preparación especializada, cursos auxiliares de asesoría, sesiones orientativas, etc.
10. Investigador evaluativo
El rol del investigador evaluativo se concreta en estudiar las necesidades relacionadas con la profesión y los problemas de los clientes, en examinar sus prácticas a la luz de los conocimientos y principios de las disciplinas más relevantes, en analizar su trabajo en su contexto histórico, en teorizar sobre los servicios profesionales, y en hacer avanzar los conocimientos sobre su especialidad.
11. El Promotor de la evaluación
El promotor de la evaluación ayuda colectivamente a los evaluadores a alcanzar y mantener el status de una profesión. Es decir, se trata de tender hacia la profesionalización de los intervinientes en la evaluación, más en concreto, de quienes realizan propiamente y de hecho la evaluación.
12. El metaevaluador
La función del metaevaluador es la de evaluar evaluaciones. Esto supone enjuiciar el valor y el mérito de todo lo que representa y hace la profesión: servicios de evaluación, utilización de las evaluaciones, preparación de la evaluación, investigación evaluativa y desarrollo organizativo.
El objetivo de la metaevaluación es asegurar la calidad de los servicios evaluativos, evitar enfrentarse a las prácticas ilegales o a los servicios que no son de interés público, señalar el camino para el perfeccionamiento de la profesión y promover una mayor comprensión de la empresa evaluativa.
Stufflebeam y Shinkfield (1987, 2002 y 2007), al identificar estos roles, establecen que los ocho primeros se corresponden con los roles desempeñados en una evaluación efectiva; y, el resto, con papeles secundarios orientados a la profesionalización de la evaluación. Es decir, mientras los primeros son necesarios para el desarrollo del proceso de evaluación, sin los cuales no se daría tal proceso; los segundos, contribuyen al perfeccionamiento o mejoramiento de la tarea evaluativa en aras de una profesionalización. Asimismo, Stufflebeam y Shinkfield establecen, en función de todos estos elementos, que la evaluación viene a ser un esfuerzo de grupo en el que se
integran todos estos roles, generando un espacio conformado por diversos profesionales que se vuelcan en la evaluación.
La identificación de estos roles realizada por los mencionados autores responde, desde mi punto de vista, a la observación empírica de un proceso evaluativo general dentro de un entramado organizativo. Es decir, esta clasificación se entiende o está pensada para organizaciones que quieren dar a la evaluación una cierta institucionalización, ya sea a nivel organizativo o, simplemente, a nivel de praxis evaluativa. No obstante, la clasificación es suficientemente amplia como para ser aplicada a cualquier tipo de evaluación. Considero, además, que está orientada a dar criterio para conformar un proceso de evaluación efectivo que dé resultados óptimos, ya que muestra diversos aspectos necesarios a tener en cuenta a la hora de evaluar.
Stufflebeam y Shinkfield (1985, 2002 y 2007) grafican de la siguiente manera la relación en interacción de los roles dentro de un esquema organizativo:
Tabla I.2.:
INTERACCIÓN DE ROLES EN EL PROCESO EVALUATIVO
Fuente: Stufflebeam y Shinkfield (1987 y 2002, 50; 2007)
Conforme se representa en este gráfico, en la figura del coordinador de la evaluación confluyen todas las relaciones existentes en el proceso evaluativo es decir, con él, y a través de él, interactúan todos los intervinientes. Podríamos afirmar que es como el “jefe” de la evaluación o el “responsable” de la misma cara a la organización y a los clientes respectivos. La instancia de coordinación sería el eje sobre el cual gira todo el proceso evaluativo, desde la planificación de la misma hasta la elaboración del informe final con sus conclusiones y recomendaciones.
Jefe de la organización Clientes y respondentes de la evaluación Coordinador de la evaluación Planificador de la evaluación Asistentes de la evaluación Especialistas en ayuda técnica Especialista en comunicación Especialista en información
Podemos apreciar que la distribución de roles atomiza el ámbito de agentes interesados, sobre todo, en la parte interna del proceso evaluativo es decir, desde el punto de vista de su organización. Esto contrasta con el planteamiento de Guba y Lincoln (1989, 14) que, se refiere más a la variedad de interesados desde un punto de vista externo a la evaluación es decir, desde una perspectiva de los interesados en el objeto de evaluación. Por tanto, desde mi punto de vista, la consideración de agentes en todo procesos evaluativo pasaría por estas dos coordenadas: interés y roles, ambos son aspectos que van establecer “quién es quién” en el proceso evaluativo.
Ahora, vistos los posibles agentes del proceso evaluativo, corresponde plantearse ¿qué van a hacer? así, entramos ya en el ámbito referente a los objetivos de la evaluación, tal como establecíamos en el apartado anterior. Es decir, nos estamos refiriendo a aquello que va a marcar el “norte” del proceso evaluativo, fundamentalmente, del evaluador en tanto agente del proceso.