Anteriormente hemos podido revisar en detalle el argumento que indica que existiría una brecha entre las perspectivas institucional y no institucional, y que esta dificultad se podría producir por una debilidad en la capacidad interpretativa de la primera respecto de la segunda, debido a las características sociales actuales. Al respecto, observamos cómo una evaluación participativa del tipo interactiva podría mejorar la condición hermeneútica.
comprender de mejor forma el resultado de un programa gubernamental desde la perspectiva de su receptor/ usuario/ beneficiario. Al respecto, creemos que el análisis del concepto de efectividad y su incorporación desde la perspectiva no institucional en la evaluación puede ser una forma de resolver la dificultad planteada por el argumento que hemos analizado. A continuación revisaremos estos elementos.
Cohen y Franco (1997) utilizan un concepto de efecto que indica que corresponde a todo
comportamiento o acontecimiento del que puede razonablemente decirse que ha sido influido por algún aspecto del programa o proyecto. De esta manera, un efecto puede ser esperado o no, positivo o negativo. Así, la idea de efecto “tiende a salirse” de una idea más controlada de resultado, para ubicarse en una posición de lo que ocurre de una forma más concreta. Por esta razón, la evaluación de la efectividad abre un espacio para recoger información por sobre la forma en que las perspectivas interesadas dan cuenta de este comportamiento influido por algún aspecto del programa. Entonces, la noción de efectividad es descrita por los autores como “el logro concreto o las acciones concretas conducentes a ese logro concreto de los fines, objetivos y metas deseadas”.
Desde nuestra perspectiva, el hecho de basarse en el efecto más que en el resultado programado abre una oportunidad para el rescate de la perspectiva no institucional y la visión de los usuarios/ beneficiarios/ receptores del programa sobre éste. Así, desde esta posición la mirada de este actor podría contribuir a profundizar el análisis y diagnóstico de los resultados de una intervención gubernamental.
Hacia una evaluación centrada en la efectividad.
De acuerdo a lo que hemos revisado y a la manera en que hemos interpretado este concepto a la luz de las ideas vistas anteriormente, es importante realizar un trabajo de operacionalización, de tal manera de aproximarnos a reconocer qué implicaría desarrollar una evaluación bajo esta perspectiva.
Al respecto, PNUD (2002) indica algunos aspectos que podrían ser de nuestro interés en su manual de Evaluación de Resultados. Aquí, se afirma que la evaluación aumenta la eficacia de una intervención, al vincular su pasado, presente y futuro y sus resultados. Así, el objetivo general de la evaluación sería la medición y análisis del desempeño, a fin de gestionar con eficacia los efectos y productos que son los resultados en materias de
desarrollo. De esta manera, se debe poner el acento en las contribuciones de los distintos factores al logro de un determinado efecto de desarrollo.
Así, el PNUD pone énfasis en una valoración aún más compleja de los resultados, sus efectos: “todas las evaluaciones necesitan vincularse con efectos, en contraposición a vincularse solo con la implementación o productos inmediatos” (2002, p. 7). Los efectos
son definidos como el cambio en las condiciones de desarrollo que PNUD se propone obtener por medio de sus programas y proyectos, e incorporan la producción de productos, así como la contribución de sus socios.
La evaluación de efectos propuesta por PNUD busca analizar cómo y por qué los efectos se consiguen o no, en un contexto determinado y en el marco de acción en que se produjo. Se centra, entonces, en cuestiones de importancia, eficacia, sostenibilidad y cambio, y el uso de su información, además de su utilidad para modificar pautas de acción, se orienta al aprendizaje y a exponer la responsabilidad.
¿Por qué tiene que ver con la perspectiva que hemos estado tratando? La propuesta de la evaluación sobre los efectos entrega importancia a profundizar en las razones y explicaciones que permiten comprender los factores que incidieron en el logro de los resultados alcanzados. Otro aspecto interesante, es que esta propuesta entrega valor a la fuente de la información –tal como se mencionaba al describir las características de la evaluación participativa- es decir, quién está diciendo que se logró o no un determinado resultado y cuál es el indicador que señala aquello. Al respecto, se manifiesta que en un proceso evaluativo se deberá recopilar la versión de las partes interesadas, a saber:
“incorporar los socios y demás interesados al proceso de selección de indicadores y metas, en la recolección y análisis de datos, como participantes en las misiones de campo o como miembros de un equipo de evaluación;
Utilizar fuentes de datos y estadísticas ya establecidas por los organismos claves asociados, lo que permite reducir gastos de recolección de datos;
Trabajar con los socios en el análisis de los avances y determinar el mejor modo de mejorar la estrategia colectiva” (2002, p. 13)
En el caso de los beneficiarios, PNUD valora el que estos provean información sobre la importancia y la calidad de los productos o servicios, y apoyo técnico durante las
requiere de la participación de sus involucrados, tanto los interesados de la parte institucional, como los que son receptores del programa. Estos actores se denominan “interesados” y se reconocen sus intereses, que no siempre pueden verse como intercambiables. En ese sentido, la decisión sobre quién participa en el proceso evaluativo necesariamente influirá en la forma en que se conciban los resultados y se estime que se logren dichos resultados. Esto puede hacer menos rápido el proceso, pero se estima que se gana en capacidad explicativa y en apropiación y utilización de la información obtenida. Tal como hemos podido observar, la noción de efectividad que proponemos entrega un rol de importancia a la perspectiva de los actores que se encuentran interesados en el programa y en su evaluación, especialmente aquellos más interesados en sus resultados, los usuarios/ beneficiarios/ receptores. A partir de esta posición más protagónica hay más posibilidades de rescatar la perspectiva no institucional, a partir de un trabajo más basado en la comprensión de la posición y expectativas de este actor. Esta parece ser una acción necesaria para que la perspectiva institucional mejore su capacidad interpretativa respecto a las expectativas y necesidades de la sociedad en general.
Con este último análisis finalizamos nuestro análisis conceptual. Así, habiendo ahondado en las características de la evaluación y en las perspectivas institucional y no institucional sobre ella, a continuación se describirá la metodología utilizada para llevar a cabo la investigación.