Análisis de políticas y tipologías de evaluación

Los debates sobre evaluabilidad apuntados en el apartado anterior deben ser contemplados, por otra parte, a la luz de los distintos tipos de evaluación posibles. En este sentido, es preciso señalar que la literatura sobre este asunto distingue distintos tipos de evaluación según la etapa que se evalúa o el momento en que se realiza (evaluación ex ante, intermedia, y ex post); según el agente evaluador (evaluación interna, externa, mixta o participativa); según se refiera a una intervención (evaluación formativa) o se coloque en el marco de toda una estrategia de planificación (evaluación sumativa); o según el propio objeto que se examina (evaluación de resultados, de procesos, etc.) (González, 2005; Subirats et al., 2008).

Ciñéndonos a esta última distinción, señalaremos que, de acuerdo con la propuesta contenida en Unceta et al. (2011) en base a diversos textos y manuales existentes al respecto (González, 2005; MAEC, 2007; Pablos y Ortiz, 2009) podemos identificar cuatro grandes enfoques.

Por un lado está la Evaluación conceptual o de diseño la que tiene como objetivo el estudio de la racionalidad y la coherencia de la intervención, el examen del diagnóstico llevado a cabo y de la manera en que los objetivos han sido definidos, y en general analizar la lógica del modelo de intervención planteado verificando la consistencia del mismo.

En segundo lugar se encuentra la Evaluación del proceso de aplicación o de gestión, cuyo objetivo se centra en analizar la manera en que se gestiona y pone en práctica la cooperación en sus distintas modalidades y niveles de planificación. Se trata de una tipología asociada al estudio de la capacidad de gestión existente en los distintos centros gestores, contribuyendo a definir el papel de cada uno, la idoneidad de la organización o la adecuación en la dotación de recursos para dicha gestión.

A continuación cabe señalar la Evaluación de resultados que viene definida como aquella cuyo objetivo consiste en examinar hasta qué punto se ha avanzado en la consecución de los objetivos propuestos así como el coste humano, material, financiero y temporal requerido para ello.

Finalmente, en cuarto lugar, dentro de la Evaluación de impactos se plantea como objetivo el examen de los efectos generados a medio plazo sobre aquella realidad en la que se ha pretendido actuar mediante la cooperación. Se trata de un asunto sumamente complejo ya que debe profundizar –e identificar– las relaciones de causalidad específicas que puedan existir entre la intervención realizada y los cambios producidos.

Cuando se trata de examinar políticas de cooperación y no intervenciones específicas o más puntuales, parece obvia la imposibilidad de acometer una evaluación de impacto de carácter global ya que, como se ha señalado anteriormente, la misma comprende una gran diversidad de intervenciones que se llevan a cabo en múltiples escalas, en muy diversos lugares, en distintos tipos de sectores, y con objetivos específicos bastante variados. Además, dichos impactos pueden ser de muy diversa naturaleza lo que hace prácticamente imposible la suma de los mismos. Por ello, y de acuerdo con Unceta et al. (2011), consideramos inviable evaluar el impacto de la política en su conjunto, más allá del que tengan las diferentes intervenciones o los distintos programas de los que se compone, lo que obliga a desestimar esta tipología de evaluación para una investigación como la que aquí nos proponemos, centrada en el análisis de las políticas de cooperación de las CC.AA. españolas.

El debate sobre la evaluación de resultados plantea algunos problemas similares, aunque tiene aspectos que le confieren una mayor complejidad. Como señalan Unceta et al., 2011) la noción de resultados se presenta asociada al logro de determinados objetivos (eficacia) y a los costes diversos de dicho logro (eficiencia). El problema estriba en que el concepto de logro referido a las intervenciones (proyectos o programas) está claramente relacionado con los objetivos planteados para cada una de ellas, mientras que en el caso de las políticas dicho concepto podría contemplarse de distintas maneras. Por una parte como análisis de los mismos en términos agregados (p. ej. mediante el análisis del porcentaje de objetivos cumplidos por el conjunto de las intervenciones partiendo de los planteados, lo que plantea bastantes limitaciones dado que las intervenciones se llevan a cabo muchas veces en el marco de diferentes políticas –especialmente cuando se trata de proyectos financiados conjuntamente desde varias administraciones públicas y llevados a cabo por agentes privados–). Y por otra parte, algunos resultados de la política podrían considerarse también desde el punto de vista de los avances logrados en los medios dispuestos, en las relaciones desplegadas, y en el mejor aprovechamiento de determinados recursos, lo que, como apuntan Unceta et al. (2011) sugiere la existencia de un campo de análisis sobre la eficiencia de la política parcialmente distinto –aunque superpuesto– al del análisis de la eficiencia de cada intervención por separado, relacionada con los diversos costes asociados a la misma.

Una vez descartados los enfoques de evaluación de resultados y de impacto por su escasa adecuación al análisis de las políticas de cooperación de instituciones concretas, plantearemos alguna reflexión sobre las otras dos opciones planteadas (las evaluaciones de diseño, y de aplicación). Tanto uno como otro enfoque aportan elementos de interés a este respecto ya que permiten estudiar las políticas de cooperación sin las restricciones que, de cara a estudiar los resultados o el impacto, plantea su puesta en marcha en muy distintos contextos, sectores y territorios. Las tipologías centradas en el diseño y la gestión permiten por el contrario analizar las políticas de cooperación centrando la atención en cuestiones evaluables, como pueden ser la consistencia de las estrategias planteadas o la calidad de la gestión llevada a cabo desde las administraciones estudiadas.

En consecuencia, consideramos que los análisis de las políticas de Cooperación al Desarrollo impulsadas por diferentes tipos de administraciones pueden nutrirse de elementos presentes en algunos enfoques de evaluación, como pueden ser los relativos al diseño o a la gestión de tales políticas si bien, como veremos más adelante, puede ser de interés adoptar una óptica más amplia que la meramente evaluativa y más en la línea del Policy Analysis.