La evaluación ex-post y los SNIP: una mirada desde las políticas sociales

Rodrigo Martínez La presentación se enfoca desde las políticas sociales, en ese sentido no se trata de la evaluación social de proyectos, sino de la evaluación de proyectos, programas y políticas sociales. Las palabras parecen decir lo mismo, pero no lo son. Un primer elemento en este tipo de análisis es qué se entiende por evaluación, para poner un ejemplo muy simple, hay análisis en los que se entiende distintas cosas según la disciplina o de dónde se viene. Aquí existe una comunidad de sentido que permite enfocar un camino al que se intentarán sumar las ideas que se presentan a continuación desde afuera del eje de la conversación que ha habido hasta este momento.

El punto de partida no es desde la inversión. Recordando en los años 90 una discusión con el jefe de infraestructura en el Ministerio de Educación de Argentina indicándole que la escuela no es lo que importa, lo que importa está antes que eso, fue como descubrir la luz porque el foco para su trabajo era analizar la calidad de la construcción, los espacios, como se definían según la norma, independientemente si estaba cerca o lejos de la población, el terreno se lo habían dado, independientemente si había otra escuela a dos cuadras o dos kilómetros, si había transporte no era un tema. La conversación fue convencerlo que el problema tratado no era el problema.

Por tanto, había que partir desde otra visión, no es concebible evaluar proyectos y programas sin evaluar la política, no es posible analizar la parte sin entender el todo. A menudo se suele decir, los proyectos, los programas y una escala más arriba nada más las políticas.

La política es el todo, no es una escala más arriba, y en la escala más arriba es posible identificar al Plan, que pone en puntos y comas los objetivos que tiene esta política que se traduce en normativas, programas y proyectos específicos que tiene una unidad operativa, que se diferencia ya sea por características propias de la población, por el servicio que entrega, por el tipo de inversión que requiere.

Y en ese sentido, estas ideas manejan una mirada de la evaluación desde la gestión de la política social, definida como un sistema de toma de decisiones para la implementación de los componentes de una política social: los planes y sus normas, programas y proyectos. La gestión es lo que hace que esto último tenga vida y se traduce en un proceso donde se tiene un problema social, entendiéndolo como lo que motiva, justifica, la conjugación de un derecho, una brecha entre realidad y objetivo de la política, puede ser un conflicto entre comunidades sobre el cual se implementa la política y para ello la gestión social es la que lleva adelante esa implementación donde se tiene procesos, organización y productos que dan el resultado. De esto es esperable tener efectos o impactos lo que a veces se confunde.

En los programas de transferencia con condicionalidad, el efecto es lograr que la madre lleve a ese niño al centro de salud, ahora si mejora la salud de ese niño es un problema del impacto. Se suele pedir a la transferencia el resultado del servicio de salud y no se le pide el efecto, que es solo la transferencia, porque el servicio de salud no le entrega la transferencia y se confunde el objetivo con el instrumento de acercamiento al objetivo. Se ven evaluaciones, recurrentemente, en las listas de evaluaciones de programas de transferencia con condicionalidad en la región ese tipo de confusión entre el objetivo, si es de efecto o de impacto, porque se dice solamente impacto.

Antes que eso se confunde el producto y si lo que importa es la transferencia y qué sentido tiene, presentándose una realidad bastante variopinta.

Cuando se observan los efectos y los impactos, se tiene distintos tipos de impactos:

• Impactos sociales que tiene que ver con la razón de ser de esa política, sus programas, sus proyectos, etc.

• Impactos asociados, que producen efectos económicos, porque cuando se genera transferencia de recursos se genera demanda, y así no solo se logra que los niños y niñas vayan a la escuela, vayan al centro de salud, los vacunen, o compren alimentos; sino que al hacerlo generan demanda como efecto económico que se puede traducir en el crecimiento de un pequeño mercado, o en el aumento de precios y eventualmente la transferencia se va en la inflación local. Lo que ocurre es que cuando se habla de la parte económica, se refiere como efecto redistributivo.

Lo que se quiere decir es que la política, los programas y los proyectos tienen impactos, o no los tienen, en lo social pero también en lo económico y en lo medioambiental.

Por otra parte, la negativa, se tiene costos que la evaluación ex post suele omitir. Se trata de costos que son públicos o privados, eventualmente gasto público, costos directos o indirectos asociados al problema.

También se puede utilizar la evaluación para decir cuál es el costo de no hacer, la versión de la alternativa sin cambio, sin intervención, por ejemplo, el costo de no hacer una política de reducción del hambre y la desnutrición en Centroamérica y República Dominicana para el año 2004 equivalía al 6,7% del PIB, una variación entre el 1,5% y el 11% dependiendo del país. Más que una evaluación, necesitamos desarrollar en la línea de modelo de gestión por resultado un sistema de información de monitoreo y evaluación que permitan conectar una cosa con la otra.

Suele ocurrir en las evaluaciones una mirada que limita la toma de decisiones al indicar exclusivamente lo bueno o malo de los resultados, no se vinculan los resultados o impactos con el proceso. Ocurre también recurrentemente, que, dado los créditos o donaciones, se requiera de la realización de una evaluación con tiempos asociados a los tiempos de implementación, sin embargo, los impactos no tienen ese mismo tiempo.

Focalizando en el ciclo de vida de un proyecto y los tipos de evaluación, cuando se habla de evaluación ex post no solamente es una evaluación de impacto, sino que también incluye la evaluación de proceso, no solo en el después, sino que también en el durante, ergo es para una toma de decisiones concurrente para que sea efectiva.

Por otra parte, en la mirada de los modelos de evaluación de impacto con grupo de control y el grupo experimental, en lo social no existe grupo de control, es un grupo de comparación, lo estamos reconstruyendo. El modelo no es propiamente experimental, es cuasi experimental. Estas evaluaciones son muy positivas y aún más si son sinérgicas con los procesos de generación de conocimiento y de información y en ese sentido lo que podría aparecer como modelos “simples” o menos ortodoxos en términos de su calidad metodológica. Los pre-experimentales y las series cronológicas pueden ser de la mayor utilidad hoy día con BIG Data y la revolución tecnológica que nos da la posibilidad de avanzar de manera más confiable y dinámica en el tiempo.

Tomando en cuenta una mirada en el tiempo, para llegar al punto de este relato es que de los años 90 a esta parte los procesos se han dinamizado de manera importante. Hoy la cultura de la evaluación, existiendo múltiples brechas, no es un tema como lo era en aquellos años, donde la evaluación para unos era la evaluación ex ante de inversión y lo otro era imaginería, o la inversa que la evaluación era una evaluación ex post asociada a implementación o a análisis de conocimiento (investigación).

En resumen, lo que ha ocurrido es que las evaluaciones han estado centradas en programas y proyectos aisladas del monitoreo en general, no consideran los costos del problema, fuentes y métodos estadísticos de alta confiabilidad interna con muy buenos procesos, pero con debilidad en la capacidad inferencial, cuando están acotados a realidades específicas donde el contexto tiene mucha más incógnita que lo que controlamos dentro del programa o proyecto.

A partir de esto es necesario procurar un sistema de monitoreo y evaluación desde una lógica de la política que incorpore información de distintas fuentes, desde las encuestas de hogares, de demografía y salud, los mismos censos, etc., permitiendo generar sistemas de información para la toma de decisiones y del conocimiento donde la evaluación no sea una gran inversión, la inversión está en la infraestructura para generar ese sistema de información y donde se pueda hacer recurrentemente, evaluación concurrente contra esos datos para las distintas alternativas y no hacer una operación ad-hoc cada vez que queremos hacer una evaluación.

4. Cuestionamiento de los asistentes

¿Si la evaluación de proyectos hoy es a nivel de perfil, se requerirá una nueva evaluación una vez finalizada la factibilidad con más información para verificar la conveniencia, efectividad y eficiencia de proseguir con el proyecto?

La pregunta es un poco compleja, si la evaluación ex ante es a nivel de perfil, no se puede olvidar que de perfil a ejecución existe una amplia distancia. Todas las metodologías que han hecho los SNIP de Perú, Honduras, Colombia, Chile, son para tomar una decisión sobre si el proyecto debía entrar a un proceso de presupuesto, dándose normalmente unos 8 meses antes de la vigencia presupuestaria. Se debe hacer la pregunta ¿Qué pasa entre el perfil y la implementación? ¿Qué pasa entre el perfil y la prefactibilidad, factibilidad, el diseño?

Es decir, si no se hace nada entre el perfil y la implementación, el perfil no servirá para hacer una evaluación ex post. Si se va desde el perfil y se hace un ejercicio de diseño bien elaborado, ese diseño seguramente va a servir para hacer una línea de base que sirva para elaborar información en una evaluación posterior. Y si no se hace nada y es necesario hacer una evaluación ex post, lo primero que hay que hacer en esa evaluación es pensar de qué se trataba el proyecto al momento en que se ejecutó. Aquí es donde aparece el juego de los econometristas con sus números y modelos complejos que pueden sacar los “asteriscos”, dos asteriscos, tres asteriscos para decir esto era relevante sobre una supuesta situación hace x años atrás, los que tenga el proyecto.