Programa de Estudios del Trabajo, el Ambiente y la Sociedad
Instituto de Investigaciones Socio Económicas Facultad de Ciencias Sociales
Universidad Nacional de San Juan
INFORME FINAL
Proyecto de Innovación (convocatoria 2011) - Código Res. 610-12-R
Director:
Dr. Pablo Rodríguez Bilella [email protected]
Co-‐Director:
Dr. Esteban Tapella [email protected]
Miembros del Equipo:
Lic.Cecilia Luna Lic. Laura Soledad Ganam
Lic. Valeria Ros Lic. Vanesa Castro
Dra. Sarui Lola Jaled de Allub Lic. Alejandra Lucero
Lic. Alicia Noemí Avellaneda
San Juan, Junio de 2014.
Marco Integral para el Monitoreo y Evaluación de Redes:
aportes para las redes de Desarrollo Rural en Argentina
¡Por favor no citar ni circular sin autorización de los autores!
Índice
INTRODUCCIÓN ... 3
ESTRUCTURA GENERAL DEL INFORME ... 3
DESARROLLO SOCIAL Y EVALUACIÓN EN CONTEXTOS COMPLEJOS ... 6
LÓGICAS DE INTERVENCIÓN Y CIENCIA DE LA COMPLEJIDAD ... 6
LOS PROCESOS DE CAMBIO SOCIAL ... 10
EL ESPACIO PARA LA INVESTIGACIÓN EVALUATIVA ... 14
LA INVESTIGACIÓN EVALUATIVA Y LOS ENFOQUES EMERGENTES DE EVALUACIÓN ... 18
INVESTIGACIÓN EVALUATIVA ... 18
ENFOQUES Y TIPOS DE EVALUACIÓN EMERGENTES ... 22
CARACTERIZACIÓN DEL MONITOREO Y EVALUACIÓN DE REDES ... 30
TEORÍA DEL CAMBIO Y EVALUACIÓN DE REDES ... 33
APROXIMACIÓN A LA TEORÍA DEL CAMBIO ... 34
PASOS PARA CONSTRUIR LA RUTA DE CAMBIO: ... 48
MONITOREO Y EVALUACIÓN DE LA TEORÍA DEL CAMBIO ... 57
ASPECTOS DE CALIDAD EN LA TEORÍA DEL CAMBIO ... 59
LA EVALUACIÓN ORIENTADA AL APRENDIZAJE: EL ENFOQUE DE LA SISTEMATIZACIÓN DE EXPERIENCIAS ... 62
RAÍCES DE LA SISTEMATIZACIÓN DE EXPERIENCIAS: SU VÍNCULO CON LA EVALUACIÓN Y LA GESTIÓN DEL CONOCIMIENTO ... 63
CONCEPTOS BÁSICOS Y CONSIDERACIONES METODOLÓGICAS SOBRE LA SISTEMATIZACIÓN DE EXPERIENCIAS .... 66
EL MÉTODO DE LA SISTEMATIZACIÓN DE EXPERIENCIAS ... 68
LA SISTEMATIZACIÓN DE EXPERIENCIAS COMO PROCESO PERMANENTE ... 73
EL TRABAJO CON REDES CHACO ... 75
CARACTERIZACIÓN DE REDES CHACO ... 75
FUNDAMENTANDO LA ELECCIÓN DEL ENFOQUE DE LA TEORÍA DEL CAMBIO ... 77
ACERCAMIENTO A LA CONSTRUCCIÓN DE LA TEORÍA DEL CAMBIO DE LA RED ... 79
EVALUACIÓN DE REDES DE DESARROLLO RURAL Y POLÍTICAS PÚBLICAS: CONTEXTO, USOS Y DESAFÍOS PARA LA POLÍTICA SOCIAL ARGENTINA ... 84
SURGIMIENTO Y EVOLUCIÓN DE LAS PRÁCTICAS DE EVALUACIÓN ... 85
CONTEXTO SOCIO HISTÓRICO DE LA EVALUACIÓN EN AMÉRICA LATINA ... 86
EVALUACIÓN DE POLÍTICA SOCIAL ¿DE QUÉ ESTAMOS HABLAMOS? ... 88
EVALUACIÓN DE LA POLÍTICA SOCIAL ARGENTINA: UNA MIRADA DESDE LOS DESAFÍOS ... 92
REFERENCIAS BIBLIOGRÁFICAS ... 95
Introducción
El presente informe da cuenta del trabajo y producción realizada en el marco del proyecto “Marco Integral para el Monitoreo y Evaluación de Redes: aportes para las redes de Desarrollo Rural en Argentina” desarrollado en el período 2012-‐2014 en el Instituto de Investigaciones Socio-‐Económicas, de la Facultad de Ciencias Sociales, Universidad Nacional de San Juan.A nivel de iniciativas de apoyo al desarrollo, existe desde hace unos 15 años un interés creciente por el apoyo a la creación y fortalecimiento de redes. A la par de ello, las iniciativas públicas y privadas de cambio social en su conjunto vienen experimentando una creciente demanda por la rendición de cuentas de sus resultados e impactos, asociada a una exigencia de mayor y mejor control de sus acciones. Los gobiernos, los donantes y los profesionales experimentan la presión de demostrar e informar sobre el impacto de sus trabajos.
Juntas, estas dos tendencias configuran un escenario de creciente interés por el monitoreo y la evaluación de impacto de las redes. Si bien un número importante de métodos, herramientas e indicadores han sido propuestos y desarrollados en respuesta a esta demanda, el número de expertos o profesionales que trabajan sobre este tema ha conformado una comunidad relativamente pequeña (Creech, 2001; Creech y Ramji, 2004). Resulta notable la falta de textos y ejemplos prácticos de cómo realizar la evaluación de redes, ya que socializar las lecciones aprendidas en dicho campo no ha sido una práctica extendida.
Esta situación configura un escenario donde el de seguimiento y evaluación de las redes sigue estando en su infancia, tanto en la teoría como en la práctica. Por tanto, el presente proyecto apuntó a cubrir este bache en el conocimiento y práctica del seguimiento y evaluación de redes, elaborando un marco general para el monitoreo y evaluación de redes, y testeándolo con redes de desarrollo rural con participación de pequeños y medianos productores.
El proyecto apuntó a trabajar en el espacio de clarificación teórico-‐metodológico que permitiera identificar las contribuciones de la investigación evaluativa y la sistematización de experiencias, acentuando a su vez las contribuciones que la teoría de la complejidad brinda en dicha discusión. En tal sentido partimos de entender tanto al desarrollo como a los procesos de cambio social encarados por redes de desarrollo rural como procesos complejos. Esto conlleva una atención especial al riesgo de usar herramientas en exceso simplificadoras para abordar dichas dificultades.
Estructura general del informe
para el monitoreo y evaluación de las mismas, testeándolo con redes de desarrollo rural con participación de pequeños y medianos productores.
Para ello, y luego de esta introducción, el capítulo 1 presenta la conceptualización del paradigma de la complejidad en relación con las prácticas de intervención en escenarios de desarrollo social. Se da cuenta del mismo con atención tanto a la elucidación conceptual como a la atención a los aspectos prácticos relevantes de toda intervención planificada de desarrollo social. Esto se vinculará con el análisis de procesos de cambio social, presentando una tipología y dando cuenta de la pertinencia de diferentes instrumentos metodológicos para el abordaje de cada uno de ellos.
El capítulo 2 propone una mirada teórica y práctica a la investigación evaluativa, como forma de acceso original al monitoreo y evaluación de redes de desarrollo social. Para ello, se analizan distintos enfoques, modelos o tipos de evaluación emergentes que existen en relación con la temática objeto de estudio. Particular atención se presenta a las dificultades y desafíos que presenta el monitoreo y evaluación de redes, a fin de dar cuenta del escenario en el cual se postula el marco general trabajado en este proyecto. Dicha clarificación permite presentar las dos propuestas generales trabajadas en el marco de esta investigación: la teoría del cambio y la sistematización de experiencias.
El capítulo 3 presenta el enfoque de la teoría del cambio, como un marco adecuado para la evaluación de redes. En este capítulo se detalla el abordaje en terreno realizado con una red de redes de desarrollo rural en el norte Argentino, y las posibilidades del enfoque son contrastadas con la práctica de su implementación.
El capítulo 4 da cuenta de la segunda propuesta aportada desde este proyecto, la que se caracterizar por ser un enfoque orientado al aprendizaje, la sistematización de experiencias. Se trata de una estrategia multisectorial para evaluar las intervenciones de desarrollo con énfasis en las lecciones aprendidas. Además de destacar brevemente las raíces de la sistematización de experiencias en América Latina, así como sus similitudes con ciertas tendencias en el campo de la gestión del conocimiento (KM) y la evaluación, el capítulo presenta conceptos básicos y consideraciones metodológicas sobre la sistematización de experiencias de desarrollo. Reconociendo la existencia de diversos enfoques metodológicos de sistematización de experiencias, el artículo presenta el método de base que se ha aplicado en diferentes proyectos, basado tanto en la experiencia de los autores, así como en el trabajo de otros practicantes. El mismo constituye así un marco para el monitoreo y la evaluación de las redes de desarrollo rural.
El capítulo 5 presenta el trabajo realizado con Redes Chaco a fin de hacer operativo el enfoque de la Teoría del Cambio, así como los avances realizados en relación a la sistematización de experiencias.
CAPITULO 1
Desarrollo Social y Evaluación en contextos complejos
Este capítulo presenta la conceptualización del paradigma de la complejidad, en relación con las prácticas de intervención en escenarios de desarrollo social. Como tal, está presentado con atención tanto a la elucidación conceptual como a la atención a los aspectos prácticos relevantes de toda intervención planificada de desarrollo social.
Inicialmente se analizará la lógica de intervención lineal en las instancias de desarrollo, dando cuenta de su incompatibilidad con el contexto complejo de la realidad social. Esto se vinculará con el análisis de procesos de cambio social, presentando una tipología y dando cuenta de la pertinencia de diferentes instrumentos metodológicos para el abordaje de cada uno de ellos.
Lógicas de intervención y ciencia de la complejidad
Toda organización de cambio social procura alcanzar un "impacto" efectivo como fruto de su trabajo. Una concepción común en el mundo del desarrollo es la creencia en un lógica simple de causa y efecto entre lo que una organización orientada al cambio social hace, y el cambio que efectivamente sucede. Dicha lógica lineal –muchas veces conveniente para simplificar los procesos de planificación -‐ ve al mundo desde la perspectiva de sus propios instrumentos y no tiene en cuenta la complejidad inherente de los cambios sociales.
La lógica y los modelos de intervención lineales podrían tener mayor sentido si el cambio social fuera un problema "duro", factible de un abordaje que dé cuenta de objetivos y soluciones ingenieriles. Sin embargo, el cambio social no es sencillo, como lo saben y experimentan las organizaciones que se preguntan cómo actuar ante situaciones difíciles y demandantes (niñez en la calle, cambio climático, violencia doméstica, pobreza, etc.). Estos problemas tienen una naturaleza distinta a la que plantean la construcción de puentes o de diques, ya que cuentan con una multiplicidad de actores, quienes difieren tanto sobre la naturaleza de los problemas así como respecto a cuál sería la mejor respuesta para los mismos.
descartada o relegada a un lugar marginal, lo que es facilitado por las herramientas y técnicas que muchas veces usamos. El punto clave es que tratamos a las cosas complejas como si fueran simplemente complicadas.
Para entender el enmarañado proceso de cambio social, la ciencia de la complejidad nos ofrece ideas que no son tan fáciles de derivar de las concepciones tradicionales del cambio social. La ciencia de la complejidad abarca el estudio de los fenómenos sociales complejos, especialmente aquellos que involucran múltiples interacciones entre diversos agentes y actores en el tiempo, y cuyos resultados no son fácilmente predecibles. Este enfoque de la complejidad es crecientemente utilizado como marco para analizar las interacciones entre agentes en sistemas tan diversos como los mercados de valores, el cuerpo humano, los ecosistemas forestales, las empresas manufactureras, el sistema inmunológico, y las instituciones sociales, entre otros.
El paradigma o teoría de la Complejidad aspira a abordar el entramado de las diversas dimensiones sobre las que se organiza la realidad como un “todo”, develando la futilidad del supuesto de que las intervenciones de desarrollo tienen más control sobre sus fines deseados de lo que realmente hacen. Una de las premisas básicas de la teoría de la complejidad aplicada al cambio social es que las direcciones en su desarrollo tienen a menudo poco que ver con los objetivos pre-‐establecido y bien planificados de las intervenciones sociales. Los enfoques centrados en proyectos tienden a basarse en una lógica lineal, de causa-‐efecto, sin dar debida cuenta de la emergencia, flexibilidad, adaptabilidad e innovación necesarias para hacer frente a la complejidad.
En tal sentido, la teoría de la complejidad cuestiona el rol absoluto muchas veces dado a la planificación y el control en situaciones de desarrollo. Dichos factores son coherentes y se corresponden con el paradigma mecanicista que durante siglos dominó el conocimiento, pretendiendo explicar la realidad en función de un solo aspecto de ella: hay “una” causa que produce un efecto; a la acción le sigue la reacción.
Como ejemplos ampliamente difundidos de estas situaciones o sistemas (ver Figura Nº1 1), se han citado como Simple: la elaboración de una torta; como Complicado: el envío de un cohete a la Luna; y como Complejo: la crianza de un niño. En el sistema Simple, las relaciones de Causa a Efecto son fácilmente identificables, en el sistema Complicado, para identificar la relación causa-‐efecto se requiere el análisis, la investigación y/o la ayuda experta. En las situaciones o sistemas Complejos, la relación causa-‐efecto solo puede ser percibida en retrospectiva.
Figura Nº1. Gráfico aportado por Ricardo Wilson-‐Grau (2011)
Suelen plantearse dificultades para diferenciar los sistemas o situaciones complicadas de las complejas. Snowden, uno de los teóricos que más ha aportado a estas discusiones, señala que es la misma diferencia que existe entre un Ferrari y la selva tropical húmeda de la Amazonia brasileña. Un Ferrari es una máquina muy complicada, pero un mecánico experto podría desmontarlo y volverlo a montar sin que cambiase nada. El coche es 'estático', y en él el todo es la suma de las partes. La selva tropical, por otro lado, está en constante flujo y su evolución es impredecible: el todo es más que la suma de las partes. El domino de lo Complejo es el dominio de los "Desconocidos Desconocidos", vale decir, ni siquiera sabemos qué es lo que desconocemos.
A la vez que es importante reconocer qué funciona en la promoción del cambio social y usarlo como fuente de inspiración para otras intervenciones, es arriesgado generalizar y/o replicar intervenciones exitosas en un nuevo contexto. Incluso en la misma localidad, una misma intervención no tendrá los mismos resultados dos veces. . El medio ambiente y la comunidad están en constante cambio, los actores sociales -‐a diferencia de los robots-‐ no reaccionan de la misma manera. Por tanto, en lugar de buscar fórmulas para el cambio social, puede ser más relevante entender los procesos que llevaron a las intervenciones a producir resultados positivos.
El dominio de lo Complejo es en el que se encuentran gran parte de los sistemas en los que los humanos desarrollamos nuestras existencias. La mayor parte de las situaciones o decisiones que afrontamos en nuestras organizaciones se desarrollan ahí, porque cualquier cambio de cierta entidad introduce impredecibilidad en la evolución del sistema. En este dominio sólo podemos entender por qué han ocurrido las cosas y cómo lo han hecho a posteriori, en retrospectiva. Pero también podemos aprender a manejar las pautas, patrones o esquemas que emergen como consecuencia de la dinámica propia de la situación.
La Complejidad puede estar presente en menor o mayor grado en todas las situaciones de la vida, y puede resultar arriesgado tratar de ajustar forzadamente una situación dada a una sola categoría. En tal sentido es más realista considerar que una misma situación (o una intervención social) puede presentar áreas Simples, otras Complicadas, otras Complejas y que el propósito general debería ser evitar que ésta se convierta en Caótica.
No todos los procesos de cambio son complejos. Por ejemplo: en una campaña de vacunación, la relación causal entre la actividad y el resultado es bastante sencilla, lineal y predecible. Cuando un proceso de cambio y su contexto son de naturaleza sencilla y el actor tiene control sobre la mayoría de los factores en juego, la teoría de cambio es sencilla y lo apropiado para planificar y monitorear el proceso es una herramienta de planificación como el marco lógico. No obstante, operar en procesos de cambio complejos requiere una teoría de cambio que permita entender múltiples relaciones causales, consecuencias intencionadas y no intencionadas, así como los efectos directos e indirectos de lo que hacemos.
Los Procesos de Cambio Social
A pesar de la existencia de numerosas teorías que documentan cómo se produce el cambio social, no hay un acuerdo general sobre lo que el mismo significa. ¿Cómo se define un cambio deseable, cómo ocurre el cambio, cómo se debe promoverlo, y cuál es la mejor forma de medirlo? Aquí entenderemos al cambio social como aquel proceso a largo plazo, complejo, contradictorio y colectivo, mediante el cual las personas definen quiénes son, qué quieren y necesitan, y cómo van a trabajar juntos para conseguir lo que necesitan para mejorar sus vidas. Si bien el concepto puede aplicarse también a cambios individuales de comportamiento en un grupo o comunidad, la noción que utilizamos aquí se refiere a la interacción de cambios individuales y colectivos realizados por y para los grupos involucrados.
Siguiendo a Reeler (2007), podemos identificar tres tipos de cambio social. Los mismos deben ser entendidos como descripciones de cambio social existentes, y no prescripciones, y son parte inherente del desarrollo de un ser social. Si son utilizados para leer con mayor precisión la naturaleza del cambio en un ser social, los tipos de cambio sugieren enfoques de trabajo que tienen más probabilidades de responder con éxito a las realidades que se despliegan sobre el terreno. Pero la primera tarea debe ser entender lo que está sucediendo, antes de rápidamente buscar la respuesta a alguna necesidad identificada, procurando ubicar el proceso en el cual los actores locales relevantes se encuentran.
Cambios emergentes: Se hace camino al andar, como decía el poeta. Son aquéllos que se dan en nuestro desenvolvimiento diario de la vida. Son procesos adaptativos e irregulares basados en el aprendizaje experiencial, y que se dan como consecuencia de los cambios inesperados y/o no planificados que surgen de esta dinámica vivencial. Esto se aplica a individuos, familias, comunidades, organizaciones y sociedades para adaptarse a las realidades cambiantes, de tratar de mejorar y ampliar lo que saben y hacen, de construir sobre lo que está, paso a paso, sin certezas, pero aún así aprendiendo y adaptándose, bien o mal. Las situaciones emergentes requieren relaciones de trabajo con agentes externos que pueden caracterizarse como aprendizaje de acompañamiento.
Hay un sinnúmero de estrategias y métodos utilizados por los practicantes o líderes para abordar los cambios emergentes (investigación-‐acción participativa, el aprendizaje basado en los activos, la investigación apreciativa, el entrenamiento, mentoring, etc.). Muchos de esos métodos han adoptado la lógica del ciclo acción/aprendizaje: hacer, observar, reflexionar, aprender, re-‐planificar antes de hacer la siguiente cosa. En otras palabras, implica un enfoque que acompaña y tiene por objeto mejorar los procesos existentes de cambio, así como favorecer el surgimiento de potencialidades a través del aprendizaje continuo.
impulsada por los cambios en el contexto: política exterior, economía, cultura, contextos ambientales. Por ejemplo, miles de maestros en Sudáfrica a fines de los 1990s debieron verse con crisis de disciplina cuando los castigos corporales fueron repentinamente prohibidos por ley. La crisis y el estancamiento preparan el terreno para el cambio. Este tipo de cambio –a diferencia del cambio emergente centrado en el aprender-‐ se basa en el des-‐aprender y en liberarse de aquellas mentalidades, relaciones, identidades, instituciones formales y no formales, etc. que obstaculizan la probabilidad de cristalización de nuevas realidades más justas y equitativas en términos políticos, sociales y económicos. Para los practicantes o profesionales de la acción, comprender los procesos de cambio transformativo existentes demandan prestar una especial atención a las relaciones y su dinámica, las que son por su propia naturaleza aspectos contestados, negados o escondidos, y resistentes a ser examinados. Dicho análisis puede llevar tiempo, esfuerzo y requiere paciencia y apertura hacia cambios repentinos de perspectiva a medida que las distintas capas de la situación y su historia se van descubriendo. Podemos caracterizar el trabajar con cambios transformativos como facilitar el des-‐aprender.
Cambios proyectables. Son los cambios basados en problemas simples o complicados que se pueden resolver mediante proyectos concretos y acciones planificadas desde una lógica lineal. Como seres humanos (dentro o fuera del sector de desarrollo) perseguimos enfoques proyectables para nuestro propio desarrollo, individual o colectivo, planificando y ejecutando proyectos, desde pequeños a grandes. El cambio proyectable, a través de proyectos, tiende a tener éxito donde los problemas, necesidades y posibilidades son más visibles, en condiciones relativamente estables y en relaciones que no están en crisis o estancamiento. Sobre todo, cuando el entorno interno y externo en las relaciones de un sistema son lo suficientemente coherentes, estables y previsibles; y donde los resultados imprevisible no representan una amenaza a los resultados deseados, entonces las condiciones para el cambio proyectable surgen y un proyecto bien planificado empieza a ser posible.
Vale destacar dos orientaciones donde el cambio proyectable domina. Una se caracteriza por un enfoque basado en problemas, fundamentalmente la identificación de problemas y la búsqueda de una solución. Por ejemplo, un grifo que se rompe es identificado y se encuentra una solución. Un cambio basado en problemas trabaja lógicamente con planes desde el presente hacia el futuro. La otra orientación se caracteriza por un cambio creativo que la gente imagina o bien visualiza resultados deseados, no como una solución directa, sino como una nueva situación en la que los viejos problemas son menos o nada relevantes -‐ un salto de la imaginación hacia el futuro. En lugar de buscar un arreglo directo al grifo roto, una nueva fuente de agua puede ser creada o buscada, lo que hace de aquel un problema irrelevante. Un cambio proyectable creativo comienza en el futuro, planifica para llegar allá vía la elaboración de peldaños hacia los resultados deseados. Los peldaños pueden pivotear entre ser fuertemente planificados o vagamente descriptos a medida que las personas descubren su camino, guiados y motivados por la visión que ellos han creado.
comunidades. Podemos caracterizar el trabajar con el cambio proyectable en su primera orientación como apoyo a la planificación y ejecución. La segunda orientación del cambio proyectable caracterizan perfectamente al “cambio deseado” del acercamiento metodológico de la Teoría del Cambio.
En este punto es valioso el aporte de Reeler en cuanto no hay situación que contenga un conjunto exclusivo de condiciones de cambio o un tipo particular de procesos de cambio inherente -‐ siempre hay configuraciones complejas. Sin embargo, ciertas condiciones se hacen dominantes y pueden sostener o incluso precipitar un tipo de cambio o el impulso sobre otro para mantener el centro de gravedad de los procesos de desarrollo. Para el o la practicante, esto significa que no hay una lectura simple de los procesos de cambio y necesitará estar atento al movimiento de cambio -‐ un desafío para mantenerse leyendo la situación y adaptar la práctica en consecuencia.
El Cambio Social puede ser entendido al menos desde cuatro dimensiones, de acuerdo éste se centre en el cambio individual, las relaciones, las estructuras, o la cultura. Cada dimensión puede estar representando más nítidamente el enfoque que están tomando en su trabajo actual los actores de las intervenciones de desarrollo. La reflexión de los miembros de la organización sobre estos asuntos es muy relevante en el inicio de la elaboración de su planificación estratégica o Teoría del Cambio, ya que dicha reflexión permite explorar los supuestos y prácticas de las organizaciones en su vinculación con el cambio social en general, y el cambio social en particular al cual la intervención social apuntará.
En este sentido, resulta clave plantearse un ejercicio al interior de la organización donde los distintos actores de la intervención social puedan reflexionar sobre su posicionamiento en relación al cambio social. El trabajar sobre los supuestos y orientaciones hacia el cambio de cada uno de ellos se convierte en un insumo muy importante para pensar a su vez el cambio al cual tiende la organización. Esta tarea de trabajo sobre supuestos y orientaciones es básicamente un ejercicio de explicitación de los valores y los principios que cada uno es portador. Sin embargo, funciona al mismo tiempo como un ejercicio de auto-‐conocimiento, pues al llevarnos hacia dicha explicitación, debemos traer al plano de la conciencia y del discurso lo que muchas veces damos por sentado y naturalizamos en nuestra acción en la organización. Sin este paso de auto-‐clarificación tanto a nivel individual como colectivo, las decisiones sobre el cambio deseado carecerían de un sustento firme y compartido. Se correría también el riesgo de que los integrantes de la organización asumieran que persiguen un fin consensuado, cuando en realidad éste puede estar siendo entendido de manera distinta por diferentes personas.
están todos los participantes ubicados, se brinda un tiempo para dialogar entre las personas que comparten el mismo cuadro, compartiendo sus razones de ubicarse ahí y su comprensión de dicha dimensión, para posteriormente en plenario se hace una puesta en común.
INDIVIDUAL
− Énfasis en la transformación personal
− Ayudar a las personas a crecer y desarrollar una mayor autoconciencia
− Educación para ampliar la base de
conocimientos
− Capacitación para ampliar la base de
competencias
− Atención a la salud mental y espiritual, y al crecimiento
− Explicitar y examinar hipótesis, mentalidades,
modelos mentales
− Transformaciones no sólo en "lo que" se
sabe, sino "cómo" se sabe (epistemología)
RELACIONES
− Transformación de las relaciones
− Reconciliación / transformación de conflictos
− Fomento de la confianza
− Promoción del respeto y el reconocimiento
− Aumento de conocimiento y conciencia de interdependencia
− Cambiar patrones de relaciones
disfuncionales
CULTURA
− Transformación de patrones colectivos de
pensamiento y acción
− Cambiar las "reglas" y los valores que
sustentan patrones de exclusión
− Exploración y transformación de hábitos colectivos de pensamiento y comportamiento
− Promoción de una cultura más incluyente y
participativa de "compromisos cívicos"
− Transformación de patrones de discursos simplistas y distorsionados.
ESTRUCTURAS / SISTEMAS
− Transformación de estructuras, procesos,
y mecanismos
− Presión por políticas más justas, mayor
transparencia y responsabilidad, y la reorganización institucional
− Asignación de recursos y servicios de una
manera más justa y equitativa a procesos de reforma
Figura Nº 2. Cuatro dimensiones del cambio profundo y sostenible
El espacio para la investigación evaluativa
Durante la última década ha crecido en importancia y presencia el movimiento tendiente a alcanzar políticas basadas en la evidencia. Éste sostiene que los hacedores de política deberían tomar sus decisiones sobre la base de la mejor evidencia disponible respecto a “qué funciona”, y no sobre la base de ideologías o en respuesta a intereses particulares. Uno de sus supuestos base es que no toda la evidencia ha sido lo suficientemente rigurosa como para brindar certezas en la toma de decisiones, por tanto se acentuó la orientación en pos de apuntalar determinados enfoques y metodologías que, dado su planteo riguroso, llevaran a resultados superadores. Este contexto general ha favorecido el debate y la discusión sobre la evaluación (y en particular de la evaluación de impacto) desde diferentes ámbitos y espacios (políticos, académicos, sociales, etc.).
Es así que el crecimiento en número de las evaluaciones en la última década ha sido notable, a la par con la preocupación por la calidad de sus métodos, conclusiones y recomendaciones. Un elemento recurrente da cuenta del alto costo que dichas evaluaciones suelen conllevar, junto a un contexto de su realización donde son comunes las limitaciones de tiempo, información y –en ocasiones-‐ respaldo político. Dadas dichas limitaciones, corresponde entonces reflexionar a fin de optar por el diseño más riguroso posible en función de las limitaciones existentes. Una buena evaluación alcanza el equilibrio entre los imperativos de utilidad y orientación práctica, rigurosidad, y respeto a los principios éticos.
La relevancia creciente que ha ganado la evaluación se corresponde con las razones que dan cuenta de su importancia. Conocer el impacto de una intervención particular (un programa, un proyecto) facilita la toma de decisiones respecto a su continuidad, su modificación, o bien su finalización. Cualquiera sea el curso a tomar, la evaluación debería facilitar el aprendizaje respecto a cómo replicar o aumentar la escala de una experiencia piloto, incluso brindando criterios para su adaptación a otro contexto. Junto con este componente de aprendizaje está el componente de rendición de cuentas de la intervención, tanto para los que la financian (donantes, recursos públicos, etc.) a fin de mostrar que los recursos se están invirtiendo prudentemente, como también hacia distintos actores sociales (comunidades, beneficiarios, organizaciones de la sociedad civil).
En círculos académicos y políticos se ha dado un intenso debate respecto a qué debería considerarse una evaluación de rigurosa. Este debate ha tendido a polarizarse entre los que postulan la aplicación de métodos experimentales y cuasi-‐experimentales, versus quienes postulan una mayor amplitud y pertinencia en el uso de otros acercamientos metodológicos.1. Los primeros han sido referidos en la literatura como “randomistas”, en referencia al apego a la metodología de las pruebas aleatorias controladas (randomized control trials, o RCT por sus siglas en Inglés), sosteniendo que la aleatorización es el único medio capaz de garantizar que el sesgo de selección no observable sea tenido en cuenta. Vale decir, la elección de quiénes serán beneficiarios de una intervención determinada versus la elección de quiénes conformarán un grupo control, debe ser hecha al azar y partiendo de un universo común de actores: todos deberían tener las mismas chances de terminar en un grupo o en el otro.
En la vereda opuesta a los randomistas se sitúan aquellos que sostienen que la aleatorización es excepcionalmente apropiada para ser usada en la evaluación de intervenciones de desarrollo, sugiriendo que apenas un 5% de los programas de desarrollo son factibles de ser evaluados mediante un diseño del tipo RCT.2 E incluso cuando sí es apropiado el uso de ese tipo de diseño, el uso de los contrafactuales apenas permite responder preguntas contingentes y asociadas a contextos particulares, y que sus hallazgos no pueden ser usados para generalizar en otros escenarios (lo que suele denominarse una baja validez externa3), a menos que sean acompañados por un conocimiento más minucioso de los mecanismos causales operantes en el proceso que va de la posible causa al efecto.4
1 Los enfoques experimentales y cuasi-‐experimentales son muy similares en sus desarrollos, siendo la principal diferencia la perspectiva desde la cual se plantea la identificación de los grupos poblacionales factuales (aquellos beneficiarios de la intervención) y contra factuales (denominados grupos control y comparativo, respectivamente).Mientras que el acercamiento experimental procura una separación efectiva de la población, definiendo grupo factual y tratamiento o control antes de iniciar la intervención, la perspectiva cuasi-‐experimental busca recrear dicha distinción de beneficiarios y no beneficiarios con características similares que puedan ser comparados de forma unipersonal para establecer diferencias estadísticas en las variables que se desea testear.
2 Bamberger, M., Rugh, J. and Mabry, L. (2006) RealWorld Evaluation. Thousand Oaks, CA: Sage Publications.
Rugh, J. and Wally, N. (2011) What´s involved in “Rigours impact evaluation”? NONIE Conference, Paris. 3 Ravallion M (2009). Should the randomistas rule? The Economists' Voice. 6 (2): 1–5. 4 Un aporte adicional brinda la reflexión de Rick Davies sobre contrafactuales relativos versus absolutes “Relative rather than absolute counterfactuals: A more useful alternative?”, disponible en
En la esfera de la evaluación del desarrollo internacional, los avances realizados en el campo de la evaluación han sido importantes, si bien ha existido una mirada crítica de distintos actores y organizaciones de evaluación5 sobre el exagerado énfasis dado a los diseños
experimentales y cuasi-‐experimentales de evaluación sobre otros. En este sentido, los contrafactuales -‐íntimamente asociados a la metodología RCT-‐ son una de las formas más discutidas para pensar la causalidad en la evaluación. De algún modo, sus propulsores han logrado apoderarse del calificativo “riguroso” para caracterizar su metodología, en oposición a otras que usarían acercamientos más “blandos”.
Un acercamiento muy valioso a una reflexión más amplia sobre estos puntos ha sido el estudio encargado por el Departamento para el Desarrollo Internacional (DfID) del gobierno británico, titulado “Ampliando el rango de diseños y métodos para la evaluación de impacto” (material en Inglés), conducido por el Dr. Elliot Stern junto a un equipo de destacados evaluadores internacionales. Ellos dicen:
“Pero los supuestos del pensamiento contrafáctico no siempre se sostienen (por ejemplo, puede ser difícil o imposible la búsqueda de una coincidencia idéntica para el mundo factual, esto es, el mundo en el que han sido la causa y el efecto observados), e incluso cuando lo hacen, los contrafácticos asocian un causa con un efecto determinado, sin proporcionar información sobre lo que ocurre en el medio: cómo es el efecto producido. Esta información puede ser importante para los propósitos de atribución, porque conociendo sólo el principio y el final del proceso causal puede no ser suficientemente minucioso en algunas situaciones. (Stern et al., 2012:7)
Esta idea de la insuficiencia en conocer apenas los extremos del proceso causal es lo que ha sido referido muchas veces como “caja negra”, en la cual conocemos los insumos por un lado y los resultados finales por otro, pero el cómo se pasa de uno a otro se pierde en el medio, y queda indescifrable. En tal sentido es muy interesante ver algunas confluencias crecientes de parte de instituciones y organismos que han apostado fuerte por la preferencia hacia diseños experimentales y cuasi-‐experimentales, pero que empiezan a hacer explícito la necesidad de contar con una buena teoría del cambio.
En el caso del BID, cuya definición de la evaluación rigurosa considera que la misma apunta a determinar el efecto causal neto de una intervención en un indicador de interés, no limita la conceptualización a dichos elementos. Complementan su concepto de la evaluación
5 Developing an inclusive approach to evaluating the impact or effects of policy and development interventions, Murray Saunders on behalf of IOCE, accesible en
sosteniendo que no se pregunta únicamente si existió un efecto causal neto, sino también la causa por la cual se produjo (o no) dicho efecto. A tal fin, resulta importante explicitar la lógica del proyecto y analizar la existencia de otros mecanismos y variables.
En el mismo sentido se explaya Howard White, director ejecutivo de 3iE, quien reconoce la necesidad de una buena teoría del cambio para sostener los diseños de evaluación6. En muchos casos, sino la mayoría, dicha teoría del cambio permite hacer explícitos los supuestos en las distintas etapas de la implementación del proyecto, si bien no suele recogerse información de modo sistemático a lo largo de la cadena causal. En un próximo capítulo se profundizará tanto los elementos de la investigación evaluativa, como los aportes que una teoría del cambio puede brindar al monitoreo y evaluación de redes.
CAPITULO 2
La Investigación Evaluativa y los enfoques
emergentes de Evaluación
Este capítulo presenta a la Investigación Evaluativa como una herramienta necesaria para mejorar los resultados y procesos de las intervenciones profesionales, y de esta forma contribuir al desarrollo social y al bienestar ciudadano. Como se verá, la investigación evaluativa se equipara a otras formas de investigación social, pero la especificidad viene de los objetivos y de las condiciones de realización, el evaluador se ve obligado a trabajar en el contexto natural del programa.
En la segunda sección se presentan diversos enfoques, modelos o tipos de evaluación que pueden ser considerados emergentes e innovadores.
Sobre dicha base, en la tercera y última sección del capítulo se da cuenta de las particularidades que presenta el monitoreo y evaluación de redes, sobre el cual presentaremos dos aportes que conforman un marco pertinente para dicho fin.
Investigación Evaluativa
La investigación evaluativa se convierte, en la actualidad, en una importante fuente de conocimientos y directrices, en las diversas actividades e instituciones de las sociedades modernas porque indica el grado de eficiencia o deficiencia de los programas y señala el camino para su reformulación y valoración del éxito alcanzado por los esfuerzos realizados. Se vale de los métodos y el instrumental de la investigación social; por lo tanto, su desarrollo sigue sus mismas evoluciones, lo cual le permite una aproximación permanente a criterios de cientificidad. (Correa Uribe, Puerta Zapata y Restrepo Gómez, 2002)
Siguiendo a (Suchman, 1967: 119). “La investigación evaluativa es un tipo especial de investigación aplicada cuya meta, a diferencia de la investigación básica, no es el descubrimiento del conocimiento. Poniendo principalmente el énfasis en la utilidad, la investigación evaluativa debe proporcionar información para la planificación del programa, su realización y su desarrollo. La investigación evaluativa asume también las particulares características de la investigación aplicada, que permite que las predicciones se conviertan en un resultado de la investigación. Las recomendaciones que se hacen en los informes evaluativos son, por otra parte, ejemplos de predicción”.
proporcionar la información básica para planificar y, si es necesario, re planificar los programas. Así como la investigación tradicional suele conducir hacia una comprensión más amplia de los procesos básicos, la investigación evaluativa debe “conducir a una mayor comprensión de los procesos aplicados o administrativos”.
Uno de los máximos referentes en el campo de la investigación evaluativa ha sido Carol H. Weiss (1985, p. 16), quien plantea como propósito de la investigación evaluativa “medir los efectos de un programa por comparación con las metas que se propuso alcanzar, a fin de contribuir a la toma de decisiones subsiguientes acerca del programa y para mejorar la programación futura”. Aparecen aquí cuatro rasgos primordiales: la expresión “medir” hace referencia a la metodología de la evaluación que se emplea. La expresión “los efectos” hace hincapié en los resultados del programa. La “comparación” de los efectos con las metas subraya el uso de criterios explícitos para juzgar hasta qué punto el programa está marchando bien. La “contribución” a la toma de decisiones subsiguientes y al mejoramiento de la programación futura denota la finalidad social de la evaluación.
Asimismo, enfatiza el obligado entorno político de la investigación evaluativa. No basta hablar de entorno social, es necesario hablar de entorno sociopolítico. En primer lugar, porque la investigación evaluativa trata con objetos, programas, instituciones, etc., que son criaturas políticas, de impacto político. En segundo lugar, porque la evaluación se hace para alimentar la toma de decisiones y, por lo tanto, sus informes entran en la arena política, compitiendo con otros elementos y factores intervinientes en el proceso. Finalmente y en tercer lugar, por algo que según Weiss es menos reconocido, esto es, porque la propia evaluación tiene un sentido político en sí misma. Por su propia naturaleza, la evaluación toma posiciones políticas implícitas sobre la naturaleza de los programas, la legitimidad de sus objetivos, de sus métodos, la utilidad de las estrategias de reforma propuestas, e incluso la influencia lógica del científico social en la política. Este último argumento de Weiss entendemos que puede variar, pero sí creemos que ni el evaluador se mueve en un contexto neutro, ni el objeto que analiza está exento a presiones del contexto propio del mismo.
Por su parte, Berk y Rossi (1990) señalan al menos tres conceptos claves en la investigación evaluativa, esto es, el espacio político –tal como lo hace Weiss-‐ que enmarca el dominio de las decisiones, los implicados (stakeholders), responsables políticos, participantes, responsables administrativos, etc., y la eficacia de los programas, con sus múltiples perspectivas de análisis, tanto internas como externas.
Defiende la inclusión como stakeholders de los tradicionalmente ignorados, pero nos dice que no basta con incluir sus voces en la evaluación; se necesita un paso más. Sus voces proporcionan más credibilidad a la evaluación, pero la transformación sólo puede ocurrir realmente si su información es usada para fundamentar programas sociales que intenten atajar las desigualdades existentes.7
En definitiva, y desde la mirada u orientación que se pretende dar a esta investigación, la investigación evaluativa es, en términos generales, “un tipo de investigación aplicada, que incide sobre objetos sociales, programas, centros, agentes, etc., que analiza y juzga su calidad estática y dinámica según criterios científicos rigurosos múltiples, con la obligación de sugerir, a las diversas audiencias implicadas, acciones alternativas sobre los mismos para diferentes propósitos como utilización, mejora, acreditación, fiscalización, reforma, etc. (Escudero, 1996).
En este sentido, la investigación evaluativa se equipara a otras formas de investigación social, pero la especificidad viene de los objetivos y de las condiciones de realización, el evaluador se ve obligado a trabajar en el contexto natural del programa.
Se rescata el estudio de Bustelo (s/f) que analizan las diferencias y semejanzas entre la evaluación y la investigación. La diferenciación se realiza sobre la base de la necesidad de clarificar la naturaleza de ambos conceptos y de afirmar la identidad de la evaluación de programas como actividad científica diferenciada. Estos autores ponderan los peligros del mal uso y abuso de las evaluaciones que hacen otras personas, responsables políticos, gestores, etc., que son más difíciles de controlar y combatir.
CRITERIO INVESTIGACIÓN EVALUACIÓN
NATURALEZA/
CONCEPTO Es un tipo de indagación disciplinada que se lleva a cabo para resolver algún problema de forma que se consiga entendimiento o se facilite la acción. Modo de indagación académico
Es un tipo de investigación disciplinada que se lleva a cabo para determinar el valor (mérito y/o valía) del objeto evaluado (programa, proyecto, servicio o política) con el fin de mejorarlo, rendir cuentas y/o ilustrar acciones futuras. Modo de indagación práctico
FINALIDAD Y
CONDICIONANTES Puede ser básica o aplicada. Construcción de conocimiento. Debe ser una contribución relevante para la comunidad científica. Trasciende temporalmente
Siempre es aplicada. Mejora de los programas, Rendimiento de cuentas, Ilustración de acciones futuras. Debe tener capacidad de respuesta ante y cierta lealtad hacia los responsables de los programas. Debe ser oportuna en el tiempo
CONTEXTO Escenario de investigación (lo prioritario es la investigación). El contexto es un factor más a tener en cuenta (no necesariamente determinante). Carácter más técnico
Escenario de acción (lo prioritario es el programa evaluado y no su evaluación) El contexto es determinante. La evaluación es dependiente del contexto y tiene por objetivo la respuesta a dicho contexto específico. Carácter marcadamente político OBJETO Referido a problemas
(QUÉ se aborda). Se interesa por la evolución de un problema en abstracto. Se puede centrar en algunos aspectos concretos
Referido a las intervenciones para abordar dichos problemas (CÓMO se aborda). Se interesa por la evolución de un problema a consecuencia de la intervención en el mismo. Tiende a considerar la intervención de forma global
MÉTODO Referido la selección, recopilación y análisis de la información.
Referido al diagnóstico de la situación evaluativa, la elección del tipo de evaluación, a la definición de los criterios de evaluación, a la recopilación y análisis de información, a la valoración y emisión de juicios a la luz de los criterios de evaluación, al establecimiento de recomendaciones y a la comunicación de los resultados para conseguir una mayor utilidad/utilización de la evaluación
DESTINATARIOS Grupos abstractos. Comunidad científica. De forma secundaria, comunidad de política o programa
Grupos y personas concretas Cliente, patrocinadores. Responsables, profesionales Implicados (stakeholders): agentes, beneficiarios y víctimas del programa evaluado. De forma secundaria, comunidad científica
RESULTADOS: PRODUCTOS Y EFECTOS
ESPERADOS
Publicación de resultados. Aportación a y reconocimiento de la comunidad científica
Recomendaciones para la acción. Informes normalmente no publicados Comunicación y difusión activa de los resultados a los interesados. Utilidad y utilización de los resultados y los procesos de evaluación.
