Coordinadora del área de EpD de la Fundación Albihar Mª Paz Torres Martín de Rosales. A continuación se propone una reflexión sobre el objeto de la evaluación en el ámbito de la EpD, a partir de la pregunta: qué evaluar y por qué.
Con quién se ha hecho?
Perfil de las personas que han participado
Para quién se ha elaborado esta guía?
Dificultades y/o limitaciones
Una evaluación para la transformación 1
Contribuir al proceso de apropiación del trabajo de EpD que se realiza en nuestras organizaciones con un mayor conocimiento y comprensión de lo que se hace, los cambios que se han logrado o no y los que se pueden lograr. Designar una persona de referencia de evaluación que trabaje con el grupo que representa el trabajo de la organización.
Aproximaciones metodológicas en experiencias de evaluación
Evaluación Segmentada
Sin embargo, evaluar un proyecto de educación para el desarrollo en su conjunto es extremadamente difícil. Evaluar la calidad de las herramientas educativas teniendo en cuenta los métodos de comunicación educativa utilizados (enfoque cognitivo, participativo, psicoafectivo).
EVALUACIÓN SEGMENTADA
Esto permite identificar claramente las diferentes esferas o segmentos de una intervención de EpD que pueden evaluarse. Esto resalta la importancia de las herramientas y materiales pedagógicos desarrollados, y las funciones que desempeñan dentro de la intervención. La segmentación dificulta rescatar los diferentes procesos ocurridos, así como dificulta apreciar la intervención en su conjunto.
La evaluación debe tenerse en cuenta desde el momento del diseño de la actuación DAP. La evaluación de los efectos inducidos por una intervención de EpD no puede ignorar el impacto de los efectos externos, como el contexto político, socioeconómico, ambiental y mediático.
Enfoque Criterial
En esta fase se realiza la identificación de necesidades de información y la operacionalización de criterios, es decir, se especifican las preguntas que requieren respuesta, organizadas según los criterios establecidos; y cada pregunta debe responder a indicadores mediante los cuales se pueda evaluar el desempeño alcanzado. Para obtener la información requerida se deben identificar los actores críticos (stakeholders) involucrados en el proceso de evaluación y que necesitan ser entrevistados, así como la documentación adecuada, tanto generada por el proyecto como externa, que proporcione información relevante. de alcanzar los criterios establecidos. En esta primera fase se inicia el estudio de la información documental, se desarrollan las herramientas que se utilizarán para la recogida de la información y se elabora un plan de trabajo para el trabajo de campo.
En esta fase se visita la zona de intervención para observar el contexto y resultados de las acciones realizadas, se realizan entrevistas a los agentes críticos y se recoge toda la información necesaria (de fuentes primarias y secundarias). En esta fase final se triangula y analiza toda la información obtenida, se interpretan los datos y se realizan juicios de valor para comprender y evaluar cada medida.
EVALUACIÓN CON ENFOQUE
Una limitación de esta metodología es que está diseñada para evaluar proyectos desarrollados según EML1. Por tanto, puede plantear algunos problemas si se quiere utilizar para evaluar otro tipo de proyectos.
Sistematización de Experiencias
Organiza la información relacionada con cada momento y plasmala en una hoja de ruta que te permita visualizar todo el proceso. La sistematización la realizan personas que participaron en el proceso, pero también pueden contar con personas externas que los asesoren, dirijan o sugieran.
SISTEMATIZACIÓN DE EXPERIENCIAS
Nos ayuda a comprender mejor lo que estamos haciendo, nos motiva y despierta el interés por nuestras propias necesidades, porque estamos plenamente implicados en ser sujetos y a la vez objetos de interpretación. Experiencia rica y valiosa por lo que puede crear en términos de conocimiento, experiencia, aportes en datos importantes y recuperación de lo que se haya podido olvidar en el camino. Lo que es posible no es una interpretación crítica, cuestionadora, esquemática, sino, por el contrario, una interpretación apologética, condescendiente, una interpretación puramente pasiva de lo que se hizo.
Teoría del Cambio
Estructura: es la organización relativamente estable de diferentes tipos de recursos para lograr los objetivos del proyecto.
TEORÍA DEL CAMBIO
De cada dimensión (resultados, procesos y estructura) se pueden identificar aspectos clave de la lógica que se pueden medir. Para verificar las relaciones causales que subyacen al programa, las preguntas planteadas deben cubrir toda la lógica de la intervención1, es decir Se recomienda que tanto las fuentes como las personas a entrevistar no sean las mismas que formaron parte de la primera fase de levantamiento de información.
Esta propuesta metodológica es compatible con otras aquí presentadas y de hecho ha sido confirmada por las experiencias identificadas durante la investigación. Destaca la posible brecha entre la lógica de la intervención explicada en el documento y la lógica subyacente en el momento de su implementación.
Dimensiones de Análisis de la EpD
Las oportunidades que se ofrecen en los procesos educativos para que las personas se involucren en estrategias concretas de cambio social. La participación de personas y organizaciones del Sur en los procesos del EPD, como sujetos activos. La capacidad de la organización y de los responsables para incorporar el enfoque de género, dentro de las propias ONG y en los proyectos del EPD.
Está diseñado y desarrollado para evaluar específicamente intervenciones en el marco de la EPD. La adopción de la metodología por parte de varios actores críticos facilita y aumenta la participación en los procesos de evaluación.
DIMENSIONES DE ANÁLISIS
Mapeo de alcalces
Aprender y fortalecer la capacidad de los actores socios es un tema central. Proporciona un marco para el seguimiento continuo de las acciones de intervención y del progreso de los socios directos en términos de cumplimiento del alcance. Débil conocimiento de la metodología de los distintos actores del sector, y escasas y limitadas experiencias.
La declaración de misión es la parte de la declaración de visión en la que se centrará la intervención. Generalmente describe el enfoque de intervención al trabajar con el socio directo.
MAPEO DE ALCANCES
Una propuesta resultado de nuestra reflexión
Al inicio y a lo largo de la encuesta se elaboró una lista inicial de 20 criterios, cada uno con su propia conceptualización y una red bastante extensa de aspectos a considerar para cada uno de ellos. Esto permitió una interpretación colectiva de cada uno de los criterios del listado, así como el posicionamiento de los participantes respecto de la relevancia de cada uno de los criterios en sus procesos de evaluación. Además, gracias a la técnica del grupo nominal, fue posible simplificar y organizar los diversos aspectos a considerar para cada uno de los criterios propuestos en la herramienta.
Finalmente, los criterios de Coherencia Externa, Viabilidad e Innovación no son considerados muy relevantes por la mayoría de la gente. A continuación se muestra cada uno de los criterios incluidos en el instrumento propuesto; Sin embargo, es importante enfatizar que esto no significa que todos los criterios o todos los aspectos propuestos deban considerarse en un proceso de evaluación y, obviamente, no pretenden usarse como una lista de verificación.
Finalmente, otro resultado derivado de todo el proceso mencionado anteriormente es el que hemos querido plasmar en el siguiente gráfico, que muestra la importancia de cada criterio para los participantes. La participación parece posicionarse como el criterio más importante para todos los participantes. Seguido de un segundo grupo formado por Relevancia, Coherencia Interna e Impacto, que también son calificados como significativamente importantes por la mayoría de las personas.
Luego encontramos un tercer grupo, donde se ubican Cobertura, Eficiencia, Eficiencia y Durabilidad, donde la posición de las personas sobre su importancia no es tan clara. En definitiva, se trata de un escenario explicativo con sugerencias sobre una forma específica de evaluación, el Enfoque de Criterios; Por lo tanto, es fundamental que las organizaciones, una vez seleccionado este enfoque, contextualicen esta propuesta en el caso concreto de cada intervención a evaluar.
Gracias a esta medida podemos evaluar la adecuación de la intervención a las necesidades y prioridades diagnosticadas en los sujetos y/o grupos; Ejecución de las actividades que están previstas en la intervención, así como de aquellas que no están previstas pero son necesarias para el correcto desarrollo de la intervención. Considerar proporcionar recursos adecuados, suficientes y necesarios para el desarrollo de la intervención.
Cambios estructurales y estratégicos en la zona o zonas donde se desarrollan las actuaciones de intervención. Explicar los mecanismos de acceso, disponibilidad, idoneidad y conveniencia de las actividades/acciones de intervención.
El enfoque de género en las evaluaciones de EpD
¿Qué papel juegan las cuestiones de género en la estrategia educativa? ¿Están priorizadas o permanecen? Sonia Tomás, “Dimensiones de la Educación para el Desarrollo con Enfoque de Género” en Género en la Educación para el Desarrollo. ¿En qué medida contribuye la propuesta al cambio social en las relaciones de género? ¿Qué efectos positivos esperaba el proyecto para las propias niñas/mujeres?
Qué pasos se dieron en la intervención para que las organizaciones que la gestionan y/o la ejecutan cuenten con una política institucional de género. Finalmente, y tal como ocurrió durante el proceso de revisión del enfoque de criterios, recogido en el capítulo 4, la evaluación con perspectiva de género y la evaluación del impacto de género requiere que se aborde la cuestión de la participación;
Retos pendientes
Es fundamental que nuestras organizaciones evolucionen hacia una cultura organizacional en la que la práctica del asesoramiento y la cultura de la evaluación impregne prácticamente todos los procesos que se llevan a cabo. Considerar el proceso de evaluación desde el momento de la identificación y diseño de la intervención. Además, se debe disponer de tiempo para participar, analizar y reflexionar durante el proceso de evaluación y sus diferentes fases, prestando especial atención a la devolución y socialización de los resultados y conclusiones de la evaluación.
Es importante compartir y socializar nuestras prácticas de evaluación, tanto dentro como fuera de la organización, sin importar si son grandes o pequeñas, internas o externas, e incluso sin importar los resultados alcanzados; Pero para que todo esto sea posible será imprescindible la formación interna en las organizaciones, para motivar a los propios miembros de la organización sobre la utilidad y necesidad de iniciar procesos de evaluación.
Agradecimientos
De manera especial, queremos agradecer la disponibilidad y esfuerzo de 10 de estas organizaciones que han mostrado disposición a compartir (y analizar con el equipo de investigación) sus experiencias específicas en la evaluación de sus acciones de DAP. Fundación de Ayuda contra las Drogas (FAD) Fundación Entreculturas Fundación Intermón Oxfam Manos Unidas. También queremos agradecer a las siguientes personas, especialistas en formación y evaluación del desarrollo, por aportarnos su conocimiento y experiencia y por acompañarnos durante todo este proceso.