BOLIVIA
PROGRAMA DE SALUD CON AGUA Y
SANEAMIENTO
BOL – 005 - B
EVALUACIÓN FINAL
TERMINOS DE REFERENCIA
Fondo de Cooperación para Agua y Saneamiento en
América Latina
2
CONTENIDO
1.
JUSTIFICACIÓN Y OBJETIVOS DE LA EVALUACIÓN FINAL ... 3
2. ANTECEDENTES Y CONTEXTO ... 5
3. ALCANCE DE LA EVALUACIÓN Y ACTORES IMPLICADOS ... 11
4. PREGUNTAS DE EVALUACIÓN ... 16
5. METODOLOGÍA ... 18
6. GESTIÓN DE LA EVALUACIÓN ... 19
7. PLAN DE TRABAJO Y CRONOGRAMA ... 20
8. PREMISAS DE LA EVALUACIÓN, AUTORÍA Y PUBLICACIÓN ... 23
9. PERFIL DEL EQUIPO EVALUADOR ... 24
10. PRESENTACIÓN DE OFERTAS Y CRITERIOS DE VALORACIÓN ... 25
ACRÓNIMOS
AECID Agencia Española de Cooperación Internacional para el Desarrollo (España) ICO Instituto de Crédito Oficial (España)
FCAS Fondo de Cooperación para Agua y Saneamiento (AECID, España)
CRS Catholic Relief Services; se corresponde con Entidad Beneficiaria en este documento PASOCDEA Pastoral Social Cáritas Diócesis de El Alto, Bolivia
PSCC Pastoral Social Cáritas Cochabamba, Bolivia POG Plan Operativo General
POA Plan Operativo Anual ROP
CAPyS
Reglamento Operativo
Comité de Agua Potable y Saneamiento DBC Documento Base de Contratación TDR Términos de Referencia
3
TÍTULO DE LA EVALUACIÓN
“EVALUACIÓN FINAL DEL PROGRAMA SALUD CON AGUA Y SANEAMIENTO. BOL-005-B”.
1. JUSTIFICACIÓN Y OBJETIVOS DE LA EVALUACIÓN FINAL
Tras casi 5 años de ejecución del Programa en 59 comunidades rurales de los departamentos de La Paz y Cochabamba, el periodo de ejecución finalizó el pasado 29 de marzo de 2016. El Fondo de Cooperación para Agua y Saneamiento (FCAS) pretende construir una visión conjunta a partir de la información que proviene de cada uno de los programas y agregar esta información a nivel país y nivel del FCAS.
Además de los claros beneficios que la evaluación tiene en el aprendizaje en términos de descripción de resultados alcanzados en el sector de agua y saneamiento y la valoración de los programas con criterios como su pertinencia, recopilación de estrategias exitosas, puntos débiles, lecciones aprendidas y buenas prácticas, entre otros, hay dos elementos fundamentales que justifican la realización de la evaluación final del Programa:
1. El impacto del FCAS en el desarrollo y su nivel:
Naturaleza Plazo de tiempo Atribución Nivel 1: Resultados de
Desarrollo
Mejoras en las condiciones de vida de las personas
Largo/medio plazo Parcial (contribución relevante) Nivel 2: Resultados Intermedios Cambios en comportamiento o desempeño institucional de actores clave
Medio plazo Media (atribución relevante) Nivel 3: Resultados Directos Bienes o servicios entregados o utilizados
Corto/medio plazo Alta (atribución plena)
Por tanto, la contribución del programa de un modo relevante tanto a la mejora de las condiciones de vida como a los cambios en comportamiento social y/o cultural en el sector de la provisión de servicios básicos de agua y saneamiento es una de las conclusiones fundamentales que quieren extraerse de este proceso de evaluación.
2. La valoración de la gestión institucional y operativa del propio FCAS: el propio diseño y estructura del FCAS, sus mecanismos de coordinación, capacidad de gestión, protocolos, mecanismos de control, sistema de seguimiento y evaluación, son elementos de los que
4 extraer valiosas lecciones que sirvan para reorganizar el FCAS y obtener insumos para la mejora de otros programas en ejecución actualmente y que aún tienen recorrido.
Con esta evaluación se pretende contribuir a la planificación estratégica tanto del FCAS, como de la AECID y CRS, fomentar el trabajo conjunto en materia de evaluación y contribuir a una mayor transparencia. Debe extraer y documentar los aprendizajes sobre los aspectos que están dando mejores resultados para la extrapolación a otros programas.
Objeto de la evaluación:
La evaluación final del programa “Salud con Agua y Saneamiento” pretende evaluar el cumplimiento de su objetivo, sus objetivos estratégicos y resultados.
Motivación para evaluar: La evaluación final del programa está prevista en el Programa
Operativo General (POG).
Objetivos de la evaluación: los objetivos específicos de la evaluación serán los siguientes:
a. Evaluar los resultados en la implementación e identificar los resultados no previstos. b. Evaluar el uso y operación de la infraestructura instalada.
c. Evaluar la pertinencia y eficacia del modelo lógico del proyecto en el actual contexto del país, y de los sectores involucrados como educación, salud, género y poblaciones vulnerables; y desarrollo e inclusión social.
d. Evaluar la pertinencia de las estrategias de implementación empleadas y evaluar el grado de integración y eficacia de los ejes transversales en la implementación del proyecto.
e. Recuperar y sistematizar la experiencia a nivel de logros, dificultades y lecciones aprendidas en el proceso de ejecución del proyecto de manera participativa involucrando a los actores involucradosdos en el proyecto .
Teniendo en cuenta la naturaleza y objetivos del Fondo, así como el momento en el que se realiza la evaluación, se orientan los objetivos específicos hacia los siguientes aspectos:
- Analizar si se han logrado los resultados previstos en los POG y POA. Se considerará especialmente la valoración del logro de los resultados clave del FCAS.
- Valorar la calidad del servicio ofrecido, orientada al cumplimiento del derecho humano al agua y el saneamiento:
o Agua: disponibilidad, calidad, accesibilidad, continuidad.
o Saneamiento: Integralidad, soluciones familiares, accesibilidad física y financiera, continuidad, tratamiento de excretas, acceso en escuelas y centros de salud, higiene. - Analizar la sostenibilidad financiera e institucional de los servicios de agua y de saneamiento.
5 - Determinar si se promovió una mayor participación comunitaria en la planificación, diseño,
construcción y gestión de los sistemas.
- Revisar los aspectos relacionados con la gestión del programa y valorar en qué medida esa gestión ha contribuido al logro de los resultados del programa. En concreto, se analizará:
o la implicación y coordinación con las contrapartes,
o el funcionamiento de las unidades de gestión y si su existencia ha supuesto algún cambio en la cultura organizativa de la contraparte,
o el funcionamiento del sistema de licitaciones y adquisiciones o los esquemas de coordinación CRS -AECID.
- Analizar los elementos transversales como el enfoque de género, el impacto ambiental y la interculturalidad durante la implementación del Programa.
- Valorar del efecto en la calidad de vida de las familias beneficiarias a raíz de la disponibilidad de agua y/o baños secos.
En general, se deben extraer y documentar los aprendizajes sobre los aspectos que están dando mejores resultados, para su posible extrapolación a otros programas.
Utilización prevista de la evaluación:
De esta evaluación final se extraerán conclusiones para el FCAS-AECID, de cara a programas similares en América Latina y Caribe; conclusiones para CRS de cara a futuros programas en el entorno rural; para PASOCDEA/PSCC para reforzar otros programas en sus Departamentos; para los Gobiernos Municipales con información trascendente de los municipios de su territorio; para el MMAyA (SENASBA), compartiendo las conclusiones principales en DESCOM; para el MMAyA (EMAGUA), compartiendo las conclusiones principales de índole técnica.
2. ANTECEDENTES Y CONTEXTO
La situación de pobreza en el país se ve reflejada en todos los sectores, pero especialmente en la carencia de los servicios de agua y saneamiento con mayor énfasis en el área rural, la población se enfrenta a una crisis del agua donde uno de los mayores problemas en las zonas rurales dispersas se encuentra en la débil salud de la niñez. Los altos índices de diarreas y parasitosis inciden en altas tasas de mortalidad y morbilidad infantil que dificultan el buen desarrollo de los niños. En el 2007 Bolivia contaba con una población de 9.827.522 habitantes, donde el 65% habitaba el área urbana y el 35% el área rural. Entre los años 2001 y 2007 se beneficiaron 1,3 millones de personas, entre urbanas y rurales, del acceso a agua potable y un millón del acceso a saneamiento básico. La mayor cantidad de personas sin acceso a los servicios de agua potable y saneamiento básico residen en el área rural.
6 El Proyecto contempla la construcción y/o ampliación de las infraestructuras de agua (sistemas de agua segura) y saneamiento básico, en comunidades de los Departamentos de La Paz y Cochabamba.
En los municipios de cada Departamento el Programa atiende a comunidades con bajos (o ningún) niveles de cobertura de agua y saneamiento básico, conformadas por hogares rurales ubicados en el altiplano y en el valle que están siendo empujados, cada vez más, hacia los márgenes de la pobreza extrema en parte por sus deficientes infraestructuras de agua y saneamiento, malos hábitos y costumbres de higiene y mala administración de desechos sólidos.
Para la ejecución del programa “Salud con Agua y Saneamiento” el Fondo de Cooperación para Agua y Saneamiento (FCAS) de la Agencia Española de Cooperación Internacional para el Desarrollo (AECID)1 facilitó el financiamiento, conjuntamente con CRS Bolivia, quien asumió la responsabilidad de implementación del proyecto con las funciones principales de administración de los fondos, asesoramiento técnico y financiero a los equipos ejecutores y seguimiento del proyecto a través de herramientas de monitoreo y evaluación.
Las instituciones ejecutoras para los Módulos I y II fueron la Pastoral Social Caritas Diócesis de El Alto (PASOCDEA) y la Pastoral Social Caritas Cochabamba (PSCC), quienes proceden a la contratación de personal necesario para las diferentes actividades del Programa en las comunidades.
El Programa “Salud con Agua y Saneamiento” busca un impacto en el mejoramiento de la salud con la dotación de agua segura y buenas prácticas de higiene, así como mejorar sustancialmente los índices de salud infantil. Tratará de evitar las causas más comunes de enfermedades transmitidas por la ingesta de agua contaminada, que origina dolencias gastrointestinales (incluyendo la diarrea). Igualmente, prevendrá de enfermedades transmitidas por vectores, por ejemplo la malaria o la esquistosomiasis, provenientes de insectos y caracoles que se reproducen en ecosistemas acuáticos. Por último, se podrán reducir enfermedades que desaparecen con el agua como la sarna o el tracoma, que están causadas por bacterias o parásitos adquiridos cuando no se dispone de suficiente agua para la higiene básica (lavado de manos, lavado de ropa, ducha, etc.).
El Objetivo General del proyecto es contribuir a disminuir la morbilidad y la mortalidad entre niños/as menores de cinco años pertenecientes a comunidades rurales dentro del segmento de pobreza extrema, así como mejorar las condiciones de salud de la población en su conjunto. Los Objetivos Específicos del programa son los siguientes:
1
El Fondo de Cooperación para Agua y Saneamiento (FCAS) es un instrumento de la Cooperación Española que tiene como principal objetivo asegurar el acceso a agua potable y saneamiento a las poblaciones más necesitadas de América Latina y el Caribe. El Fondo se creó en 2007 y comenzó sus actividades en 2008. Está dotado con 1.500 millones de dólares (aproximadamente 1.200 millones de EUR). Es fruto del compromiso adquirido por España para hacer efectivo el derecho humano al agua potable y al saneamiento, como se establece en el III Plan Director de la Cooperación Española, y supone una importante contribución para alcanzar los Objetivos de Desarrollo del Milenio. El Fondo es una iniciativa de cooperación para el desarrollo que incorpora los principios de la Declaración de París (DP) sobre la Eficacia de la Ayuda al Desarrollo.
7 1. Proveer sistemas de agua segura construidos, mejorados y ampliados. 2. Proveer sistemas de saneamiento, letrinas o sistemas de alcantarillado. 3. Proveer fosas basurales ecológicas a nivel familiar, escolar y comunal para
el manejo adecuado de residuos sólidos.
4. Sensibilizar a comunidades para fortalecer sus capacidades de administrar, operar y mantener sus sistemas de agua, saneamiento y manejo de residuos sólidos.
5. Fortalecer a las autoridades comunales y municipales a través de capacitación y actividades de incidencia sobre la sostenibilidad de los servicios y su relación con la protección del medio ambiente y la adaptación al cambio climático.
Se espera que, con la ejecución de las actividades del proyecto, las comunidades en el área rural de La Paz y Cochabamba mejoren su saneamiento ambiental y sus condiciones de salud. A través de las actividades que se desarrollan a lo largo de todo el proyecto se pretende conseguir una mejora sustancial, no solo de las condiciones higiénicas, sino también de la formación en materia de higiene y salud necesaria para invertir la tendencia hacia la pobreza extrema de estas zonas rurales.
En general, las actividades programadas se pueden resumir de la siguiente forma:
Provisión de sistemas de agua segura y/o mejora y ampliación de los ya existentes, con la participación de las comunidades beneficiarias, una vez que éstas hayan sido informadas de los objetivos del proyecto.
Provisión de sistemas de saneamiento y/o mejora de los ya existentes con la participación de las comunidades y escuelas beneficiarias, una vez que éstas hayan adoptado el concepto de letrinas ecológicas a través de capacitación.
Provisión de fosas basurales ecológicas (FBEs) a nivel familiar, escolar y comunal para el manejo adecuado de residuos sólidos, con la participación de las comunidades y escuelas beneficiarias, una vez que éstas hayan demostrado su capacidad de manejar residuos sólidos, mediante la construcción y utilización de FBEs.
Sensibilización a las familias locales sobre la importancia de la protección del medio ambiente, así como de la necesidad de adoptar nuevos hábitos y prácticas higiénicas. Posteriormente se sensibilizará a las comunidades a las que pertenecen esas familias en la importancia del fortalecimiento de sus capacidades para la administración, operación y mantenimiento de sus sistemas de agua y saneamiento y en el manejo de los residuos sólidos.
Fortalecimiento a las autoridades comunales y municipales sobre la sostenibilidad de los servicios y su relación con la protección del medio ambiente y la adaptación al cambio climático, a través de capacitación, divulgación de información, campañas, socialización del marco legal, etc.
8 Considerando las enmiendas al Convenio de Financiación, principalmente la ampliación de plazo, el alcance del Programa Salud con Agua y Saneamiento se describen a continuación:
Componente I: Construcción de Infraestructura de Agua y Saneamiento Básico.
Este componente comprende las siguientes actividades:
La construcción y/o ampliación de 52 sistemas de agua segura en un número similar de comunidades, de las cuales 6 sistemas en los municipios de Cochabamba y 46 en los municipios de La Paz.
La construcción de 3.749 baños ecológicos en 50 comunidades, de las cuales 1 en Cochabamba y 49 en La Paz.
La construcción de un sistema de alcantarillado con Planta de Tratamiento para el beneficio de 150 familias y de un centro educativo de 1.000 estudiantes.
La construcción de 87 fosas basurales ecológicas (FBEs); este ítem no se considera en el presupuesto pues se trata de autoconstrucción por parte de la comunidad con materiales locales.
Componente II: Capacitación en Educación Sanitaria y Medio Ambiente.
Este componente contempla la presentación a la comunidad del proyecto y la organización y conformación del Comité de Agua Potable y Saneamiento (CAPyS).
A través de los talleres se capacitarán a los CAPyS sobre educación sanitaria, operación y mantenimiento de los sistemas, opciones de desinfección del agua, cuidado y mantenimiento de las letrinas, y protección del medio ambiente. Las actividades incluyen: visitas domiciliarias para capacitar a las familias en educación sanitaria y sensibilizar sobre el medio ambiente; talleres de capacitación para madres con niños menores de 5 años para reforzar la educación sanitaria; y talleres para estudiantes y profesores sobre higiene, buenas prácticas sanitarias y sensibilización del medio ambiente, quienes conformarán las brigadas escolares y realizarán actividades de monitoreo.
En consulta con toda la comunidad se definirán los estatutos internos de cada CAPyS, definiendo funciones y responsabilidades, estableciéndose también de forma consensuada los montos a ser cobrados por los servicios.
Componente III: Fortalecimiento Municipal y de la Comunidad.
Se realizará la transferencia de información a las comunidades sobre la protección del medio ambiente y el marco legal vigente; a través de talleres comunales se buscará la sensibilización sobre el beneficio y sostenibilidad de los servicios y su relación con la protección del medio ambiente. Se programarán reuniones con autoridades y funcionarios municipales para presentar el proyecto, tomar conocimiento de sus políticas sobre medio ambiente y planificar actividades para
9 lograr su compromiso de sensibilización de las comunidades. La organización de campañas de divulgación, capacitación y socialización del marco legal vigente sobre el medio ambiente y su protección, estará a cargo de los gobiernos municipales.
El 2 de diciembre de 2009, el Instituto de Crédito Oficial del Reino de España (ICO) y CRS de Bolivia firmaron un Convenio de Financiación con cargo al Fondo de Cooperación para Agua y Saneamiento (FCAS), de acuerdo con los términos aprobados por el Concejo de Ministros español en su reunión del día 30 de octubre de 2009, estableciendo un plazo de 42 meses para su implementación.
CRS de Bolivia ha solicitado a la Agencia Española de Cooperación Internacional para el Desarrollo (AECID) como encargada de la gestión y seguimiento, autorización para extender el plazo de ejecución a 56 meses.
Habiéndose aprobado la modificación de plazo de ejecución mediante resolución de fecha 5 de septiembre de 2014, el ICO y CRS de Bolivia han acordado modificar el Convenio a través de la Segunda Adenda firmada el 17 de noviembre de 2014, modificando el plazo a 56 meses, es decir hasta el 29 de marzo de 2016.
Las fechas claves del programa se las describe a continuación:
Fecha de inicio del programa 02/12/2009 (Firma de Convenio)
Fecha de inicio de la ejecución de la subvención 29/07/2011 Fecha prevista de finalización original 29/01/2015 Fecha de finalización con Ampliación de plazo 29/03/2016
El presupuesto inicial total del proyecto según el POG, fue de USD.- 7.072.853.60, compuesto de la siguiente forma:
COMPONENTES DEL FINANCIAMIENTO (POG)
ORIGEN DE LOS FONDOS MONTO (USD) VALOR PORCENTUAL
FCAS (no reembolsable) 4,504,923.28 63.69% Contrapartida local (CRS/Bolivia) 247,752.01 3.50% Contrapartida Cáritas 38,502.11 0.54% Contrapartida local (Municipios) 971,913.45 13.74% Contrapartida local (Comunidades locales) 1,309,762.75 18.52%
TOTAL 7,072,853.60 100.00%
A partir de la firma de la Segunda Adenda al Convenio de Financiación de ampliación del plazo del programa, el presupuesto total del programa asciende a USD.- 7.221.759,15 cuyo detalle por origen de fondos se encuentra descrito a continuación.
10
ORIGEN DE LOS FONDOS MONTO (USD) VALOR PORCENTUAL
FCAS (no reembolsable) 4,504,923.28 62.38% Contrapartida local (CRS/Bolivia) 396,657.55 5.49% Contrapartida Cáritas 38,502.11 0.53% Contrapartida local (Municipios) 971,913.45 13.46 Contrapartida local (Comunidades locales) 1,309,762.75 18.14%
TOTAL 7,221,759.15 100.00%
CRS-Bolivia asume la responsabilidad de implementación del proyecto con las funciones principales de administración de los fondos, asesoramiento técnico y financiero a los equipos ejecutores y realizar el seguimiento del proyecto a través de herramientas monitoreo y evaluación.
Pastoral Social Caritas El Alto (PASOCDEA) y Pastoral Social Caritas Cochabamba (PSCC) fueron las instituciones ejecutoras para los Módulo I y II, con el personal necesario para la dirección de obra y mano de obra calificada, para la intervención social, capacitación y sensibilización de las comunidades y autoridades municipales; además de la adquisición y administración de los materiales de construcción, de capacitación e información. Dentro del presupuesto total PASOCDEA y PSCC aportaron con su infraestructura instalada y sus bienes patrimoniales utilizados en el programa. La implementación del Módulo III y último se realiza a cargo de un equipo de gestión de forma directa por cuenta de CRS-Bolivia.
Los municipios involucrados en el proyecto participan desde la selección de comunidades beneficiarias, pasando por la intervención en la capacitación y fortalecimiento institucional, asumiendo el compromiso de sensibilización a las comunidades sobre la protección del medio ambiente.
Las comunidades involucradas participan en la organización de los Comités de Agua Potable y Saneamiento (CAPyS), en los talleres de capacitación, en las campañas de limpieza e higiene. Además aportan con materiales locales y con mano de obra no calificada como excavación, relleno, construcción de letrinas, construcción de FBEs.
A partir de la solicitud de ampliación de plazo al Convenio de Financiación y la firma de la Segunda Adenda el 17 de noviembre de 2014, se aplican los ajustes acordados para la fase final del Programa con la implementación del Módulo III. Dentro del documento de justificación de la solicitud de ampliación y como respaldo de la misma, CRS presentó el ajuste de las metas en número de conexiones domiciliarias de agua potable y saneamiento que deben cumplirse hasta el final del programa, las mismas que se detallan a continuación:
11 La tabla muestra los valores previstos al cierre del programa considerando las condiciones establecidas con la ampliación de plazo, por otro lado se indica lo ejecutado actualmente.
3. ALCANCE DE LA EVALUACIÓN Y ACTORES IMPLICADOS
En este apartado se recoge la información concreta sobre la amplitud que se pretende para la Evaluación Final, de manera que se delimite de la forma más precisa posible el objeto evaluado. Es fundamental que exista una coherencia lógica entre los objetivos de la evaluación, su alcance y las preguntas de evaluación.
3.1. Cobertura de la evaluación
La evaluación será realizada en los siguientes ámbitos:
a. Geográfico: La ubicación geográfica del programa corresponde a los departamentos de La Paz y Cochabamba.
Los municipios intervenidos son (15) los siguientes:
La Paz: Laja, Achacachi, Taraco, Tiahuanacu, Batallas, Huarina, Huatajata, Jesús de Machaca, Escoma, Viacha y Puerto Acosta.
Cochabamba: Arani, Villa Tunari, Vacas y Colomi.
En el Anexo III se detallan todas las comunidades intervenidas, especificando el departamento, municipio y familias beneficiarias.
b. Temporal: la evaluación final del programa “Salud con Agua y Saneamiento” se aplicará al período comprendido entre el 29 de julio de 2011 al 29 de marzo de 2016. Considerando que se tiene una Evaluación de Medio Término que abarcó el periodo 29 de julio de 2011 al 31 de julio de 2013.
c. Consideraciones sobre los enfoques transversales: La evaluación deberá contemplar una valoración sobre el modo en que se han llevado a la práctica las prioridades transversales.
ROP / AMPLIACIÓN Comunidad Nº Acom. AP Familias CAPyS Comunidad Nº Baños Ec. Familias
Dto. de La Paz Previsto 46 3,419 3,354 46 49 3,682 3,553
Ejecutado 36 2,861 2,807 36 40 3,430 3,329
Ejecutado % 78% 84% 84% 78% 82% 93% 94%
Dto. de Cochabamba Previsto 6 540 512 6 1 67 67
Ejecutado 7 502 479 7 1 67 63
Ejecutado % 117% 93% 94% 117% 100% 100% 94%
TOTAL Previsto 52 3,959 3,866 52 50 3,749 3,620
Ejecutado 43 3,363 3,286 43 41 3,497 3,392
Ejecutado % 83% 85% 85% 83% 82% 93% 94%
Población final 11,958 hab 11,958 hab 13,030 hab
12 d. Ámbito concreto de las visitas a comunidades: Las visitas de campo que debe realizar la
evaluación por muestreo a las comunidades intervenidas se detalla en la tabla siguiente:
e. Estudios de caso: Asimismo, se deberá plantear adicionalmente una investigación de tipo “estudio de caso” en dos proyectos del Programa.
La construcción metodológica se presentará bajo la perspectiva investigativa y utilizará la estrategia de estudio de caso, por ser un tipo de investigación que contribuirá a generar un conocimiento más profundo y comprensivo de la situación actual de dos comunidades. Las comunidades seleccionadas para realizar los estudios de caso son Tablas Monte en Cochabamba y Pomacolto en La Paz.
3.2. Niveles de análisis de la evaluación
De forma general, cada una de estas dimensiones aborda los aspectos que se recogen a continuación, y que serán concretados en forma de las preguntas de evaluación del apartado 4.
DISEÑO:análisis del modo en que se concibió y elaboró el programa, y así como el ROP, POG y POA en cuanto marco estratégico de actuación. Se analizará la calidad del diagnóstico inicial, la adecuación de la lógica de intervención y el grado de coherencia de la planificación tanto entre los elementos que la conforman como respecto al contexto país en el que se desarrolla, a las necesidades de los colectivos meta, y a las prioridades generales del FCAS.
Se valorará la ejecución presupuestaria en el tiempo transcurrido en contraste con la planificación inicial, identificando los motivos que han provocado la solicitud de ampliación presupuestaria y las modificaciones sustanciales en los resultados, así como la emisión de un juicio crítico sobre la idoneidad de la ampliación y su efecto sobre los objetivos del Programa.
Por último, será necesario analizar la presencia en el diseño de mecanismos de coordinación y protocolos con las instituciones públicas del sector (SENASBA, MMAyA, gobiernos autónomos municipales.
1 Huancuni Sistema de agua
2 Tablas Monte Sistema de agua
3 Laja Huacanoco Sistema de agua y baños ecológicos
4 Taraco Chivo Sistema de agua y baños ecológicos
5 Laja Pomacolto Sistema de agua y baños ecológicos
6 Taraco Isla Sicuya Sistema de agua y baños ecológicos
7 Huarina Icrana Sistema de agua y baños ecológicos
8 Batallas Caluyo Sistema de agua y baños ecológicos
9 Muruamaya Zona Sangramaya Sistema de agua y baños ecológicos
10 Alto Chañojahua Sistema de agua y baños ecológicos
11 Achacachi Cocani Sistema de agua y baños ecológicos
12 Jesús de Machaca Titicani Taycuyo Sistema de agua y baños ecológicos
III La Paz La Paz Colomi Viacha MODULO I Cochabamba La Paz II
13
ESTRUCTURA: análisis de la organización de medios y recursos del ejecutor CRS, en un análisis comparativo entre el periodo anterior a la ampliación y posterior, momento en el cual las organizaciones socias ejecutoras Pastoral Social Caritas El Alto (PASOCDEA) y Pastoral Social Caritas Cochabamba (PSCC) dejaron su papel para que CRS realizara la ejecución de forma directa.. Se incluye la valoración de la dotación de recursos humanos, los esquemas de coordinación; los sistemas de información, de seguimiento y evaluación; los conocimientos y capacidades del personal al servicio del programa; la capacidad de implementación de entidades ejecutoras, etc. Por último, es imprescindible la mirada al fortalecimiento de las instituciones participantes en el Programa: CRS, PASOCDEA, PSCC. Valorarlas acciones dirigidas a fortalecer sus estructuras, sus capacidades y el intercambio de conocimiento.
Se identificarán las acciones que hayan supuesto una mejora en la gobernanza del agua y el saneamiento por parte de estas instituciones a raíz de un cambio en las capacidades instaladas en las organizaciones, con especial atención a CRS puesto que es el socio principal de la AECID en el Programa. Del mismo modo, será necesaria una mirada crítica a la capacidad de las estructuras creadas o fortalecidas para gestionar los servicios, tanto en el caso de los GAM como de los CAPyS.
PROCESOS: en esta dimensión se analizará fundamentalmente cómo se han ejecutado las acciones
previstas, el funcionamiento de los flujos de información entre AECID y CRS, y entre ésta y las ejecutoras, calidad de relación entre el personal, cumplimiento de plazos y procedimientos establecidos, utilización de sistemas locales y coordinación y comunicación entre actores.
Entre los procedimientos a estudio se prestará especial atención a la definición adecuada de responsabilidades en la ejecución de las obras y servicios.
Se evaluará la descripción y aplicación de las funciones de los miembros del equipo y la coordinación entre los procesos de obra y desarrollo comunitario y de fortalecimiento de los Comités de Agua Potable y Saneamiento (CAPyS).
El cumplimiento de los tiempos según los instrumentos de planificación (POG, POA) es un elemento que permite analizar si los procesos internos se han adecuado a la realidad social de las comunidades, como son la rotación y los usos y costumbres de los miembros de los CAPyS y las consecuencias en la operación, mantenimiento y administración de los sistemas de agua potable. Los procesos de creación y fortalecimiento de los CAPyS han de ser analizados con el objetivo de medir su impacto en la capacidad de la comunidad para gestionar los sistemas de forma independiente y sostenible.
Por último, el proceso de cálculo de tarifas y la aprobación de las mismas por parte de la comunidad, así como el impacto económico del nuevo servicio en las familias, puede arrojar importantes conclusiones sobre la sostenibilidad financiera de los servicios de agua potable.
RESULTADOS: valoración de los logros atribuibles a la ejecución del programa, tanto si estaban
14 En relación a la elección y desarrollo de la tecnología, es necesario evaluar la adaptación de la tecnología al contexto y al coste de las inversiones, mediante el estudio que permita conocer la apropiación de la tecnología por parte de la comunidad. Además, la relación existente entre el coste de los servicios y la demanda de los mismos por parte de los usuarios puede permitir establecer valoraciones comparativas entre los sistemas de agua y de saneamiento básico.
En relación al papel de las comunidades, serán objeto de estudio la participación de las comunidades en las distintas fase del proyecto: diseño, construcción, gestión y otras así como definición del tipo de participación (mano de obra, toma de decisiones, aporte de materiales, sensibilización de otros miembros de la comunidad, etc.) y su relación con el grado de apropiación y responsabilidad. La creación de la institucionalidad (CAPyS) puede tener ventajas o inconvenientes frente al fortalecimiento de organizaciones ya existentes, lo que deberá valorarse en función de los resultados obtenidos en ambos casos. Por último, se analizará el efecto de la capacitación en el cambio de comportamientos de la comunidad y la adaptación de las capacitaciones a las necesidades reales, así como un análisis comparativo entre visitas domiciliarias frente a los talleres y formación en escuelas.
3.3. Principales actores implicados en la ejecución y evaluación del Programa
Los principales actores para realizar la evaluación del programa se detallan a continuación:
ACTORES Actores/entidades Relevancia en el proceso
Prioridad (1-4)
Titulares de derechos
Familias beneficiarias Receptores de servicios básicos 1 Líderes de la comunidad Receptores de servicios básicos 2 Médicos, profesores y alumnos de la
comunidad
Receptores de servicios básicos
4
Titulares de obligaciones
CRS Beneficiario del Programa 1 PASOCDEA, PSCC Co-ejecutores 1 MMAyA/VAPSB, SENASBA, AAPS Instituciones públicas del sector 4 GAM (alcaldes, concejales) Contrapartes 1 CAPyS creadas o fortalecidas Operación, mantenimiento y
gestión de los sistemas 1 Titulares de responsabilidades Empresas constructoras o contratistas Ejecución de obras 1
15
Empresas proveedoras de materiales e insumos
Construcción de las
infraestructuras 2 Miembros de la comunidad Supervisión comunitaria del
proyecto 1
Prioridades: desde el 1 como las más alta al 4 como la más baja.
Algunas de las personas clave del Programa en las organizaciones financiadoras y ejecutoras son: Oficina Técnica de Cooperación, OTC - AECID:
- Mar Humberto, Responsable de Programa de Medio Ambiente, Agua y Género - David de la Torre, Responsable de Proyecto de Agua y Saneamiento
- Carlos del Álamo, Asistencia Técnica TRAGSATEC Catholic Relief Services, CRS:
- Alberto Chávez, Director del Programa - Alex Martinez, Coordinador
- Karina Arancibia, Contadora PASOCDEA:
- Freddy Flores, Director PSCC:
- Maria del Carmen Siles, Directora
Se tendrá en cuenta las opiniones del colectivo meta en el diseño de la evaluación, así como en su desarrollo y en la devolución de las conclusiones de la evaluación.
3.4. Documentación relevante
La documentación relevante para realizar la evaluación final del programa es la siguiente:
Entre otros documentos que pueden ser analizados durante el proceso de evaluación, se tendrán en cuenta: ficha de identificación del programa, ROP y POG, matrices de resultados, estudios de diagnóstico, viabilidad y líneas de base, POA, informes semestrales de seguimiento, estudios sobre el sector/región, documentos de planificación de la cooperación española, así como otras evaluaciones de intervenciones similares en la zona.
MATRIZ DE DOCUMENTACIÓN
DOCUMENTO Principales contenidos Localización IV Plan Director de la AECID 20132-2016 Planificación de la Cooperación Española en su
conjunto
OTC Bolivia - AECID Plan Sectorial Agua y Saneamiento AECID Planificación sectorial en agua y saneamiento de
la Cooperación Española en su conjunto
16
Marco Asociación País Bolivia Planificación de la Cooperación Española en Bolivia
OTC Bolivia - AECID Reglamento Operativo del Programa (ROP)
y adendas
Disposiciones técnicas, administrativas y de gestión del Programa
CRS Plan Operativo General (POG) Planificación general del Programa CRS Plan Operativo Anual (POA) 1,2,3, 4 y 5 Planificación anual del Programa CRS Informe de Evaluación de Medio Término Evaluación intermedia del Programa CRS
Convenio de Financiación
Adendas al Convenio de Financiación
CRS
Plan de Acción de Género Apoyo en la elaboración de TdR para que dentro de la evaluación del Programa, se incluya la perspectiva de género.
CRS
Informes Semestrales de CRS Consolidación de los informes de las entidades ejecutoras PASOCDEA y PSCC. Informes CRS.
CRS
Informes trimestrales, semestrales y anuales de la Asistencia Técnica al FCAS
Informe de la Asistencia Técnica al FCAS. FCAS
4. PREGUNTAS DE EVALUACIÓN
A los efectos de permitir una comparación sobre los resultados de la Evaluación de Medio Término y esta Evaluación Final, muchos aspectos de ambos procesos son similares. Se recomienda al consultor considerar la Evaluación de Medio Término en todos sus aspectos. Las preguntas a responder por esta Evaluación Final, son:
DISEÑO
1. ¿Se han respetado los cronogramas y tiempos previstos? Evaluar los avances en la implementación en relación a la planificación del Programa e identificar los resultados o avances no previstos, tanto positivos como negativos.
2. ¿Es suficiente la calidad de las herramientas de planificación, seguimiento y evaluación del Programa (en el POG y POA y otras de monitoreo) para el logro de los resultados?
17 3. ¿Ha sido eficiente la transformación de los recursos (presupuesto) en los resultados? Evaluar la
asignación de recursos y los costes reales por beneficiario de los distintos componentes y resultados del programa y comparar tanto con lo planificado en el programa como con estándares nacionales.
4. ¿Las actuaciones desarrolladas en la intervención han alcanzado a todos los colectivos destinatarios inicialmente en el diseño? ¿Son diferentes los colectivos atendidos respecto a los identificados durante el diseño de la intervención?
5. ¿Se ha coordinado con las instituciones públicas con competencias en la materia (SENASBA, MMAyA/VAPSB, AAPS, etc.? ¿Y con otras organizaciones ejecutoras de programas rurales similares (ONG, BID, FPS, etc.)?
ESTRUCTURA
6. ¿Se ha influido positivamente sobre la capacidad institucional de los estamentos que van a gestionar las infraestructuras construidas (GAM, CAPyS, etc.)?
7. ¿Se han producido cambios estructurales y/o de capacidades de las Entidades Ejecutoras del Programa, CRS, PASOCDEA y PSCC? Analizar el cambio estructural y/o de capacidades y su influencia en la gobernanza del agua y saneamiento.
8. ¿La intervención incluye medidas específicas para fortalecer las capacidades de las instituciones locales? ¿Se ha logrado y cómo?
9. ¿Cómo se valoran desde una perspectiva externa las capacidades estructurales, económicas, medios de gestión, recursos humanos y materiales tanto de la entidad beneficiaria del programa (CRS) como de sus entidades ejecutoras (PASOCDEA y PSCC) para la correcta ejecución y supervisión de los proyectos? Establecer una comparativa entre la gestión de las entidades ejecutoras antes (PASOCDEA y PSCC) y después de la ampliación (CRS con implementación directa) y sus efectos en la ejecución del Programa y la consecución de los objetivos.
PROCESOS
10. ¿Existen descripciones detalladas de las funciones de los miembros del equipo y se aplican, de modo que la ejecución de las obras y la entrega de servicios se ha llevado a cabo de forma eficiente y eficaz y con una clara delimitación de responsabilidades?
11. ¿Qué posibles medidas pueden aplicarse para mejorar la coordinación entre los procesos de obra, de desarrollo comunitario y de fortalecimiento de los Comités de Agua Potable y Saneamiento (CAPyS)?
12. ¿Se han cumplido los tiempos planificados en los instrumentos de planificación (POG, POA)? ¿Cuáles han sido las causas de los retrasos registrados?
13. ¿Ha tenido efecto (positivo o negativo) la rotación y los usos y costumbres de los miembros de los CAPyS en la operación, mantenimiento y administración de los sistemas de agua potable? ¿Cuáles son sus consecuencias y qué medidas o lecciones aprendidas pueden extraerse?
14. ¿Cuál es el efecto de los procesos de creación y fortalecimiento de los CAPyS en la capacidad de la comunidad para gestionar los sistemas de forma independiente y sostenible? Análisis de la creación de la institucionalidad (CAPyS) Vs fortalecimiento de organizaciones existentes.
18 15. El proceso de cálculo de tarifas y aprobación de las mismas por parte de la comunidad, ¿asegura la
sostenibilidad de los sistemas? ¿Qué impacto económico tiene el nuevo servicio en las familias?
RESULTADOS
16. ¿Se han alcanzado los objetivos específicos y los resultados previstos de la intervención?
17. ¿Está adaptada la tecnología al contexto y el coste de las inversiones? Estudiar la apropiación de la tecnología por parte de la comunidad.
18. ¿Se corresponde el coste del servicio con la demanda del servicio por parte de la comunidad beneficiaria? Establecer valoraciones comparativas entre los sistemas de agua y de saneamiento. 19. ¿Han participado las comunidades en las distintas fases del proyecto: diseño, construcción, gestión
y otras? Definición del tipo de participación (mano de obra, toma de decisiones, aporte de materiales, sensibilización de otros miembros de la comunidad, etc.) y su relación con el grado de apropiación y responsabilidad.
20. ¿Cuál es el efecto de la capacitación en el cambio de comportamientos de la comunidad y su adaptación a las necesidades? Análisis comparativo entre visitas domiciliarias Vs talleres y formación en escuelas?
21. Evaluar el impacto del Plan de Acción de Género en la equidad de género. Evaluar otros impactos de los temas transversales como medio ambiente e interculturalidad.
Una vez el equipo evaluador haya realizado un primer acercamiento al objeto de evaluación y a la documentación disponible, se llevará a cabo un ajuste de la batería inicial de preguntas. Este ajuste puede responder a diversas razones: la factibilidad de abordar determinadas cuestiones; la necesidad de adaptar el ejercicio a las condiciones de tiempo y recursos; la incorporación o adaptación de algunos elementos en función del conocimiento y experiencia que el equipo evaluador aporte al proceso, etc.
5. METODOLOGÍA
El equipo evaluador incluirá las consideraciones relativas al diseño metodológico de la evaluación, donde se establezcan las técnicas de recopilación, niveles de representatividad y de análisis de la información que se deberán utilizar durante la evaluación y la presentación de sus resultados. El consultor evaluador propondrá y describirá en su propuesta el enfoque teórico o metodológico que se utilizará en la evaluación y que al menos cumplirán los siguientes aspectos:
a) La metodología de evaluación debe asegurar un planteamiento coherente entre los objetivos, las dimensiones del análisis y las preguntas de la evaluación. Además, mantener un equilibrio entre los hallazgos relativos a la construcción de infraestructuras (resultados directos como la entrega de bienes y servicios) y los orientados hacia la mejora de las condiciones de la población y los cambios en comportamiento o desempeño institucional (resultados de desarrollo y resultados intermedios, respectivamente).
19 b) Se propondrá en la propuesta metodológica la utilización de metodologías que aseguren la complementariedad entre las técnicas y la triangulación de los datos, dotando a la revisión de mayor rigor y credibilidad en sus hallazgos. Las informaciones y hallazgos no pueden basarse en una única fuente de información.
c) Las técnicas deberán ser coherentes con el planteamiento metodológico y apropiadas a la naturaleza de la información de la que se espera disponer para responder a las diferentes preguntas de evaluación. La detección de problemas debe identificar con información suficiente las causas que provocan las situaciones descritas.
d) La propuesta metodológica del equipo evaluador deberá recoger claramente los aspectos que permitirán asegurar un adecuado abordaje en la evaluación de los enfoques de género, derechos humanos, medio ambiente y diversidad cultural, de acuerdo con lo contemplado en la Política de Evaluación de la Cooperación Española2 (esto es algo distinto a analizar cómo el programa ha incorporado las prioridades transversales, ya que se trata de incorporar los enfoques transversales en el propio proceso evaluativo, no sólo como uno de los elementos del objeto a evaluar).
6. GESTIÓN DE LA EVALUACIÓN
La Entidad Beneficiaria del programa, CRS - Bolivia, realiza la contratación del servicio de Evaluación Final del Programa, asumiendo por tanto la responsabilidad última de la misma. Sin perjuicio de ello, la evaluación se gestionará conjuntamente entre CRS (Entidad Beneficiaria) y la AECID (sede y terreno), compartiendo las decisiones sobre cuestiones clave en la evaluación y donde la OTC en Bolivia, como representante del FCAS, jugará un papel primordial en el acompañamiento a CRS y al equipo evaluador durante la prestación del servicio de consultoría. Se propone una estructura de gobernanza asentada sobre un nivel:
1. Un Comité de Gestión, compuesto de manera paritaria por CRS (Entidad Beneficiaria) y la AECID en terreno.
Para asegurar un adecuado acompañamiento desde sede, el Departamento del FCAS junto con la División de Evaluación de la Secretaría General de Cooperación Internacional para el Desarrollo (SGCID) estará informado sobre los avances del proceso. Esta comunicación será necesaria especialmente en tres momentos:
1. En la aprobación de los TDR definitivos,
2. En la selección de la propuesta de adjudicación de la oferta seleccionada 3. En la aprobación del Informe final.
4. Si se considera necesario, una persona del DFCAS o de la División de Evaluación se podría integrar virtualmente (a través de videoconferencias, correo electrónico, teleconferencias y otros medios) en alguna reunión del Comité de Gestión.
El Comité de Gestión será responsable de:
2
Enlace web
http://www.exteriores.gob.es/Portal/es/SalaDePrensa/Multimedia/Publicaciones/Documents/Cooperacion/Eval uacion/EvaluacionCooperacionES/20130701%20POLITICA%20DE%20EVALUACION%20(on-line).pdf
20
Aprobar una propuesta de términos de referencia, previa consulta, si se considera pertinente, con otros actores.
Valorar las ofertas para la selección del equipo evaluador.
Asegurar la interlocución permanente con el equipo evaluador y facilitarle los contactos y el acceso a toda la información relevante para la revisión.
Impulsar el proceso de revisión, supervisar su calidad y asegurar el cumplimiento de los plazos.
Recibir, comentar y validar los productos elaborados por el equipo evaluador y aprobar el informe final.
Fomentar, facilitar y coordinar la participación en la revisión de todos los actores involucrados.
Asegurar la difusión de los resultados de la evaluación.
Coordinar la cumplimentación del documento de respuesta de gestión e impulsar la utilización de las recomendaciones de la revisión.
Facilitar al equipo evaluador los contactos y el acceso a toda la información relevante para la evaluación final del programa.
Participar en la retroalimentación constante del proceso de evaluación, recibir los productos entregados por el equipo evaluador, y retroalimentar con sus observaciones, sugerencias y/o comentarios.
Contribuir a la difusión de los resultados de la revisión.
7. PLAN DE TRABAJO Y CRONOGRAMA
El equipo evaluador presentará un plan de trabajo, el cual deberá incluir un detalle de las fases de las que se compondrá la evaluación, la duración estimada de cada una de ellas, las actividades concretas y los productos que deberá entregar el equipo evaluador, así como las tareas asignadas a los diferentes órganos de gobernanza y el plazo de que disponen para finalizarlas. El Consultor considerará un plazo máximo total de 50 días calendario desde la firma del contrato, incluyendo en este plazo aquellos que son necesarios para la revisión y retroalimentación por parte del Comité de Gestión.
A modo de orientación para la propuesta del equipo evaluador se describe a continuación una propuesta de distribución de fases, tareas, productos y tiempos:
Fase I. Actividades preparatorias y estudio de gabinete (duración máxima estimada, 2 semanas
desde la formalización del contrato, que incluye 1/2 semana para la revisión y validación del Informe Preliminar):
– Reunión inicial del equipo evaluador con el Comité de Gestión, discusión y ajuste de los Términos de Referencia (TDR) si fuera necesario y primera recopilación de información. – Análisis preliminar de la documentación vinculada con el Programa.
– Identificación de actores clave.
– Primeros contactos con algunos informantes clave. – Solicitud y examen de información adicional.
21
Productos Fase I:
Informe Preliminar. Se deberá entregar como máximo a las 2 semanas de haberse formalizado el
contrato. Deberá incluir los hallazgos preliminares y una actualización de la propuesta inicial de trabajo, que comprenderá un cronograma detallado y el ajuste metodológico de la propuesta, incluyendo la revisión de las preguntas de evaluación, así como la concreción de herramientas y técnicas para la recopilación, procesamiento y análisis de la información que garanticen la fiabilidad de las fuentes y el rigor del análisis.
Fase II. Trabajo de campo (duración máxima estimada 3 semanas, que incluye 1 semana para la
revisión y validación del informe de trabajo de campo o en su caso para la realización de reuniones de devolución)
Esta fase requiere obligatoriamente la presencia en el terreno del equipo evaluador y comprende la aplicación de las técnicas y herramientas metodológicas diseñadas para la recogida de información.
Productos Fase II:
No se solicitará la entrega de un Informe de trabajo de campo que resuma los primeros hallazgos dado lo ajustado de los plazos Se sustituye dicho informe por reuniones de presentación de
primeros hallazgos. A dichas reuniones asista el Comité de Gestión, que levantará acta del
adecuado cumplimiento de los objetivos de la Fase II.
Fase III. Análisis e interpretación de la información, elaboración y presentación del informe final
(Duración máxima estimada: 2 semanas, incluyendo 1/2 semana para la revisión del borrador, 1/2 semana para la realización de ajustes por parte del equipo evaluador y la aprobación formal del informe final):
– Análisis e interpretación en profundidad de la información recolectada.
– Redacción de un primer borrador de informe final, que será remitido al comité de gestión, que, a su vez, lo hará llegar al comité de seguimiento.
– Integración de observaciones y mejoras al informe remitidas por el comité de gestión, que previamente habrá recabado los comentarios del comité de seguimiento.
– El equipo evaluador explicitará de qué manera estas observaciones han sido incorporadas en el documento y expondrá, en su caso, los argumentos que recomiendan su no consideración, salvaguardando en todo momento la independencia de la evaluación, en correspondencia con los Estándares de Evaluación del CAD.
– Elaboración del informe final, que incluirá los anexos correspondientes.
Productos Fase III:
Borrador de Informe final. Deberá entregarse como máximo 2 semanas después de la finalización
22 El Comité de Gestión dispondrá de 1/2 semana para revisar el informe y los comentarios y trasladará las indicaciones oportunas al equipo evaluador. El equipo evaluador dispondrá de 1/2 semana para llevar a cabo los ajustes necesarios y devolver el informe al comité de gestión para su validación final.
Informe final
El informe final será presentado en idioma español. Se recomienda que el informe final se componga de los siguientes documentos:
o El informe final propiamente dicho (máximo 50 páginas sin anexos), que estará redactado en español.
o La Matriz del Plan de Mejora (ver anexo) donde se proponen los principales compromisos a recabar entre las instituciones relacionadas.
o Una relación de anexos, que incluirá, entre otros documentos, los TDR de la evaluación y un listado con las principales fuentes de información.
o Un resumen ejecutivo (máximo 5 páginas), que deberá estar redactado en español.
El formato en el que se deberá entregar el informe será definido por la firma evaluadora, en tres copias en físico. Una copia del informe será entregado en un Disco Compacto, el texto en PDF y Word y los cálculos en EXCEL.
A continuación se recoge una propuesta con el contenido mínimo que debe recoger el informe de evaluación, no obstante la estructura definitiva del informe final de evaluación se acordará entre el comité de gestión y el equipo evaluador.
1. Introducción
a) Estructura de la documentación presentada. b) Antecedentes y objetivos de la evaluación. c) Condicionantes y límites del estudio realizado. d) Presentación del equipo de trabajo.
2. Descripción del objeto evaluado 3. Metodología.
4. Resultados del análisis de la información. 5. Conclusiones de la evaluación.
6. Recomendaciones por destinatario/nivel de análisis y lecciones aprendidas. 7. Matriz del Plan Integral de Mejora3.
8. Anexos
Fase IV Difusión: Una vez entregado el Informe Final, el Comité de Gestión de la evaluación
asegurará su adecuada difusión entre los actores implicados en terreno y sede. El informe de evaluación será publicado íntegramente y al menos habrá una presentación de los resultados en el taller de cierre del programa. Además, se requerirá la participación del equipo evaluador en
3
23 actividades de presentación del informe final y devolución de resultados. Se prevén 2 días de presentación de la Evaluación Final ante organismos involucrados en el marco del programa.
Resumen del cronograma: Fase 1: Actividades preparatorias
Informe Preliminar 2 semanas
Fase 2: Trabajo de campo 3 semanas
Fase 3: Análisis e interpretación Informe Final
2 semanas Fase 4: Difusión
Fuera de plazo
2 días por cuenta del Comité de Gestión
8. PREMISAS DE LA EVALUACIÓN, AUTORÍA Y PUBLICACIÓN
El equipo evaluador durante el desarrollo de la revisión deberá contemplar las siguientes premisas:
Independencia e imparcialidad: El equipo evaluador deberá garantizar su independencia
respecto del objeto evaluado. Las personas integrantes del equipo de evaluación deberán comunicar previamente los posibles conflictos de intereses, prestarán un tratamiento respetuoso y no discriminatorio a todas las personas y colectivos implicados en el proceso de revisión y desempeñarán sus tareas con integridad y honestidad.
Anonimato y confidencialidad: Durante el desarrollo de la evaluación se deberá garantizar
el respeto a la intimidad y el adecuado tratamiento de los datos personales. Especialmente, en contextos de conflicto o riesgo para la integridad personal, se extremarán las medidas para evitar posibles daños derivados de la identificación de las personas que participen en la revisión.
Credibilidad: Para que sus productos resulten creíbles y asumibles ante los diferentes
actores implicados, la revisión deberá responder a las diversas necesidades de información; habrá de llevarse a cabo de acuerdo al cronograma previsto; y se realizará de una forma sistemática y metodológicamente robusta, acometiendo cada una de las fases de manera clara y suficientemente argumentada, de tal modo que los hallazgos y recomendaciones resulten fundados.
Incorporación de los enfoques transversales: La evaluación se llevará a cabo teniendo en
cuenta los enfoques transversales contemplados en la Política de Evaluación de la Cooperación Española: género, derechos humanos, sostenibilidad ambiental y diversidad cultural.
Utilidad: Los productos de la evaluación deberán reconocer sus propias limitaciones,
24 equilibrada de éste, que permita apreciar sus logros y fortalezas, así como sus posibles carencias y debilidades. En caso de que existan discrepancias importantes entre el equipo evaluador y los órganos de gobernanza de la revisión, se dejará constancia de las mismas en el informe final.
Convalidación de la información: Corresponde al equipo evaluador garantizar la veracidad
de la información recopilada para la elaboración de los informes y será asimismo responsable del contenido del informe final.
Comunicación: La comunicación de los hallazgos y recomendaciones se realizará de forma
clara, concisa y concreta, utilizando formatos adaptados a las diferentes audiencias.
Incidencias: En el supuesto de la aparición de problemas durante la realización del trabajo
de campo o en cualquier otra fase de la revisión, éstos deberán ser comunicados inmediatamente al Comité de Gestión. De no ser así, la existencia de dichos problemas en ningún caso podrá ser utilizada para justificar el incumplimiento de lo establecido en los TDR.
Entrega de los Informes: En caso de retraso en la entrega de los informes o en el supuesto
de que la calidad de los informes entregados sea manifiestamente inferior a lo pactado, serán aplicables las penalizaciones previstas en el Contrato, cuyo formato se encuentra en el Anexo III.
Se reconocerá la autoría del equipo evaluador de los productos de la evaluación y en virtud al contrato, los derechos de reproducción, traducción, adaptación, comunicación, difusión y distribución corresponderán a la entidad beneficiaria, CRS-Bolivia, como contratante de los servicios de evaluación. No obstante, la AECID se reserva el derecho de reproducir, distribuir o comunicar públicamente el informe de evaluación sin necesidad de acuerdo previo con dicha entidad, cuando así lo requiera el correcto desarrollo de procedimientos administrativos y lo hará con previa autorización de la misma, cuando se requiera por otro tipo de motivos.
9. PERFIL DEL EQUIPO EVALUADOR
El Equipo Evaluador deberá cumplir los siguientes requisitos:
La formación académica del equipo evaluador deberá ser multidisciplinaria, requiriendo como mínimo una persona especialista en infraestructuras de agua y saneamiento y otra del área de ciencias sociales o humanidades.
Experiencia demostrable de al menos cinco años en evaluaciones participativas y evaluaciones finales similares al presente.
Es imprescindible el dominio de aymara en alguna/s de las personas que conformen el equipo evaluador.
Se valorará la experiencia en evaluaciones de cooperación para el desarrollo y de las técnicas y metodologías de evaluación.
Se valorará experiencia de trabajo previo en organizaciones campesinas e indígenas originarias bolivianas.
25 Se valorará positivamente la conformación de un equipo evaluador paritario entre hombres y mujeres, así como intercultural.
La contratación será local y el proceso de selección será realizado por un equipo de CRS, el cual considerará las propuestas recibidas y elegirá las propuestas que cumplan con todas las condiciones antes mencionadas.
CRS proporcionará la información y el apoyo que el equipo evaluador seleccionado necesite y será posible que algún representante de CRS/FCAS acompañe en el trabajo de campo de la evaluación. Tanto si se trata de empresas como en el caso de personas físicas, deberá identificarse la persona responsable de coordinar e impulsar los trabajos y de establecer el contacto formal con el Comité de Gestión.
Como norma general, se tendrán en cuenta los siguientes requisitos:
La persona que coordine el equipo deberá acreditar formación especializada en evaluación y una experiencia mínima de 5 años en evaluación de proyectos o programas de desarrollo.
Se valorará en todos los miembros del equipo titulación universitaria, preferiblemente en cooperación para el desarrollo, evaluación, políticas públicas, o relacionadas con agua y saneamiento.
En su conjunto, el equipo evaluador deberá acreditar:
Conocimiento amplio del contexto socioeconómico y de las políticas públicas del país.
Conocimiento de la Cooperación Española.
Conocimiento específico del sector agua y saneamiento, y en su caso de los ámbitos o subtemas en los que prioritariamente se vaya a enfocar la evaluación.
Conocimientos relativos a los enfoques transversales del FCAS. Este requisito se adaptará en función del peso específico de los diferentes enfoques en cada caso.
10. PRESENTACIÓN DE OFERTAS Y CRITERIOS DE VALORACIÓN
Las ofertas deberán estar compuestas por una propuesta técnica y una propuesta económica por parte del equipo evaluador con el siguiente detalle:
SOBRE “A” Propuesta Técnica: a) Presentación de la empresa
Nombre de la empresa o experto/a.
Título de la evaluación: “Evaluación Final - Programa Salud con Agua y Saneamiento”.
Datos de contacto de la empresa o experto/a individual.
Una carta de garantía de su independencia del Programa a evaluar.
Constancia de que no existen razones de incompatibilidad para llevar a cabo la evaluación.
26
El compromiso de trabajar según los TdR establecidos por CRS y aprobados por la AECID
CV detallado de la empresa (en su caso). En anexos
CV detallado de los integrantes del equipo evaluador de la empresa licitadora que esté dedicado al estudio, indicando el % de dedicación. En anexos
b) Presentación del plan de trabajo y de la propuesta metodológica:
Metodología de trabajo.
Revisión y propuesta de las preguntas de la evaluación
Plan de trabajo. SOBRE “B” Propuesta Económica:
Presupuesto: Deberá desglosarse en función de los diferentes tipos de gastos (viajes, alojamiento, manutención, honorarios, materiales, etc.). En el caso de los honorarios, se especificarán las tareas y las tarifas de cada miembro del equipo evaluador, indicando el importe por persona y día.
Las propuestas no podrán exceder de 15 páginas (sin anexos).
Las propuestas deberán ser presentadas hasta horas 18:00 del día martes 19 de abril de 2016 en la Oficina de CRS-Bolivia, Av. Julio Patiño No. 668, Calacoto de la ciudad de La Paz, Bolivia.
Las ofertas deben ser presentadas en dos sobres cerrados, uno con la Propuesta Técnica y el otro con la Propuesta Económica.
Se valorará de manera separada la propuesta técnica y la propuesta económica, la propuesta técnica será evaluada sobre 70 puntos y la propuesta económica sobre 30 puntos.
La valoración de las ofertas tomará en cuenta los siguientes criterios: Aspectos que se valorarán en la oferta económica (30%):
- Valoración de la oferta económica, consistirá en asignar el puntaje máximo a la oferta económica de menor costo.
Aspectos que se valorarán en la oferta técnica (70%):
- Rigor y claridad de la propuesta metodológica y su adecuación a la naturaleza y el propósito de la evaluación final.
- Calidad de la matriz de evaluación y mejoras relativas a las preguntas de evaluación. - Viabilidad del plan de trabajo.
27 Se presenta a continuación la tabla de valoración sobre 70 puntos para su utilización por el Comité de Gestión:
Experiencia del equipo evaluador 20 puntos
Rigor y claridad de la propuesta metodológica y su adecuación a la naturaleza y el propósito de la revisión
15 puntos
Calidad de la matriz de evaluación y mejoras relativas a las preguntas de evaluación 15 puntos
Viabilidad del plan de trabajo 10 puntos
Abordaje de los enfoques transversales en la propuesta metodológica 10 puntos
En ningún caso se valorarán los requisitos del equipo evaluador, que son condición mínima para poder participar en el proceso de licitación.
El monto referencial para la contratación del servicio de Evaluación Final del Programa Salud con Agua y Saneamiento es de Bs.- 85.000.
28
29
ANEXO II. LISTADO DE COMUNIDADES INTERVENIDAS
Nº DPTO MUNICIPIO COMUNIDAD TIPO DE PROYECTO
1
LA
PAZ
ACHACACHI
Llasaraya Sistema de agua y baños ecológicos 2 Putuni Sistema de agua y baños ecológicos 3 Chahuira Pampa Sistema de agua y baños ecológicos 4 Pajchani Grande Sistema de agua y baños ecológicos 5 Arasaya Chico Sistema de agua y baños ecológicos 6 Pampa Belen Sistema de agua y baños ecológicos 7 Ocorani Sistema de agua y baños ecológicos 8 Tahari Sistema de agua y baños ecológicos 9 Cachi Lipe Villa Lipe Sistema de agua y baños ecológicos 10 Cocani Sistema de agua y baños ecológicos 11 Cohuani Sistema de agua y baños ecológicos 12 Churuata Belén Baños ecológicos
13 Corpa Cala Cala Baños ecológicos
14 Pajchani Molino Sistema de agua y baños ecológicos 15 Suntia Común Sistema de agua y baños ecológicos 16 Taramaya Grande Baños ecológicos
17 Tipampa Baños ecológicos 18 Kjasina Baños ecológicos
19
TARACO
Hihuahui Chico Sistema de agua y baños ecológicos 20 Chambi Taraco Sistema de agua y baños ecológicos 21 Chivo Sistema de agua y baños ecológicos 22 Isla Sicuya Sistema de agua y baños ecológicos 23 Jahuira Pampa Sistema de agua y baños ecológicos
24
HUARINA
Antacollo Sistema de agua y baños ecológicos 25 Icrana Sistema de agua y baños ecológicos 26 Berenguela Patamanta Sistema de agua y baños ecológicos 27 Apuvillqui Sistema de agua y baños ecológicos
28
VIACHA
Alto Chañojahua Sistema de agua y baños ecológicos 29 Humachua Sistema de agua y baños ecológicos 30 Muruamaya Zona Sangramaya Sistema de agua y baños ecológicos
31
HUATAJATA Marka Originaria Arasaya Sistema de agua y baños ecológicos 32 Soncachi Chico-Tajara Sistema de agua
33
JESUS DE MACHACA
Chama Rosario Sistema de agua y baños ecológicos 34 Aguallamaya Sistema de agua y baños ecológicos 35 Chama B. 6 de Junio Sistema de agua y baños ecológicos 36 Corpa Sistema de agua y baños ecológicos
30
37 Titicani Taycuyo Sistema de agua y baños ecológicos
38 TIAHUANACU Corpa Sistema de agua y baños ecológicos
39
ESCOMA Querajata Sistema de agua y baños ecológicos 40 Gran Puni Sistema de agua y baños ecológicos
41 PUERTO
ACOSTA Kellahuyo Sistema de agua y baños ecológicos
42
LAJA
Ullajara Sistema de agua y baños ecológicos 43 Tumuyo Sistema de agua y baños ecológicos 44 Huacanoco Sistema de agua y baños ecológicos 45 Guallaqueri Sistema de agua y baños ecológicos 46 Poma Colto Sistema de agua y baños ecológicos 47 Curva Pucara Sistema de agua y baños ecológicos 48 Kalapunku Sistema de agua y baños ecológicos
49
BATALLAS
Caluyo Sistema de agua y baños ecológicos 50 Challapata Sistema de agua y baños ecológicos 51 Sojata Sistema de agua y baños ecológicos 52 COCH A B A M B A
VACAS Challwa Mayu Sistema de alcantarillado
53
ARANI
Quewiñal Sistema de agua 54 Molle Molle Sistema de agua 55 Serrano Sistema de agua
56
COLOMI Huancuni Sistema de agua 57 Tablas Monte Sistema de agua
58
VILLA TUNARI Villa Jorka Baños ecológicos y duchas 59 Puka Mayu Sistema de agua
