66 I NTERVENCIÓN PSICOSOCIAL

distintas estrategias que sirven para pre-evaluar un programa: el análisis de la literatura interventiva, el análisis del problema y la simulación de cursos de acción alternativos.

Por otro lado, debemos considerar la distinción entre la evaluación del proceso y la evaluación de los re-

sultados. Si bien la evaluación de los resultados es, sin duda, lo que se suele entender por evaluación del pro-

grama, y ha de realizarse al final de la ejecución del mismo, la evaluación del proceso debe llevarse a cabo a medida que se ejecuta (Fernández-Ballesteros, 1996). «Cada programa de intervención debe haber sido desarrollado sobre el papel, especificándose sus objetivos de una manera jerarquizada, los métodos a utilizar en función de los recursos disponibles, la asignación de roles a cada uno de los miembros del equipo y una esti- mación aproximada de la duración de intervención según la naturaleza del problema. Todas estas especifica- ciones preliminares han de ser fruto del consenso de un grupo de expertos que cuentan, recordemos, con una evaluación de necesidades y la colaboración, siempre indispensable en la evaluación de programas, de las par- tes interesadas» (Achúcarro y San Juan, 1996, p. 76).

En cualquier caso, el proceso de evaluación es más fácil de lo que podamos imaginar. Como en muchas ta- reas, la clave del éxito es la preparación. Los logros de un programa, y la facilidad con la que se puede evaluar, dependen directamente del esfuerzo puesto en el diseño y de su puesta en marcha. En otras palabras, mientras se diseña el programa también se planifica cómo se ha de evaluar. Dentro de esta línea, para Thompson y McClin- tock (2000), toda evaluación deberá tener ciertos componentes básicos que deberemos tener en cuenta en la pla- nificación de la misma. Los resumimos en el siguiente cuadro:

CUADRO 2.7. COMPONENTES DE LA EVALUACIÓN ( Thompson y McClintock, 2000)

• Objetivo claro y definido Una frase puede definir clara y específicamente el propósito de la evaluación. Sin tal frase, los evaluadores están desenfocados y no saben qué medir.

• Población diana Aunque variará dependiendo del objetivo de evaluación, su des- cripción específica, así como del grupo de comparación (grupo control) si lo hay, son fundamentales.

• Qué va a ser evaluado Su descripción incluye el tipo de información que debe reco- gerse y cómo esa información se relaciona con los objetivos del programa.

• Métodos Técnicas apropiadas para cubrir el objetivo de la evaluación y que proporcionarán el tipo de información que se busca. • Instrumentos Herramientas para la recogida de datos que deben ser diseña-

dos y/o probados.

• Información bruta Información de los componentes de la población diana, es de- cir, información que se recoge según avanza el programa. • Información procesada Introducción de la información en una base de datos para su

análisis estadístico.

• Análisis de la información Uso de técnicas de análisis de datos cualitativas o cuantitativas. • Informe de la evaluación Incluye los resultados de los análisis y la significación y rele-

vancia de los mismos.

En suma, debemos programar que, en la fase de evaluación, habrá que analizar qué hemos hecho, con qué resultados, si lo que se ha hecho se corresponde con lo previsto, si se ha concluido conforme al calendario, si existe desfase entre lo presupuestado y el coste, si se ha atendido a un número de personas diferente al previsto,

si se ha conectado con el sector desprotegido previsto en el programa, si han sido efectivos los métodos em- pleados, si se ha utilizado la mejor combinación de personal disponible, con qué grado de economía se han ob- tenido los resultados, si ha sido idóneo y apropiado el material utilizado, qué resultados se han obtenido de la colaboración de otras instituciones y de la comunidad, si se han logrado los objetivos propuestos, en qué me- dida se ha hecho y si ha existido incremento en la demanda de servicios que no estaba prevista. Dejaremos se- ñalado en el diseño de la intervención cómo evaluaremos esos elementos y estudiaremos qué modificar para ser más eficientes.

Un diseño bien concebido establece las bases necesarias para realizar una evaluación bien organizada así como la metodología para recoger información comparativa. De este modo, los resultados pueden ser evalua- dos dentro de un contexto adecuado a la magnitud e importancia del programa. Asimismo, un buen diseño per- mite al evaluador sacar conclusiones sobre los efectos del programa con cierto grado de seguridad. Un buen diseño ayudará a establecer hipótesis con cierto grado de confianza sobre lo que habría sucedido si los partici- pantes en el programa no hubieran participado, y, por tanto, a evaluar en qué medida el programa tendrá éxito en la consecución de los objetivos propuestos.

2.8. Seguimiento

El diseño de una intervención debe contemplar cómo vamos a realizar el examen del progreso del programa una vez ha sido implantado de acuerdo con nuestra planificación. Veamos un ejemplo.

Un programa de formación para la reinserción laboral de parados de larga duración se completa tras la realización de las actividades formativas y la recepción de ayudas para incentivar el autoempleo. El 95 por ciento de los que comenzaron el programa inician su aventura laboral y se dan de alta en la Seguridad So- cial. En este momento podemos considerar que a la finalización del programa se han obtenido unos resul- tados positivos. Sin embargo, podemos plantearnos cuál será el impacto del programa en un plazo más amplio con preguntas como las siguientes: ¿cuántos de los que participaron en el programa continúan realizando la misma actividad al término de seis meses, uno y tres años? ¿Cuántos nuevos empleos se han creado en ese periodo a partir de las iniciativas de los participantes? ¿Cuántos han vuelto a la situación previa a su parti- cipación en el programa trascurrido ese tiempo? ¿Cuáles han sido las causas de los fracasos? ¿Qué aspec- tos del programa han contribuido más a la reinserción a lo largo del tiempo? ¿Qué acciones o contenidos no contemplados en el diseño y ejecución podrían haber evitado los fracasos? ¿Cuál es el conocimiento y la valoración de la comunidad sobre la utilidad de este programa?

Este sencillo ejemplo nos muestra la necesidad de contemplar el seguimiento de un programa cuando lo es- tamos planificando, ya que un adecuado plan de seguimiento nos ayudará a valorar el impacto del programa más allá de los resultados inmediatos; nos ayuda también a señalar cuáles pueden ser las vías más eficaces de mejora, e incluso nos permite detectar nuevas necesidades de intervención no vislumbradas inicialmente.

A la hora de planificar el seguimiento debemos tener en cuenta los siguientes parámetros:

1. Cuál es la finalidad: por qué y para qué se va a realizar. Al definir el seguimiento podemos distinguir dos grandes tipos de objetivos, el de impacto y el de mejora del programa. El seguimiento del impacto de un programa se puede centrar en las consecuencias directas para los participantes, o en las indirectas para el entorno social inmediato y para el entorno comunitario-institucional. El seguimiento de mejora se centrará en relacionar los resultados de seguimiento del impacto con la información y con el diseño y ejecución del programa, de manera que se puedan detectar los puntos fuertes y débiles del mismo y las medidas que se pueden acometer para su mejora.

2. Quién va a realizarlo: los responsables del seguimiento podrán ser agentes internos y / o externos. En el momento del diseño deberemos tener en cuenta este factor, ya que en ocasiones el seguimiento será 68 INTERVENCIÓN PSICOSOCIAL

realizado por instituciones ajenas al desarrollo del programa, aunque de alguna manera relacionada con él, y de cuyo juicio puede depender la continuidad del mismo. En estos casos, los indicadores que se juzgarán no serán seleccionados por el equipo que ha diseñado y ejecutado la intervención, sino por el agente externo. Prevenir esta circunstancia permitirá tener disponible el tipo de información que puede ser demandada.

3. Sobre qué vamos a realizarlo: el establecimiento de los objetivos de seguimiento nos facilitará clasifi- car las áreas prioritarias que podemos desglosar en el contenido del propio programa, el contexto en el que se inserta, o la gestión necesaria llevada a cabo.

4. Cuándo realizarlo: hablar de seguimiento es hablar de valoración a lo largo del tiempo. Por esta razón, responder al cuándo es la clave de un buen diseño de esta fase del programa. Normalmente se utilizan tres grandes etiquetas para acotar esta dimensión temporal: corto, medio y largo plazo. La selección de los momentos a partir de la finalización del programa que corresponden a cada etiqueta es un asunto me- nos claro, pero de capital importancia.

Lo primero que se debe tener en cuenta es con qué clase de objetivos se relacionan cada uno de estos mo- mentos. El seguimiento del programa a largo plazo nos proporciona información sobre el éxito en la estra- tegia general que se eligió para su diseño. El seguimiento a medio plazo nos proporciona información sobre el conjunto de acciones o tácticas que se eligieron para desarrollar la estrategia y articular todo el progra- ma de intervención. Por último, el seguimiento a corto plazo nos proporciona información técnica sobre las acciones más concretas y específicas que se utilizaron para realizar el programa.

En nuestro ejemplo anterior, la estrategia del programa era capacitar a los participantes para realizar con éxi- to iniciativas de autoempleo. Las acciones tácticas elegidas fueron la realización de cursos de formación y la facilitación de ayudas financieras para poner en marcha sus proyectos, mientras que los aspectos técnicos tení- an que ver, por ejemplo, con la decisión de si estas ayudas son créditos especiales, donación de recursos mate- riales etc. Así, la planificación del seguimiento a largo plazo tendría que ver con el éxito de la estrategia de capacitación; el seguimiento a medio plazo con la valoración de las acciones elegidas, formación y ayudas fi- nancieras, y el seguimiento a corto plazo con la adecuación de las decisiones técnicas concretas, como el tipo de ayudas financieras seleccionadas.

Una vez que hemos relacionado los plazos de seguimiento con los diferentes aspectos del diseño de la in- tervención y de la planificación del programa, debemos valorar en cada caso cuál será el momento más ade- cuado para ejecutar cada uno de ellos. Como referencia, sirva la práctica frecuente para programas destinados a grupos amplios de población en los que el seguimiento a corto plazo se sitúa entre la finalización del progra- ma y el primer año posterior, el seguimiento a medio entre el primer y tercer año, y el seguimiento a largo pla- zo a partir del tercer año.

En definitiva, debemos entender el seguimiento como un acopio de información sistematizado acerca de la aplicación del programa de intervención a través del tiempo. Dada su importancia, y si la complejidad del pro- grama lo requiere, puede ser conveniente y práctico planificar la existencia de un grupo o comisión de segui-

miento que se encargará de elaborar y utilizar protocolos de recogida de información. Esta comisión debería

incluso prever la evaluación del funcionamiento del propio sistema de seguimiento para asegurar que están pre- sentes todas las informaciones necesarias, así como la participación de todos los agentes implicados.

2.9. Informe

Todo programa de intervención debe contemplar la prelación y redacción de informes. Los informes deberán ser varios y deberán adaptarse a cada una de las fases del proceso. Esto es, debemos informar tras la elabora- ción del diseño y planificación, en cada una de las etapas establecidas en la ejecución, al finalizar la intervención

e, incluso, en el proceso de seguimiento de la misma. Independientemente del momento al que se refiera, la ca- lidad del informe escrito y de la presentación oral es un elemento de evaluación positiva o negativa sobre los diseñadores, ejecutores y evaluadores del programa. Esto es importante, hasta tal punto que el informe puede ser determinante para la puesta en marcha o la continuidad de un programa de intervención. En este epígrafe nos centraremos en las características que debe contemplar el informe de un diseño de intervención.

Para la elaboración de un informe deberemos tener en cuenta varios aspectos como son la audiencia, los con- tenidos y el formato. No debe olvidar el lector que un buen informe debe constituir el documento maestro so- bre el que se basará todo el desarrollo de la intervención. Veamos pues cada una de estas cuestiones.

Con respecto a la audiencia, como se observa en el Cuadro 2.8, el eje principal sobre el que se debe desarro- llar el informe dependerá del público al que va dirigido. Esto no significa que se deban presentar o no determi- nados contenidos, sino que los destinatarios del informe van a centrar su atención sobre unos aspectos más que sobre otros, dependiendo de su idiosincrasia o intereses, y es por tanto importante que los contenidos que se les presenten les resulten claros e inteligibles.

Por ejemplo, mientras que la audiencia de un Congreso Científico en la presentación de un informe acerca del diseño de un programa de intervención para ayudar a las personas de un barrio marginal con problemas de drogadicción atenderá más al rigor metodológico con el que se ha realizado, la audiencia del barrio marginal se interesará prioritariamente en los beneficios que el programa puede revertir sobre su comunidad.