En este apartado se discuten dos aspectos de la evaluación estratégica. En primer lugar, se ofrece una descripción valorativa de los planes estratégicos de la Comunidades Autónomas que permita anticipar la viabilidad de una estrategia de carácter nacional. En segundo lugar, se ofrece una recopilación de los indicadores de evaluación y seguimiento de las acciones que ha sido propuesta por las Comunidades Autónomas y que deben acompañar la puesta en marcha de las acciones estratégicas.
Indicadores de implantación
En total 12 de las 19 Comunidades y Ciudades Autónomas (55% del total del territorio y 71%
de las Comunidades) cuentan con un plan de infancia o de infancia y familia, o que permite apreciar la trascendencia atribuida a este tipo de compromisos y planificaciones estratégicas.
Para evaluar la concordancia de los planes estratégicos de las distintas CC. AA. y permitir realizar una propuesta que cuente con unos mínimos de viabilidad, se ha elaborado un conjunto de criterios que se valoran y comparan entre las comunidades. A continuación se resumen algunos de los criterios utilizados. En el apéndice 15 se encuentra el listado de los criterios.
Las Comunidades Autónomas en las que hemos encontrado un plan estratégico aceptado y publicado son: Asturias, Canarias, Cantabria, Castilla-La Mancha, Castilla-León, Cataluña, Galicia, La Rioja, Madrid, Navarra y Valencia. En la Comunidad del País Vasco, se ha valorado el plan de la Diputación Foral de Vizcaya. También sabemos que Andalucía se propone aprobar su plan estratégico en Noviembre de 2003. Por tanto, 12 (63%) de las 19 Comunidades y Ciudades Autónomas cuenta con planes integrales de infancia o infancia y familia.
El 50% de las Comunidades cuenta con un plan estratégico que contempla la infancia de forma específica y el 50% restante incluye la infancia dentro del objetivo global de atención a la familia. Tras la lectura de los planes estratégicos de las Comunidades se hace evidente que la inclusión de la infancia dentro del ámbito familiar obedece al propósito de afrontar los problemas de la infancia desde un punto de vista sistémico e integral y no debe considerarse un problema de falta de interés específico por la infancia.
En 9 Comunidades Autónomas se ha elaborado sólo el primer plan estratégico, 2 Comunida- des se encuentran en el 2º plan y una en el tercer plan. La duración mayoritaria es de 4 años (8 comunidades), existiendo 2 planes de 5 años de extensión, 1 de 3 años y 1 de 10 años.
El primer plan de los que se encuentran actualmente en vigencia se elaboró en 1998 (Canarias) y el último en el 2003 (Madrid). Además, 7 de los planes se cerrarán entre los años 2003 y 2004.
Se propone una duración corta de 2 a 4 años para la Estrategia nacional. La extensión debe ser suficientemente extensa como para permitir poner en marcha las medidas deseadas pero, por tratarse de una estrategia de nivel nacional, debe ser prioritaria la autoevaluación de la adecuación de los objetivos a corto plazo.
En el 100% de los casos se menciona la aplicación de la Convención de Derechos del Niño como marco de referencia y en el 83% de los casos se menciona explícitamente el interés superior del niño en las acciones planteadas. También en el 100% de las Comunidades Autónomas se menciona la aprobación de normas legislativas específicas dirigidas a la
infancia, en el 83% se propone legislación sobre adopción, guarda, tutela y acogimiento y en el 67% legislación para la protección.
Respecto a la recogida de información, en el 67% de los casos se propone la recogida de información sistemática, en el 50% de los casos se proponen indicadores poblacionales específicos, en el 50% se propone la financiación de investigación específica y el 58% se propone la utilización de indicadores de evaluación y seguimiento.
En cuanto a los objetivos planteados en los planes regionales, el 100% de los planes plantea objetivos globales y el 67% plantea objetivos específicos. Existe una gran diversidad respec- to al formato y número de objetivos planteados. El plan con menor número de objetivos propone 10, frente a 172 del plan con mayor número. Por término medio se plantean 63 objetivos por plan y en total se plantean 764 objetivos. Los objetivos se expresan mediante criterios objetivables sólo en una Comunidad Autónoma.
Entre todas las Comunidades Autónomas se proponen 1295 actuaciones, 144 de las cuales son programas de acciones. En el 67% de los casos las actuaciones se secuencian en el tiempo y en el 100% de los casos estas acciones cubren toda la infancia (0-18 años). En el 100% de los casos se asigna la institución responsable de cada acción, en el 42% se describen los recursos humanos necesarios y en el 42% se define estructura material de forma adecuada y suficiente para la puesta en marcha de las acciones. En el 33% constan las partidas presupuestarias para la instauración de las acciones.
En ningún caso se informa de las medidas alcanzadas en planes anteriores y en el 50% se proponen memorias anuales que permitan la constatación de temporalización fijada. En el 92% de los casos se propone la evaluación del plan, en el 100% se designa o crea una institución responsable del seguimiento del plan, en el 50% existen indicadores de segui- miento, en el 42% existen indicadores de detección, en el 67% se establecen indicadores de evaluación de la implantación de las acciones, en otro 67% se establecen indicadores de evaluación de la eficacia y cumplimiento de objetivos y en el 33% se propone la evaluación de la calidad por lo usuarios.
En ningún caso se mencionan o detectan las barreras de implantación del plan correspon- diente, en el 75% de los casos se propone la evaluación del plan por una institución externa y en el 8% de los casos se menciona o designa una partida presupuestaria específica para la evaluación del plan.
En cuanto a las grandes líneas estratégicas generales, en el terreno de la prevención, existen medidas de prevención en el 100% de los casos, en el 42% se proponen sistemas de detección de riesgos, en el 58% se propone investigación para detectar grupos o conductas de de riesgo. En el terreno de la participación, el 83% menciona la colaboración con las organizaciones de infancia, en el 50% de los casos se propone la participación de los menores en el diseño de planes, en el 8% se mencionan informantes menores de edad y en el 67% se propone la participación de los actores sociales en el plan. En el campo de la Coordinación, ninguna Comunidad propone la integración con otras Comunidades, el 100%
propone la coordinación entre organismos administrativos, el 8% propone la coordinación con otras Comunidades Autónomas de forma general y ninguna Comunidad propone la coordinación con otras Comunidades en alguna acción específica. La línea estratégica de sensibilización y difusión de objetivos recoge a un 92% que propone medios para la difusión de la CDN, un 92% propone medios para la difusión el interés superior del niño, un 75%
En el terreno de la detección de barreras, cabe destacar la respuesta desigual de los responsables y de los expertos. Mientras que un nutrido grupo ha participado de manera entusiasta en la respuesta a las distintas encuestas enviadas, algunos sectores han evitado sistemáticamente la participación, a pesar de la invitación generalizada a todos los sectores.
Bien es cierto que se nos ha informado sobre la dificultad de respuesta a un cuestionario de carácter tan abierto.
De los 126 contactos propuestos inicialmente para el panel de expertos, se ha obtenido respuesta de 57 expertos (45%). En el apéndice 1 se encuentra el listado de los respon- dientes cuya opinión se recoge en la presente propuesta. Aproximadamente un 10% de los expertos propuestos fue inalcanzable. En cuanto a la encuesta a responsables de las Comunidades Autónomas, se obtuvo respuesta de 11 responsables de las 19 Comunidades y Ciudades Autónomas consultadas, lo que supone una participación del 58%. Por otra parte se ha entrevistado a 23 expertos cuyos nombres figuran en el apéndice 2.
Indicadores de los programas y actuaciones
A continuación se detallan los indicadores de seguimiento y evaluación de las actuaciones que han sido propuestos por las distintas Comunidades Autónomas para la valoración de las actuaciones propuestas en sus planes estratégicos.
En la encuesta a responsables se solicitó la opinión sobre la evaluación de los planes. El 90% de los encuestados manifestó que es pertinente la evaluación externa de los planes estratégicos y el 78% estuvo de acuerdo con que se establezcan criterios de evaluación de los planes que sean homogéneos entre las distintas Comunidades autónomas.
En la documentación analizada, sólo presentan indicadores de evaluación los planes de las Comunidades Autónomas de Cantabria, Castilla-León, Madrid y Navarra (33%). Ahora bien, en algunos casos, se hace referencia a indicadores que no pueden, amparándose en crite- rios técnicos, considerarse como indicadores de evaluación propiamente dichos, entendien- do que éstos han de referirse a aquéllos que informan sobre la eficacia de las intervenciones (operativizada como el grado de cumplimiento de los objetivos). En los planes, por tanto, se mencionan como indicadores de evaluación algunos que se refieren a la implantación de las intervenciones o a los recursos destinados a ellas.
Teniendo en cuenta esto, la división categorial por la que se ha optado es la diferenciación entre indicadores de implantación, de recursos y de evaluación.
1. Indicadores de implantación: Se refieren a todas las acciones emprendidas sin las cuales no hubiera sido posible llevar a cabo la intervención. Se entiende que si los programas no se implantan no serían evaluables y, por tanto, cualquier tipo de modi- ficación que se pudiera detectar (en caso de que se controlara) no estaría directa- mente relacionada con el programa.
2. Indicadores de recursos. Hacen referencia a los medios, tanto humanos como materiales, que se ponen a disposición para la implantación de los programas. En algunos casos, se limitan a reseñar lo ya existente y, en otros, a la provisión de recursos específicamente puestos en marcha con el fin de implantar los programas.
3. Indicadores de evaluación: Medidas de cambio de situaciones anteriores, medidas de cumplimiento de objetivos, medidas subjetivas de satisfacción de los diversos grupos de implicados en los programas, etc. Estos indicadores se refieren a los tres grandes grupos de programas que han sido identificados: formación, prevención e intervención propiamente dicha.
En los listados siguientes se consignan los indicadores mencionados en los planes diferen- ciados en los tres grupos anteriores. Detrás de cada uno de los indicadores, se referencia el plan concreto en el cual han sido mencionados según la siguiente nomenclatura: C=
Cantabria; CL= Castilla-León; M= Madrid; N=Navarra.
Indicadores de implantación
1. Número de programas de prevención (C, N).
2. Número de cursos y actividades de formación (M).
3. Número de instrumentos de evaluación existentes para la evaluación de los niveles de riesgo (C).
4. Número de protocolos de intervención implementados (C, M).
5. Número de casos atendidos por programas (C, CL, M, N).
6. Número de familias y de niños que participaron en actividades (C, M).
7. Número de comisiones de participación que promueven la coordinación activa (M).
8. Número de estrategias de implicación familiar puestas en marcha (M).
9. Número de reuniones de coordinación realizadas con respecto a las previstas (M).
10. Número de familias inmigrantes en las que se realizan las actuaciones diseñadas (M).
11. Número de familias atendidas para la resolución de conflictos familiares (M).
Indicadores de recursos
1. Número de unidades o centros de servicios sociales de atención primaria (C, M).
2. Número de profesionales en centros de educación y de salud (C, M).
3. Número de voluntarios que colaboran (M).
4. Número de comisiones organizadas (M).
5. Número de recursos de intervención sociofamiliar con familias de inmigrantes (M).
6. Número de subvenciones concedidas para el desarrollo de Escuelas para padres y madres (M).
7. Número de ayuntamientos y de profesionales implicados en el intercambio de experiencias (M).
8. Número total de plazas contratadas en Centros de Atención Temprana con respecto al número total de plazas subvencionadas (M).
9. Número de Consejos Locales en los que se implanta el Proyecto Unificado de Apoyo Familiar (M).
10. Número de directores que forman parte de los equipos interdisciplinares (M).
Indicadores de eficacia
1. Porcentaje de estudiantes que han recibido formación (C, M).
2. Número de profesionales que han recibido formación (C, M).
3. Número de casos de desprotección detectados (C, CL).
4. Número de niños en programas de prevención que permanecieron con su familia (CL, M).
5. Número de niños en programas de separación provisional que retornaron a la familia (CL, M).
6. Número de acogimientos interrumpidos (CL).
7. Índice de crecimiento de familias acogedoras (CL).
8. Grado de satisfacción de las familias adoptantes (CL).
9. Número de jóvenes que consiguieron empleo dentro de los 12 meses siguientes a la
14. Número de foros creados para el intercambio y la coordinación entre servicios socia- les de atención primaria y servicios educativos, sanitarios y policiales (M).
15. Cantidad y calidad de información con la que los servicios de atención primaria llevan a cabo la investigación-valoración (M).
16. Número de instituciones y sectores sociales consultados (M).
17. Número de municipios a los que se ha facilitado apoyo técnico y económico (M).
18. Número de propuestas acogidas y realizadas en cada residencia (M).
19. Número de acogimientos autorizados con respecto al número de solicitados (M).
20. Número de peticiones de información satisfechas con respecto a las demandadas (M).
21. Número de niños enfermos que reciben apoyo escolar con respecto a los casos detectados (M).
22. Número de niños con trastornos de comportamiento escolarizados con respecto a los detectados (M).
23. Número de menores absentistas que se reincorporan al sistema educativo por las actuaciones puestas en marcha (M).
24. Número de menores que se incorporan a centros educativos con respecto a los detectados (M).
25. Número de tutelas con respecto a la totalidad de casos detectados (M).
26. Número de actuaciones conjuntas que se ponen en marcha con respecto a las que se ponían en marcha antes del inicio del proyecto de coordinación (M).
27. Número de acogimientos familiares con familia alternativa que se producen con respecto a los que se producían antes de la puesta en marcha del proyecto (M).
28. Número de familias preceptoras de ayuda con respecto al número de familias solicitantes (M).
29. Número de informes de valoración emitidos con respecto al número de informes solicitados (M).
30. Número total de casos derivados a servicios sociales municipal con respecto al número total de casos atendidos (M).
31. Número de seguimientos realizados con respecto al número de casos derivados (M).
32. Número de menores atendidos víctimas de abuso sexual con respecto al número de menores que lo solicitan (M).
33. Número de Tutelas y Guardas adoptadas respecto al número de expedientes tramitados (M).
34. Número de actuaciones de defensa contenciosa llevada a cabo respecto a la demanda o a lo considerado como necesario (M).
35. Porcentaje de casos atendidos en los que se evita el internamiento (M).
36. Número de bajas y traslados de centro realizado respecto al número total de niños en Acogimiento Residencial (M).
Aparte de estos indicadores, se sugiere que cualquier acción formativa llevada a cabo sea evaluada en términos del número de asistentes y que se les administre en todos los casos un pequeño cuestionario de satisfacción con la formación y de eficacia de la formación.
Es nuestra recomendación que cualquier acción específica vaya acompañada de al menos un indicador de eficacia. Sin embargo, nos resulta imposible proponer en este momento un listado de indicadores, mientras no se determinen las acciones que se desea poner en marcha o, al menos, los objetivos a perseguir.