Impacto Social
Comparte esta publicación en redes sociales
de Impacto Social
Proyecto de Becas y Ayudas al estudio de FP
28013 Madrid (España)
© Editorial Ariel, S. A., 2017
Avda. Diagonal, 662-664 08034 Barcelona (España)
© de los textos: Fundación Telefónica
© de la ilustración de la cubierta y del interior: Pedro Cifuentes Bellés © del diseño de cubierta: LACASTA
Iconos y dibujos utilizados en el documento: Freepik from www.flaticon.com
Coordinación editorial de Fundación Telefónica: Rosa María Sáinz Peña Primera edición: octubre de 2017
El presente monográfico se publica bajo una licencia Creative Commons del tipo: Reconocimiento - NoComercial - CompartirIgual
ISBN: 978-84-15282-29-7
1
2
Introducción
1.1 Objetivos y preguntas de la evaluación — 12
El objeto de la evaluación: el Proyecto de Becas y Ayudas al estudio de FP
2.1 Breve descripción del proyecto — 17 2.2 Teoría del programa y mapa de efectos — 20
2.2.1 Mapa de efectos o cambios — 20 2.2.2 Teoría del programa — 24
Resumen ejecutivo — 5
3
Metodología empleada en la evaluación3.1 Enfoque y diseño metodológico — 27 3.2 Alcance final de la metodología y técnicas previstas(de la teoría a la práctica) — 35 3.2.1 Comparación de grupos — 35
3.2.2 Análisis explicativo: basado en la teoría del programa — 38
3.2.3 Gestión de la participación en el proceso de evaluación — 39
5
6
7
4
Principales hallazgos y conclusiones de la evaluación de impacto
5.1 Acceso y continuidad en el itinerario formativo en FP de los becados — 99
5.2 Inserción laboral y oportunidades de empleabilidad — 102 5.3 Visión profesional, personal y relacional — 107
5.4 Adecuación del perfil e incidencia en factores de riesgo de exclusión social — 109
5.5 Índices de evaluación y aspectos de inclusión social — 113 5.6 Retorno Social de la Inversión — 114
5.7 Otros aspectos relevantes — 114
Recomendaciones
Anexos
7.1 Equipo de evaluación – Redcrea — 121
7.2 SROI: Matriz de análisis de los beneficios sociales del proyecto — 123
7.3 Ejemplos de ratio SROI de otros proyectos de formación y empleo — 126
(indicadores) — 50
4.2.1 Acceso y continuidad en el itinerario formativo en FP de los becados — 53
4.2.2 Inserción laboral y empleabilidad — 58 4.2.3 Proyecto profesional y visión de futuro — 71 4.2.4 Autonomía, iniciativa y aspectos relacionales — 73 4.2.5 Proyecto personal y calidad de vida — 75
4.2.6 Índices de impacto y variables clave — 78 4.2.7 Adecuación del perfil y factores de exclusión — 84 4.2.8 Retorno Social de la Inversión, SROI — 88
Objetivo
Ofrecer a jóvenes en situación de desventaja socioeconómica la posibilidad de acce-der y mantenerse en el sistema educativo mediante becas y ayudas que les permi-tan afrontar los costes reales de los estudios de Formación Profesional.
Gráfico 1
Distribución geográfica de los becados en el Proyecto
Perfil del participante
Existe una clara prioridad del becado en dar continuidad en su itinera-rio formativo (especialmente en los ciclos de Formación Profesional Básica –FPB– y Formación Profesional Media –FPM–, y en menor me-dida en Formación Profesional Superior –FPS–), así lo confirma la alta retención en el sistema formativo del grupo de becados, especial-mente en los grados en los que la deserción educativa pudiera tener consecuencias más negativas.
8,6 de cada 10 becados siguen en el sistema formativo Los jóvenes del ciclo FPB son los que en mayor proporción
se mantienen en el sistema educativo con posterioridad a la beca (9,5 de cada 10)
La beca otorgada al alumnado del proyecto es considerada como relevante y de-terminante en la continuidad del itinerario formativo de los becados, y reduce ideas o planteamientos relacionados con el abandono de los estudios. El aporte econó-mico y motivador de la beca ha permitido rebajar los factores de tensión, desmo-tivadores y de desaliento, presentes en el becado con un contexto de limitaciones socioeconómicas y personales.
En 9 de cada 10 jóvenes la beca ha influido en la continuación de los estudios en los últimos 2 años
Las condiciones socioeconómicas limitantes en el grupo de becados se mantie-nen en gran medida una vez culminado el aporte de la beca. Sin este apoyo al es-tudio en el futuro inmediato, se pueden volver a generar las condiciones adversas de partida en la continuidad del itinerario formativo en aquellos jóvenes que sigan priorizando la formación.
5,6 de cada 10 becados tendrían serias dificultades para continuar formándose
Destaca el alto grado de actividad de los becados relacionada con la inserción y la continuidad en la mejora de sus competencias. Estos escenarios de actividad confirman que el enfoque del Proyecto de Be-cas está promocionando que los ciclos inferiores se mantengan en el sistema formativo, frente a FPS, que independientemente de que puedan seguir formándose se espera de ellos un mayor contacto y de mejor calidad con el mercado laboral.
Gráfico 2
Escenarios de actividad 5 meses después de la beca
3 de cada 10 becados trabajan y estudian a la vez (especialmente en FPS y alumnado
con bajo rendimiento académico)
4 de cada 10 becados han tenido alguna experiencia con el mundo laboral en los últimos 5 meses
Becados en FPS lideran de forma clara la interacción con el
mercado laboral
Experiencia laboral en los últimos 5
meses
40,9%
(29,9 %trabajan y estudian) Solo formándose 56% Solo buscando empleo 2,4% Sin actividad 0,7%
En algún proceso de formación
85,9%
Gráfico 3
Tasa de inserción por filtro de calidad de contratación
40,90% 22,34% 15,80% 15,12% 11,02% 12,02% 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50%
Tasa bruta Contrato
> 2 meses > 4 horas Contrato Contrato concobertura Sí relacióngustaría tener Sí relación formación • 2,5 de cada 10 becados
con contratos > a 2 meses de duración.
• Solo 1 de cada 10 becados consigue un empleo con todos los criterios óptimos de calidad.
• Becados en FPS lideran de forma clara una mayor calidad en la inserción.
El becado sale del Proyecto de Becas con mejores competencias y recursos a la hora de afrontar el proceso de búsqueda de empleo en comparación a como inició la beca, aunque con una visión y expectativas limitadas a la hora de afrontar el proceso de inserción en el contexto actual del mercado laboral.
No parece existir una evolución atribuible a la beca con respecto a los aspectos de visión profesional y vital del alumnado del proyecto, aun-que, en cualquier caso, existe una perspectiva optimista y de satisfac-ción en estos aspectos. Igualmente, la proyecsatisfac-ción de futuro del beca-do se mueve entre el realismo: «Voy a tener muchas dificultades», y el optimismo: «A pesar de ello voy a conseguir mejorar».
8,6 de cada 10 becados consideran que su situación personal será mejor o mucho mejor
A pesar de las dificultades actuales existe un claro optimismo sobre la mejora de su situación personal
Con relación al grado de exclusión y el conjunto de índices que mi-den los efectos (empleabilidad, autonomía/iniciativa, proyecto pro-fesional y de vida, y calidad de vida), en ninguno de ellos aparecen diferencias significativas entre los distintos grados de exclusión, aunque sí parece existir una tendencia leve a que los efectos decrez-can a medida que el grupo tiene más criterios de exclusión. En cualquier caso, se puede concluir que el Proyecto de Becas actúa de forma muy similar (en relación con los efectos producidos), independientemente del grado de exclusión del alum-nado becado.
Retorno social de la inversión: se ha considerado el valor social de la mejora de la formación técnico-profesional, la inserción laboral, mejo-ra de la empleabilidad, continuación o ampliación de estudios y la dis-ponibilidad de redes y contactos. Teniendo en cuenta la inversión to-tal, la ratio SROI alcanza un valor de:
1:3
Visiónprofesional, personal, relacional
Perfil, factores de
exclusión
Retorno social de la
Otros aspectos
Se trata de un proyecto flexible en cuanto a la capacidad de adaptación a las necesidades de los centros educativos, y especialmente a las singularidades del alumnado. No es, por tanto, un sistema de apoyo económico rígido, sino que permite márgenes de actuación en función de las necesidades reales de los aspirantes.
Capacidad de los centros a la hora de dar seguimiento y acompañamiento al itinerario formativo del alumno y su relación con la beca. Ello permite tomar decisiones no solo basándose en baremos o criterios fijos, sino en función de la situación integral del alumno caso por caso.
El Proyecto de Becas se define como un sistema complementario de apoyo al estudio (buscando solventar las necesidades que otras ayudas no cubren y/o especialmente no logran identificar).
Estos aspectos facilitan una máxima rentabilidad y eficacia entre el apoyo que sustenta la beca y la capacidad de esta para cumplir con los objetivos pro-puestos.
1.1
Objetivos y preguntas de la evaluación
El Proyecto de Becas y Ayudas al Estudio de Formación Profesional, desarrollado por la Compañía de Jesús y con el apoyo de Fundación Telefónica, es un proyec-to dirigido a jóvenes matriculados en los centros de Formación Profesional de la Compañía de Jesús, con el fin de mejorar la capacidad de empleabilidad e inserción laboral de las y los jóvenes en desventaja social, en especial sobre la base de lograr una continuidad formativa lo más estable posible en el proyecto académico del alumnado.
El proyecto forma parte del Programa de Empleabilidad Joven de Fundación Telefónica, en el que los jóvenes son los protagonistas y cuya finalidad es apo-yarlos en el desarrollo de su proyecto de vida desde el aprendizaje significativo, la formación y la autonomía personal y conectarlos con la realidad del mercado laboral.
En abril de 2016 se puso en marcha la Evaluación de Impacto Social del Proyecto, proceso que culminó en junio de 2017, y cuyo recorrido y resultados se recogen en el presente documento de informe de evaluación.
El encargo de la Evaluación de Impacto Social del Proyecto de Becas fue realizado por la Fundación Telefónica y la Compañía de Jesús a la Red de Recursos de Eva-luación y Aprendizaje, Redcrea1. El estudio se centra, por tanto, en la identificación, medición y valoración de los efectos del proyecto en las y los jóvenes beneficiarios becados. Los resultados permitirán a ambas instituciones y al conjunto de los acto-res vinculados directa o indirectamente con su actividad, contar con evidencias para la toma sustentada de decisiones, la rendición de cuentas y, además, aportará a la construcción colectiva conocimiento sobre este sector en particular.
Esta iniciativa de evaluación forma parte de un conjunto de estudios de evalua-ción de impacto social promovidos por Fundaevalua-ción Telefónica en el marco de los pro-yectos de empleabilidad que apoya en los últimos años2.
1.1
Objetivos y preguntas de la evaluación
El objetivo central de la evaluación era identificar, medir y valorar los efectos o cam-bios que se esperaba que se produjeran en las y los participantes tras el desarrollo del Proyecto de becas, analizando si este había alcanzado sus propósitos.
1. Para ampliar información, consultar el anexo 1, equipo de evaluación; la página web www.redcrea.es y/o @redcrea2 2. El equipo de evaluación Redcrea ha desarrollado igualmente la evaluación de impacto social del Proyecto Lanzaderas ejecutado
Más específicamente, las preguntas de evaluación que delimitaron el foco y al-cance de la evaluación se organizaron en diez bloques prioritarios de la siguiente forma3:
1. Facilitar el acceso (cobertura): ¿el Proyecto de Becas ha logrado facilitar el acceso de los participantes a una formación técnica?
2. Cobertura y promoción: ¿el Proyecto de Becas posibilita que el participan-te pueda acceder a un itinerario completo (titulación)?, ¿en qué medida se consigue que el participante pueda cubrir una formación completa de gra-do?, los resultados en la promoción del alumnado becado ¿en qué grado condicionan la aparición o no de los efectos esperados?
3. Empleabilidad: ¿en qué medida el acceso a la beca ha posibilitado mayores oportunidades de empleabilidad de los jóvenes?, ¿en qué medida han esta-do presentes las competencias de ínesta-dole digital?
4. Exclusión social: ¿el proyecto actúa mayoritariamente sobre un perfil de población en exclusión social (incluir definición y grados)?, ¿en qué medida el acceso a la formación (facilitado por la beca) ha podido contribuir a dis-minuir los factores de riesgo de exclusión del participante?
5. Exclusión social: ¿se generan impactos en participantes que no han logrado culminar el proceso formativo completo?
6. Inserción laboral: ¿los participantes de los proyectos tienen más facilidad de incorporarse o reinsertarse en el mundo laboral?
7. Inserción laboral: cuantificar la tasa de inserción laboral de los proyectos en comparación con la del mercado; comparación de la calidad de empleo que otorgan los proyectos y la del mercado laboral actual en jóvenes.
8. Proyección profesional: ¿cómo cambia la visión de futuro de los y las parti-cipantes en relación con su proyección profesional y cambios en las opor-tunidades de encontrar empleo?
9. ¿En qué medida el Proyecto de Becas por sí solo genera los efectos espera-dos?, ¿qué otros elementos de la intervención están reforzando o generado los efectos deseados?
10. ¿Cuál es el retorno social de la inversión? (SROI).
De forma sintetizada las necesidades de evaluación apuntan a la valoración de cinco grandes constructos de impacto, que son los que se desarrollarán en el apar-tado de sistematización de resulapar-tados y conclusiones de la evaluación de impacto:
• Cobertura y promoción
• Inserción laboral y empleabilidad • Proyección profesional y visión de futuro • Exclusión social
el Proyecto de Becas
y Ayudas al estudio de FP
2.1
Breve descripción del proyecto 17
2.2
Teoría del programa y mapa de efectos
2.1
Breve descripción del proyecto
1El Proyecto de Becas y Ayudas al Estudio de Formación Profesional, desarrollado por la Compañía de Jesús y apoyado por Fundación Telefónica, es una intervención cuyo propósito general es mejorar las capacidades de empleabilidad e inserción laboral de jóvenes en desventaja social, y de forma particular la promoción y acceso a la formación profesional a jóvenes en exclusión social para mejorar sus oportunidades.
El esquema lógico de la intervención del Proyecto de Becas se presenta sintéti-camente en el siguiente gráfico:
Gráfico 2.1
Resumen y marco lógico del proyecto
500 jóvenes estudiantes / 20 centros de Formación Profesional 20 localidades (8 CC.AA.) / 31 meses - 2 cursos
Promover y facilitar el acceso a FP OBJETIVO ESPECÍFICO
Promover y facilitar el acceso a FP de al menos 500 jóvenes en exclusión social para mejorar sus oportunidades de empleabilidad y su inserción laboral.
Inserción laboral Empleabilidad
Al menos 500 estudiantes reciben una beca para realizar sus estudios de FP en un centro de la Compañía de Jesús durante los cursos 2014-2015 y 2015-2016.
Al menos el 80% (400 estudiantes becados) recibe la formación completa de su ciclo formativo de 2.000 horas.
Al menos el 80% (400 estudiantes) de los becados/as por el proyecto reciben la titulación de FP.
Al menos el 80% (400 estudiantes becados) recibe una certificación extra de cualificación profesional añadida a su currículo.
Nada más terminar las prácticas el 10% de los que finalizan la FP con éxito se inserta en el mundo laboral.
Tras la finalización de las prácticas y en los siguientes 6 meses, al menos el 25% de los becados por el proyecto (125 estudiantes) consiguen insertarse en el mundo laboral.
Indicadores
La lógica interna del Proyecto de Becas es que si se ofrece a jóvenes en situación de desventaja socioeconómica, la posibilidad de acceder y mantenerse en el sistema edu-cativo, mediante becas y ayudas que les permitan afrontar los costes reales de los es-tudios de formación profesional (niveles postobligatorios y sobre todo los no
concerta-1. En los siguientes enlaces, Fundación Telefónica y Compañía de Jesús incluyen una descripción pormenorizada de las característi-cas, fases y resultados del proyecto:
Fundación Telefónica: https://www.fundaciontelefonica.com/empleabilidad/becas-formacion-profesional/
dos), propiciando la igualdad de oportunidades en función de las necesidades individua-lizadas de cada alumno/a, aumentará su capacidad de empleabilidad e inserción laboral. Ello además se justifica con las estadísticas de la propia Compañía de Jesús respecto a que «durante el curso 2013-2014, no han podido acceder por motivos económicos a este tipo de estudios, y tampoco han obtenido plaza en los centros públicos, con el con-siguiente incremento de marginación y desigualdad social entre los jóvenes».
Por tanto, se puso en marcha un sistema de becas en el sistema de FP de la Com-pañía de Jesús, en 20 de sus centros educativos (complementarios al sistema públi-co), durante los cursos 2014-2015 y 2015-2016, dirigido a jóvenes que no cumplen con los requisitos para ser becados (por ejemplo, por no haber estado matriculados en un centro formativo el curso previo a la solicitud de la beca) o para conceptos que no cubren ni los conciertos ni las becas. Para acceder a estas becas es necesario estar en situación de exclusión social (debe acreditarse dicha condición), solicitar la beca públi-ca (siempre y cuando se cumpla con los requisitos y se acceda al plazo de las bepúbli-cas) y estar matriculado en ciclos de corte tecnológico en los 20 centros de referencia.
El ámbito geográfico (20 centros de la Compañía de Jesús, en 8 comunidades autónomas) y el n.º de becas concedidas (696 estudiantes2 con asignación a las be-cas concedidas por el proyecto evaluado en los tres niveles de FP3) se detalla en el siguiente gráfico:
Gráfico 2.2
Distribución de alumnos/as becados/as por centro educativo
0 20 40 60 80 100 120 140
124
Revillagigedo (Gijón)Egibide (Vitoria) 70
63
Padre Piquer (Madrid) 54 San José (Málaga) 52 SAFA Alcalá la Real (Jaén) 47 SAFA Bujalance (Córdoba) 44 Sagrado Corazón (Logroño) 44 Virgen de Guadalupe (Badajoz) 35
Escuelas San José (Valencia) 32 Cristo Rey (Valladolid) 31
SAFA Huelva (Huelva) 24 Joan XXIII (Barcelona) 20
SAFA Andújar (Jaén) 13 La Merced (Burgos)El Clot (Barcelona) 13
12
SAFA Pº Sª María (Cádiz) 7 Indautxu (Bilbao) 7 S. Ignacio de Loyola (Alcalá de Henares - Madrid)Kostka (Málaga) 3
1
SAFA Baena (Córdoba)
Un aspecto clave en la gestión del proyecto fue la incorporación de los criterios de asignación de las becas a través de 12 escenarios económico-sociales4 (el alum-nado solicitante de la beca debía al menos cumplir con uno de estos criterios):
Cuadro 2.1 Criterios para la asignación de becas
Criterio Descripción
1 Familia numerosa Certificado de familia numerosa; libro de familia
2 Familia monoparental Incluye solteros, separados, divorciados, sin convivir en pareja (certificado de convivencia)
3 Acogimiento Sea familiar o institucional (informe)
4 Vivienda Coste vivienda superior al 50% renta familiar y/o infravivienda (desahucio, embargo, malas condiciones de habitabilidad, hacinamiento = menos de 8 m2 por persona)
5 Renta Renta familiar inferior a 23.000 € brutos
(declaración IRPF)
6 Desempleo Sin trabajo (certificado de la prestación/subsidio por desempleo)
7 Pensionista Perceptor de una pensión (justificantes de pensiones)
8 Renta mínima de inserción Renta básica (certificado de renta mínima de inserción)
9 Atención en servicios sociales Informe de servicios sociales
10 Discapacidad Falta o limitación de alguna facultad física o mental (certificado de discapacidad)
11 Víctima de terrorismo Condición de víctima del terrorismo
12 Víctima de violencia
de género Condición de víctima por violencia de género
Por último, el Proyecto de Becas se planteaba con la siguiente línea de tiempo:
Gráfico 2.3
Línea de tiempo de ejecución del proyecto
15/11/2014
Asignación Becas año 1 Asignación Becas año 215/11/2015 Asignación Becas año 12ª Ed. Proyecto
2016
2017 2015
2014
Periodo formativo año 1 2ª Ed. del Proy.
Fin proyecto Becas FP 1ª Ed.
31/12/2016
Inicio proyecto Becas FP
Periodo formativo año 1 (1ª Ed. Proy.)
Periodo formativo año 2 (1ª Ed. Proy.)
Seguimiento egresados
1/10/2014 - 15/6/2015
16/6/2016 - 31/12/2016
1/10/2016 - 31/12/2016
jun oct feb jun oct feb jun oct
1/10/2015 - 15/6/2016
2.2
Teoría del programa y mapa de efectos
Durante la primera fase de la evaluación, además de la estructura de objetivos y re-sultados definidos en el propio proyecto, se trabajó con un grupo de personas de los equipos directivos y docentes de los centros educativos que participaban, así como el equipo de gestión del propio proyecto5, el análisis de la teoría del programa y los principales efectos o cambios (mapa de efectos) que se esperaban en el conjunto de los y las participantes tras su paso por todo el recorrido de la beca.
2.2.1 Mapa de efectos o cambios
El resultado de la identificación y conceptualización de los efectos clave se describe a continuación, tanto por tamaño del círculo (mayor puntuación como un efecto o cambio directo atribuible al proyecto), como por colores (en función del aspecto de exclusión al que se refiere):
Gráfico 2.4
Teoría del programa: mapa de efectos
Permanecen en el itinerario FP
Continúan formándose (estudian) Mejoran y
aprovechan redes sociales
de apoyo
Mejoran su proyecto
de vida Mejoran sus competencias
básicas y desarrollo personal
Incrementan sus oportunidades
de mejorar su calidad de vida Mejoran su
proyecto profesional
Mejora su capacidad de empleabilidad
Acceden a la FP
Formativo
Inserción laboral
Aparición de efectos
Laboral Desarrollo personal e interpersonal Relacional
Gráfico 2.5
Valoración de atribución efectos - becas (escala 1 a 10)
6,5 7 7,5 8 8,5 9
8,6
F2: Permanencia en el itinerario formativo
8,3
F3: Continuación - ampliación de estudios
8,3
L1: Mejoran su capacidad de empleabilidad
8,3
D1: Mejora competencias básicas y dllo. personal
8,3
D3: Incremento oportunidad mejora calidad de vida
8
L2: Mejoran su proyecto profesional
8
D2: Mejoran su proyecto de vida
7,6
L3: Inserción laboral
7,3
F1: Acceso a la formación profesional
7,3
Las principales valoraciones en la atribución de efectos6 se concentran especial-mente en la parte formativa: permanencia en el itinerario y continuidad-ampliación de estudios. Un segundo bloque relevante se orienta a un nivel de empleabilidad (mejora la capacidad de empleabilidad) y de desarrollo (competencias básicas y me-jora de calidad de vida). Un tercer bloque está orientado a la meme-jora en su proyecto de vida y profesional. Y, por último, se les concede un nivel menor de atribución a la inserción laboral y especialmente al acceso al sistema y mejora de las redes sociales.
En la siguiente tabla se incluyen los efectos esperados, relacionándolos con fac-tores de inclusión social que el proyecto apuesta por mejorar, así como su descrip-ción en el marco del proyecto:
Cuadro 2.2 Descripción de los efectos
Ámbitos de inclusión
social Efectos esperados Descripción
Formativo
F1: Acceso a la forma-ción profesional
Acceso como aceptación de la oportunidad de recibir una formación y acompañamiento acadé-mico y personal (ser «uno más», sin limitaciones económicas para estudiar).
El proyecto ayuda a los/las jóvenes a que se incor-poren a una formación profesional que da conti-nuidad a su formación previa, que de otra forma no podrían tener.
F2: Permanencia en el itinerario formativo
Permanencia entendida como mantenimiento de los/las jóvenes dentro del itinerario de formación profesional, teniendo en cuenta que la promoción de curso y la titulación son los resultados desea-dos, pero no los únicos que valorar (por ejemplo, jóvenes que necesitan más tiempo para comple-tar cursos, etc.).
F3: Continuación / ampliación de estudios
Al final del itinerario formativo, y una vez obtenida la titulación de FP, el efecto es que el joven opte por continuar estudios superiores, complementa-rios, etc.
Laboral
L1: Mejoran su capaci-dad de empleabilicapaci-dad
Una vez obtenida la titulación, valoran que han mejorado sus posibilidades de encontrar un em-pleo de su preferencia (o mejorar el que tienen, en su caso) en el mercado laboral actual.
L2: Mejoran su proyec-to profesional
Incidencia del paso por el centro formativo en una mayor orientación y, por tanto, definición de hacia dónde quieren dirigirse profesionalmente y cómo (planificación), con planes de carrera más claros.
L3: Inserción laboral
• Obtención de un empleo, tanto por cuenta propia como ajena.
• Calidad del empleo obtenido: tipo de con-trato, duración, sueldo, horario, protección social.
• Adecuación del empleo a sus expectativas profesionales y personales.
• Satisfacción con el empleo obtenido.
Desarrollo personal e
interperso-nal
D1: Mejora de sus competencias básicas y desarrollo personal
• Motivación, entusiasmo y ganas de apren-der: capacidad para mantener una actitud positiva y proactiva hacia la formación y el empleo.
• Confianza en sí mismo/a: están convenci-dos/as de sus propias capacidades y posi-bilidades de desarrollo.
D2: Mejoran su pro-yecto de vida
Los jóvenes mejoran su percepción y expectativas de futuro (independencia económica, posibilidad de formar una familia, mantener o mejorar el empleo, etc.).
D3: Incrementan sus oportunidades de mejorar su calidad de vida
Si terminan el itinerario y se titulan, pondrán en valor el contar con una profesión y unos valores que les abren oportunidades de tener una mejor calidad de vida (mejoran sus expectativas).
Relacional
R1: Mejora y apro-vechamiento de las redes sociales
2.2.2 Teoría del programa
El siguiente esquema resume los principales elementos estructurales de la teoría del programa identificada, en donde partiendo del perfil de entrada del alumnado susceptible de recibir la beca, se pasa por una serie de hitos y procesos que definen la gestión:
Gráfico 2.6
Teoría del programa: principales procesos
Puesta en marcha
• Firma Convenio • Formación y
creación de comision y subcomisiones Centros • Envío Bases
Convocatoría de Becas
• Lanzamiento y difusión convocatorias • Recepción
solicitudes y documentación
Asignación de Becas
• Valoración de criterios / baremación • Resolución de becas • Comunicación de becas
• Ejecución becas 1er
año
Revisión concesión Becas
• Valoración / actualización criterios de concesión • Actualización de bajas / creación fondo solidario • Asignación nuevas becas
• Ejecución becas 2º año
- FP Básica - FP Grado medio - FP Grado superior
- - -
Seguimiento continuo al alumno becado
(2 años formación + 6 meses) • Gestión de bajas
• Monitoreo de indicadores del proyecto becas • Encuestas (alumnado / familias / centros) • Actualización continua bases de datos alumnado
• Informes de seguimiento Teoría del
programa
Tutorías / Orientación / programa de apoyo
Seguimiento bajas (+ no renovaciones)
• Motivos de bajas
• Actualización situación – actividad jóvenes que han cursado baja
• Informes de seguimiento
Desarrollo itinerario formativo FP (2 años)
Prácticas en
empresas (*) Prácticas enempresas 1er
año 2 año
Acceso y formación de jóvenes en itinerario de Formación Profesional
Mejora capacidad empleabilidad e inserción laboral
en la evaluación
3.1
Enfoque y diseño metodológico 27
3.2
Alcance final de la metodología y técnicas previstas (de la teoría a la práctica)
35
3.3
Hipótesis, indicadores y variables relevantes
3.1
Enfoque y diseño metodológico
Teniendo en cuenta las características del encargo de la evaluación, que ponía el foco en el impacto social del proyecto1, y tras concretar las hipótesis de cambio a contrastar, el equipo de Redcrea consideró que lo más adecuado era trabajar con un enfoque metodológico mixto, buscando estrategias que pudieran estimar de la forma más robusta posible cuánto del cambio produ-cido se debía al proyecto.
En este caso, el diseño metodológico se ha plan-teado teniendo en cuenta que la evaluación comienza cuando el proyecto está ya en la última fase (finaliza en junio de 2016, prácticamente 3 meses después de dar inicio la evaluación), por lo que se ha buscado una opción viable y que a la vez dé las máximas garantías a los resultados que se obtengan de la evaluación. Por este motivo, aunque no se pueden desarrollar diseños cuasi experimentales, con un enfoque contrafactual, se buscaron fórmulas para trabajar con:
A) Un enfoque de comparación de grupos, que permite estimar el grado de contribución del proyecto en la aparición de efectos.
B) Un enfoque explicativo, basado en la teoría del cambio, particularmente adecuado para complementar los resultados del enfoque de comparación, y además responder a interrogantes sobre por qué, cómo y en qué contex-to la intervención funciona.
Además, incorporamos:
C) Un enfoque transversal participativo, que procura que el análisis del «cam-bio» que se requiere para evaluar el impacto sea lo más completo posible, para lo cual se habilitaron espacios y herramientas para asegurar la parti-cipación de todos los actores relevantes en el proceso. El objetivo era me-jorar la calidad de los resultados obtenidos, pero también su credibilidad y utilización.
D) Y para dar respuesta a la necesidad de conocer la relación coste-beneficio del proyecto, aplicando una adaptación de la metodología SROI (Social
turn On Investment). Dicha metodología tiene como elementos
diferencia-les el énfasis en la participación de los diferentes grupos de interés
(stake-holders) y la contabilidad social, por lo que se ha integrado perfectamente
dentro de la dinámica de la evaluación.
Gráfico 3.1
Opciones de diseño de métodos mixtos/elección para la evaluación
A= un diseño completamente CUANTITATIVO
B= dominante CUANTITATIVO con algunos elementos CUALITATIVO
C= diseño orientado a CUANTITATIVO con la misma importancia a ambos enfoques D= estudio diseñado como método mixto
E= diseño orientado a CUALITATIVO con la misma importancia a ambos enfoques F= diseño dominante CUALITATIVO con algunos elementos CUANTITATIVO G= diseño completamente CUALITATIVO
Estudios orientados a CUANTITATIVO con incorporación gradual de más atención DUAL Estudios orientados a CUALITATIVO con incorporación gradual de más atención a CUANTITATIVO
CUANTIT
ATIV
O CUALIT
ATIV
O
A B C D
E F G
La combinación de enfoques será la clave para obtener respuesta a las preguntas de evaluación planteadas con solidez, lo que implica a su vez la combinación de mé-todos, priorizando la triangulación y contraste de los datos con el objeto de aportar fiabilidad y validez al proceso de valoración e interpretación de los mismos: el diseño propuesto estará en un nivel D dentro de las posibilidades de métodos mixtos, tal y como se representa en el gráfico 3.1.
A) Enfoque de comparación de grupos
Diseño no experimental: combinación del método pre - post y contraste de diferencias. Grupo de proyecto (1.ª edición – postest), grupo de comparación (2.ª edición – pretest), grupos de contraste (evaluaciones de proyectos de em-pleabilidad).
• Técnica: Cuestionario aplicado de forma online:
– Pretest grupo proyecto: alumnos/as becados/as en la 2.ª edición del proyecto.
– Postest grupo proyecto: alumnos/as becados/as en la 1.ª edición, a los 3 meses de finalizado el proyecto.
– Postest: grupos de contraste, bases de datos de evaluaciones de pro-yectos de empleabilidad, para jóvenes con características similares. • Grupo de tratamiento o de proyecto: censo completo de jóvenes
par-ticipantes en el proyecto (objetivo: lograr una muestra lo más amplia posible).
• Grupo de comparación: grupo de becados/as en la siguiente edición del proyecto.
• Grupo de contraste: grupo de comparación (no pasan por el proyecto) de procesos de evaluación de proyectos de empleabilidad con jóvenes de similares características. (*)
• Estrategia: comparación de resultados de las variables asociadas a los efectos que se esperan en grupos (proyecto y comparación) antes y des-pués del proyecto, y con otro grupo de proyecto de una edición anterior. Control estadístico de variables explicativas alternativas.
Cuadro 3.1 Esquema del análisis
GRUPO PROYECTO GRUPO COMPARACIÓN Diferencia: CAMBIO Estimado
Postest (Xf) Pretest (Yi) Xf - Yi
• Análisis de diferencias entre grupos para pretest y postest: tablas de contingencia (χ2)
y ANOVA (t, F).
• Control estadístico de variables básicas (estructurales y empleabilidad, según hipóte-sis del proyecto).
GRUPO PROYECTO GRUPOS DE CONTRASTE Diferencia: Contraste - CAMBIO Estimado
Postest (Xf) Postest – grupo comparación
1 (FOf)
Postest – grupo comparación 2 (LEESf)
Xf - FOf Xf - LEESf
Se parte de que la evaluación tiene acceso tanto al alumnado que ha participado en la primera edición del proyecto, y que ha completado su proceso formativo (dos cursos lectivos), como al grupo que iniciaba una segunda convocatoria del Proyecto de Becas, y que comenzó en septiembre de 2016.
Por tanto, el diseño metodológico planteaba lo siguiente:
• Establecer el foco de la evaluación en los jóvenes que han sido becados du-rante los dos cursos que comprende el proyecto sobre el conjunto de la inter-vención (septiembre de 2014 a junio de 2016), con los siguientes aspectos: – Sistematización de la información que ha recopilado el propio proyecto en
el momento de la solicitud de las becas (perfil de entrada) del grupo que inició el proyecto en septiembre de 2014, y renovó becas en septiembre de 2015, especialmente aquella relacionada con indicadores de exclusión social.
– Desarrollo de un análisis postest en junio de 2016, mediante estudios de caso (estudio cualitativo).
– Completar con una medición postest en noviembre-diciembre de 2016, a los 5 meses de finalización del proyecto, mediante cuestionarios al con-junto de participantes (estudio cuantitativo).
• Por otro lado, contar con un elemento potencial de comparación, que es el grupo que es becado en la segunda edición del proyecto, por lo que se desa-rrolló igualmente una medición pretest de este grupo (diciembre de 2016). • Incorporar al estudio de los resultados otras evaluaciones desarrolladas en
Las comparaciones propuestas permiten estimar con un mayor contraste el cambio, especialmente en las variables clave del análisis: tasa de inserción y proyec-to profesional.
B) Enfoque explicativo
Diseño basado en la teoría del cambio: análisis de la teoría del programa y del cambio, y de su desarrollo en la práctica. Análisis de la influencia del contexto.
• Técnicas: Análisis documental y de bases de datos, entrevistas semies-tructuradas, talleres con equipo docente y directivo de los centros parti-cipantes en el proyecto.
– Estudios de caso en centros formativos (incluye grupos focales, entrevistas semiestructuradas, dinámicas grupales).
Gráfico 3.2
Opciones metodológicas del enfoque explicativo
• Análisis documental (documentos internos del proyecto y de contexto). • Bases de datos (del proyecto y
estadísticas oficiales).
• Dinámica 3D
(análisis procesos-resultados). • Entrevista semiestructurada. • Dinámicas grupales basadas en
técnicas de animación sociocultural.
• Cuestionarios (presenciales, formato papel).
Instituciones
Equipo directivo y técnico
Jóvenes
Docentes, tutores, orientadores • Talleres.
• Entrevistas semiestructuradas.
Estrategia: combinación
de técnicas y fuentes de información. Triangulación de datos procedentes de diversas
fuentes y técnicas.
En el diseño del análisis explicativo (y en concreto de los estudios de caso), la evaluación puso el foco en el análisis específico de un paquete de variables e indica-dores (definidos y organizados en la matriz de evaluación), así como en el diseño y desarrollo de técnicas y herramientas concretas para su recopilación y valoración.
C) Enfoque participativo
Lograr una adecuada participación de los diferentes grupos de interés o
stakehol-ders en la evaluación es clave. Es por ello por lo que se incorporó, desde etapas
tempranas, un mapa de actores involucrados2 a partir del cual construir un plan de trabajo que permitió identificar el quién, cuándo, cómo, por qué y para qué de la par-ticipación de cada grupo de interés en la evaluación, procurando ajustar al máximo los tiempos y las veces que se demandaría la interacción con cada actor, respetando sus tiempos y disponibilidad para el proceso.
Esta fase incluyó el análisis de la relación de cada uno de los actores con el proyecto y dos elementos que permitieron entender su relevancia para la evalua-ción: qué grado de influencia mantienen en la consecución de los efectos y qué capacidad tenía el proyecto para involucrar al actor para favorecer la aparición de los efectos.
Las decisiones que se toman en este punto marcan el desarrollo de la evalua-ción, por lo que se dedicó un tiempo específico en las primeras fases, y se trabaja en estrecha colaboración con el equipo coordinador de la evaluación de Fundación Telefónica, para definir el alcance deseado y posible de esta participación.
La propuesta final fue la siguiente:
• Visibilizar el conjunto de actores relacionados con los cam-bios que provoca (o quiere provocar) el proyecto
Mapas de actores
• Clasificar a los actores en función de su relación con el cambio: – Afectados por el cambio
– Afectan (influyen) en el cambio
– Identificar sus funciones, implicación en el proyecto y capacidad de influencia en la generación de cambios Relación con
los efectos
• Valorar:
– Pertinencia/necesidad de involucrar a cada actor – Posibilidad real de acceso
Participación en la evaluación
• Operatividad:
– Etapas/actividades de la evaluación (Actor)
– Estrategia de participación (calendario, herramienta, producto esperado)
Planificación
Cuadro 3.2 Fases para la aplicación del enfoque participativo
D) Retorno Social de la Inversión
El Retorno Social de la Inversión (en adelante SROI, Social Return On Investment) es una metodología para medir y cuantificar el valor que crean las intervenciones, en-tendiendo por «valor» un concepto amplio, que incorpora costes y beneficios socia-les, medioambientales y económicos. Mide el cambio en formas que son relevantes para las personas u organizaciones que lo experimentan o contribuyen con él. Expli-ca cómo se genera el Expli-cambio midiendo los efectos (outcomes) sociales, medioam-bientales y económicos, y usa términos monetarios para representar dichos efectos.
Esto permite calcular la ratio coste-beneficio. Por ejemplo, una ratio de 1:3 indica que una inversión de 1 € genera 3 € de valor social.
En este caso, para el desarrollo del análisis, se trabajó con una adaptación de la metodología, que se ha integrado perfectamente en los procesos que se han dise-ñado tanto para el análisis contrafactual como para el explicativo, utilizando para el cálculo de la ratio coste-beneficio social gran parte de los resultados que derivan de ellos.
A continuación, se presenta el marco de trabajo para el análisis finalmente de-sarrollado:
Cuadro 3.3 Marco de trabajo análisis coste-beneficio (SROI)
ETAPA
1. Establecer el alcance (qué) y los actores clave
• Alcance del análisis:
– 1.ª edición proyecto: 20 centros formativos; dos cursos lec-tivos (2014-2015 y 2015-2016), 20 localidades, 8 comuni-dades autónomas.
– Fases incluidas: convocatoria y asignación de becas, dos cursos lectivos y periodo de seguimiento de egresados (6 meses).
– Periodo de análisis: 31 meses (2 años y 7 meses), de junio de 2014 a diciembre de 2016.
• Mapa de actores: identificar los que aportan/invierten en el proyecto: costes del proyecto (aportes de Fundación Telefóni-ca, Compañía de Jesús y otros) y valorizados (aportes volun-tarios).
2. Mapa de impactos - teoría del cambio
• Cuadro de inversiones en el proyecto (por fuente) ajustado a periodo y acotación acordado, tanto monetario como valoriza-do (ej. trabajo voluntario).
• Cuadro de productos del proyecto y efectos seleccionados para su inclusión en el análisis coste-beneficio.
Cuadro 3.3 Marco de trabajo análisis coste-beneficio (SROI)
ETAPA
3. Evidenciar los efectos y darles valor (monetizarlos)
• Matriz con los siguientes elementos para cada efecto/cambio: – Indicadores (cómo se mide)
– Fuente de información (de dónde se obtiene la informa-ción)
– Cantidad (cuánto cambio ha habido)
– Duración del efecto (periodo estimado del beneficio) – Proxie financiero (qué indicador financiero utilizamos para
valorar el cambio)
– Valor (€) (cuál es el valor del cambio)
– Fuente (de dónde se obtiene el valor del cambio) 4. Establecer
el impacto (contrafactual)
• Cálculo del impacto, como proxie financiero x cantidad de efec-to neefec-to = efec-total; proceso ejecutado para cada efecefec-to, sumando todos los resultados al final.
5. Calcular el Retorno Social de la Inversión
• Cálculo del valor actual • Ratio SROI
• Análisis de sensibilidad
6. Reportar, usar • Informes con la información más relevante
3.2
Alcance final de la metodología y técnicas previstas (de la
teoría a la práctica)
Se exponen a continuación las principales características de las herramientas de re-copilación de datos finalmente utilizadas en la evaluación.
3.2.1 Comparación de grupos
La técnica que se ha utilizado para recopilar datos ha sido la encuesta mediante cuestionario aplicado de forma online, generando información que se ha organizado en torno a un plan de explotación de datos, y procesado con programas informáticos de análisis estadísticos (SPSS). Los grupos de análisis y cuestionarios de recopila-ción se describen en el siguiente esquema:
Cuadro 3.4 Caracterización de grupos y herramientas de análisis pretest-postest
DENOMINACIÓN
DE GRUPOS DE ANÁLISIS CARACTERÍSTICAS GRUPOS CARACTERÍSTICAS HERRAMIENTAS
Grupo de becados (proyecto) - Cuestionarios
POST-TEST
• Alumnado becado en la 1.ª edición del Proyecto de Becas:
– Curso 2014-2015 – Curso 2015-2016 • Finalizada su participación
en el Proyecto de Becas 1.ª edición
• Cuestionario en línea postest
• Realización 5 meses des-pués de culminar la beca (noviembre - diciembre 2016)
Grupo de comparación -
Cuestionario PRE-TEST
• Alumnado becado en la 2.ª edición del Proyecto de Becas: Curso 2016-2017 • Inician su participación en
el Proyecto de Becas 2.ª edición
• Cuestionario en línea pretest
• Realización un mes después de conocer el reconocimiento de la beca (diciembre 2016 - enero 2017)
En ambos casos (pre y postest), se han mantenido las condiciones previstas en cuanto a:
• Tanto en el grupo de becados (proyecto) como en el de comparación los pre y postest se aplicaron prácticamente en el mismo tiempo y de la misma forma, con el fin de eliminar el efecto de «instrumento» (forma y tiempo de aplica-ción de los test) e «historia» (acontecimientos externos capaces de influir en los efectos).
• Los cuestionarios para la recogida de información han sido prácticamente iguales entre el grupo de comparación y el grupo de becados. Se han estable-cido variables y dimensiones (empleabilidad, proyectos profesionales y de vida, actitudes, etc.) que permiten la comparación, e hitos temporales seme-jantes para ambos grupos.
Cuadro 3.5 Universo y muestras de estudio de la evaluación pretest – postest
UNIVERSO DEL ESTUDIO
TOMA DE DATOS POSTEST (GRUPO BECADOS: 1.ª EDICIÓN BECAS)
TOMA DE DATOS PRETEST (GRUPO COMPARACIÓN:
2.ª EDICIÓN BECAS)
N.º Grupo becados 1.ª edición
becas
N.º Grupo
comparación N.º Muestra grupo becados N.º Muestra grupo comparación
696 470 291 365
696 becados que participaron en la 1.ª edición
y que son el objeto de la evaluación. 470 del grupo de compara-ción como «nuevos becados»
en la 2.ª edición.
Del total de los becados en la 1.ª edición, 291 habían completado el cuestionario postest Tasa de respuesta:
42%.
Del total de los «nuevos becados» en la 2.ª edición, 365 habían completado el cuestionario pretest Tasa
de respuesta: 78%.
Observaciones:
Se contó con la base de datos completa de seguimiento de becados del Proyecto de Becas, que contenía una caracterización completa del universo de ambos grupos.
Observaciones: Muchos centros tuvieron dificultad a la hora de locali-zar el grupo de becados una vez estos habían egresado de los centros.
Observaciones: El grupo de comparación, sin embargo, fue más fácil de gestionar ya que todos estaban cursando estudios en los centros, y se pudieron establecer sesiones conjun-tas para rellenar los cuestio-narios.
Equivalencia universo - muestras*
Ambas muestras mantienen los mismos niveles de equiva-lencia con respecto al universo de referencia:
• No existen diferencias significativas entre universo y muestras con relación a sexo, edad, criterios de puntua-ción de becas, familia profesional de estudio y situapuntua-ción laboral y familiar.
• Sí existen diferencias significativas con relación a ciclo educativo** y rendimiento académico***.
* Las variables con diferencias significativas entre universo y muestras (ciclo educativo y rendimiento académico) se han conside-rado dentro del análisis de todos y cada uno de los indicadores de evaluación, para comprobar si las tendencias en los resultados del proyecto difieren entre las categorías de dichas variables.
** Las diferencias respecto al ciclo educativo se traducen en que en las muestras existe una ligera proporción mayor de estudiantes de FPS y por el contrario menor proporción de alumnado en FPB.
3.2.2 Análisis explicativo: basado en la teoría del programa
Para el estudio explicativo de los efectos del proyecto se recopilaron datos interac-cionando directamente con los diferentes grupos de interés en campo, con herra-mientas de tipo cualitativo y cuantitativo. Se trató de forma prioritaria con aquellos actores que estaban directamente implicados en el desarrollo del proyecto: jóvenes becados, docentes, tutores, equipo directivo de los centros y equipo técnico del pro-yecto.
Se diseñaron estudios de caso, llevándose a cabo cuatro estudios en centros for-mativos de diferentes localidades, en el momento en el que estaban culminando el último curso como beneficiarios de la beca (post). Los centros y criterios de selec-ción fueron los siguientes:
Criterios:
• Nº y tipología de jóvenes que participan en el proyecto (becados/as) • Sí/no departamento de orientación o sistema de
acompañamiento complementario a las tutorías • Sí/no trabajador social (2 centros de los 20)
• Institucional (diferentes instituciones dentro de la CdJ) - metodologías compartidas (administración centralizada - indicadores homogéneos)
• Casos particulares de gestión diferente y/o apoyos externos: ej. Padre Piquer • Acceso (que haya predisposición o disponibilidad para la evaluación)
LOCALIDAD CENTRO
Alcalá de Henares S. Ignacio Alcalá la Real SAFA Andújar SAFA
Badajoz Escuela Virgen de Guadalupe Baena SAFA
Barcelona Joan XXIII
Barcelona El Clot
Bilbao Escuela de Química y Electrónica Idautxu
Bujalance SAFA
Burgos La Merced El Puerto de
Sta.María SAFA
Gijón Revillagigedo
Huelva SAFA Logroño Sagrado Corazón
Madrid Padre Piquer
Málaga S. José (Fundación Loyola) Málaga Kostka
Valencia S. José Valladolid Cristo Rey Vitoria Egibide
*Marcados en azul, los cuatro centros seleccionados como estudios de caso
Redcrea tiene una amplia experiencia en el diseño específico y el desarrollo de técnicas basadas en la animación sociocultural. Este tipo de técnicas, basadas en la experimentación o vivencia de determinadas situaciones, resultan muy útiles para provocar la participación y que afloren sentimientos, reflexiones y que los/las parti-cipantes piensen sobre su práctica.
El resumen de las principales herramientas utilizadas con cada grupo de actores y su alcance final (91 actores consultados) se exponen a continuación:
Taller diagnóstico del proyecto (6 personas)
Entrevista semiestructurada del equipo gestor (2 personas) Estudios de caso - Dirección (4 personas)
Equipo directivo
Estudios de caso (4) - análisis post:
Dinámicas grupales (7 diseños diferentes) Cuestionario iniciativa y emprendimiento Participantes postest: 56 jóvenes
Jóvenes
Estudios de caso (4) - análisis post:
Entrevista pretest semiestructurada
Entrevista semiestructurada y Dinámica 3D©Redcrea (*) postest
(análisis procesos - resultados)
Participantes 27 docentes, tutores, orientadores
Docentes, tutores y orientadores
(*) Dinámica 3D©Redcrea: Dinámica grupal que permite de forma simultánea el aporte, interpretación y contraste de datos relevantes a la hora de analizar la lógica interna de la intervención y la coherencia entre la implementación y los resultados esperados. Ver más información en: http://redcrea.blogspot.com.es/ «Método y artesanía. La evaluación 3D o integrando variables para un mayor aprendizaje».
3.2.3 Gestión de la participación en el proceso de evaluación
Durante la primera fase de la evaluación se llevó a cabo el mapeo de actores y el análisis de involucrados. A partir de este trabajo inicial, se planificó la participación de los grupos de interés. En el siguiente cuadro se muestra el alcance final de la par-ticipación de los diferentes actores durante el desarrollo de la evaluación:
Cuadro 3.8 Participación de actores en la evaluación
ACTORES (PERSONAS
O INSTITUCIONES) PARTICIPACIÓN EN LA EVALUACIÓN
Jóvenes
• Valoración de procesos y cambios experimentados (previstos y no previstos).
• Identificación de valores de proxies financieros propuestos. • Aporte en buenas prácticas y lecciones aprendidas. Docentes
Tutores
Equipos de orientación
• Informante clave sobre situación del contexto local.
• Informante clave sobre el desarrollo del proyecto en su centro. • Valoración de efectos y cambios en los/las jóvenes participantes. • Identificación de valores de proxies financieros.
• Aporte en buenas prácticas y lecciones aprendidas.
• Apoyo en la gestión de la evaluación (cuestionarios, estudios de caso).
Equipo directivo Centros FP
• Definición de mapa de efectos y teoría del programa. • Informante clave sobre situación del contexto local.
• Informante clave sobre el desarrollo del proyecto en su centro. • Aporte en buenas prácticas y lecciones aprendidas.
• Apoyo en la gestión de la evaluación (cuestionarios, estudios de caso).
Fundación Telefónica
• Formulación y ajuste de necesidades informativas. • Coordinación y acompañamiento del proceso de evaluación. • Participación en sesiones de presentación, retroalimentación,
con-traste y devolución de resultados de cada una de las etapas de la evaluación.
• Revisión y aprobación de productos de la evaluación.
• Facilitación de incentivos-viabilidad de los grupos de comparación. • Informante clave: proceso de seguimiento del proyecto (técnico-
Cuadro 3.8 Participación de actores en la evaluación
ACTORES (PERSONAS
O INSTITUCIONES) PARTICIPACIÓN EN LA EVALUACIÓN
Equipo de gestión Proyecto de Becas - Compañía
de Jesús
• Aporte y validación del mapa de efectos, mapa de actores y teoría del programa.
• Informante clave sobre el desarrollo global del proyecto.
• Informante clave: proceso de seguimiento del proyecto (técnico- económico) y bases de datos.
• Participación en sesiones de contraste y devolución de etapas inter-medias y resultados de la evaluación.
• Facilitación del desarrollo de la evaluación en los centros formativos seleccionados como estudios de caso.
• Facilitación del acceso a participantes para el estudio cuantitativo en grupos del proyecto y comparación.
Instituciones públicas (INE, Ministerio de Educación, etc.)
• Fuente de datos oficiales: indicadores empleo/inserción.
3.2.4 Retorno Social de la Inversión
La recopilación de información se ha realizado mediante la integración de elementos específicos en las técnicas ya previstas para el análisis contrafactual y explicativo:
• Estudios de caso: incluidas preguntas específicas sobre inversión en las acti-vidades (tanto monetarias como valorizados), sobre los beneficios que deri-van de cada efecto esencial de proyecto para los diferentes actores involucra-dos y sobre el valor de diferentes proxies financieros.
• Cuestionario: resultados de los indicadores de los efectos esenciales que me-dir incluidos en el análisis de impacto.
• Análisis documental: informes de seguimiento económico-financiero del pro-yecto (intermedios y final); análisis de informes SROI de programas de em-pleo/inserción laboral.
3.3
Hipótesis, indicadores y variables relevantes
Por último, en este bloque metodológico vamos a explicitar las principales hipótesis y claves en la interpretación de los resultados. En el siguiente cuadro se muestran los principales indicadores de análisis utilizados por bloques de interpretación o hi-pótesis:
Cuadro 3.9 Indicadores e hipótesis por necesidades informativas
Necesidad informativa 1. Acceso y continuidad en el itinerario formativo
en FP de los becados
Principales indicadores
I.1.1 Tasa de eficacia: grado de rendimiento académico (G+Óptimo / G-Limitado)
I.1.2 Tasa de retención escolar
I.1.3 Relevancia de la beca para desarrollar el itinerario formativo I.1.4 Relevancia de aspectos económicos para desarrollar el itinerario
formativo
I.1.5 Grado de planteamiento del abandono de estudios I.1.6 Escenarios formativos sin beca
I.1.7 Grado de dificultad para continuar los estudios después de la beca
Hipótesis principales
• El efecto principal de la beca se concentra en posibilitar una mayor continuidad y retención en el itinerario formativo del alumno en FP becado, especialmente en los niveles de FPB y FPM.
• Igualmente, la beca debe tener un peso específico (relevancia), como instrumento que reduce los factores de abandono del itine-rario en FP.
• El becado debe dar una mayor importancia que el grupo de compa-ración a los efectos y al carácter determinante de la beca.
Variables clave En este bloque se incorpora la tasa de eficacia del becado.
Grupos de eficacia de la beca (óptimo vs. limitado)
G+Óptimo
Grupo de aprovechamiento óptimo: grupo de beca-dos que al finalizar la beca se ha promocionado y/o titulado y por tanto ha cubierto las expectativas de continuidad en su itinerario formativo del Proyecto de Becas.
G-Limitado
Necesidad informativa 2. Inserción laboral y empleabilidad
Principales indicadores
I.2.1 Tasa bruta de inserción (TBinserción)
I.2.2 Tasa filtrada de inserción (solo contratos de 2 o más meses) (TFinserción)
I.2.3 Calidad de las contrataciones en los últimos 5 meses I.2.4 Valoración de características del empleo conseguido I.2.5 Grado de adecuación del trabajo a expectativas y formación I.2.6 Escenario de actividad-inactividad
I.2.7 Eficacia en la búsqueda de empleo I.2.8 Aptitud ante la búsqueda de empleo I.2.9 Actitud ante la búsqueda de empleo
Hipótesis principales
• Mayor actividad formativa en ciclos más bajos (FPB y FPM), frente a una mayor actividad de búsqueda e inserción en el mercado de trabajo en FPS.
• Mejora en las condiciones de empleabilidad y calidad de los contra-tos, y en cualquier caso cercanas a grupos similares sin beca.
Variables clave • La tasa de inserción laboral (bruta o filtrada) no debe contrastarse
en este caso con el grupo de comparación, ya que este último está focalizado de forma evidente (recién becado) en los estudios frente a cualquier otra actividad.
• El resto de las variables (calidad del empleo y condiciones de em-pleabilidad) sí pueden contrastarse entre ambos grupos, por su rele-vancia en las diferencias sobre la calidad y formatos de los contratos en ambos grupos.
• En cualquier caso, se considera viable la comparación con otros grupos de referencia ya analizados en pasadas evaluaciones de em-pleabilidad:
– Proyecto Aprendizaje y Servicio - Fibra Óptica de la Fundación Tomillo, en el que hay un grupo de comparación (sin proyecto) de jóvenes que han finalizado FPM y FPS, en centros similares de la Compañía de Jesús.
Necesidad informativa 3. Proyecto profesional
Principales indicadores
I.3.1 Satisfacción con el proyecto profesional I.3.2 Cambios en el proyecto profesional I.3.3 Definición del proyecto profesional I.3.4 Claridad en la elección de modalidad laboral
Hipótesis principales
• La continuidad formativa y la priorización de un itinerario formativo deben mejorar la definición y satisfacción con las expectativas de proyecto profesional del becado.
Variables clave • Igualmente, en este grupo de indicadores no tenemos el grupo de
comparación natural identificado por la evaluación, sino el de am-bos proyectos de empleabilidad aludidos.
Necesidad informativa 4. Autonomía, iniciativa y aspectos relacionales
Principales indicadores
I.4.1 Proactividad
I.4.2 Responsabilidad sobre el proyecto profesional I.4.3 Autonomía/dependencia
I.4.4 Necesidad de apoyos en la búsqueda de empleo I.4.5 Mejora de redes de contactos
I.4.6 Participación social Hipótesis
principales • La continuidad formativa y la priorización de un itinerario formativo deben mejorar los aspectos de autonomía y mayor iniciativa.
Variables clave • Posibilidades de comparación con el grupo de comparación natural
identificado por la evaluación y, además, con ambos proyectos de empleabilidad de evaluaciones anteriores.
Necesidad informativa 5. Proyecto personal y calidad de vida
Principales indicadores
I.5.1 Satisfacción con el proyecto personal y de vida I.5.2 Oportunidad de desarrollo del proyecto de vida I.5.3 Valoración de la calidad de vida actual I.5.4 Proyección de calidad de vida a 2-3 años
Hipótesis principales
• La continuidad formativa y la priorización de un itinerario formativo debe mejorar la definición y mejora de su proyecto personal y cali-dad de vida.
Variables clave • Posibilidades de comparación con el grupo de comparación natural
Necesidad informativa 6. Adecuación del perfil y factores de exclusión
Principales indicadores
I.6.1 Rendimiento académico y grados de exclusión I.6.2 Valoración de índices por grados de exclusión I.6.3 Escenario de actividad postbeca y grados de exclusión
Hipótesis principales
• Todos los participantes en el Proyecto de Becas deben recibir el mismo aporte en los efectos independientemente de su grado de exclusión.
Variables clave • Grados de exclusión, en función del n.º de criterios asignados al
be-cado:
– Exclusión + = 2 o menos criterios asignados – Exclusión ++ = 3 criterios asignados – Exclusión +++ = 4 o más criterios asignados
de la información recopilada
4.1
Perfil del participante finalmente seleccionado
48
4.2
Sistematización de datos sobre hipótesis de cambio (indicadores)
4.1
Perfil del participante finalmente seleccionado
A continuación, se muestra la fotografía del perfil del grupo de personas que han participado en el Proyecto de Becas (696 alumnos de 20 centros educativos de For-mación Profesional de la Compañía de Jesús), en variables sociodemográficas y de empleabilidad (relacionadas con la formación y la situación laboral).
Gráfico 4.1
Perfil del participante en el Proyecto de Becas
93,2% Hombres 6,8% Mujeres 20 años de media
Nivel y tipo de estudios y rendimiento Ciclo formativo becados
La mayor proporción de becados se encuentra en los ciclos de grado medio (55,1%)
La familia profesional más frecuente entre los participantes es Electricidad y
Electrónica (52,5%)
El principal motivo que determina la baja es la «no asistencia» (63,8%), seguido de «empleo» (13%)
y «no rendimiento académico» (8,7%) 60%
50% 40% 30% 20% 10% 0%
FPS 26,5%
55,1%
18,4%
FPM
Becado por tipo de especialidad
52,5%
15,4% 11,4%
10,2% 6,3%
4,2% 0%
10% 20% 30% 40% 50% 60%
Electricidad y
electrónica comunicaciones Informática y Fabricación mecánica mantenimiento de Transporte y vehículos
Instalaciones y
mantenimiento Otra formación
Rendimiento académico becados
Titulan Promocionan No promocionan Bajas
El 59,3% de los becados se titulan o promocionan
La puntuación media en el baremo de asignación de la beca es de 4,18 (sobre 10)
El principal motivo que determina la baja es la «no asistencia» (63,8%), seguido
de «empleo» (13%) y «no rendimiento académico» (8,7%)
Ámbito laboral anterior a la beca Ámbito socioeconómico actual
24,8% Tienen experiencia laboral previa. 5,9% Con menos de 3 meses de experiencia
laboral.
9,8% Entre 3 meses y un año de experiencia
laboral.
Factores relacionados con el proyecto
37,6% Indica que la beca ha sido determinante, sin ella le hubiera sido muy difícil continuar sus estudios. 88,6% Indica que durante el periodo de la beca no se ha planteado en ningún momento dejar de estudiar. 56,2% Indica que tendría muchas dificultades para ampliar su formación en el futuro inmediato.
11% Recibe (en la actualidad) algún tipo de prestación o subsidio por desempleo o por otras ayudas sociales.
40,9% Recibe algún tipo de ingresos en los
últimos 5 meses por actividad laboral (631 € de media al mes).
7,2% Prefiere un trabajo por cuenta propia. 50% Ha estado buscando empleo en los
últimos 5 meses.
8,5%
34,2%
32,1%
En general hay una alta valoración sobre la importancia de colaborar en actividades de voluntariado social; sin embargo, únicamente el 0,9% de los becados indica que actualmente realiza esta actividad.
El perfil «típico», por tanto, del becado por el proyecto es el de un varón de 20 años que ha cursado estudios en el Ciclo Medio de For-mación Profesional en la especialidad de Electricidad y Electrónica, que ha logrado promocionarse o titularse como beneficiario de la beca. Con muy poca o nula experiencia previa en el ámbito laboral, y con dificul-tades, especialmente económicas, para desarrollar con tranquilidad el itinerario formativo que ha definido en su proyecto profesional.
4.2
Sistematización de datos sobre hipótesis de cambio
(indicadores)
Para la medición del impacto del proyecto se ha diseñado un conjunto de variables e indicadores que permiten valorar los cambios experimentados por los participantes en el proyecto. A continuación, se muestra la sistematización de los datos que han permitido verificar las hipótesis de cambio que se plantearon, en resumen:
1. Acceso y continuidad en el itinerario formativo en FP de los becados. 2. Inserción laboral y empleabilidad.
3. Proyecto profesional y visión de futuro. 4. Autonomía, iniciativa y aspectos relacionales. 5. Proyecto personal y calidad de vida.
6. Índices de impacto y variables claves. 7. Adecuación del perfil y factores de exclusión. 8. Retorno Social de la Inversión SROI.
