Jóvenes instaladores
de
fibra óptica
Formación para la inserción laboral
67
La edición del presente informe Jóvenes instaladores de
fibra óptica. Formación para la inserción laboral, editado por
Fundación Telefónica, forma parte de las actuaciones del
Programa de Empleabilidad Joven Todos Incluidos, y responde
a la convicción y determinación de Fundación Telefónica de
afrontar con el máximo rigor el problema del desempleo juvenil.
Esta obra responde a tres necesidades y objetivos
fundamen-tales: conocer los efectos y cambios producidos y atribuibles
al proyecto ‘Aprendizaje y servicio: formación en fibra óptica’;
compartir el conocimiento generado en torno a esta experiencia,
los hallazgos, las lecciones aprendidas y las buenas prácticas
descubiertas, y contribuir a promover la cultura de evaluación
del impacto social en el desarrollo de proyectos sociales y el
rendimiento de cuentas de manera transparente a la sociedad.
Además, deseamos que el estudio sirva para enriquecer
cono-cimientos, permita ampliar la comprensión del problema del
desempleo juvenil, e inspire a otras instituciones públicas y
privadas que contribuyan a sumar esfuerzos para combatirlo
con firmeza.
Jóvene
s instaladore
s de
fibra ópt
ica
JÓVENES INSTALADORES
DE FIBRA ÓPTICA
FORMACIÓN PARA LA INSERCIÓN LABORAL
Elaborado por la
Red de Recursos de Evaluación y Aprendizaje
Autores:
Antonio Luján
Eva Raboso
Coordinador:
Matías Figueroa
sociológica tres
JÓVENES INSTALADORES
DE FIBRA ÓPTICA
FORMACIÓN PARA LA INSERCIÓN LABORAL
Elaborado por la
Red de Recursos de Evaluación y Aprendizaje
Autores:
Antonio Luján
Eva Raboso
Coordinador:
Matías Figueroa
sociológica tres
Esta obra ha sido editada por Ariel y Fundación Telefónica, en colaboración con Editorial Planeta, que no comparten necesariamente los contenidos expresados en ella. Dichos contenidos son responsabilidad exclusiva de sus autores.
© Fundación Telefónica, 2016
Gran Vía, 28
28013 Madrid (España)
© Editorial Ariel, S.A., 2016
Avda. Diagonal, 662-664 08034 Barcelona (España)
© de los textos: Fundación Telefónica
@ Ilustración de cubierta: © Asharkyu; © Sychugina – Shutterstock; © Aodaodao-daod; © ESB Professional – Shutterstock
© de las ilustraciones del interior: Piktochart y Freepik desde www.flaticon.com
Coordinación editorial de Fundación Telefónica: Rosa María Sáinz Peña Primera edición: diciembre 2016
El presente monográfico se publica bajo una licencia Creative Commons del tipo: Reconocimiento - NoComercial - CompartirIgual
Esta obra ha sido editada por Ariel y Fundación Telefónica, en colaboración con Editorial Planeta, que no comparten necesariamente los contenidos expresados en ella. Dichos contenidos son responsabilidad exclusiva de su autor.
© fundación Telefónica, 2014
Gran Vía, 28
28013 Madrid (España)
© editorial ariel, s.a., 2014
Avda. Diagonal, 662-664 08034 Barcelona (España)
© de los textos: Fundación Telefónica. © de las ilustraciones de cubierta: Shutterstock
Coordinación editorial de Fundación Telefónica: Rosa María Sáinz Peña Coordinador general: Luis Germán Rodríguez L.
Coordinadora temática: Alicia Ponte-Sucre Primera edición: xxxxx de 2014
El presente monográfico se publica bajo una licencia Creative Commons del tipo: Reconocimiento - NoComercial - CompartirIgual
ISBN: 978-980-271-460-5
Depósito legal: B. xxxxxx-2014
Impresión y encuadernación: XXXXXXXXX Impreso en Venezuela – Printed in Venezuela
El papel utilizado para la impresión de este libro es cien por cien libre de cloro y está calificado como
papel ecológico.
OBJETIVO DEL PROYECTO:
Mejorar la empleabilidad y aumen-tar las posibilidades de inserción la-boral de 250 jóvenes en riesgo de exclusión social, a través de un itine-rario formativo en competencias transversales y técnicas, y prácticas en empresas colaboradoras del gru-po Telefónica de instalación de ser-vicios de fibra óptica.
El proyecto logra una tasa de inserción laboral en el sector de la fibra ópti-ca del 17,7%, lo que supone un impacto neto de 17,7 puntos porcentua-les (p.p.), dado que el grupo de comparación no registra ninguna inserción en este mismo campo profesional.
La mayoría de los jóvenes que se ha empleado como instalador de fibra óptica (74,2%), ha tenido que realizar una inversión económica inicial de una media de 783€.
Motivos para la no contratación en la empresa de prácticas:
1.º No hay un puesto disponible en la empresa. 2.º No desean trabajar de autónomos (figura laboral ofrecida).
3.º No fueron seleccionados. 4.º Carecen de vehículo (requisito). 5.º Carecen de carné de conducir. 6.º No les interesa el trabajo.
El
64,4%
en la misma empresa donde realizó las prácticas.El 35,6% restante en otra empresa diferente.
Prevención de Riesgos Laborales (PRL): en la segunda edición del proyecto, se incluyó un curso de PRL como parte del itinerario formativo. Deja de ser una limitación: todos los jóvenes que terminan el curso cuentan con los certificados necesarios para ejercer la profesión.
La tasa de inserción global, sin diferenciar entre sectores profesiona-les, alcanza un 55,2% al término del proyecto. Al comparar con el gru-po de comparación, y teniendo en cuenta la situación de partida (pre-via al proyecto), se estima un impacto neto de
3,9 p.p.
1.º Electricidad y electrónica.
2.º Informática y comunicaciones, hostelería y restauración. 3.º Almacenamiento y logística, operarios en fábricas: producción. 4.º Mantenimiento mecánico, fabricación de vehículos.
5.º Distribución/Reparto, agricultura.
6.º Jardinería, albañilería, carpintería, actividades deportivas, recreativas y de entretenimiento, etc. Además de como instaladores de fibra óptica, los otros sectores en los que se ha producido la inserción laboral por parte del grupo del proyecto son, en orden decreciente:
Proyecto de formación en
fibra óptica
Jóvenes instaladores de fibra óptica. Formación para la inserción laboral VIII
Trabajo "tipo" de fibra óptica (FO):
Contrato por cuenta propia, en la modalidad de autónomo económicamente dependiente; contrato temporal, de al-rededor de diez meses de duración; jornada completa (ha-ciendo cerca de tres horas más de lo estipulado por contra-to). Salario de 890€/mes y Seguridad Social.
El resultado del análisis del Retorno Social de la Inversión muestra que, si consideramos el impacto neto del proyecto, con base en la inserción que se produce en el sector de la instalación de la fibra óptica, la ratio de la Social Return on Investment (SROI en inglés) alcanza un valor de
1:2,3
.Sin embargo, si se tiene en cuenta la inserción en su conjunto, para todos los sectores profesiona-les, la ratio SROI estaría en ese caso en 1: 0,6.
CAMBIOS EN LA CAMBIOS EN
COMPETENCIAS
BÚSQUEDA ACTIVA
DE EMPLEO
ActivaciónProceso de búsqueda de empleo Eficacia del esfuerzo dedicado
Expectativas respecto a la inserción laboral El trabajo está totalmente
relaciona-do con la formación que han recibirelaciona-do y se adecúa bastante o totalmente al que les gustaría obtener (instalador de FO), aunque la satisfacción gene-ral con el mismo sea de 6 puntos so-bre 10.
La compatibilidad con el tiempo libre o entre su vida personal y el horario de trabajo obtiene una puntuación significativamente inferior en el caso de las personas que se insertan laboralmente en el ramo de la fibra óptica, respecto a otros sectores o del gru-po de comparación.
De entre todas las competencias genéricas, es en la Comunicación y atención al cliente donde se ha podido trabajar más y el proyecto ha obtenido mayor influencia. El cambio en los jóvenes se produce, sobre todo, en relación con la importancia que le conceden ahora a este aspecto para llegar a ser buenos profesionales insta-ladores de FO. Se ha logrado que los jóvenes identifiquen y tomen conciencia de la necesidad de seguir traba-jando en la mejora de sus habilidades en este sentido.
El trabajo en equipo no se ve reforzado por el sistema habitual de trabajo en el sector: con un esquema vertical y la obtención de puntos individuales por servicio.
Los jóvenes amplían su conocimiento sobre las diferentes opciones laborales de que disponen, alternativas al empleo por cuenta ajena; aunque mantienen el rechazo al empleo por cuenta propia, el autoempleo (o el em-prendimiento).
Índice
Introducción ...
XI
1. El objeto a evaluar. El proyecto Aprendizaje y servicio:
formación en fibra óptica ...
1
1.1 Breve descripción del proyecto ...
2
1.2 Teoría del programa y mapa de efectos ...
5
1.2.1 Teoría del programa ...
5
1.2.2 Mapa de efectos o cambios ...
8
1.2.3 Desarrollo de las hipótesis de cambio a contrastar con la evaluación ...
10
2. Metodología empleada en la evaluación ...
13
2.1 Enfoque y diseño metodológico ...
14
2.2 Alcance final de la metodología y técnicas previstas (de la teoría a la práctica) ...
19
3. Línea del tiempo de los trabajos realizados ...
27
4. Sistematización de la información recopilada ...
29
4.1 Perfil del participante que ha sido seleccionado ...
30
4.2 Sistematización de los datos sobre hipótesis de cambio (indicadores) ...
31
4.2.1 Variables e indicadores del impacto del proyecto ...
32
4.2.2 Análisis de resultados en función de variables sociodemográficas relevantes ...
84
4.2.3 Comparativa de los resultados entre ediciones del proyecto ...
85
5. Retorno Social de la Inversión (SROI) ...
91
5.1 Alcance del análisis SROI ...
92
5.2 Efectos priorizados y bases para su valoración ...
93
5.3 Inversión en el proyecto ...
96
5.4 Beneficios sociales ...
96
Jóvenes instaladores de fibra óptica. Formación para la inserción laboral X
6. Resultados de la evaluación del impacto social ...
99
6.1 Efectos esperados ...
100
6.2 Otros efectos ...
111
6.3 SROI ...
115
7. Análisis del contexto en el sector de la fibra óptica ...
117
8. Conclusiones de la evaluación del impacto social ...
119
9. Lecciones aprendidas y recomendaciones ...
123
10. Anexos ...
131
1. Preguntas de evaluación ...
132
2. Matriz global del análisis SROI: proyecto de formación en fibra óptica ...
133
3. Estudios del caso: importancia de los aspectos cualitativos en el perfil de instalador de FO ...
136
4. Referencias de ratios SROI en programas de empleabilidad ...
137
Introducción
El programa de formación destinado a la inserción laboral de jóvenes en riesgo de exclusión social, Aprendizaje y servicio: formación en fibra óptica, impulsado por Fundación Telefónica en alianza con la Fundación Tomillo y con los centros de la Compañía de Jesús y La Salle, es un proyecto que se dirige a jóvenes desempleados de entre 18 y 35 años, con el fin de mejorar su empleabilidad y sus oportunida-des de inserción laboral.
Forma parte del programa de empleabilidad joven «Todos Incluidos» de Fundación Telefónica, por el que los jóvenes son los protagonistas de los diversos proyectos, y cuya finalidad consiste en apoyarles en el desarrollo de su proyecto de vida desde el aprendizaje significativo, la formación y la autonomía personal.
En el mes de noviembre de 2014 se puso en marcha la evaluación del impacto social del programa, proceso que culminó el pasado mes de junio, y cuyo recorrido y resultados se recogen en el presente documento.
El encargo fue realizado por Fundación Telefónica a la Red de Recursos de Evaluación y Aprendizaje Redcrea,1 que, con esta iniciativa, apostó por hacer un estudio riguroso del cambio y del valor social
que se esperaba lograr con un proyecto dirigido a mejorar las capacidades de empleabilidad e inserción laboral de los jóvenes desempleados. El interés radicaba, por tanto, en poder contar con una medición de los resultados de dicha intervención en términos del impacto neto en la vida de esas personas.
Cabe mencionar que, a nuestro parecer, se trataba de una propuesta novedosa en España, ya que se dio la oportunidad de llevar a cabo una evaluación del impacto social desde el inicio del proyecto, y no al final del mismo, como suele ser frecuente en este tipo de procesos. Así, se han podido generar las mejores condiciones para diseñar y desarrollar un proceso de evaluación robusto metodológicamente, siendo posible aplicar estrategias de análisis que han permitido generar evidencias para atribuir cam-bios observados al proyecto, y confirmar que no se hubieran producido sin ellos. Además, tiene el valor añadido de haber podido involucrar a las organizaciones, personal técnico, participantes, y otros gru-pos de interés desde las primeras etapas, y durante todo el proceso, lo que sin duda ha mejorado su calidad, credibilidad y la utilización de los resultados.
1 Para ampliar la información, véase la página web: www.redcrea.es, y el blog: redcrea.blogspot.com.es
Jóvenes instaladores de fibra óptica. Formación para la inserción laboral XII
1 Objetivos y preguntas de la evaluación
El objetivo central de la evaluación consistía en identificar, medir y valorar los efectos o cambios que debían de producirse en los participantes tras el desarrollo del proyecto, analizando si este había al-canzado sus objetivos. De forma muy gráfica, los propósitos centrales de la evaluación eran los si-guientes:
Figura 1 Propósitos centrales de la evaluación
Valor neto Retorno social de la inversión Identificar los resultados Grado de consecución
de los resultados Caracterización Calidad Tiempo de reacción
o respuesta
Dichos resultados van a permitir a Fundación Telefónica, a la Fundación Tomillo, junto a los centros de la Compañía de Jesús y La Salle, así como al conjunto de actores vinculados directa o indirectamente con su actividad, contar con evidencias para la toma sustentada de decisiones, la rendición de cuentas y además esperamos que aporte a la construcción colectiva de conocimiento sobre este sector en particular.
Las «preguntas de evaluación» que delimitaron el foco y alcance de la evaluación se organizaron de la siguiente forma.2
Introducción XIII
3
Efectos:
¿La intervención está produciendo los beneficios previstos? ¿Cómo impactó el proyecto y/o programa a los participantes?
¿Cuáles fueron los impactos en la población que no se ha insertado laboralmente?
Grado de consecución de los efectos: • Valor neto de los efectos (cuánto):
En relación con el ámbito laboral
Tasa de inserción laboral de los proyectos, y en comparación con la del mercado.
¿Los participantes de los proyectos tienen más facilidad de incorporarse o reinsertarse en el mundo labo-ral?
Tiempo para salir de la condición de desempleo?
En relación con la mejora de las condiciones de vida
¿Cómo cambia la visión de futuro de l@s participantes?
• Caracterización / calidad de los efectos (en qué grado y cualidad): En relación con el ámbito laboral
Calidad de empleo que otorga el proyecto en comparación con la del mercado laboral actual entre los jó-venes.
En relación con la mejora de las condiciones de vida
¿los impactos en la población que ha conseguido trabajo? Aparte de los ingresos ¿a qué otros aspectos ha contribuido?
Determinar impactos a nivel micro (familiar).
• Retorno social de la inversión (SROI):
Análisis del retorno social de la inversión, ofreciendo una narración que vaya más allá del dato numérico, que permita entender la relación entre el coste y el beneficio social.
• Otras:
Calidad del proyecto frente a la del mercado en general.3
¿Cuáles fueron las razones del éxito o el fracaso en la consecución de los resultados?
Desde el punto de vista interno: Análisis de los elementos críticos de la teoría del programa en relación
con los resultados obtenidos: coherencia mantenida entre la estructura, los procesos y los resultados.
Desde el punto de vista externo: Análisis de cambios clave en el contexto nacional y local relacionados
con el empleo.
¿Qué habría que modificar en el diseño del programa para mejorar sus efectos?
Centrarlo en el estudio de la lógica de intervención (teoría del programa), especialmente en el análisis de los itinerarios formativos y en el proceso de selección de los participantes.
Principales lecciones aprendidas y propuestas de mejora.
Análisis crítico de los principales resultados de la evaluación.
3 Basado en el estudio de fuentes secundarias, y sujeto a la disponibilidad de datos relativos a indicadores comparables con los de la evaluación.
Capítulo
1
El objeto a evaluar.
El proyecto Aprendizaje
y servicio: formación
en fibra óptica
1.1 Breve descripción del proyecto
2
1.2 Teoría del programa y mapa de efectos
5
Jóvenes instaladores de fibra óptica. Formación para la inserción laboral 2
1.1 Breve descripción del proyecto
El proyecto Aprendizaje y servicio: formación en fibra óptica, impulsado por Fundación Telefónica en colaboración con la Fundación Tomillo, la Compañía de Jesús y La Salle, constituye una intervención cuyo propósito era mejorar las capacidades de empleabilidad1 e inserción laboral entre los jóvenes en
riesgo de exclusión social. Concretamente, el objetivo específico consistía en lograr «aumentar las posibilidades de inserción laboral de 250 jóvenes en riesgo de exclusión social, a través de un itinerario formativo en competencias transversales y competencias técnicas, y su práctica en empresas colabo-radoras del grupo Telefónica en la instalación de servicios de fibra óptica».
El problema principal que buscaba resolver el proyecto consistía, por un lado, en la falta de recursos y alternativas formativas para los jóvenes que pudieran mejorar su cualificación y especialización; y por otro, en reducir la falta de sintonía o adecuación entre las competencias personales y profesionales de los jóvenes y las que demandaba el mercado laboral actual. Buscando la solución de ambas necesida-des se planteó un proyecto en el que se entrelazaba una formación ad hoc en el sector de las Teleco-municaciones para cubrir una necesidad real de demanda laboral, como la de instalador de fibra óptica, junto con el desarrollo durante la formación de las habilidades personales de los jóvenes, de cara a empoderarlos y mejorar su empleabilidad (F. Tomillo, Documento del proyecto, 2015).
Aunque se trate de un proyecto que ha contado hasta la fecha con dos ediciones, la evaluación se ha centrado en la segunda convocatoria, desarrollada entre marzo de 2015 y febrero de 2016, la cual ha constando de 17 cursos en 13 localidades (Madrid, Gijón, Barcelona, Logroño, Valladolid, Valencia, Bujalance, Málaga, Andújar, Las Palmas, Bilbao, Écija y Burgos) de 9 Comunidades Autónomas, partici-pando un total de 15 centros formativos de la Fundación Tomillo, la Compañía de Jesús y La Salle.
En cuanto al «perfil del participante», el proyecto estaba dirigido a jóvenes de entre 18 y 35 años en situación de desempleo, o en busca de una mejora de empleo,2 con la documentación legal en regla, y con formación
previa de Grado Medio o Superior en las ramas (en orden de prioridad) de Telecomunicaciones, Electricidad, Electrónica, Informática u otras ramas diferentes a las anteriores; o en su defecto, experiencia en el sector de al menos 6 meses o certificaciones relacionadas de al menos 500 horas formativas. Además, por su impor-tancia en el desempeño como instaladores de fibra óptica, se recomendó que las personas seleccionadas tuvieran carnet de conducir, estuvieran en proceso de obtenerlo o, en su defecto, que estuvieran dispuestos a invertir en ello, ya fuera con la beca que el proyecto facilita durante las prácticas o con otros recursos pro-pios. En todo caso se consideró como requisito no excluyente.
En cuanto a otros criterios, se propuso considerar la situación socioeconómica de los jóvenes (antigüe-dad en el desempleo, responsabili(antigüe-dades familiares, dificultades socioeconómicas), las motivaciones para querer realizar el curso y su compromiso de participación.
1 Entendiendo la «empleabilidad» como «la capacidad que muestra alguien por incorporarse y permanecer en el mercado laboral, esto es, el conjunto de posibilidades personales que atesora para encontrar un empleo y adaptarse a un mercado de trabajo en continuo cambio. Además, se consideran objetivos transversales, derivados de su paso por el programa y no menos importantes en su contribución a la empleabilidad, el hecho de reactivarse formativamente, al redefinir su objetivo profesional hacia profesiones demandadas en el mercado laboral actual. Y, en al-gunos casos, el retomar los estudios o incorporarse a otros programas de empleabilidad que sigan contribuyendo al fortalecimiento de esta competencia» (F. Tomillo, Documento del proyecto, 2015).
El objeto a evaluar 3 La «meta de cobertura» en cuanto a participantes se distribuyó entre las instituciones participantes de la siguiente manera:
Figura 1.1 Número de participantes total y por institución
TOTAL:
250 jóvenes Compañía de Jesús:185 F. Tomillo:50 La Salle:15
Los elementos principales del «marco lógico» del proyecto se presentan a continuación:
Cuadro 1.1 Objetivos y resultados esperados del proyecto
Objetivo general: Mejorar la capacidad de empleabilidad e inserción laboral de
los jóvenes que se hallan en riesgo de exclusión social.
Objetivo específico: Aumentar las posibilidades reales de inserción laboral de los jóvenes en situación de riesgo de exclusión social,
para mejorar su empleabilidad.
Resultado 1: Se habrá formado a los jóvenes participantes en instalaciones de servicios de telecomunicaciones a domicilio.
Resultado 2: Se habrá mejorado las oportunidades
de inserción laboral de los jóvenes formados.
Indicador: Al menos el 72% de los 250
partici-pantes ven mejoradas sus posibilidades de inserción laboral tras haber completado el ciclo formativo y las prácticas profesionales en instalaciones a domicilio.
Indicadores:
El 85% de los participantes realiza el módulo formativo sobre competencias profesionales y ve mejorado su índice de empleabilidad.
Al menos, el 72% de los jóvenes finaliza las prácticas en la empresa colaboradora.
Por lo menos, el 15% de los jóvenes que cubren las prácticas, se integra laboralmente en la empresa colaboradora.
Ambas organizaciones sociales valoran positivamente la
relación con el 90% de las empresas colaboradoras.
Indicadores:
Al menos, el 90% de los 250 jóvenes recibe las horas de formación específica para poder cubrir las prácticas profesionales.
Por lo menos, el 85% de los 250 jóvenes realiza la formación técnica específica.
La «estrategia de intervención» se basó en un itinerario de formación que comprendía:
• la transferencia de competencias específicas o técnicas en instalaciones de fibra óptica, • la formación en Prevención de Riesgos Laborales (PRL),
Jóvenes instaladores de fibra óptica. Formación para la inserción laboral 4
• el desarrollo de competencias genéricas para la consecución y mantenimiento del empleo, • una fase de prácticas en empresas del sector, con el acompañamiento del joven por su orientador
educativo y un tutor de la empresa;
• y, al fin, la inserción laboral en la empresa donde se han realizado las prácticas (o en otras empre-sas del sector), o bien la incorporación de los jóvenes a una bolsa de empleo.
Por último, en el siguiente cuadro se resumen los «recursos institucionales y humanos» con los que ha contado el proyecto:
Cada cual tiene definida una función concreta en el desarrollo y seguimiento del proyecto, tal y como se presenta en la Tabla 1.1:
Tabla 1.1 Perfil y funciones del soporte institucional y de personal del proyecto
Actores Perfiles y funciones
Fundación Telefónica
Equipo técnico (un par de personas para el
seguimiento y acompañamiento, con una dedicación del 30% del tiempo por parte de cada uno).
• Promotor del proyecto.
• Interlocutores para la firma de convenios. • Coordinación del proyecto.
• Seguimiento técnico y administrativo.
Fundación Tomillo
Equipo técnico (una persona para la jefatura del proyecto con una dedicación del 100% del tiempo; dos personas a tiempo parcial con una dedicación del 73% y del 16 %, respectivamente, y apoyo
administrativo y contable con una dedicación del 5% del tiempo).
• Diseño, planificación y organización del proyecto. • Interlocutores para la firma de convenios. • Coordinación y gestión del proyecto. • Seguimiento técnico y administrativo.
Empresa Telefónica
Un par de personas (para brindar apoyo específico en función de las necesidades del proyecto, con una dedicación del 5% del tiempo entre ambas).
• Facilitar la gestión con las empresas de prácticas. • Asegurar la disponibilidad del equipo básico para
garantizar la formación en el sector de la fibra óptica (fusionadoras) y material fungible.
Compañía de Jesús
(13 centros formativos)
Institución La Salle
(1 centro formativo)
Centro de formación de la Fundación Tomillo
(1 centro formativo)
Docente de formación técnica y docente de formación en competencias (por lo general, uno de los dos ejerce además de tutor de las prácticas). Total: 60 horas de formación (media de dos semanas por centro); y una media estimada de 40 horas para realizar la coordinación, el seguimiento y las tutorías.
• Interlocutores para la firma de convenios. • Recibir la información y los informes de
seguimiento (equipo técnico).
Docentes:
• Docente técnico: se ocupa del desarrollo de la formación técnica y del seguimiento de la asistencia.
• Docente en competencias: se ocupa del desarrollo de la formación en competencias personales y profesionales, y del seguimiento de la asistencia. • Tutor de las prácticas: actúa de referente del
El objeto a evaluar 5
Actores Perfiles y funciones
Empresa formadora en PRL
Trece expertos con una dedicación media de una semana por persona, 6 horas / día.
• Organizar e impartir la formación en PRL en todos los centros formativos.
Empresas de prácticas
Abentel, Cobra, Comfica, Cotronic, Dominion, Elecnor, Itete, Liteyca, Montelnor y Teleco
(Coordinador o gestor de las prácticas, técnico-tutor de las prácticas), con una dedicación de 4 a 6 semanas, 6 horas / día (media estimada).
• Responsables de la gestión de los convenios: altas de alumnos, gestión y organización de las prácticas.
• Coordinador de los tutores técnicos: supervisión de las prácticas.
• Tutor técnico: desarrollo de las prácticas con el alumno y seguimiento de su asistencia.
Otras instituciones
Instituciones penitenciarias: Asociación Eslabón Asociación Cultural Norte Joven
• Interlocutores para la firma de convenios. • Recibir la información y los informes de
seguimiento (equipo técnico).
• Colaborar en la captación y selección de los participantes.
1.2 Teoría del programa y mapa de efectos
Durante la primera fase de la evaluación, además de estructura de objetivos y resultados definidos en el propio proyecto, se trabajó con el equipo de la Fundación Tomillo y con los docentes de los cursos, el análisis de la teoría del programa y los principales efectos o cambios (mapa de efectos) que se espera-ban en el conjunto de los participantes tras su paso por los diversos procesos de formación y prácticas.
1.2.1. Teoría del programa
En que se basa el proyecto, es decir, las respuestas que se espera de las personas y de las instituciones respecto a las actividades previstas; para describir, en un segundo momento, lo que finalmente ha pasado y recoger la experiencia vivida.
En el siguiente esquema se presenta la «teoría del programa» del proyecto, es decir, lo que se espera-ba que ocurriera, en cada una de sus fases, con el desarrollo del proyecto:
Jóvenes instaladores de fibra óptica. Formación para la inserción laboral 6
Figura 1.2 Teoría del Programa del proyecto Formación en fibra óptica
A) Preparación de las condiciones y puesta
en marcha
B) Difusión y comunicación del pr
oyec
to
Selección de zonas de intervención
del proyecto
Organización de la gestión del proyecto
Diseño y planificación de los contenidos
Formación de docentes
• Se cuenta con un centro formativo de referencia (entidad colaboradora) implicado en el proyecto por cada zona.
• Se dispone de empresas colaboradoras en cada zona para realizar las prácticas (con capacidad operativa suficiente en la instalación de fibra óptica), con quien se establece un convenio.
• Los principales actores implicados en el desarrollo del proyecto asimilan los procedimientos adminis-trativos, el calendario de trabajo y los mecanismos de seguimiento del proyecto.
• Cada uno de los actores conoce su rol y funciones en el desarrollo del proyecto.
• El personal docente asume brindar un soporte común acerca de los contenidos que deben impartirse, la metodología y las herramientas que hay que aplicar. • Se dispone de especialistas para la formación en
Prevención de Riesgos Laborales (PRL) a través de una empresa externa al proyecto.
• Docentes de formación técnica en fibra óptica adquieren los conocimientos necesarios para trasmitirlos a sus alumnos.
• Docentes de formación en competencias persona-les y profesionapersona-les adquieren los conocimientos y herramientas necesarias para trasmitir los conteni-dos adecuaconteni-dos a sus alumnos.
El objeto a evaluar 7
E) Seguimiento y evaluación del pr
oyec
to
B) Captación de participantes
B) Selección de participantes
D) Prácticas en una empresa colaboradora (Becas)
Inserción laboral (bolsa de trabajo) C) Formación en PRL C) Formación técnica en instalación de fibra óptica (y en cobre) C) Formación en
competencias personales y profesionales
• Alumnos y ex alumnos de los centros educativos de la Compañía de Jesús conocen la existencia del programa de formación en fibra óptica.
• Jóvenes relacionados con las entidades colaborado-ras (*) conocen la existencia del programa de forma-ción en fibra óptica.
• Responsables de selección en los centros formati-vos conocen y aplican los requisitos y criterios para seleccionar a los participantes.
• Se dispone de un respaldo documental del proceso de selección, con base en la ficha de acogida y la selección facilitada (modelo común).
• Entre 10 y 15 jóvenes son seleccionados para par-ticipar en cada uno de los cursos del proyecto (17 cursos, en 15 centros formativos).
• Los jóvenes adquieren las competencias profesio-nales y persoprofesio-nales necesarias para mejorar su empleabilidad (y empoderamiento).
• Los jóvenes adquieren conocimientos técnicos y desarrollan sus habilidades para trabajar como instaladores de fibra óptica.
• Los jóvenes cuentan con los conocimientos sobre PRL y los certificados necesarios que los acreditan, para acceder a un puesto de trabajo en el sector.
• Los jóvenes son contratados por empresas
instala-doras de fibra óptica (empresas colaborainstala-doras o del sector).
• Los jóvenes no contratados se incorporan a las bolsas de trabajo y (en el caso de la Fundación Tomillo, de 50 alumnos) a dinámicas de orientación • Los jóvenes ponen en práctica, en condiciones de trabajo real, los conocimientos y habilidades adqui-ridos durante la fase teórica de la formación. • Los jóvenes adquieren las capacidades necesarias
para desempeñarse laboralmente como instalado-res de fibra óptica.
• Comunicación y atención al cliente. • Trabajo en equipo. • Resolución de
conflictos. • Emprendimiento/
autoempleo. • Búsqueda activa
de empleo.
* Institución La Salle, instituciones penitenciarias, Asociación Cultural Norte Joven y Fundación Tomillo.
Jóvenes instaladores de fibra óptica. Formación para la inserción laboral 8
1.2.2 Mapa de efectos o cambios
El resultado de la identificación y conceptualización de los efectos clave se describe a continuación:
Figura 1.3 Mapa de efectos o cambios esperados
3 4
1 5
2 6
7
Puesta en práctica
Jóvenes con capacidades óptimas para su desempeño
como instaladores de fibra óptica
Jóvenes con una mejor definición del proyecto
profesional
Mejora la capacidad de
empleabilidad de los jóvenes Contribuir al proyectode vida de los jóvenes
Inserción laboral
Mayor autonomía personal y profesional
1. Empleabilidad: capacidad de adquirir habilidades y competencias de cara a la inclusión social y laboral. Entendida en el sentido de contar con mayores oportunidades y opciones laborales.
Para el proyecto consideraron que la empleabilidad estaría basada en el desarrollo de las siguien-tes competencias: trabajo en equipo, comunicación y atención al cliente, resolución de conflictos, emprendimiento y autoempleo. Además, aunque no fuera una competencia a trabajar específica-mente en sesiones, se considera relevante trabajar la organización, gestión del tiempo y la planifi-cación.
2. Puesta en práctica: relacionado con la «empleabilidad», se considera fundamental la búsqueda activa de empleo: que los jóvenes realicen entrevistas de trabajo, que aumente el número de em-presas a las que se ofertan, etc., en definitiva, que vayan adquiriendo nuevas capacidades para te-ner más oportunidades de empleo.
3. Adquisición de competencias específicas o técnicas como instaladores de fibra óptica: se describe como la adquisición de conocimientos teóricos y prácticos óptimos para que los partici-pantes puedan desempeñarse como instaladores de fibra óptica, en un entorno laboral real.
4. Proyecto profesional (definición del itinerario): se considera que pueden desarrollarlo desde distintos planos, mediante la continuidad de su formación o la obtención de un empleo (en el sec-tor en el que se han estado formando u en otros similares), además de abrirles nuevas expectativas (autoempleo, trabajar en otros países, identificar otros intereses, etc.).
El objeto a evaluar 9 6. Autonomía personal y profesional: se considera que es un cambio clave que se espera con el
proyecto, relacionado con saber a qué recursos acudir para la búsqueda de empleo: cómo llegar a la información, dónde buscar y cómo acceder a un empleo; en suma, que los jóvenes tengan herra-mientas e iniciativa en la búsqueda de empleo.
7. Inserción laboral: se reconoce sobre todo en la idea de «obtener un contrato por cuenta ajena»; en este caso se están adaptando a las características del contexto, dado que lo más frecuente es encontrar que las empresas soliciten trabajadores autónomos. La «inserción laboral» se entien-de entien-dentro entien-del sector en el que se hayan formado, ya que se trata entien-del objetivo último entien-del proyec-to; así, se mantendrá el análisis de la inserción en otros campos, pero no se valorará al mismo nivel.
En cuanto al «nivel de atribución», en el siguiente cuadro se muestra la valoración media del equipo de la Fundación Tomillo (en una escala del 1 al 10):
Tabla 1.2 Valoración de la atribución al proyecto de los efectos identificados
Efectos Final
1 Empleabilidad 8
2 Puesta en práctica 7
3 Adquisición de competencias técnicas 8-10
4 Mejor definición del proyecto profesional 6-7
5 Contribución al proyecto de vida 5-6
6 Autonomía personal y profesional 8-9
7 Inserción laboral 7-9
Observaciones
• Efecto 3. Adquisición de competencias técnicas: el proyecto está diseñado para que los jóvenes terminen formados en esas competencias técnicas, tanto por la formación como por las prácticas, y el efecto no sería explicable debido a otros factores.
• Efecto 4. Mejor definición del proyecto profesional: el equipo del proyecto considera que algu-nos jóvenes ya vienen con un proyecto profesional, y que con este terminan de visualizarlo, pero no necesariamente de definirlo. Algunos ya tienen una trayectoria profesional previa. Como conse-cuencia del proyecto, algunos pueden replantearlo completamente (el proyecto puede contribuir también a ese cambio de orientación en el sentido de «volver a empezar»).
• Efecto 5. Contribución al proyecto de vida: el grado de atribución al proyecto es menor y depende del punto de partida y de las expectativas de cada participante.
Jóvenes instaladores de fibra óptica. Formación para la inserción laboral 10
• Efecto 6. Autonomía personal y profesional: el proyecto apoya para que adquieran esa autono-mía, es una de las cosas que más se trabaja con los participantes.
• Efecto 7. Inserción laboral: se considera que es un éxito del proyecto, con independencia del sec-tor / empresa en el que se inserten. No se vincula exclusivamente con que obtengan un empleo en el sector de la fibra óptica.
• Efecto 1. Empleabilidad: efecto clave que se espera con el desarrollo del proyecto, íntimamente relacionado con una mejora en las oportunidades de insertarse en el mercado laboral.
1.2.3 Desarrollo de las hipótesis de cambio a contrastar
con la evaluación
Teniendo en cuenta las preguntas de evaluación, a partir del mapa de efectos y de la conceptualiza-ción de cada uno de ellos, se plantearon las siguientes hipótesis sobre los cambios a contrastar con la evaluación:
HIPÓTESIS: Tras el desarrollo del proyecto, las personas que han participado mostrarán resultados significativamente diferentes y mejores que quienes no lo hayan hecho. Las diferencias antes y des-pués serán significativamente mayores entre los participantes en el proyecto en:
a. Inserción laboral: los participantes habrán conseguido un empleo (por cuenta propia o ajena) en mayor proporción que quienes no hayan participado en el sector de la fibra óptica, aunque también se analizará dicha inserción en otros campos.
Para caracterizar la inserción, debe considerarse:
En el caso de las personas que hayan encontrado un empleo:
• El modo en que se logró el empleo.
• La calidad del empleo: tipo de contrato, tiempo de contrato, sueldo, horario, movilidad, estabi-lidad, derechos / protección y adecuación a la formación recibida.
• Grado de adecuación a las expectativas profesionales. • Nivel de satisfacción con el empleo.
• Tiempo en salir del desempleo.
En el caso de personas que no hayan encontrado empleo:
• Motivos por los que no fueron contratados en la empresa donde realizaron las prácticas. • Situación en la que se encuentran: estudios, buscando empleo, haciendo trabajo voluntario,
El objeto a evaluar 11 Con independencia de la consecución de empleo, los participantes mejorarán en:
b. Empleabilidad: las personas que hayan participado mostrarán mejores habilidades y competen-cias de cara a la inserción laboral, concretamente en:
b1. Competencias genéricas:
• Comunicación y atención al cliente: valorarán que tienen mayores destrezas a la hora de co-municarse con los clientes; entienden la relación que se establece entre una correcta comu-nicación, la ética profesional y la calidad del servicio percibida por el cliente.
• Trabajo en equipo: incorporarán en mayor medida el enfoque cooperativo en el trabajo, y tenderán a recurrir al diálogo para alcanzar acuerdos. Asumirán en mayor medida los com-promisos adquiridos como parte del trabajo en equipo.
• Resolución de conflictos: serán capaces de incorporar habilidades y técnicas para gestionar adecuadamente los conflictos que se produzcan en su día a día.
• Emprendimiento y autoempleo: serán capaces de identificar en mayor grado opciones labo-rales alternativas al empleo por cuenta ajena (ampliar alternativas), formando parte del con-junto de opciones laborales a valorar en su futuro profesional.
b2. Competencias técnicas: considerarán que cuentan con competencias técnicas que les habili-tan para desarrollar con solvencia la profesión de instalador de fibra óptica.
b3. Puesta en práctica: búsqueda activa de empleo.
Se focalizará en la adquisición de las habilidades necesarias para la «búsqueda de empleo», analizando:
• El grado de activación en la búsqueda de empleo. • Los cambios en la estrategia de búsqueda. • La eficacia del esfuerzo dedicado.
• La creencia de ser más capaces de afrontar procesos de selección (entrevistas). • La convicción de ser más capaces de presentar sus candidaturas de forma eficaz. • El sentirse más positivos en la búsqueda de empleo.
Y en cuanto a la «puesta en práctica» como tal, se llevará a cabo valorando los siguientes as-pectos:
• Se incrementará el número de ofertas de empleo a las que se hayan presentado.
• Se aumentará el número de entrevistas en las que participa (como fase avanzada de un proceso de selección).
Jóvenes instaladores de fibra óptica. Formación para la inserción laboral 12
• Se ampliará el tipo de actividades de inserción que realicen.
• Se dispone de una mayor tipología de medios para la búsqueda de empleo y la presenta-ción de candidaturas.
• Se valora que lleven a cabo procesos de búsqueda de empleo con mayor intensidad. • Se dedica un mayor número de horas a la búsqueda de empleo.
c. Autonomía personal y profesional: las personas que hayan participado en el proyecto mostrarán una mayor iniciativa, serán más proactivos, y disfrutarán de un conocimiento mayor sobre los ca-nales, las herramientas y los recursos necesarios en la búsqueda de empleo.
d. Proyecto profesional: la participación en el proyecto mostrará una mayor claridad respecto al iti-nerario profesional que quieran seguir, ya sea laboral o formativo.
• Mejorarán en la definición de su itinerario.
• Reorientarán su proyecto profesional si es necesario.
• Retomarán la formación necesaria para su proyecto profesional.
Capítulo
2
Metodología empleada
en la evaluación
2.1 Enfoque y diseño metodológico
14
2.2 Alcance final de la metodología y técnicas previstas
(de la teoría a la práctica)
19
Jóvenes instaladores de fibra óptica. Formación para la inserción laboral 14
2.1 Enfoque y diseño metodológico
Teniendo en cuenta las características del encargo de la evaluación —foco en el impacto social (especial-mente delimitar y medir los cambios atribuibles al proyecto, pero también entender los resultados obte-nidos en su contexto)—, y tras concretar la hipótesis de cambio a contrastar, el equipo de Redcrea consi-deró que lo más adecuado era trabajar con un «enfoque metodológico mixto», combinando:
A) Un enfoque contrafactual, útil para responder a cuánto del cambio se debía al proyecto. B) Un enfoque explicativo, basado en la teoría del programa, particularmente adecuado para
res-ponder a las preguntas «¿por qué?», «¿cómo?» y «¿en qué contexto?» la intervención estaba funcionando.
Además, incorporamos:
C) Un enfoque transversal participativo, con el objetivo de mejorar tanto la calidad del proceso como de los resultados obtenidos, su credibilidad e utilización. En este caso, también se evitaba el riesgo de que el análisis del «cambio» requerido para evaluar el impacto fuera erróneo o in-completo.
D) Y para dar respuesta a la necesidad de conocer la relación «coste-beneficio» del proyecto, se trabajó con una adaptación de la metodología SROI. Esta tiene como elementos diferenciales el énfasis en la participación de los diferentes grupos de interés (stake holders) y la contabilidad social, por lo que se ha integrado perfectamente dentro de la dinámica de la evaluación. Cada uno de los elementos clave de los enfoques, junto a las elecciones metodológicas para cada caso, se resume a continuación:
A) Enfoque contrafactual
Figura 2.1 Características del diseño contrafactual
Gráfico. Fuente: Adaptado de «La evolución de impacto
en la práctica». World Bank, 2011.
Estrategia: comparación de resultados de las variables asociadas a los efectos que se esperan en los grupos (de proyecto y de comparación) antes y después del proyecto, y con otro grupo de proyec-to de una edición anterior. Control estadístico de variables explicativas alternativas.
Diseño cuasi-experimental: método de «diferencia en dife-rencias». Grupos de proyecto y de comparación pre-test, pos-test.
• Técnica: cuestionario aplicado de forma : – Pre-test: durante el proceso de preinscripción y antes
de que el candidato conociera los resultados del proceso de selección (control de sesgos).
– Pos-test: a los tres meses de haber finalizado el proyecto.
• Grupo de tratamiento o de proyecto: censo completo de jóvenes participantes en el proyecto (objetivo: lograr una muestra lo más amplia posible).
• Grupo de comparación: grupo de candidatos que, cumpliendo los criterios básicos de selección, no llegaron a participar en el proyecto por falta de cupo o por otros criterios subjetivos (objetivo: obtener una muestra equiparable al grupo de proyecto en las variables sociolaborales clave).
• Grupo de contraste: grupo de participantes en la primera edición del proyecto.
Metodología empleada en la evaluación 15 Tabla 2.1 Esquema del análisis contrafactual
Grupo de proyecto
(Experimental) Diferencia Grupo de comparación Diferencia
Efecto neto («Diferencia en diferencias»)
Pre test (Xi) Post test (Xf) Xf - Xi Pre test (Yi) Post test (Yf) Yf - Yi (Xf - Xi) - (Yf - Yi)
– Análisis de diferencias entre grupos para pre test y post test: tablas de contingencia (χ2) y ANOVA (t, F). – Análisis de diferencias pre test y post test intragrupos.
– Control estadístico de variables básicas (estructurales y de empleabilidad, según la hipótesis del programa).
Nota técnica:
Cuando se presentan valores medios, las diferencias que se exponen en los cuadros son la media de la variable «diferencia» (más exacto) y no la diferencia de las medias (la resta de los valores medios de todo el grupo), de ahí que se observen algunas diferencias si se realiza la comprobación restando los valores medios pre y post test.
El método de «diferencia en diferencias» requiere datos iniciales (línea de base) y datos recopilados una vez finalizado el programa, tanto del grupo que participa en el proyecto como de un grupo de com-paración para poder establecer relaciones causales.
La diferencia «antes-después» del grupo que participa en el proyecto permite controlar factores in-ternos, los cuales no cambian significativamente a lo largo del tiempo que dura el programa (sexo, edad, nivel de estudios, etc.), ya que se compara al grupo con sí mismo (se anula, así, el efecto de las características específicas del grupo que son constantes en el tiempo, tanto las observadas como las no observadas); por su parte, con el grupo de comparación se controlan los factores externos, que sí pueden cambiar con el tiempo, ya que se observan las diferencias antes y después en un grupo que no ha participado en el programa, pero que ha estado expuesto a las mismas condiciones ambienta-les.1
Al combinar las comparaciones simples «antes-después» y «participantes-no participantes», se ob-tiene una estimación «contra factual» o cambio en los resultados del grupo del proyecto atribuibles al mismo.
En este caso, para mejorar la validez del diseño, además se planteó un análisis de la equivalencia entre los grupos de proyecto y de comparación en numerosas variables sociodemográficas y otras que pu-dieran tener influencia en los resultados del proyecto (basado en estudios previos de empleabilidad, como los años de experiencia profesional o el tiempo de desempleo), así como aquellas que formaban parte de los criterios de selección (formación previa, edad, etc.), para controlar potenciales sesgos.
1 También hay que tener en cuenta que se trata de proyectos de corta duración (cinco meses), por lo que es más factible que el contexto se mantenga estable. En cualquier caso, el contexto es un elemento considerado a lo largo del estudio.
Jóvenes instaladores de fibra óptica. Formación para la inserción laboral 16
B) Enfoque explicativo
Diseño basado en la teoría del programa: análisis de la «teoría del programa» (o «teoría del cambio») y de
su desarrollo en la práctica. Análisis de la influencia del contexto.
• Técnicas: Análisis documental y de bases de datos, entrevistas semiestructuradas, talleres con equipo
técnico del proyecto, cuestionarios y grupo focal con tutores en las empresas colaboradoras.
• Estudios de caso en centros formativos: (incluye grupos focales, entrevistas semiestructuradas,
dinámi-cas de grupo).
• Criterios de selección de estudios de caso: combinación y ponderación de criterios externos (contexto
socioeconómico, geográfico, acceso a programas de inserción) e internos (modelo de centro educativo, docente, convocatoria y jóvenes preinscritos, y característica del grupo).
Figura 2.2 Características del diseño explicativo
Estrategia: combinación de técnicas y fuentes de información. Triangulación
de datos procedentes de diversas fuentes y técnicas.
Institución
• Análisis documental (documentos internos del proyecto y de contexto). • Bases de datos (del
proyecto y estadísticas oficiales).
• Dinámicas grupales basadas en técnicas de animación sociocultural. • Cuestionarios (presenciales,
en formato papel). Jóvenes
Empresas de prácticas • Cuestionario on line. • Grupo focal.
Equipo técnico • Talleres.
• Entrevistas semiestructuradas. Docentes
• Dinámica 3D (análisis procesos-resultados). • Entrevista semiestructurada.
Metodología empleada en la evaluación 17
C) Enfoque participativo
Lograr una adecuada participación de los diferentes grupos de interés o stake holders en la evalua-ción es clave. Por eso se incorporó, desde etapas tempranas, la elaboraevalua-ción de un mapa de actores involucrados,2 a partir del cual construir un plan de trabajo, que permitiera identificar variables como
«quién», «cuándo», «cómo», «por qué» y «para qué», relativas a la participación de cada grupo de interés en la evaluación. Y ello procurando ajustar al máximo los tiempos y las veces que se deman-daría la interacción con cada actor, respetando sus tiempos y disponibilidad para intervenir en el pro-ceso.
Esta fase incluyó el análisis de la relación de cada uno de los actores con el proyecto y dos elementos que permitieron entender su relevancia para la evaluación: qué grado de influencia mantenían en la consecución de los efectos y qué capacidad tenía el proyecto para involucrar al actor para favorecer la aparición de los efectos.
Las decisiones que se tomaron en este punto marcarían el desarrollo de la evaluación, por lo que se dedicó un tiempo específico en las primeras fases, trabajando en estrecha colaboración con el equipo coordinador de la evaluación de Fundación Telefónica, para definir el alcance deseado y posible de esta participación.
La propuesta final fue la siguiente:
Figura 2.3 Estrategia de participación en la evaluación
• Clasificar a los actores en función de su relación con el cambio: • Afectados por
el cambio • Afectan
(influyen) en el cambio • Identificar sus
funciones, implicación en el proyecto y capacidad de influencia en la generación de cambios • Visibilizar al
conjunto de actores relacionados con los cambios que provocan (o quieren provocar) el proyecto
• Valorar: • Pertinencia/
necesidad de involucrar a cada actor • Posibilidad real
de acceso
• Operatividad: • Etapas/
actividades de la evaluación-actor • Estrategia de
participación (calendario, herramienta, producto esperado)
Mapa de actores Relación con
los efectos Participación enla evaluación Planificación
Fuente: Elaboración propia. Redcrea
2 Por «actores involucrados» se entiende a cualquier individuo, grupo de individuos, instituciones (públicas o privadas) y organizaciones (formales e informales) que puedan afectar o verse afectados (positiva o negativamente) por una intervención.
Jóvenes instaladores de fibra óptica. Formación para la inserción laboral 18
A partir de ahí, se elaboró una propuesta de participación de los diferentes actores en la evaluación, no solo como fuentes de información, sino como parte activa en la validación de la teoría del programa, la identificación de efectos, y en el acompañamiento del proceso de la toma de datos (apoyo en la ges-tión, coordinación, y acompañamiento). Para ello, el equipo de evaluación ha puesto a disposición de las entidades promotoras, y ha desarrollado, numerosas presentaciones en cada una de las fases de la evaluación, con el fin de sensibilizar sobre la cultura de evaluación, compartir el proceso, implicar y motivar a la participación.
D) Retorno social de la inversión (SROI)
El Retorno Social de la Inversión (en adelante, SROI: Social Return On Investment), es una metodología para medir y cuantificar el valor que crean las intervenciones, entendiendo por «valor» un concepto amplio, que incorpora costes y beneficios sociales, medioambientales y económicos. Mide el cambio en formas que son relevantes para las personas u organizaciones que lo experimentan o contribuyen a él. Explica cómo se genera el cambio midiendo los efectos (outcomes) sociales, medioambientales y económicos, y usa términos monetarios para representarlos.
Esto permite calcular la ratio «coste-beneficio». Por ejemplo, un ratio de 1:3 indica que una inversión de 1€ genera 3€ de valor social.
En este caso, para el desarrollo del análisis, se trabajó con una adaptación de la metodología, que se ha integrado perfectamente en los procesos diseñados tanto para el análisis contrafactual como para el explicativo, utilizando en el cálculo de la ratio «coste-beneficio social» gran parte de los resultados que derivan de ellos.
A continuación, se presenta el marco de trabajo para el análisis finalmente desarrollado:
Tabla 2.2 Marco de trabajo para el análisis «coste-beneficio» (SROI)
Etapa 1: Establecer el alcance (el
qué) y los actores clave • Alcance del análisis:– 2.ª edición del proyecto: 15 centros formativos; 17 cursos de formación, 13 localidades, 9 Comunidades Autónomas.
– Fases incluidas: preparación (4 meses); captación y selección de participantes (4 meses); desarrollo de la formación (2 meses y medio), periodo de análisis de los efectos (4 meses). Algunas fases se solapan en el tiempo.
– Periodo de análisis: 1 año (desde marzo-abril de 2015 hasta abril-mayo de 2016).
2: Mapa de impactos: teoría
del cambio • Mapa de actores: identificar los que aportan / invierten en el proyecto. Costes del proyecto (aportes de Fundación Telefónica, Fundación Tomillo y otros) y valorizados (aportes voluntarios).
Metodología empleada en la evaluación 19
Etapa
2: Mapa de impactos: teoría
del cambio • Cuadro de productos del proyecto y efectos seleccionados para su inclusión en el análisis de «coste-beneficio». • Análisis de los beneficios derivados de cada efecto para los diferentes
actores. 3: Evidenciar los efectos y
darles valor (monetizarlos) • Matriz con los siguientes elementos para cada efecto / cambio:– Indicadores (cómo se mide). – Fuente de información (de dónde se obtiene la información). – Cantidad (cuánto cambio ha habido).
– Duración del efecto (periodo estimado del beneficio).
– Proxie financiero (qué indicador financiero utilizamos para valorar el cambio). – Valor (€) (cuál es el valor del cambio).
– Fuente (de dónde se obtiene el valor del cambio). 4: Establecer el impacto
(contrafactual) • Cálculo del impacto: como proxie financiero por cantidad de efecto neto da igual a un total; proceso ejecutado para cada efecto, sumando todos los resultados al final.
5: Calcular el Retorno Social
de la Inversión • Cálculo del Valor Actual.• Ratio SROI. • Análisis de sensibilidad.
6: Reportar, usar Informes con la información más relevante.
2.2 Alcance final de la metodología y técnicas previstas
(de la teoría a la práctica)
En la práctica, el diseño se ha ajustado teniendo en cuenta las posibilidades reales que finalmente se han tenido en cuanto a acceso y respuesta de los diferentes actores involucrados, tal y como se expo-ne a continuación:
A) Análisis contrafactual (cuasi-experimental): «diferencia en diferencias»
en variables de impacto esperado, según la teoría del programa
(o del cambio)
Técnica
La técnica que se ha utilizado para recopilar los datos ha sido la encuesta mediante cuestionario, la cual se ha aplicado de forma on line, generando información que se ha organizado en torno a un plan de explotación de los datos, que se ha procesado con programas informáticos de análisis estadísticos (SPSS).
En ambos casos (pre y post test), se han mantenido las condiciones previstas:
Jóvenes instaladores de fibra óptica. Formación para la inserción laboral 20
• Tanto en el grupo de proyecto como en el de comparación, los pre y post test se aplicaron en el mismo tiempo y de la misma forma, con el fin de eliminar el efecto de «instrumento» (forma y tiempo de aplicación de los test) e «historia» (relativo a los acontecimientos externos capaces de influir en los efectos).
• Los cuestionarios para la recogida de información han sido prácticamente iguales entre el grupo de control y el grupo de proyecto. Así, se ha establecido variables y dimensiones (inserción, cali-dad del empleo, empleabilicali-dad, actitudes, etc.) que permitan la comparación, e hitos temporales semejantes para ambos grupos (preguntas referidas a períodos equivalentes).
Universo y muestra del estudio
El universo objeto de estudio se define a partir del resultado de la participación en el pre test. En la primera medición pre test, se lanzó el cuestionario a todas las personas candidatas a participar en el proyecto (antes de que supieran el resultado del proceso de selección, para evitar sesgos). Una vez cerrado el proceso de selección, se obtuvo los grupos de proyecto y comparación.
El cuestionario post test se lanzó a todas aquellas personas que habían completado el cuestionario pre test, ya que para realizar el análisis del impacto contrafactual, solo se puede trabajar con aquellos casos que hayan respondido tanto al pre como al post test.
Tabla 2.3 Alcance final de los cuestionarios
Toma de datos pre test Toma de datos post test Toma de datos post test
(1.ª edición) Grupo de
proyecto comparaciónGrupo de Grupo de proyecto comparaciónGrupo de contrasteGrupo de
222 196 186 61 153
En total, se logró que respondieran al cuestionario pre test un total de 418 personas (antes de ser seleccionados)
Tasa de respuesta: 91,2%.
Se seleccionó un total de 250 jóvenes, de los cuales 222 habían completado el pre test. El post test lo completaron 186 de los 222 ð
Tasa de respuesta: 83,8%.
De los 196 casos que completaron el pre test, se logró 61 respuestas
Tasa de respuesta: 31,1%.
De los 250 participantes, respondieron al cuestionario post test 153
Metodología empleada en la evaluación 21
Toma de datos pre test Toma de datos post test Toma de datos post test
(1.ª edición) Grupo de
proyecto comparaciónGrupo de Grupo de proyecto comparaciónGrupo de contrasteGrupo de
Limitantes:
El proceso interno en los centros de difusión del proyecto y captación de participantes condiciona la amplitud del universo, ya que no se trata, en general, de un proceso abierto (a excepción de Tomillo y Andújar)
458 personas preinscritas.
Limitantes:
El grupo de comparación se redujo, como era de esperar, pues su vinculación con el proyecto y con los centros formativos en el momento de realizar el cuestionario era mínima. El equipo de evaluación recurrió a envíos personalizados vía mail y
whatsapp, así como a llamadas
telefónicas de motivación.
Limitantes:
El grupo no había pasado por el proceso previo del pre test, por lo que no había sido informado del estudio hasta el momento de realizar el cuestionario.
Fecha para la toma de datos:
junio-octubre de 2015 4 de abril-9 de mayo de 2016 16 de abril-6 de mayo de 2016
Una vez obtenido el post test, se ha procedido a comparar y analizar las posibles diferencias en las siguientes características sociodemográficas y estructurales entre los grupos de proyecto y de com-paración:
Tabla 2.4 Análisis de perfiles: grupo de proyecto y de comparación
No existen diferencias significativas entre los grupos de proyecto
y de comparación en: Existen diferencias significativas en:
8 Sexo. 8 Edad. 8 Clase social.
8 Convivencia (n.º personas). 8 Condiciones previas para la
inserción en el campo profesional de la fibra óptica: • Carné de conducir. • Acceso a vehículo. • Formación en PRL.
8 Familias profesionales de la formación.
8 Situación laboral propia (trabajo, tiempo en desempleo).
8 Situación laboral familiar. 8 Prestación por desempleo o
ayudas sociales actuales. 8 Participación en otros
programas de empleo. 8 Posibilidades de financiación
de la formación.
8 Experiencia laboral. 8 Convivencia (tipo). 8 Nivel de estudios.
Jóvenes instaladores de fibra óptica. Formación para la inserción laboral 22
Convivencia:
La situación mayoritaria de convivencia es la familia de origen (padre, madre u otros ascendientes), aunque sea mayor la proporción en el grupo del proyecto (89% frente al 70%). El grupo de comparación cuenta con una mayor proporción de personas independizadas, que viven solas, con pareja y/o con hijos.
Nivel de estudios:
Más alto en el grupo del proyecto. En el grupo de comparación hay más personas con FP Básica y estudios secundarios (29,5% frente al 12,9% en el grupo de proyecto).
Años de experiencia laboral:
Inferior en el grupo del proyecto (2,2 años frente a 3,4 años de media en el caso del grupo de comparación).
Dentro del análisis, se ha considerado estas variables, observando cómo se comporta el grupo de pro-yecto y el de comparación en cada caso, para comprobar si las tendencias en los resultados del proyecto difieren entre las categorías de dichas variables.
B) Análisis explicativo: basado en la teoría del programa (o del cambio)
Para el estudio explicativo de los efectos del proyecto, se recopilaron datos interaccionando directa-mente con los diferentes grupos de interés, con herramientas de tipo cualitativo y cuantitativo. De forma prioritaria, con aquellos actores directamente implicados en el desarrollo del proyecto: jóvenes, docentes, responsables de las prácticas en las empresas y el equipo técnico del proyecto. En los casos en los que el acceso directo no era posible, se recurrió a cuestionarios on line (fue el caso de los técni-cos y tutores de las prácticas en las empresas colaboradoras).
Además, se utilizaron fuentes secundarias de bases de datos y documentación relacionada con la in-serción juvenil y la empleabilidad.
Se diseñaron «estudios de caso», llevándose a cabo cinco estudios en centros formativos de dife-rentes localidades, en dos fases: antes y después del proyecto, seleccionadas en función de diferen-tes criterios, tanto internos (la tipología de la intervención, la localidad, el modelo de centro), como externos (el índice socioeconómico de la zona, la incidencia de la tasa de desempleo).
Redcrea cuenta con una amplia experiencia en el diseño específico y en el desarrollo de técnicas basa-das en la animación sociocultural. Este tipo de técnicas, basabasa-das en la «experimentación o vivencia» de determinadas situaciones, son muy útiles para provocar la participación y que afloren sentimien-tos, reflexiones, al tiempo que los participantes piensan sobre su práctica.
Metodología empleada en la evaluación 23 Figura 2.4 Alcance final de las técnicas empleadas en el análisis explicativo (multimétodo)
Taller Diagnóstico del proyecto (dos personas).
Entrevista semiestructurada pos-proyecto (una persona).
Estudios de caso (cinco), con análisis pre y pos-test: • Dinámicas grupales (nueve diseños diferentes). • Cuestionario de iniciativa y emprendimiento. 8 Participantes pre-test: 76 jóvenes.
8 Participantes pos-test: 55 jóvenes.
Estudios de caso (cinco), con análisis pre y pos-test: • Entrevista pre-test semiestructurada.
• Entrevista semiestructurada y dinámica 3D©Redcrea (*) pos-test (análisis de procesos y resultados).
8 Participantes: seis docentes, un director.
Análisis documental:
• Informes de seguimiento, documentos internos de F. Tomillo y F. Telefónica. • Estadísticas INE, Ministerio de Educación.
• Documentos e informes oficiales (Comisión Europea, Observatorio de la Juventud, INJUVE, etc.).
Cuestionarios on line: valoración de efectos en jóvenes: (de noviembre de 2015 a febrero de 2016):
8 Número de participantes que terminan las prácticas en el plazo de la evaluación: 208. 8 Número total de respuestas de los tutores: 186 de las 10 empresas.
• Tasa de respuesta: 89,4 %.
Grupo focal: siete responsables de las prácticas de cuatro empresas colaboradoras (diez empresas en total).
Equipo técnico
Jóvenes
Empresas de prácticas Docentes
Instituciones
(*) Dinámica 3D©Redcrea: dinámica grupal que permite de forma simultánea el aporte, la interpretación y el contraste de
datos relevantes a la hora de analizar la lógica interna de la intervención y la coherencia entre la implementación y los resultados esperados. Véase más información en: http://redcrea.blogspot.com.es/. «Método y artesanía. La evaluación 3D o integrando variables para un mayor aprendizaje».
C) Gestión de la participación en el proceso de evaluación
Durante la primera fase de la evaluación, se llevó a cabo el mapeo de actores y el análisis de los parti-cipantes involucrados, cuyo resultado se presentó en una sesión grupal como parte del diseño de la evaluación, a los equipos de la Fundación Tomillo y de Fundación Telefónica. A partir de este trabajo inicial, se planificó la participación de los diferentes grupos de interés.
En el siguiente cuadro, se muestra el alcance final de la participación de los diferentes actores durante el desarrollo de la evaluación:
