Las comparaciones son significati- vas cuando se hacen bajo un interés cognitivo particular. A raíz de los datos recogidos durante el análisis del impacto, se pueden establecer diferentes clases de comparacio- nes. La mayoría de ellas se sacan de dentro del mismo proyecto, aunque también las hay que contrastan los resultados del proyecto con datos de otros proyectos. La modalidad de comparación a utilizar en nuestro análisis del proyecto dependerá del asunto que estemos tratando.
A continuación se presentan las
diferentes clases de comparaciones. Por medio del ejemplo del «Padri- nazgo para la Formación y el Desa- rrollo en Fráncfort» (PFDF) se ilus- tran las posibles conclusiones que podemos extraer a partir de ellas en el contexto del análisis de datos. Atención: estos ejemplos no tienen por qué ser válidos para cualquier proyecto. La exposición de las cla- ses de comparaciones solo preten- de ofrecer una visión general de las múltiples opciones a las que uno puede acogerse, en función de las circunstancias.
1. Comparación antes-después
Comparan cambios que tienen lu- gar en un período de tiempo.Ejemplo: debe determinarse si ha mejorado la nota en la asignatu- ra de matemáticas obtenida por es- tudiantes de una misma clase que participan en el proyecto del PFDF (véase la tabla de abajo).
Posibles conclusiones del análisis:
La nota media del estudiante parti- cipante ha mejorado en 0,6 puntos en un plazo de dos cursos escola- res. Para determinar en qué medida se puede atribuir ese cambio a la
antes del proyecto
(datos de referencia) 5,6 6,1 6,3 5,6 6,4 6,7 5,6 5,6 5,8 1.er año 2.do año
Nota media del conjunto de la clase
Nota media
de alumnos participantes
Nota media de alumnos no participantes en el proyecto (grupo de control)
Planificación del impacto
Análisis del impacto
1.er año 50 % 75 % 60 % 70 % 70 % 70 % -20*1 +5 -10*2 2.do año 3.er año Cuota transitoria real Cuota transitoria objetivo Porcentaje de diferencia 114
participación en el proyecto, deben hacerse otras comparaciones adi- cionales. Por ejemplo, se comparan las notas de los alumnos de las cla- ses que participaron en el proyecto con las de los alumnos de una clase paralela que no haya participado en la propuesta del PFDF. De lo contra- rio, podría darse el caso de que hu- bieran mejorado las notas de toda la clase, pero debido a la entrada de una nueva profesora de matemáti- cas. En tales circunstancias, la par- ticipación en el proyecto no podrá considerarse como factor desenca- denante de la mejora.
2. Comparación objetivo-realidad
Comparan los resultados reales con los objetivos previstos (valores ob- jetivo) del proyecto.Ejemplo 1: debe determinarse si el porcentaje de jóvenes participan- tes que han accedido a una pla- za de formación directamente des- pués de su certificación ha seguido la evolución prevista.
*1: en el primer año, el proyecto no ha alcanzado los objetivos pre-
vistos. Ante un caso así, cabe plan- tearse si un cambio de contenidos y procesos en el proyecto podría contribuir a una mejora. Al mismo tiempo, también habría que consi- derar si el objetivo se había puesto demasiado alto y, de ser así, ajus- tarlo. Esto suele ser normal en los inicios de proyecto, cuando aún no hay suficiente experiencia. En casos así, una comparación con proyectos (afines) puede ser útil.
*2: después de haber alcanzado el valor objetivo al cabo del primer año, la cuota transitoria ha caído de nuevo. No es motivo para que cun- da el pánico, pero sí una llamada de atención. La causa podría estar en el mismo proyecto (¿Podemos detectar una pérdida de calidad? ¿Han cam- biado los requisitos y aún no se han tomado medidas al respecto?), o tal vez dependa más bien de un factor externo (p. ej., una disminución en la oferta de plazas de formación en la región). Ante tal coyuntura, vale la pena volver a echar un vistazo al árbol de problemas (véase el cap. 1), donde podremos contemplar toda la estructura de relaciones causa-efecto en la que se mueve el proyecto.
Ejemplo 2: debe determinarse si los padrinos están satisfechos con la atención recibida por parte del administrador.
Ejemplo 3: comparación de las ex- pectativas/objetivos de los partici- pantes y sus padrinos con los resul- tados realmente alcanzados. En el PDFD, los jóvenes apadrina- dos y sus padrinos reflexionan jun- tos para acordar mejoras (realistas) a alcanzar en las asignaturas de matemáticas y lengua.
Posibles conclusiones del análisis:
A tenor de los resultados, habría que considerar lo siguiente junto con el apadrinado: «¿De los objetivos acor- dados, cuáles hemos alcanzado? ¿En qué puntos podemos estar satisfe- chos de nuestro trabajo? ¿En qué puntos tenemos que seguir traba- jando? ¿Qué medidas adicionales, como, por ejemplo, la asistencia a clases de refuerzo adicionales, po- drían ayudarnos a ello?».
Posibles conclusiones del análisis:
El 40 % de los padrinos no están sa- tisfechos con la atención. Aunque los administradores del proyecto no hubieran fijado un valor obje- tivo explícito con el que se puedan comparar estos resultados, tras la evaluación de los datos se convino que este valor era sorprendente y demasiado alto. ¿De dónde puede venir la insatisfacción? ¿Podemos saber si viene, por ejemplo, de los padrinos que están en el mismo grupo? ¿Con qué frecuencia se mantiene contacto con estos pa- drinos? ¿Qué se puede hacer para aumentar la satisfacción? muy satisfechos bastante satisfechos bastante insatisfechos muy insatisfechos total nota al inicio del padrinazgo objetivo acordado para el final del año escolar
nota en evaluación intermedia
nota al final del año escolar
nota en Matemáticas 2 5 2 4 nota en Lengua 3 6 5 6 10 % (n=5) 50 % (n=25) 30 % (n=15) 10 % (n=5) 100 % (n=50)
Planificación del impacto
Análisis del impacto
Optimización del impacto
3. Comparaciones entre diferentes
planteamientos de proyecto
Las comparaciones entre diferen- tes formas de ejecución del pro- yecto permiten establecer conclu- siones sobre los factores de éxito. Si el concepto de un proyecto ha sido sometido a cambios, como, por ejemplo, tras una evaluación, los resultados de la evaluación anterior se pueden comparar con los de la nueva y, de esa manera, determinar si los cambios aplicados han traído mejores resultados.Ejemplo: debe determinarse si los jóvenes que, además del padrinaz- go, asistieron a un taller de solicitud de empleo, han tenido más éxito en su búsqueda de plazas de forma- ción.
Posibles conclusiones del análisis:
Los talleres de solicitud de empleo parecen tener un efecto positivo en la cuota transitoria. En este ejemplo, los responsables del proyecto tenían la sensación, según sus experiencias cotidianas en el proyecto, de que los talleres eran un factor de éxito im- portante para el acceso a la forma- ción profesional. Al analizar los da- tos, se confirmó este presentimiento. Si durante el primer análisis no queda claro qué factores deberían ser el foco de atención, entonces se puede recurrir al «instinto»: ¿Qué componentes (p. ej., talleres de so- licitud o clases de repaso) y factores de calidad (p. ej., clases de repaso). Si durante el primer análisis no queda claro qué factores deberían ser el foco de atención, entonces se puede recu- rrir al «instinto»: ¿Qué componentes (p. ej., talleres de solicitud o clases de repaso) y factores de calidad (p. ej., clases de repaso por profesores cualificados) hay en el proyecto que nos permitan sacar conclusiones acerca de los criterios de éxito? Por ejemplo, ¿habían asistido a talleres de solicitud los participantes que sí encontraron una plaza de forma- ción? O ¿fueron los jóvenes cuyas notas habían mejorado de manera significativa los mismos que habían asistido a clases de refuerzo con un profesor cualificado?
Saber responder a estas preguntas puede ser muy útil para el desarrollo de criterios de calidad. En el proyecto del «Padrinazgo para la Formación y el Desarrollo en Fráncfort» (PFDF) se decidió, pues, mantener las clases de repaso impartidas por profesores cualificados y retirar a los profeso- res en prácticas, hasta que los recur- sos financieros lo permitan.
Planteamiento del «Padrinazgo para la Formación y el Desarrollo en Fráncfort» (PFDF) con talleres de solicitud de empleo
adicionales
Planteamiento del PFDF sin talleres de solicitud de empleo
50%
+ 15
%Cuo ta d
e éxito en la búsqueda
de e m pleo - C u o ta tr an sit oria 116
Planificación del impacto
Análisis del impacto
Optimización del impacto
117