Tesis de grado para recibir el título de Pregrado en
Ingeniería Industrial
Diseño del instrumento para evaluar los resultados
del programa de octavo grado (8º) de la Asociación
Somos CaPAZes
Makie Fuse Restrepo
[email protected]
Asesor:
Camilo Enrique Olaya Nieto
2013
Tabla de contenido
Introducción ... 4
Formulación del problema ... 5
Objetivos ... 5
Objetivo general ... 5
Objetivos específicos ... 5
Marco Conceptual ... 6
Problemáticas sociales ... 6
Definición de problemas y problemáticas sociales ... 6
Problemáticas sociales en Colombia ... 6
Desarrollo de competencias ... 7
Definición de Desarrollo de competencias ... 7
Evaluación del desarrollo de competencias ... 8
Los programas de intervención ... 9
La evaluación de programas sociales ... 9
Definición de evaluación ... 9
Tipos de evaluación ... 10
La evaluación de impacto ... 12
La evaluación de resultados ... 12
Diseño de la evaluación ... 13
Análisis de los datos e instrumentos ... 14
Análisis de los datos ... 14
Validez del instrumento ... 15
Confiabilidad del instrumento ... 15
Marco Contextual ... 16
La Asociación Somos CaPAZes ... 16
El programa de octavo ... 16
Estructura del programa ... 17
Metodología para el diseño de evaluación ... 20
Planeación ... 20
¿Cuál es el objetivo de la evaluación y qué aspectos se van a evaluar? ... 20
¿Para quién es la evaluación? ... 21
¿Cómo y con qué se va a medir? ... 21
¿Quiénes se van a evaluar? ... 21
¿Cuándo se va a evaluar? ... 22
¿Qué recursos vamos a usar? ... 22
Síntesis de la etapa de planeación ... 23
Metodología ... 23
Herramientas de medición ... 26
Cuestionarios ... 26
Evaluación de los proyectos finales ... 27
Propuesta final de la herramienta de evaluación ... 29
Conclusiones y recomendaciones ... 30
Resultados ... 31
Glosario ... 32
Anexos ... 33
Anexo 2. Instructivo de la herramienta ... 34
Anexo 3. Cuestionario de los estudiantes ... 44
Anexo 4. Cuestionario de los CaPAZitadores ... 49
Anexo 5. Cuestionario de los profesores ... 52
Anexo 6. Formato de evaluación de proyectos ... 54
Bibliografía ... 58
Introducción
La Asociación Somos CaPAZes es una entidad sin ánimo de lucro que desde el 2007 “tiene como objetivo la construcción y el diseño de herramientas y mecanismos que permitan ayudar a construir la paz en Colombia y el resto de países de Latinoamérica” (Somos CaPAZes, 2011). Dentro de su programa para colegios manejan currículos para preescolar, quinto y octavo grado. El presente proyecto se centrará en el programa de octavo grado el cual busca desarrollar técnicas de ayuda de solución de conflictos para que los estudiantes puedan abordar las problemáticas sociales para entenderlas y encontrar posibles soluciones (Somos CaPAZes, 2011).
Vale la pena mencionar que desde que se implementó el programa en 2009 se han hecho mediciones en cuanto a diversos temas mas no se ha realizado ninguna medición formal de los resultados de éste en los jóvenes participantes. Ésta es fundamental para la Asociación Somos CaPAZes pues tener resultados de sus programas aporta al mejoramiento continuo de sus prácticas y a su vez contribuye a la consecución de posibles donantes. Teniendo en cuenta lo anterior, el propósito de este proyecto es diseñar el instrumento para evaluar los resultados del programa de octavo grado en los jóvenes. Éstos serán medidos en términos del desarrollo de competencias de los estudiantes para formular proyectos sociales. Dentro del marco de las competencias se consideran los siguientes puntos (Morales, García, Campos, & Astroza, 2013) (De la Orden, 2011):
• Conocimientos: Entender el concepto de problemática social
• Actitudes: Reflexión sobre su contexto y problemáticas que los rodean
Formulación del problema
El programa de octavo grado de la Asociación Somos CaPAZes nace en el 2009 con el propósito de “proveer herramientas a los jóvenes para que puedan contar con diferentes alternativas a escoger para la solución de sus problemáticas sociales” (Somos CaPAZes, 2011). Desde entonces, el programa se ha implementado en varios colegios públicos pero ha habido una falta de iniciativas estructuradas que permitan medir los conocimientos adquiridos y la aplicación de éstos con este tipo de intervención.
La importancia de la evaluación radica en que ésta es una herramienta útil para estimar la conveniencia y eficacia de los programas (Baker, 2000). Asimismo, determina si los programas o algunos aspectos de éstos son apropiados, adecuados y efectivos y, si no, cómo hacerlos así (Tirado, s.f). Además de eso, la evaluación es un instrumento que, con base en unos criterios y a través de unas técnicas, permite tomar decisiones para la mejora de gestión y el cumplimiento de objetivos (Análisis y desarrollo social consultores, s.f).
En ese orden de ideas, el presente proyecto busca diseñar el instrumento de evaluación para determinar los resultados del programa de octavo grado de la Asociación Somos CaPAZes en los estudiantes para así poder tomar decisiones acerca de posibles modificaciones y crear estrategias de mejora. Por otro lado, los resultados de la evaluación serán útiles para incrementar la conciencia de los colegios acerca de la importancia de los programas de la Asociación como parte del proceso educativo y de desarrollo de los alumnos.
Objetivos
Objetivo general
• Diseñar el instrumento adecuado para evaluar los resultados del
programa de formación para la solución de problemáticas sociales en los estudiantes de octavo grado de la Asociación Somos CaPAZes.
Objetivos específicos
• Determinar, con ayuda del correcto método de evaluación, si los estudiantes desarrollan las competencias necesarias para enfrentar una problemática social luego de ser parte del programa de Somos CaPAZes.
• Diseñar un esquema de evaluación consistente del programa de octavo
grado para que se pueda implementar en cada intervención.
Marco Conceptual
Problemáticas sociales
Definición de problemas y problemáticas sociales
A lo largo de la historia definir el término “problema social” ha sido de gran interés de numerosos sociólogos y psicólogos. Sin embargo, y debido a la complejidad del término, no se ha encontrado una definición concreta del concepto (Sánchez, 2002; López E. , 2005). Para el caso del presente trabajo se considera que la definición más adecuada es la de Sullivan y otros (1980) la cual explica que existe un problema social cuando un grupo de influencia es consciente de una condición social que afecta sus valores, y que puede ser remediada mediante una acción colectiva. En este caso el término “problema” no necesariamente implica algo negativo sino una ruptura o desajuste entre lo que se esperaría que sucediera y los que se considera que está sucediendo que puede cambiar para lograr un mejor funcionamiento (Aldana & Reyes, 2004).
En cuanto a una “problemática social”, Aldana y Reyes (2004) la definen como una situación emergente dada por las relaciones entre múltiples actores sociales en donde existe un desajuste o ruptura de expectativas. “Esta ruptura puede provenir de consideraciones éticas, estéticas o de eficiencia social o económica” (Aldana & Reyes, 2004).
También es importante resaltar la definición propuesta en el currículo de octavo grado de la Asociación Somos CaPAZes (2011) en donde una problemática social es aquella que afecta negativamente a muchas personas, aunque, en muchos casos a otras no, inclusive las beneficia. Para encontrar soluciones a esta clase de problemas se requiere de la participación de varios actores, incluyéndonos a nosotros como ciudadanos y estudiantes.
Así pues, se puede afirmar que no hay objetividad al referirse a una problemática social pues lo que para unos puede ser desfavorable para otros es beneficioso (Fuente, 2011). Sin embargo lo que sí queda claro es que para solucionarlas es necesario tener la cooperación de varios actores.
Ahora bien, para el presente proyecto se partirá de que las problemáticas sociales presentan las siguientes características (Salas, 2009):
1. No tienen una única respuesta
2. Involucran a varias personas con distintos puntos de vista
3. Requieren de varias soluciones porque constan de muchos sub-‐problemas
Problemáticas sociales en Colombia
Teniendo en cuenta la definición de problemáticas sociales anteriormente expuesta, se puede afirmar que existe una gran cantidad de éstas en Colombia. A
pesar de que nombrarlas todos sería imposible, a continuación se hará una breve descripción de algunos de ellos con el fin de poner al lector en contexto.
Deserción escolar
La deserción escolar la define Colombia Estadística como la situación de los alumnos que dejan de asistir a los cursos regulares de un modo definitivo. Según La Coalición Colombiana por el Derecho a la Educación en un artículo de Colprensa (2013), en Colombia cerca del 50% de los jóvenes dejan la educación secundaria. Esto posiciona al país como uno de los más altos en cuanto al índice de deserción escolar.
Desplazados por la violencia
Los desplazados son aquellas personas que tienen que huir de sus hogares debido a la violencia. Este fenómeno mundial se viene dando desde hace algunas décadas en Colombia (Zafra, s.f) y, según un artículo del periódico El Espectador (2013), actualmente Colombia es el país con más desplazados internos en el mundo con una cifra de 5,5 millones.
Desempleo
El término desempleo se refiere a las personas que son económicamente activas pero se encuentran buscando trabajo (Arango & Posada, s.f). Hoy en día, a pesar de que el desempleo se encuentra en caída, hay 2’136.000 desempleados en el país (Portafolio.co, 2013).
Contaminación del ambiente
La Real Academia Española (RAE) define el verbo contaminar como alterar nocivamente la pureza o las condiciones normales de una cosa o un medio por agentes químicos o físicos. Para el caso de Colombia, la contaminación ambiental se viene dando desde finales del siglo XX y hoy en día afecta los recursos naturales renovables como el agua, la atmósfera, los suelos, los bosques, entre otros (López & Toro, 2011). Vale la pena mencionar que, según un reporte de Caracol, en el 2009 morían seis mil (6000) personas al año por contaminación del aire en el territorio Nacional.
Hay que destacar que, de acuerdo al contexto del programa de octavo de Somos CaPAZes, los estudiantes no observan tanto estos tipos de problemáticas sino también: pandillismo, armas blancas, drogadicción y embarazo adolescente pues son las que más afectan el entorno en el que conviven.
Desarrollo de competencias
Definición de Desarrollo de competencias
Una competencia se define según Spencer y Spencer (1999) citados por Medina, Domínguez y Sánchez (2013) como “una característica del individuo causalmente relacionada con un estándar de efectividad o un comportamiento superior al realizar un trabajo o enfrentarse a una situación determinada”. Por
otro lado, la cita de Monereo (2007) realizada por Morales, García, Campos, & Astroza (2013) “considera que ser competente no es sólo ser hábil en la ejecución de tareas y actividades concretas, escolares o no, tal como han sido enseñadas, sino más allá de ello, ser capaz de afrontar, a partir de habilidades adquiridas, nuevas tareas o retos que supongan ir más allá de lo ya aprendido”. Así pues, el término desarrollo de competencias en el ámbito de la educación supone la combinación y uso integrado de conjuntos de conocimientos y conceptos reflejados en el saber, procedimientos y procesos expresados en el saber hacer y actitudes y reflexiones representadas por el saber ser para lograr un desempeño esperado (De la Orden, 2011) (Morales, García, Campos, & Astroza, 2013).
Figura 1. Estructura de una competencia. Fuente: Jornet et. al (2011) y Morales et. al (2013)
Evaluación del desarrollo de competencias
“La evaluación de las competencias implica generar información relevante y emplear un instrumento privilegiado para gestionar la adquisición integrada del conocimiento y la acción” (Mateo (2007) citado por (Medina, Domínguez, & Sánchez, 2013).
Debido a que el desarrollo de competencias abarca diversos objetos de evaluación, se puede afirmar que la evaluación del desarrollo de competencias en estudiantes es una tarea compleja (De la Orden, 2011) (Jornet, Gonzalez, Suárez, & Peraless, 2011). Para el diseño de ésta se debe tener en cuenta que “requiere de una aproximación conceptual multidimensional, podrá y/o deberá estar basada en múltiples instrumentos (sean cuantitativos o cualitativos)” (Jornet, Gonzalez, Suárez, & Peraless, 2011). Para el caso de las herramientas cuantitativas Medina et al. (2013) sugiere como opción cuestionarios pretest y postest. En cuanto a las cualitativas existen varias opciones. En primer lugar están los grupos de discusión y las narrativas o expresiones escritas (Medina, Domínguez, & Sánchez, 2013). Otra opción son las evaluaciones de desempeño en donde el estudiante debe demostrar prácticamente el procedimiento de la competencia (De la Orden, 2011). La escogencia de las herramientas de medición dependerá de la competencia que se quiera evaluar y de los recursos que se tienen, sin embargo no se debe olvidar que “la meta de una evaluación es obtener inferencias válidas relacionadas con los resultados esperados de los alumnos”(Linn et al. ,2002 citado por De la Orden, 2011).
Conocimientos
• Se reuiere a la comprensión de los antecedentes, evolución y
fundamentos teóricos • Datos y conceptos
Actitudes
• Implica la capacidad de combinar la teoría y las habilidades técnicas en una práctica ética y responsable. • Comprensión del
contexto político, social, económico y cultural.
• Reulexiones
Procedimientos
• Se reuiere al conjunto de habilidades
necesarias para realizar de manera apropiada las tareas y actividades implicadas en un ámbito especíuico • Procesos
Los programas de intervención
Los programas de intervención son proyectos sociales que buscan, a través de procesos y actividades, transformar a los beneficiados disminuyendo o eliminando un déficit o bien sea solucionando un problema (Cohen & Martínez, s.f). Actualmente existe un gran número de éstos con distintos enfoques a nivel mundial, sin embargo no se puede determinar cuál es mejor que otro pues esto depende de factores como los recursos, el contexto y los actores involucrados (Jaramillo, 2009).
La evaluación de programas sociales
Definición de evaluación
“Evaluar es emitir juicios de valor, adjudicar valor o mérito a un programa/intervención, basándose en información empírica recogida sistemática y rigurosamente” (Alvira, 2002)
La evaluación es un proceso que está implícito en las personas a lo largo de sus vidas. Esto se debe a que constantemente emitimos juicios acerca de acciones con base en creencias, supuestos o referencias propias de nuestro ser con el fin de juzgar la importancia de estas acciones en nuestro diario vivir (Briones, Evaluación de programas sociales, 2002). Formalmente el término evaluación se define como el proceso que compara lo observado con lo esperado (Amezcua & Jiménez, 1996). Así pues, se puede afirmar que la evaluación es una herramienta que permite tomar decisiones acerca de cambios y políticas para cumplir con ciertos objetivos (Análisis y desarrollo social consultores, s.f).
Es importante mencionar que una evaluación se compone de elementos básicos como lo son el objeto de evaluación, la estrategia (métodos específicos) y un referente contra el que se compara lo evaluado con los resultados esperados (Virgilio & Solano, 2012). Además también es fundamental saber los momentos de ejecución de la evaluación. (Análisis y desarrollo social consultores, s.f).
Con respecto a los propósitos de una evaluación, se puede generalizar que los principales son: 1. Mejorar la efectividad cuantitativa del programa, es decir, el logro de sus objetivos, 2. Mejorar la calidad de los resultados, o sea la efectividad cualitativa del programa, 3. Aumentar la eficiencia1 interna y externa del programa, 4. Someter a verificación la teoría o hipótesis que relaciona los componentes del programa con los resultados buscados, 5. Modificar la estructura, el funcionamiento y la metodología del programa, 6. Controlar la aparición de posibles prácticas o resultados no deseados (Briones, Evaluación de programas sociales, 2002).
Vale la pena señalar que, como bien lo explica Marcela Jaramillo (2009), la evaluación es algo complejo que requiere del uso de métodos rigurosos, discusión y planeación de la metodología así como de un perfecto entendimiento
1 Para el caso del presente proyecto se trata de aumentar la efectividad más que la eficiencia.
acerca de los recursos y los intereses. Asimismo, los resultados se deben obtener en el momento preciso, lo cual “obliga a utilizar el procedimiento de recogida de información y análisis más adecuado al tiempo y recursos disponibles, aunque no sea el mejor desde el punto de vista estrictamente cientificista” (Alvira, 2002).
A propósito de una evaluación de un programa de intervención social, se debe aclarar que, por su carácter dinámico y abierto, no siempre será posible obtener los resultados esperados (Jaramillo, 2009). Esto se debe a que para éstos es necesario considerar que existen factores externos como lo son la familia, la cultura, la educación, entre otros que no son controlables y afectan el desarrollo y resultados de una intervención social.
Finalmente, es importante resaltar que el proceso de evaluación es diferente para cada programa, en otras palabras que no hay una única manera correcta de realizarlo (Kellog 1999 citado en (Tirado, s.f)). Es decir que no se trata de “modelos en sentido estricto sino de diferentes aproximaciones a la metodología de la evaluación, aproximaciones que no son excluyentes sino complementarias o alternativas en la mayor parte de los casos” (Alvira, 2002).
Tipos de evaluación
Actualmente existen distintos tipos de evaluación que se adaptan a las características y necesidades de cada programa. Vale la pena decir que, a la hora de implementar una evaluación, generalmente se combinan distintos tipos dependiendo de la finalidad y las características del programa a evaluar.
A continuación se mencionarán los tipos más comunes de evaluación según su clasificación.
• Por temporalidad
o Previa o ex –ante: Como su nombre lo indica, este tipo de evaluación se realiza antes de iniciar el programa o proyecto. El propósito de ésta es examinar la lógica y estructura del proyecto o programa de tal forma que se pueda determinar si se debe ejecutar o no o si deben hacerse cambios (Briones, Evaluación de programas sociales, 2002).
o Durante: Se realiza en uno o más momentos mientras se ejecuta el programa o proyecto. Busca principalmente encontrar fallas o problemas que se puedan presentar durante el proyecto que impidan el cumplimiento de los objetivos para así corregirlos o tomar decisiones sobre la continuación o no del programa (Briones, Evaluación de programas sociales, 2002) (Análisis y desarrollo social consultores, s.f).
o Final o ex – post: Se ejecuta al finalizar el programa o proyecto y su objetivo principal es determinar el funcionamiento y desempeño global de éste con respecto a lo esperado. Busca las relaciones entre las variables para dar explicaciones a los resultados (Briones, Evaluación de programas sociales, 2002).
o Posterior: Se realiza después de un tiempo de haber concluido el programa o proyecto. Permite estimar la verdadera dimensión de las intervenciones en cuanto a su impacto y su sostenibilidad en el tiempo (Análisis y desarrollo social consultores, s.f).
• Por tipo de evaluadores
o Interna: Este tipo de evaluación la realizan las personas que administran el programa. La ventaja de este tipo de evaluación es que quienes la realizan conocen y comprenden a fondo el programa (Briones, Evaluación de programas sociales, 2002). o Externa: Contrario a la evaluación interna, en este caso los
evaluadores son personas externas al programa lo cual brinda objetividad. Asimismo, generalmente las personas externas tienen conocimientos experiencia en el campo de la evaluación. Sin embargo implica costos adicionales (Análisis y desarrollo social consultores, s.f).
o Mixta: Consiste en combinar los beneficios de los tipos de evaluación interna y externa (Briones, Evaluación de programas sociales, 2002).
o Participativa: Se puede considerar como parte de la evaluación interna pero en este caso no solo participan los gestores del programa sino también las personas intervenidas. La principal ventaja de este tipo de evaluación es que reduce la brecha entre las personas que evalúan y las que son intervenidas (Análisis y desarrollo social consultores, s.f).
• Por el tipo de instrumentos
o Cualitativos: Este tipo de evaluación considera una recolección de datos derivados de actitudes y percepciones de las personas evaluadas. Generalmente se hace uso de entrevistas y observación (Análisis y desarrollo social consultores, s.f).
o Cuantitativos: Contrario a la toma de datos cualitativa, este tipo de evaluación se enfoca en recolectar datos medibles a partir de encuestas. Su principal ventaja es que los resultados son objetivos y confiables (Análisis y desarrollo social consultores, s.f).
• Por la finalidad
o Sumativa: Este tipo de evaluación consiste en juzgar un programa con la intención de mantenerlo o hacerlo desaparecer (Alvira, 2002).
o Formativa: En este caso se busca “ayudar en la puesta en marcha de un programa, en su buen funcionamiento, en su modificación en caso de ser necesario”. (Alvira, 2002)
A continuación se muestra un breve resumen de los tipos de evaluación.
Figura 2. Tipos de evaluación. Fuente: El autor
La evaluación de impacto
Una evaluación de impacto es aquella que se encarga de medir cualquier cambio que produzca el programa de intervención en el conocimiento, actitudes, creencias o conductas de la población evaluada (Tirado, s.f) y de determinar si esos cambios son atribuibles a dicho programa (Baker, 2000). Asimismo, permite encontrar resultados positivos o negativos no previstos (Baker, 2000). Ahora bien, como lo aclaran Cohen y Martínez (s.f), el éxito de un proyecto es la medida de su impacto en función de los objetivos formulados. Es decir que el impacto de un programa de intervención es la justificación a su implementación (Cohen & Martínez, s.f).
A propósito de las motivaciones para realizar una evaluación de impacto, Jaramillo (2009) menciona algunas como lo son la necesidad de darle un carácter formal al programa, hacer ajustes a los currículos, diseñar planes específicos de capacitación, apoyar la búsqueda de recursos y justificar el ajuste del presupuesto, entre otras.
Hay que tener en cuenta que, como lo señala Baker (2000), cada evaluación de impacto que se realice será distinta pues ésta depende de factores no controlables como lo son el tipo de datos disponibles, el presupuesto, la secuencia cronológica, entre otros. Por otro lado, la autora señala que para que una evaluación de impacto sea exitosa es necesario tener los siguientes elementos:
ü El apoyo financiero necesario ü Los recursos disponibles a la mano ü Una planificación rigurosa
ü La participación de los interesados en el diseño de la evaluación ü Los datos adecuados
ü Una metodología pertinente (cualitativa y cuantitativa) y su correcta aplicación
ü Buena comunicación entre el equipo evaluador durante el proceso
La evaluación de resultados
La evaluación de resultados es sinónimo de evaluación de efectividad y busca analizar el grado en el que el programa consigue los resultados buscados sobre los usuarios/beneficiarios del programa de intervención (Alvira, 2002). “Lo
Por temporalidad
• Previa (Ex-‐ ante) • Durante • Final (Ex-‐post) • Posterior
Por el tipo de evaluadores
• Interna • Externa • Mixta
• Participativa
Por el tipo de instrumentos
• Cualitativos • Cuantitativos
Por la uinalidad
• Sumativa • Formativa
normal es que los resultados -‐si se producen-‐ estén previstos en los objetivos. Sin embargo, hay resultados no previstos (positivos y negativos) cuya determinación debe ser una tarea de especial importancia en la evaluación” (Briones, Evaluación de programas sociales, 2002).
En general, una evaluación de resultados se refiere a (Briones, Evaluación de programas sociales, 2002):
a) Si el programa produjo o no los cambios buscados
b) El nivel o magnitud de los cambios producidos en la población c) La calidad de los cambios producidos
d) La aparición de resultados no previstos
e) Los efectos derivados del logro de los objetivos del programa
En este punto es importante resaltar que la diferencia entre una evaluación de impacto y una evaluación de resultados es el tipo de población sobre el que se realiza el análisis. En el caso de una evaluación de impacto se consideran los efectos de un programa sobre una población amplia como una comunidad o un pueblo mientras que en una evaluación de resultados se examina únicamente a la población objeto del programa. Sin embargo, la metodología de ambos tipos de evaluación es muy similar (Alvira, 2002).
Diseño de la evaluación
Luego de una revisión de la bibliografía existente sobre la evaluación de programas sociales se pudo llegar a la conclusión que no existe una sola manera de diseñarla ni de implementarla (Briones, Evaluación de programas sociales, 2002) (Baker, 2000) (Análisis y desarrollo social consultores, s.f) (Amezcua & Jiménez, 1996) (Cohen & Martínez, s.f) (Virgilio & Solano, 2012) (Jaramillo, 2009) (Navarro, King, Ortegón, & Pacheco, 2006). Sin embargo, sí existen bases sobre las cuales se puede trabajar para lograr la evaluación deseada.
En primer lugar, según Navarro y otros (2006), para estimar el impacto o los resultados de un programa se debe poder saber cuál sería la situación de los intervenidos en caso de que no hubieran participado en el programa. Para esto se debe comparar la situación actual de los del grupo de intervención con la de un grupo similar que no hizo parte del programa, es decir construir un escenario contrafactual. Al grupo que no es intervenido se le llama grupo de control. Éste debe ser semejante al grupo de tratamiento en todo aspecto (Baker, 2000).
Ahora bien, actualmente existen dos tipos de diseño de evaluación: experimental y cuasi experimental. Éstos se diferencian principalmente en la manera como se asignan los participantes a los grupos evaluados y de control (Navarro, King, Ortegón, & Pacheco, 2006). Los diseños de tipo experimental se caracterizan porque los grupos de control y de intervención son seleccionados aleatoriamente. Esto hace que el proceso de evaluación sea más fácil pues se supone que los grupos son estadísticamente equivalentes (Baker, 2000). Sin embargo, este diseño conlleva muchas dificultades pues la aleatorización de los grupos no siempre es sencilla por cuestiones de ética principalmente (Baker,
2000). En cuanto a los diseños de tipo cuasi experimental, se puede decir que son lo contrario a los diseños experimentales, es decir que los grupos se conforman de manera no aleatoria. Lo anterior conlleva a que haya sesgo de selección y menos confiabilidad en los datos (Navarro, King, Ortegón, & Pacheco, 2006) (Baker, 2000).
Con respecto a la recolección de datos se puede decir que hay una gran variedad de formas. La escogencia de éstas dependerá básicamente de las necesidades del programa, los recursos disponibles, y de las motivaciones, preocupaciones y competencias de los participantes (Jaramillo, 2009). No obstante, como se mencionó anteriormente, existen técnicas para basarse que pueden ser cualitativas que responden a las preguntas “qué”, “cómo” y “por qué” y/o cuantitativas que responden al “cuánto” (Amezcua & Jiménez, 1996). Un ejemplo de técnicas cuantitativas son las encuestas y de cualitativas son las observaciones.
En cuanto a las fases de la evaluación se tomará como base el esquema presentado por Francisco Alvira (2002). Éste representa el esquema participativo de una evaluación en donde se busca “integrar en el propio estudio evaluativo a las partes interesadas en la evaluación de modo que sea más probable la posterior utilización de sus resultados” (Alvira, 2002). El esquema se muestra en el Anexo 1.
Análisis de los datos e instrumentos
Los datos e instrumentos en una evaluación deben ser objetivos2, es decir confiables y válidos (Jornet, Gonzalez, Suárez, & Peraless, 2011). Además, como expone Jaramillo (2009):
La evaluación de los programas sociales demanda la recolección y análisis de información válida y fiable relacionada con los sujetos participantes y las actividades que se llevan a cabo. Emitir juicios consistentes depende, en gran medida, de las características de los instrumentos diseñados para la recolección de datos y de las herramientas de análisis utilizadas.
Análisis de los datos
El análisis de los datos recolectados en la evaluación es una tarea fundamental que dependerá de los instrumentos utilizados así como del tipo de datos obtenidos. Para la realización de éste se deben tener en cuenta la precisión deseada, el tiempo y los recursos disponibles. Actualmente existen numerosos métodos de análisis de datos que van desde lo más sencillo usando gráficas y diagramas hasta lo más complejo que se ayuda de programas especializados de computador.
Jaramillo (2009) propone en sus tesis que:
2 Como lo menciona Jornet et. al (2011), la objetividad en este contexto está representada por la
En el caso de las variables cualitativas, se puede recurrir al uso de diagramas de frecuencia (absoluta, relativa o porcentaje). En el caso de las variables cuantitativas, se puede hacer uso de distribuciones de frecuencia y parámetros estadísticos como media, mediana, moda o desviación estándar, entre otras.
Validez del instrumento
“La validez es un juicio evaluativo integrado que indica el grado en que la evidencia empírica y la racionalidad teórica confirman la adecuación y propiedad de inferencias y acciones basadas en las puntuaciones de una prueba o de cualquier otro modo de evaluación” (De la Orden, 2011).
De acuerdo con lo anterior, el término validez se usa para referirse a la precisión según la cual lo que se dice en una investigación acerca de las características del objeto estudiado se den, realmente, en ese objeto (Briones, La investigación social y educativa, 1992).
Para establecer la validez de un instrumento de evaluación se pueden realizar varios procedimientos. El propuesto por Sierra (2001) afirma que el único procedimiento seguro es comprobar que los resultados obtenidos se ajustan a la realidad. Por otro lado, Hernández et al. (1998) citados por Jaramillo (2009) expone que “se puede hacer uso de investigaciones anteriores relacionadas con el tema, realizar comparaciones con criterios externos previamente establecidos y recurrir a la ayuda de expertos que determinen si los ítems construidos logran medir las dimensiones”.
Confiabilidad del instrumento
El término confiabilidad se refiere al grado de confianza o seguridad con el que se pueden aceptar los resultados obtenidos una vez se repite la aplicación del instrumento (Briones, La investigación social y educativa, 1992) (Jaramillo, 2009). Un procedimiento para comprobar la seguridad del instrumento consiste en aplicarlo repetidas veces a las mismas personas, dentro de un breve espacio de tiempo (Sierra, 2001).
Marco Contextual
La Asociación Somos CaPAZes
Somos CaPAZes es una entidad sin ánimo de lucro que nace en el 2007 con el propósito de construir y diseñar herramientas y mecanismos que permitan ayudar a construir la paz en Colombia y el resto de países que integran la región Latinoamericana (Somos CaPAZes, 2011). Sus programas se enfocan principalmente en niños y jóvenes y actualmente realiza intervenciones con los grados de preescolar, quinto y octavo de diversos colegios tanto públicos como privados. Asimismo, maneja programas para padres de familia, profesores y conductores. Como lo explica uno de sus fundadores, la Asociación brinda a los estudiantes las herramientas necesarias para ser CaPAZes de manejar conflictos y retos en su vida (Salas, 2009).
La implementación de los programas se hace a través de jóvenes universitarios y recién egresados llamados “CaPAZitadores” los cuales están formados para dictar talleres en prevención, manejo y resolución constructiva de conflictos (Asociación Somos CaPAZes). La implementación de los talleres se realiza de forma lúdica a través de juegos, canciones, entre otros.
Los CaPAZitadores realizan sus acercamientos teniendo en cuenta los siguientes aspectos:
• El contexto político, cultural, económico, social y educativo es distinto en cada país, región o municipio (Somos CaPAZes, 2011).
• Las principales fuentes en la formación de principios y valores del ser
humano son la familia y las instituciones educativas (Somos CaPAZes, 2011).
• Se deben tener en cuenta todas las experiencias tanto de los voluntarios
como de los estudiantes participantes (Somos CaPAZes, 2011).
El programa de octavo
El programa de octavo grado de la Asociación Somos CaPAZes fue creado en el año 2009 por David Salas y está inspirado en las necesidades del contexto.
Con respecto a los objetivos del programa, éstos se muestran a continuación:
• Proveer herramientas a los jóvenes para que puedan contar con
diferentes alternativas a escoger para la solución de sus problemáticas sociales (Somos CaPAZes, 2011).
• Impulsar la reflexión en los estudiantes acerca de su contexto y sus
problemáticas.
• Incentivar a los jóvenes para que sean capaces de reconocer y actuar
A propósito del currículo de octavo, hay que hacer notar que es el más reciente de los programas de colegios que realiza Somos CaPAZes. Éste se basa en la Educación Seleccionista la cual consiste en generar condiciones para que los estudiantes puedan realizar el constreñimiento de hipótesis exaptativas de manera reflexiva 3 (Salas, 2009). Es fundamental que para la correcta implementación de esta metodología se den los siguientes aspectos (Salas, 2009):
1. Entorno libre para la expresión de los estudiantes.
2. Conversaciones de cuestionamiento y auto-‐cuestionamiento en pequeños grupos y con todos los estudiantes sin imponer puntos de vista.
3. Tiempo y oportunidades para la reflexión individual 4. Conocimiento más allá de los estudiantes
Estructura del programa
El programa de octavo grado de la Asociación Somos CaPAZes está diseñado para adolescentes entre los trece (13) y los quince (15) años. La implementación de éste se da en cuatro (4) etapas las cuales están divididas en unidades. Hay un total de once (11) unidades y cada una de éstas se entiende como una sesión de “clase” de aproximadamente una hora y media. En cada unidad hay una serie de preguntas de enfoque que se deben responder a lo largo de la sesión (ver Tabla).
Etapa Unidad Nombre Preguntas asociadas a la unidad para resolver Plan de actividades
uno
1 Somos CaPAZes en Breve
¿Qué es Somos CaPAZes? ¿Qué es la Caja CaPAZ? ¿Que
son los Acuerdos
Comunitarios? ¿Por qué son importantes?
1. Presentación
inicial. 2.
Rompehielo:
nombres 3. Presentación del programa. 4. Caja CaPAZ.
5. Acuerdos
comunitarios. 6. Cierre.
2 Las problemáticas
sociales
¿Cuáles son las características de las problemáticas sociales? ¿Cuáles son las problemáticas sociales a nuestro alrededor?
1. Rompehielo:
nombres 2.
Presentación y
recapitulación. 3. Problemáticas
sociales en
nuestro entorno.
4. Algunos
ejemplos de
problemáticas. 5. Cierre.
3 A manera de explicación , esto significa que se quieren generar condiciones para que los
3 Mi problemática social
Planteamiento de proyecto
¿Cuáles problemáticas
sociales nos interesa afrontar?
¿Cuáles son nuestros
objetivos? ¿Cómo puedo
manejar mi problemática
social?
1. Rompehiel
o: Mi gran
orgullo. 2.
Recapitulación y presentación. 3. Planteamiento del proyecto. 4.
Inicio del
proyecto. 5.
Cierre.
dos
4 Toma Perspectivas de
¿Una problemática puede ser
abordada de diferentes
maneras? ¿Qué otros puntos de vista hay para resolver o describir mi problemática?
1.
Recapitulación y presentación. 2. Retos en las problemáticas
sociales. 3.
Necesitamos salirnos de la
costumbre. 4.
Nueva escuela: juego de roles. 5. Cierre.
5 Creatividad
¿Cómo puedo salirme de la costumbre para resolver mi problemática social? ¿Qué beneficios podrían traer mis
nuevas ideas?
¿Qué obstáculos se presentan para aplicar mis nuevas ideas?
1. Rompehiel
o. 2.
Recapitulació
n y
presentación.
3. “Ideas
Nuevas”. 4.
Cierre.
6 Liderazgo
¿Qué es ser un líder? ¿Qué cualidades identifican a un líder? ¿Qué obstáculos hay para un líder? ¿Qué ventajas tienen los lideres? ¿Cómo se relacionan la confianza y la responsabilidad?
1. Rompehiel
o: semejanzas sorprendentes. 2.
Recapitulació
n y
presentación. 3. Confiando en el líder. 4. Cierre.
7 Retroalimentación del Proyecto
¿Qué avances hay sobre mi proyecto? ¿Qué inquietudes hay sobre mi problemática? ¿Cómo puedo mejorar mi proyecto?
1. Rompehielo: Levantémonos. 2.
Recapitulación y presentación. 2.
Retroalimentac
ión del
proyecto. 4.
8 Toma de decisiones
Nuestras decisiones tienen consecuencias:
¿Qué tipo de consecuencias han tenido las decisiones de otras personas?
¿Qué decisiones debo tomar
para enfrentar mi
problemática social?
1. Rompehielo:
ideas al
tablero. 2.
Recapitulación y presentación. 3. Decisiones y consecuencias . 4. Cierre.
tres
9 Socialización Debate I y
Presentación de proyectos ¿Son viables las propuestas
para resolver las
problemáticas? ¿Qué otras propuestas tengo para las problemáticas trabajadas?
1. Presentación de la unidad. 2. Presentación
de los
proyectos y
debate. 3.
Cierre.
10 Socialización Debate II y
Presentación de proyectos ¿Son viables las propuestas
para resolver las
problemáticas? ¿Que otras propuestas tengo para las problemáticas trabajadas?
1. Presentación de la unidad. 2. Presentación
de los
proyectos y
debate. 3.
Cierre.
11
Evaluación y
cierre del
programa
¿Qué enseñanza nos dejó el programa? ¿Cómo aplico lo
aprendido a mi vida
cotidiana? ¿Qué aprendimos de los capazitadores? ¿Qué
aprendimos de nuestros
compañeros? ¿Qué papel debo tomar frente a una problemática social?
1.
Recapitulación
general del
programa. 2.
¿Qué tengo en la cabeza? 3. Cuestionario
CaPAZ. 4.
Cierre.
Tabla 1. Guía de actividades del programa de octavo grado. Fuente: Somos CaPAZes
Metodología para el diseño de evaluación
Para el diseño de la evaluación del programa de octavo de Somos CaPAZes se tomaron como base las fases presentadas en el esquema del Anexo 1. Por otro lado, se tuvo en cuenta la estructura del currículo de octavo grado del programa de Somos CaPAZes con el fin de aprovechar al máximo los espacios ya existentes para realizar la evaluación.
Planeación
El primer paso de toda evaluación es la planificación pues es en ésta donde se seleccionan los objetivos así como los procedimientos y programas para lograrlos (Amezcua & Jiménez, 1996). En este caso, para la planeación de la evaluación del programa de octavo se realizaron una serie de reuniones con miembros de la Asociación Somos CaPAZes con el fin de tener alineados los objetivos, metodologías y recursos. Asimismo hubo reuniones con Felipe Correa, Director Pedagógico de Off Bound Adventures (OBA) y experto en el tema de evaluación de programas.
Con respecto a la metodología de evaluación se tuvo en cuenta que ésta debía ser, además de adecuada para el objetivo, sencilla y práctica pues la idea es poder aplicarla después de cada intervención. Así pues, se tomó como base los modelos de E. Schuman y Stufflebeam junto con la evaluación de aprendizaje de la American Camp Association Youth Outcomes Battery y del ACA/ICC International Camp Outcomes Project. Ésta última fue realizada por Philiber Research Associates (PRA) con apoyo de Lilly Endowment Inc. con el fin de desarrollar una herramienta de evaluación capaz de medir el Desarrollo Juvenil Positivo, la Conciencia Ambiental, la Conciencia Social y Cultural y el Aprendizaje Enriquecido de los jóvenes durante experiencias al aire libre como excursiones y campos de verano (American Camp Association, 2005).
Continuando con las fases de una evaluación, se propuso responder las preguntas a continuación. Estas preguntas fueron diseñadas con la colaboración de David Salas, presidente de Somos CaPAZes.
¿Cuál es el objetivo de la evaluación y qué aspectos se van a evaluar?
El objetivo principal de la evaluación es medir los resultados en el desarrollo de competencias para formular proyectos sociales en los estudiantes de octavo intervenidos por el programa de Somos CaPAZes. Dentro del marco de las competencias se consideran los siguientes puntos (De la Orden, 2011) (Morales, García, Campos, & Astroza, 2013):
• Conocimientos: Entender el concepto de problemática social
• Actitudes: Reflexión sobre su contexto y problemáticas que los rodean
• Procedimientos: Generación de posibles soluciones que sean ejecutables
Aspectos a evaluar :
• Conocimientos: Los estudiantes entienden y reconocen qué es una problemática social.
• Actitudes: Los estudiantes reflexionan sobre su entorno y las
problemáticas que los rodean.
• Procedimientos: Los estudiantes son CaPAZes de generar soluciones
tecnológicamente posibles y operacionalmente viables a las problemáticas sociales.
¿Para quién es la evaluación?
Los resultados de la evaluación serán útiles para diversos actores. En primer lugar está el Comité de Educación de la Asociación Somos CaPAZes pues ellos son los que se encargan de realizar el proceso de diseño, evaluación e implementación de currículos. Asimismo están los colegios intervenidos debido a que son los que se encuentran beneficiados por el programa. Por otro lado, los resultados obtenidos también sirven como estrategia para futuras presentaciones del programa a entidades educativas, gubernamentales así como posibles donantes.
¿Cómo y con qué se va a medir?
Una característica fundamental de la evaluación es que debe ser sencilla, clara y de fácil implementación. Debido a esto se llegó al acuerdo que se hará una medición del desarrollo de competencias a partir de:
• Un cuestionario a estudiantes y grupo de control antes y después del
programa
• Un cuestionario a CaPAZitadores durante4 y después del programa • Un cuestionario a profesores (opcional) antes y después del programa • Un cuestionario a los estudiantes y grupo de control tres (3) meses
después del programa.
• Una evaluación realizada por un experto invitado del número de
soluciones propuestas y la calidad5 de éstas en los proyectos finales hecha por unos evaluadores invitados
Es decir que se hará uso tanto de evaluadores internos como externos. Asimismo se usarán métodos cualitativos (evaluación de los invitados) y cuantitativos (cuestionarios).
¿Quiénes se van a evaluar?
4 El cuestionario de los CaPAZitadores en la fase intermedia del programa no hace parte de este
proyecto.
5 La palabra calidad hace referencia a que las soluciones sean tecnológicamente posibles y
La evaluación está diseñada para evaluar a todos los estudiantes de octavo grado de los colegios intervenidos por Somos CaPAZes. Vale la pena mencionar que habrá un grupo de control en cada caso. Este grupo estará conformado por alumnos de octavo grado del mismo colegio que no son intervenidos. Los grupos se hacen de forma no aleatoria. La idea del grupo de control es que permita hacer un comparación con el grupo de estudiantes que hicieron parte del programa para determinar si éste logra desarrollar la competencia para formular proyectos sociales en ellos. Se compararán los conocimientos, procedimientos y actitudes respectivas al desarrollo de la competencia “formulación de proyectos sociales”.
¿Cuándo se va a evaluar?
Como se mencionó anteriormente, las evaluaciones se implementarán antes de iniciar el programa, al final y después de tres meses. Es decir que se tratará de una evaluación ex – ante, ex – post y posterior.
¿Qué recursos vamos a usar?
Luego de discutir acerca de los recursos disponibles para la evaluación, se llegó a la conclusión que se hará uso de los estudiantes, profesores (en algunos casos), CaPAZitadores y de evaluadores invitados. Los CaPAZitadores se encargarán de las evaluaciones de tipo cuantitativo (cuestionarios) mientras que los evaluadores invitados harán la parte cualitativa (evaluación de proyectos finales).
En la siguiente figura se mostrará gráficamente un esquema del resultado de la etapa de planeación en cuanto a los momentos de evaluación y las herramientas. Es importante destacar que las encuestas intermedias de gestión de los CaPAZitadores no hacen parte de este proyecto, sin embargo queda pendiente para Somos CaPAZes. Asimismo se tuvo en cuenta que hay un presupuesto económico para implementar la evaluación.
Figura 3. Esquema de evaluaciones. Fuente: El autor
Ev al ua ci ón E
x
-‐a
nt
e Cuestionario
estudiantes y grupo de control Cuestionario (opcional) a profesores
Ev al ua ci ón in te rme di
a Cuestionario a CaPAZitadores
Ev al ua ci ón E
x
-‐ p
os
t Cuestionario
estudiantes y grupo de control Cuestionario CaPAZitadores Presentación proyectos a evauadores invitados Cuestionario (opcional) a profesores
Po
st
er
io
r
(+ 3 me se s)
Cuestionario estudiantes