MARCO METODOLÓGICO DE LA INVESTIGACIÓN
4.1 Disposición de la base de datos y estructura de análisis del ICCS
La interpretación de los datos y resultados básicos del ICCS así como las investigaciones que a partir de ellos se realicen exigen reconocer la forma como se ha dispuesto la base de datos y la estructura de análisis básica que se ha planteado para la misma. Como se expuso en el capítulo anterior, el ICCS fue aplicado en el año 2009 con el concurso de 38 países en los cuales se indagó no solo a los estudiantes, sino también a sus docentes y rectores, estos últimos proporcionando información acerca del contexto de la escuela.
Ello implica que el ICCS cuenta con diferentes bases de datos que recogen información complementaria a la prueba y cuestionario de los estudiantes. La tabla 4.1 enuncia cada una de las bases en las que está involucrada Colombia (y que de una u otra forma se han tenido en cuenta en esta investigación), el número de casos que recoge y el total de variables (y escalas) que agrega.
Tabla 4.1 Bases de datos del ICCS - Colombia
Refiere a Casos Variables
Cuestionario de escuela 196 159 Cuestionario de docentes 2010 206 Cuestionario internacional de estudiantes 6204 283 Módulo latinoamericano 6200 128
91
El ICCS, a partir de un conjunto de variables nominales, presenta “escalas” que permiten indagar aspectos más integrales. Estas escalas son constructos teóricos que no se pueden observar directamente, pero que a través de la construcción de indicadores dan cuenta de las mismas por medio de las manifestaciones externas que los individuos han declarado en preguntas que se han traducido en variables, puesto que éstas sí son observables de manera directa.
El ICCS construye 24 de estas escalas que se identifican con el código WLE (weighted likelihood estimates – estimaciones ponderadas de probabilidad) en la base de datos; cada una de ellas tiene una media internacional de 50 y una desviación estándar de 10. Así, la estructura del ICCS permitió indagar diferentes variables que interrelacionadas posibilitaron un amplio margen de análisis que enriqueció distintas miradas a los aspectos centrales de interés de la investigación entre las que se destacan el nivel de logro de los estudiantes en relación con sus actividades de participación e intenciones de comportamiento en cuanto al ejercicio de la ciudadanía se refiere.
Como se señaló en el capítulo 3, para los objetivos de esta investigación se trabajó fundamentalmente con la base que recoge los datos del Cuestionario internacional de estudiantes. En algunos casos, esta base se trabajó con los datos de la totalidad de los países, con el ánimo de analizar la posición relativa de Colombia en el contexto internacional; en otros casos se seleccionaron solo los países de América Latina y en otros se trabajó solamente con los datos para Colombia.
Antes de exponer los resultados derivados del ICCS, es importante reconocer los objetivos de este tipo de investigaciones y cómo ello se interrelaciona con la estructura de análisis que se ha planteado para los mismos en el ámbito internacional, a partir de lo cual, los investigadores externos a las entidades que aplican las pruebas pueden llevar a cabo estudios con base en los datos. Se tiene, entonces, que las pruebas educativas del orden internacional (por ejemplo, ICCS,
92
TIMSS y PISA), pueden tener dos propósitos fundamentales que Rosario Martínez (2006) define de la siguiente manera:
1- Medir conocimientos y destrezas de estudiantes particulares, donde es muy importante minimizar el error de medida sobre cada estudiante, especialmente si se van a tomar decisiones sobre las puntuaciones o
2- Evaluar conocimientos y destrezas de la población, en las que lo más importante es la minimización de los errores en la población.
De esta manera, de acuerdo con la configuración de la muestra, su representatividad estadística y consistencia, se puede entonces inferir acerca de la población. El diseño muestral del ICCS es probabilístico-multietápico y estratificado, de tal manera que, por ejemplo, las escuelas se seleccionan de acuerdo con su tamaño y los niveles de análisis definidos corresponden a escuelas (la información ofrecida por los rectores en el estudio ICCS), estudiantes y docentes.
El sistema de muestreo utiliza ponderaciones, que corresponden al número de sujetos que representan cada uno de los seleccionados. Cada peso es el inverso de la probabilidad de selección de los individuos. En razón de que no se trata de muestras aleatorias simples, la incertidumbre o los errores de muestreo se obtienen a partir de replicaciones muestrales. Los resultados ajustados con los factores de ponderación permiten realizar inferencias acerca de la población.
Ahora bien, este tipo de pruebas por sus objetivos requiere de un número considerable de ítems, lo que las hace demasiado grandes para ser respondidas por un solo estudiante, de tal forma que se diseñan con la intención de que cada uno de éstos solo responda una parte de ellas. Bajo este criterio, estas evaluaciones son de Diseño rotatorio, también denominadas Pruebas rotatorias.
Lo anterior implica, entonces, que se tendrían datos incompletos de los sujetos, toda vez que éstos solo responden una parte del test. Las pruebas con datos incompletos requieren de complejos procedimientos estadísticos para la estimación
93
de la puntuación de los estudiantes, siendo preciso en ellas estimar cómo sería el comportamiento de los resultados de cada sujeto si éste hubiese respondido a la totalidad de los ítems1.
Dichas estimaciones se apoyan en la Teoría de respuesta al ítem (TRI)2, pues ésta agrupa “los resultados de todos los instrumentos de prueba rotatorios para sustituir los puntajes del estudiante en toda la evaluación” (Foy, 2008). Las sustituciones generan incertidumbre, lo que se resuelve asignando estadísticamente -a cada estudiante- múltiples sustituciones en un sistema de réplicas en el que se obtienen estimadores eficientes.
En otras palabras, las puntuaciones obtenidas por los estudiantes son distribuidas en dicho sistema de réplicas de forma aleatoria, arrojando ello, como resultado, un valor aleatorio. El ICCS calcula para cada sujeto de la muestra cinco de estos valores aleatorios, lo que quiere decir que no se estima directamente el rendimiento de un estudiante sino una distribución de probabilidades, no hay estimaciones puntuales sino un abanico de valores posibles, lo que técnicamente se denomina valores plausibles (plausibles values).
Esta técnica (también conocida como Enfoque de valores plausibles), que se ha utilizado en la mayoría de los estudios internacionales a partir de su diseño a finales de la década de los 80, se usa con el “fin de mejorar la exactitud de la estimación de los promedios nacionales y otros parámetros estadísticos” (Grisay y Griffin, 2008). Es claro, entonces, que los valores plausibles de los estudios como el ICCS no dan cuenta de puntuaciones individuales y no ayudan a diagnosticar
1 En otras palabras, para lograr el nivel de cientificidad requerido, el estudio ICCS construye un sujeto teórico -es decir, cualquier sujeto que sea capaz de pensar consistentemente- que permita medir, inferir y/o argumentar desde la teoría propuesta para la interpretación de los resultados. 2 La TRI espera que los estudiantes con habilidad alta respondan preguntas fáciles correctamente, mientras que los de baja habilidad y pocos conocimientos se espera que fallen, de tal manera que la posibilidad de responder una pregunta depende de su dificultad y de la habilidad del que la responde.
94
sujetos, sino que estiman parámetros poblacionales consistentes3, propósito que se expuso en el recuadro 3.1 al especificar las diferencias entre la evaluación institucional y la evaluación externa.
Los valores plausibles que se construyen a partir de las respuestas de los estudiantes son aproximaciones a los niveles de proficiencia cuya naturaleza es estrictamente latente en la medida que no se puede observar directamente. Los valores plausibles son valores imputados de acuerdo con los patrones observados de respuestas similares y los factores contextuales asociados a los estudiantes.
Dichos valores vienen expresados en escalas numéricas fijadas por parámetros internacionales y permiten ver las diferencias en las puntuaciones por grupos específicos o entre países; de esta manera, dichos valores permiten medir el grado de proficiencia de los sujetos. Es de mencionar que la noción de proficiencia se refiere a la capacidad que una persona demuestra para el uso de ciertos conceptos, o sea, su capacidad para aplicar lo que sabe en el mundo real.
Ahora bien, entendiendo que el puntaje obtenido en el ICCS por un país corresponde a la media de los valores plausibles obtenidos por los sujetos de la muestra, tendremos que dicho resultado representa el grado de proficiencia del sujeto teórico que representa a dicho país. El grado de proficiencia de este sujeto se ubica en el ICCS en una escala jerárquica, pues su progreso en ella indica que su nivel de conocimiento cívico es más sofisticado, ya que el desarrollo de esta escala se basó en los contenidos seleccionados y el grado de dificultad de cada uno de los ítems. La tabla 4.2 presenta un ejemplo de unidad4 de preguntas de conocimiento:
3 Es preciso mencionar, sin embargo, que técnicamente la puntuación de un estudiante se puede estimar individualmente, valor que se denomina estimador esperado a posteriori.
4Una unidad está compuesta por una o más preguntas que indagan un mismo tema y que se presentan juntas. Para ampliar véase Schulz, 2008.
95
Tabla 4.2 Ejemplo de preguntas de conocimiento realizadas en el ICCS
Las Naciones Unidas disponen de observadores electorales que comprueban si las elecciones de un país se llevan a cabo de forma justa.
Las Naciones Unidas sólo pueden enviar observadores electorales a un país si éste se lo pide. El país ‹Zedland› pidió a las Naciones Unidas que supervisara sus elecciones nacionales. Al finalizar éstas, los observadores electorales manifestaron que el proceso electoral había sido justo.
E1 ¿De qué manera el informe de que las elecciones han sido justas ayuda al gobierno elegido a gobernar el país ‹Zedland›?
Es más probable que las personas que no hayan votado al nuevo gobierno cambien de idea y estén de acuerdo con todas las decisiones que tome el nuevo gobierno.
Es más probable que las personas que no hayan votado al nuevo gobierno acepten la autoridad de dicho gobierno para tomar decisiones.
Es más probable que las personas que hayan votado al nuevo gobierno vuelvan a votarlo en el futuro.
Es más probable que las personas que hayan votado al nuevo gobierno estén de acuerdo con todo lo que haga ese gobierno.
E2 ¿Qué mensaje querrán dar las Naciones Unidas al mundo colaborando con los países en la supervisión de sus elecciones?
Que la mayoría de los países no quieren celebrar unas elecciones justas.
Que los países sólo tienen que celebrar elecciones justas cuando están supervisadas por observadores electorales.
Que los países tienen la responsabilidad de asegurarse de que sus elecciones sean justas. Que la única manera de garantizar que se celebren unas elecciones justas es que estén presentes los observadores electorales.
¿Qué evalúan estas preguntas? Ejemplo 1
Dominio de contenido: Sociedad y sistemas cívicos
Subdominio: Instituciones estatales
Aspecto: Gobierno
Concepto clave: Poder / autoridad
Dominio cognitivo: Razonamiento y análisis
Proceso: Generalizar
Ejemplo 2
Dominio de contenido: Sociedad y sistemas cívicos
Subdominio: Instituciones estatales
Aspecto: Gobierno
Concepto clave: Democracia
Dominio cognitivo: Razonamiento y análisis
Proceso: Integrar Fuente: Organizado con base en Schulz, 2008.
La escala de puntuación del ICCS parte de elementos básicos de conocimientos asociados con la cívica y la ciudadanía, tales como aspectos familiares y prácticos, hasta adentrarse en procesos más elaborados como los institucionales y de política que de una u otra forma determinan la comunidad en la que se desenvuelven los sujetos. A partir de ello, los resultados del ICCS, en el marco de la escala jerárquica,
96
se presentan en tres niveles de desempeño crecientes que representan un conocimiento cada vez más complejo.
El ICCS, con una línea de base de 395 puntos, estableció tres niveles de desempeño -con un rango de 84 puntos entre uno y otro- que son acumulativos, lo que sugiere que para que un sujeto se ubique en el nivel superior debe poder resolver los ítems de los niveles anteriores, lo que hace posible establecer comparaciones. La tabla 4.3 detalla los niveles de desempeño definidos para el ICCS y sus características con ejemplos que esbozan el tipo de conocimiento y comprensión en cada nivel.
Tabla 4.3 Escala de conocimiento cívico - Niveles de desempeño del ICCS
Nivel de desempeño 1: 395 a 478 puntos Descripción
Los estudiantes ubicados en el nivel 1 están familiarizados con la igualdad, la cohesión social y la libertad como principios de la democracia y los asocian con ejemplos de situaciones cotidianas en las cuales éstos son protegidos o rechazados. También conocen los conceptos fundamentales del individuo como ciudadano activo: reconocen que es necesario que las personas obedezcan la ley; además, relacionan cursos de acción individuales con resultados probables y características personales con la capacidad de un sujeto para efectuar el cambio cívico.
Por ejemplo, los estudiantes del nivel 1:
˜ Relacionan la libertad de prensa con la exactitud de la información proporcionada por los medios al público.
˜ Justifican el voto voluntario en el contexto de la libertad de expresión política.
˜ Reconocen que los líderes democráticos deben tener conciencia de las necesidades de las personas sobre las cuales tienen autoridad. ˜ Reconocen que la Declaración Universal de los
Derechos Humanos de las Naciones Unidas está diseñada para ser aplicada a todas las personas. ˜ Identifican el valor de la Internet como
herramienta comunicativa en la participación cívica.
˜ Reconocen la motivación cívica detrás de un acto de consumismo ético.
Nivel de desempeño 2: 479 a 562 puntos Descripción
Los estudiantes que se ubican en el nivel 2 están familiarizados con el concepto de democracia representativa como sistema político. Reconocen las formas como las instituciones y las leyes pueden ser utilizadas para proteger y promover los valores y principios de una sociedad. Identifican el papel potencial de los ciudadanos como votantes en una democracia representativa y generalizan
Por ejemplo, los estudiantes del nivel 2:
˜ Relacionan la independencia de una autoridad legal con el mantenimiento de la confianza pública en las decisiones tomadas por el Estado. ˜ Generalizan, a partir de un contexto local, el
riesgo económico de la globalización para los países en desarrollo.
˜ Reconocen que los ciudadanos informados tienen mejores capacidades para tomar decisiones cuando votan en las elecciones.
97
principios y valores a partir de ejemplos específicos de políticas y leyes (incluidos los derechos humanos). Además, comprenden la influencia que los ciudadanos activos pueden tener más allá de la comunidad local y deducen el papel que éstos cumplen en sociedades cívicas más amplias y en el mundo.
representatividad de una democracia.
˜ Describen el papel principal de una legislatura o parlamento.
˜ Definen el papel principal de una constitución. ˜ Relacionan la responsabilidad de proteger el
ambiente con las personas.
Nivel de desempeño 3: 563 puntos o más Descripción
Los estudiantes ubicados en el nivel 3 asocian los procesos de organización e influencia social y política con los mecanismos legales e institucionales utilizados para controlarlos. Generan hipótesis precisas sobre los beneficios, motivaciones y resultados probables de las políticas institucionales y las acciones de los ciudadanos. Integran, justifican y evalúan posiciones, políticas o leyes con base en los principios que las fundamentan. Además, están familiarizados con fuerzas económicas internacionales amplias y con la naturaleza estratégica de la participación activa.
Por ejemplo, los estudiantes del nivel 3:
˜ Identifican objetivos estratégicos probables de un programa de consumo ético.
˜ Sugieren mecanismos por los cuales el debate público abierto y la comunicación pueden beneficiar a la sociedad.
˜ Sugieren beneficios relacionados con la comprensión cognitiva intercultural difundida en la sociedad.
˜ Justifican la separación de los poderes judicial y parlamentario.
˜ Relacionan los principios de gobierno justo y equitativo con las leyes concernientes a la entrega de donaciones económicas a los partidos políticos. ˜ Evalúan una política con respecto a la igualdad y
la inclusión.
˜ Identifican la principal característica de las economías de mercado libre y la propiedad de empresas multinacionales.
Fuente: Schulz, 2010b.
De acuerdo con los resultados, el ICCS requirió plantear un cuarto nivel de desempeño que se denominó “Por debajo del nivel 1” y en el que ubicó el porcentaje de estudiantes que no alcanzaron los logros establecidos para el nivel 1 de los diferentes países (Schulz, 2010b). De otra parte, es importante reconocer que la escala de conocimiento cívico es jerárquica y se ajustó por la IEA con una media de 500 puntos -que corresponde al promedio del puntaje del ICCS- y una desviación estándar promedio de 100; valores calculados con base en los resultados obtenidos por los diferentes países.
98 4.2 Datos y plan de análisis
En este apartado se presentan los datos concretos que fueron insumo para el trabajo y que se derivan exclusivamente de la base de datos de estudiantes del ICCS. Así mismo, se señalan algunos aspectos centrales acerca de las técnicas estadísticas empleadas para el análisis de los mismos, como referente para la comprensión general del siguiente capítulo, que se centra en los hallazgos de esta investigación.
Datos
El análisis se realizó abordando exclusivamente la base de datos del estudio ICCS (2009) de la IEA5, cuyo objetivo estuvo centrado en conocer qué tan bien preparados están los jóvenes para asumir su rol como ciudadanos de una sociedad moderna, donde los cambios ocurren con mucha rapidez. Como se mencionó antes, la estructura de la base de datos del ICCS permitió trabajar con diferentes variables y escalas (o constructos) interrelacionadas que posibilitaron un amplio margen de análisis.
Las variables y/o escalas de interés para este estudio se encuentran en la base de datos del estudiante que ofrece el ICCS y se exponen con detalle en el siguiente capítulo. El conjunto de escalas seleccionadas para este trabajo bajo un criterio de agrupamiento alrededor de los tópicos de interés de acuerdo con los objetivos de esta investigación, posibilitaron el análisis de los logros obtenidos por los estudiantes en relación con su participación e intenciones de comportamiento cívico en contextos relacionados con el ejercicio de la ciudadanía.
5 La base de datos del estudio ICCS fue obtenida a través de la página de la IEA y se encuentra a disposición del público de manera gratuita a partir de junio de 2011. La encuesta a los estudiantes que contiene las preguntas que dieron origen a las escalas de interés de este trabajo de investigación se encuentra en el anexo D.
99
De esta manera, se seleccionaron ocho escalas del ICCS, que se agruparon en tres componentes, que a su vez dan cuenta de las dos dimensiones de las que se ocupa este trabajo de investigación. Estas escalas, en conjunto, comprenden un total de 37 indicadores analizados (ver tablas 5.4 y 5.6 en el siguiente capítulo).
Plan de análisis
El estudio inició con un meticuloso análisis exploratorio de las variables y de las escalas actitudinales y de percepción contenidas en la base de datos, seguido de algunas pruebas de fiabilidad estadística a través del coeficiente alpha de Cronbach (α)6. Este análisis de fiabilidad, que evalúa la consistencia interna de los constructos o escalas no observables, se fundamenta en la formulación estándar del indicador, utilizada corrientemente en las ciencias sociales y en psicometría. El indicador toma valores entre cero y uno, de tal manera que los valores cercanos a la unidad indican una mayor fiabilidad o consistencia del constructo a partir de los ítems que lo conforman, cuando los valores están por debajo de 0,50 la escala de