Sección 1. Los cimientos
1.10 Niveles de observación y análisis
1.10.1 El propósito de los sistemas nacionales de información y del desarrollo
Como ya se anotó, los sistemas nacionales de información tienen como propósito contribuir a los procesos de toma de decisión así como al debate público sobre educación, por lo que, usualmente, la información que se requiere es de tipo agregado.
La información agregada, por su parte, puede tener varias formas: (i) valores típicos y distribuciones nacionales, o subnacionales; (ii) análisis nacionales o subnacionales de la diversidad o heterogeneidad de diversas situaciones; y (iii) modelos que sirven para hacer proyecciones en el tiempo o simular potenciales impactos de determinadas medidas de política.
En el primer caso, la información al mayor nivel de agregación suele ser suficiente. De hecho, los sistemas de información educativa antes de la difusión del uso de microcomputadoras solo eran capaces de hacer esto. Por ejemplo, una escuela reportaba sus datos de matrícula a la autoridad local, esta agregaba manualmente dicha información y la enviaba a la autoridad provincial, que a su vez agregaba manualmente la información local y la remitía a la oficina central del país. Así, esta última podía contar en períodos de tiempo muy breves con información consolidada para servir a este tipo de propósitos.
El segundo caso corresponde al uso de la información de detalle con la que ahora se suele contar (por escuela, por sección, por estudiante) para generar análisis imposibles de conducir con resúmenes agregados. En efecto, análisis de dispersión o heterogeneidad son ahora posibles gracias a que se cuenta con lo que se suele llamar microdatos.
Una de las paradojas de los sistemas de información educativa actuales es que mediante una importante inversión en infraestructura tecnológica, que permite la captura de datos con una gran desagregación, estos producen únicamente (o a veces no llegan siquiera a producir) reportes agregados nacionales que se podrían generar de un modo más barato e incluso más rápido con la tecnología previa basada en la agregación de reportes con lápiz y papel.
Los modelos de simulación o proyecciones, a los que se refiere la tercera forma de agregar información, son una herramienta de trabajo particularmente sugerente. En
todos los casos, un modelo no es sino un sistema de relaciones entre variables, de forma tal que cambios conocidos o simulados en una o varias variables se traducen en cambios esperados o proyectados en otras, dados determinados supuestos.
Un modelo muy simple consiste, por ejemplo, en lo siguiente: Donde:
Matx: matrícula de personas de x años de edad Pobx: población de x años de edad
CTx: tasa de cobertura total para la población de x años de edad50.
50
Según este modelo simple, el volumen de matrícula de una edad dada (x) es una función del tamaño de la población de dicha edad y de la tasa de cobertura para la misma. De esta forma, cambios en la población o en la tasa de cobertura llevarán a cambios en el tamaño de la matrícula.
Gráfico 5. Modelo de análisis de logros académicos
Variables vinculadas al contexto general Variables vinculadas al sistema educativo en general
Variables vinculadas a la escuela Variables vinculadas a la
sección/grupo/clase
Variables vinculadas a la familia Variables vinculaldas a la localidad Variables vinculadas al estudiante
Puntaje en la prueba estandarizada de matemáticas
Nota: se destaca con cursiva los factores que no son objeto directo de la acción educativa.
50 En la siguiente sección se discutirá qué es una tasa de cobertura (y qué una tasa de matrícula), por ahora
solo se presenta a efectos de ilustrar el ejemplo.
César Guadalupe
A partir de esta idea básica se puede desarrollar modelos mucho más complejos que, por ejemplo, incorporen en el lado derecho de la ecuación muchas más variables y asignen a cada una de ellas un peso (valor) y un sentido (signo) que defina su impacto sobre el lado izquierdo de la ecuación. Asimismo, es posible que cada uno de los elementos del lado derecho de la ecuación sea, a su vez, función de otro conjunto de variables. Así, uno puede llegar por ejemplo a un modelo como el del gráfico 5 (que es el modelo típico que se usa en los sistemas de medición de logro académico).
Nótese que cada uno de los conjuntos de «variables vinculadas a…» es un espacio en el que se puede incluir tantas variables como se considere necesario y las respectivas relaciones entre ellas.
En un escenario ideal, la investigación educativa puede permitir contar con un conjunto de evidencia empírica suficiente para construir modelos muy complejos que pueden tener distintos propósitos, como, por ejemplo, dar cuenta de los resultados en una prueba estandarizada de matemáticas.
Sin embargo, esta tarea no está exenta de problemas. Los más importantes se vinculan al hecho de que las distintas investigaciones dan resultados diferentes y a que no toda la evidencia disponible es consistente entre sí respecto de las relaciones entre las variables. Así, por ejemplo, existe un conjunto de investigaciones que sugieren que un menor número de estudiantes por clase tiene un impacto positivo en los aprendizajes; otras que señalan que los impactos dependen de rangos de dicho número; otras que no encuentran relación alguna entre ambas variables; e incluso algunas que encuentran evidencia de relaciones con impactos inversos a los que cabría esperar. ¿Cuál es la evidencia que uno incluye en el modelo? Evidentemente, la respuesta a esta pregunta es: depende. En efecto, la selección es siempre dependiente del criterio de quien construye el modelo y esto es así por la propia naturaleza de la labor cognoscitiva, es decir, no es una limitación, sino una característica del conocimiento. La limitación estaría dada por no documentar las elecciones hechas o por un uso acrítico del modelo que no se pregunta por esas decisiones y por el conjunto de supuestos que se encuentran detrás.
Otra área particularmente problemática está dada por el uso que se da o se pretende dar a los modelos. Supongamos que se cuenta con un modelo como el del ejemplo anteriormente descrito y este se encuentra bien documentado y recoge consistente y rigurosamente los resultados de un cuerpo significativo de la investigación educativa actual. ¿Cómo usarlo? El modelo puede perfectamente servir para simular resultados de diferentes medidas de política. Por ejemplo, se podría manipular la variable «número de estudiantes por clase» y ver cuáles serían los efectos esperados en los puntajes a obtenerse en las pruebas (siempre asumiendo que todos los supuestos del modelo se cumplen). Del mismo modo, se puede simular el impacto de distribuir textos escolares a cada estudiante, de que los docentes tengan un determinado nivel de certificación, etc.
Ahora bien, lo más importante de todo esto es entender que los resultados de esas simulaciones son siempre un elemento más a tener en cuenta en el proceso de tomar decisiones. Una de las cosas más nefastas que puede suceder es que se recomiende que las personas deben seguir acríticamente lo que el modelo sugiere. Las personas no pueden abdicar su responsabilidad por las decisiones que toman y entregarla a un modelo. Por ejemplo, si el modelo sugiere que el hecho de que los estudiantes cuenten con textos escolares no tiene un impacto significativo sobre las pruebas, entonces sería muy irresponsable derivar de ahí de modo directo que no es necesario invertir recursos en ello. ¿Por qué esto sería erróneo?
La respuesta a esta pregunta se explica por dos elementos centrales:
(i) Los asuntos humanos se pueden modelar con importantes niveles de incer- tidumbre51, ya que estos nunca son idénticos y los elementos tomados de un contexto dado no son iguales a los de otro contexto. De hecho, acciones similares
en contextos diferentes probablemente conduzcan a resultados diferentes52. (ii) El segundo elemento de respuesta tiene que ver con la relación entre el modela-
miento explicativo (usualmente en búsqueda de causalidades) y lo que se valora en educación. No siempre lo que se considera valioso tiene un impacto sobre diversas variables que también importan, o incluso, lo primero puede tener impactos contradictorios y no por eso dejar de ser valioso.
Por ejemplo, es posible encontrar que escuelas autoritarias, donde el grado de disciplina es mayor, pueden lograr (controlando el efecto de otras variables)53 mejores resultados en matemáticas, pero esto no debe llevar a concluir que hay que promover el autoritarismo en las escuelas. Hay cosas que valoramos socialmente así no tengan impacto en una variable a la que también se le asigna un valor particular.
De hecho, ciertas personas añoran los tiempos que graficara Goya en la pintura La letra con sangre entra, ya que asumen que la disciplina y la «motivación» logradas
51 Por cierto, este es también el caso de los eventos naturales, como se ha mostrado desde Heisenberg en
1926 y en muchos desarrollos posteriores en diversas áreas de las ciencias antes descritas como exactas.
52 Las acciones humanas derivan en resultados que dependen de estas y de su interacción con los contextos
que son cambiantes. Véase por ejemplo Pawson y Tilley (1997)para entender la relación generativa con el contexto en el caso de los procesos de evaluación.
Por cierto, esto es lo que explica la famosa broma acerca de que los economistas destinan la mitad del tiempo a modelar y proyectar y la otra mitad a tratar de explicar por qué dichos modelos y proyecciones no fueron acertados.
53 El concepto de control estadístico de variables se explica en el anexo 1. En alguna reunión internacional
en la que se discutían ciertos asuntos técnicos vinculados al análisis de información, una representante de un país que no cabe identificar se opuso tenazmente al control estadístico de algunas variables ya que esto era percibido como no consistente con los principios dizque democráticos de su régimen político (que, por supuesto, era autoritario) que mandaban proscribir cualquier intento de «controlar» variables.
César Guadalupe
mediante el castigo físico son factores detrás del éxito académico que se asume (sin demostrar) tenían los sistemas educativos en el pasado.
Esto también es sugerido al observar otras variables. Por ejemplo, los resultados de PISA que se muestran en la siguiente sección (ver la página 110) sugieren que hay países con altos niveles de inversión por alumno que logran resultados similares a los de otros cuya inversión tiene menores niveles. Es probable que esto se explique por el hecho de que los primeros invierten en, por ejemplo, instalaciones deportivas, teatros y equipamiento para práctica musical, lo que posiblemente no tiene ningún impacto en los puntajes obtenidos en dicho estudio, pero sí un valor por sí mismo.
Esta discusión, por tanto, concluye en que los modelos sirven para sugerir o suscitar debates de política, no para reemplazarlos.