ara estimar con mayor fineza los cambios observados a lo largo del trayecto formativo seleccionado en las variables examinadas, se calculó del Tamaño del Efecto (Effect Size). Efectivamente es de interés identificar no solo la presencia de diferencias significativas en el desempeño en lectura y escritura de los sujetos examinados (Grupo total, G1 y G2) sino además poder estimar su magnitud.
Progresivamente en la bibliografía especializada se recomienda utilizar el tamaño del efecto (Effect-size), como análisis complementario del contraste entre medias, ya que permite establecer magnitudes, de diferencias grandes o pequeñas y, consiguientemente precisar la relevancia de la diferencia encontrada (Ledesma, Macbeth, & Cortada De Kohan, 2008, 2009; Morales Vallejo, 2012; Mcmillan, & Foley, 2011).
El estadístico denominado Effect Size9 proporciona un valor numérico, calculado en este caso sobre los resultados promedio obtenidos por los participantes incluidos. Debe ser interpretado de la siguiente manera:
Si el tamaño del efecto es 0, significa que no hay efecto. En este caso no se observarían diferencias en las puntuaciones obtenidas en las dos evaluaciones: el grupo total y por separado (G1 y G2) se desempeñarían de la misma manera en el tercer año de la ESB.
Si el valor del tamaño del efecto es un número positivo, significa que los participantes tienen mejor desempeño en la segunda evaluación en las variables examinadas.
Por el contrario si se trata de un número negativo, significa que los participantes obtienen un nivel de desempeño más bajo en la segunda evaluación.
9 Se obtiene sustrayendo la media obtenida por un Grupo a la media de otro Grupo de
comparación y dividiendo el resultado por una pool Standard deviation (raíz cuadrada de la sumatoria de las desviaciones al cuadrado de cada uno de los grupos dividida por dos).
158
A su vez, la valoración del tamaño del efecto, en el caso que los números resulten positivos se interpretan de acuerdo a la siguiente gradación:
0.20: efecto pequeño.
0.50: efecto moderado.
0.80: efecto superior o alto.
La comparación del Tamaño del efecto (en adelante TE) calculado sobre las medias y desvíos estándar en el Tiempo 1 y en el Tiempo 2 se ofrece en la Tabla 7.1.
Tabla 7.1
Grupo Total, Grupo 1 y Grupo 2. Effect Size en todas las variables entre el T1 y T2
Variables G. total G1 G2 T1-T2 T1-T2 T1-T2 Lectura Comprensión oraciones 0,60** 0,47 0,76** Puntuación 0,35 0,69** 0,45 Velocidad lectora 1,03* 0,99* 1,31*
Comprensión preguntas literales 0,65** 0,09 1,25* Comprensión preguntas inferenciales 0,59** 0,28 0,59**
Escritura al dictado Dictado A 0,62** 0,56** 0,67** Dictado B 0,72** 1,63* 0,71** Frases acentos 0,44 0,36 0,52** Frases mayúsculas 0,03 0,21 0,21 Frases puntuación 0,25 0,46 0,04 Escritura de textos Número de palabras 0,42 0,63** 0,36 Errores ortografía -0,33 -0,45 -0,21
Errores uso de mayúsculas -0,12 -0,26 0,06
Errores acentuación 0,18 0,24 0,13
Errores puntuación -0,82* -1,16* -0,86*
Errores de concordancia -0,28 -0,10 -0,65**
Otros errores construcción sintáctica 0,42 0,60** 0,26 Cantidad de conectores / marcadores 0,26 0,89* 0,06
Errores léxicos 0,06 0,23 -0,17
* TE alto **TE moderado
Debe considerarse que en el caso de la escritura de textos se compran los promedios y desvíos estándar en indicadores que señalan la presencia de errores (ortografía, mayúsculas, acentuación, puntuación, concordancia, otros errores de construcción sintáctica, selección léxica inadecuada). El TE negativo señala en consecuencia la disminución de los mismos entre ambas evaluaciones. En el caso que se consignen errores y aparezcan valores positivos, tal como sucede en el G1
159
inversa, es decir que apareció un magnitud mayores de errores. No obstante debe reiterarse que se trata de un número exiguo de errores.
Grupo total. Como puede observarse el TE arroja valores diferentes según las variables consideradas, desde muy bajos hasta altos:
En el caso de la lectura el efecto mayor aparece en velocidad lectora.
Los valores son moderados en comprensión de oraciones y comprensión de textos, examinado a través de las respuestas a preguntas literales e inferenciales.
En el caso de la escritura al dictado, aparecen valores moderados en la prueba de dictado de palabras.
En el caso de la escritura de textos, aparecen valores altos cuando se trata de la puntuación.
Grupo 1 y Grupo 2. Para una interpretación más exhaustiva de estos resultados, se han considerado los alcanzados por el G1 y el G2, teniendo en cuenta el TE entre ambas evaluaciones así como el punto de partida de cada uno.
En primer lugar, los valores obtenidos, muestran un efecto diferencial entre ellos según la variable de la que se trate: de 0,20 a 1,63 en el G1 y de 0,04 a 1,31 en el G2. Es decir, el efecto es significativamente mayor en algunas de ellas. En segundo lugar, un efecto diferencial en las mismas variables según el grupo. En el G1, el tamaño del efecto corresponde a valores altos en la velocidad lectora y a valores moderados en el respeto a los signos de puntuación cuando se lee. Llama la atención que los valores bajos aparecen en el caso de variables que examinan aspectos referidos a la comprensión lectora. Como se recordará, de modo consistente no aparecen diferencias significativas entre los puntajes promedio de tales variables entre el T1 y el T2.
En el desempeño en escritura al dictado se observa en cambio un impacto alto solamente en la escritura de palabras que responden a reglas ortográficas prescriptas, y moderado en el caso del dictado de las otras palabras.
En la escritura de textos, aparecen valores altos en puntuación y en la cantidad de conectores utilizados. Respecto de la extensión del número de palabras y de la
160
presencia de algunos errores de construcción sintáctica por fuera de la concordancia, se observan valores moderados.
En el G2, los resultados obtenidos son diferentes en algunos aspectos. El tamaño del efecto muestra valores altos en las variables relativas a la velocidad y la comprensión lectora, particularmente cuando se trata de responder a preguntas literales y valores moderados cuando se trata de preguntas inferenciales. En escritura, se observan valores moderados en el dictado de palabras y en el uso de la acentuación. Los valores bajos aparecen en las variables relativas al uso de mayúsculas y de signos de puntuación. En escritura de textos se observan valores altos en puntuacióny moderados en concordancia.
Resumiendo, la comparación del tamaño del efecto en las mismas variables según se trate del grupo total o de los grupos por separado, conduce a las siguientes precisiones:
Los valores del TE del Grupo total solamente coinciden con el de los de los grupos por separado en algunas variables. Esta circunstancia opaca la interpretación de los resultados, razón por la cual se analizan por separado los resultados del G1 y el G2, haciendo consideraciones especiales en cada caso. 1. Valores altos en ambos grupos.
Lectura: aparecen en velocidad lectora, pero no son de la misma magnitud, resultan significativamente mayores en el G2.
Escritura de textos: pueden observarse en puntuación, dando cuenta de una disminución de errores.
2. Valores altos en un grupo y moderados en el otro.
Escritura. Dictado de palabras (serie B) los valores altos que aparecen en el G1 corresponden a un incremento considerable a partir de puntuaciones iniciales significativamente más bajas a las obtenidas en el G2 en la primera evaluación. Por consiguiente los valores moderados que aparecen en el G2, resultan de un desempeño cercano a las puntuaciones máximas ya en el Tiempo 1, por lo que no es sorprendente que el TE resulte más reducido.
161
3. Valores altos o moderados en un grupo y muy bajos en el otro.
Lectura. En comprensión de preguntas literales el TE es diferencial: muy alto en el G2 y prácticamente inexistente en el G1. Debe considerarse que las puntuaciones promedios iniciales, si bien alcanzaron significación estadística, resultaron relativamente bajas en ambos grupos, circunstancia que indica un incremento mucho más acentuado en el G2 en ocasión de la segunda evaluación.
En cuanto al desempeño frente a preguntas inferenciales, el TE resulta moderado en el G2 y relativamente bajo en el G1. En el primer caso el incremento entre ambos tiempos resulta significativo, pero no sucede lo mismo en el otro grupo. No obstante, a pesar del mejor desempeño del G2, sigue llamando la atención que las respuestas proporcionadas sólo corresponden a la mitad de las preguntas de ese tipo, circunstancia problemática, teniendo en cuenta que la posibilidad de hacer inferencias constituye un aspecto crítico en la comprensión de textos.
Escritura. Respecto de la extensión de los textos, medida en función del número de palabras, muestra valores moderados para el G1 y bajos para el G2. En la evaluación inicial fue posible observar diferencias que alcanzaban significación estadística entre los grupos, a favor del G2. Es decir, que ya en la primera evaluación los participantes produjeron textos más extensos. En la segunda evaluación esas diferencias no alcanzan significación estadística, lo que puede interpretarse como un indicador positivo de progreso para el G1, de modo tal que las diferencias iniciales se reducen aumentando la extensión de las producciones. Es por lo tanto esperable que el TE resulte mayor en el G1 cuyas producciones resultaban más breves que las elaboradas por el otro grupo en el T1.
Este podría interpretarse como el patrón esperable, cuando los años de escolaridad muestran un impacto que permite disminuir las diferencias. En ortografía, la diferencia entre los grupos en el T1 se reduce en el T2, pero el TE resulta pequeño.
162
Si se analizan los errores en el nivel morfo-sintáctico se observan valores moderados del TE para el G2 y bajos para el G1 en los errores de concordancia, los más frecuentes dentro de este nivel. Este patrón se invierte cuando se analizan otros errores de construcción sintáctica no ligados a la concordancia.
Se observó un aumento significativo en la cantidad de conectores utilizados en las producciones con un TE alto para el G1, y TE bajo para el G2. Nuevamente el TE menor en el G2 obedece a un desempeño significativamente mejor de este grupo en el T1.
Conclusiones
El conjunto de estos resultados se inscribe en el sentido de apreciar distintas características en el desempeño de ambos grupos, que tal como se señalara, merecen una consideración especial en el sentido que los valores correspondientes al grupo total opacan o pueden opacar trayectos formativos diferenciales.
En primer lugar aparecen diferencias en el desempeño de ambos grupos tanto en la primera como en la segunda evaluación.
En segundo lugar, aparece un TE diferencial de los años de escolaridad. Sin embargo las diferencias del TE deben ser consideradas a la luz del desempeño inicial de ambos grupos. Cuando se comparan los resultados de ambas evaluaciones, en algunos indicadores aparecen valores mayores en el G1, pero esta circunstancia se relaciona con el hecho que el desempeño del G2 ya era alto en ocasión de la primera evaluación. Razonablemente puede sostenerse que el G1 necesita mayor tiempo para lograr mejores desempeños, que sin embargo en muchos indicadores no alcanzan al nivel logrado por el G2, aún en la primera evaluación.
En tercer lugar, que los desempeños diferenciales de los alumnos en distintos niveles de escolaridad nunca son totalmente homogéneos, pero sería dable esperar que luego de diez años de escolaridad hayan alcanzado un nivel
163
competente tanto en lectura como en escritura, tomando en consideración las prescripciones curriculares.
164