INFORME DE LA EVALUACIÓN DE DIAGNÓSTICO 2011
AGENCIA EXTREMEÑA DE EVALUACIÓN EDUCATIVA
Consejería de Educación y Cultura
Índice
AGRADECIMIENTOS...5
I. INTRODUCCIÓN...7
1.1. ¿Qué es la evaluación de diagnóstico?...7
1.2. Marco teórico de la evaluación...9
1.3. Competencias Evaluadas...10
1.4. Principios que caracterizan la evaluación de diagnóstico...13
II. PROCESO DE LA EVALUACIÓN DE DIAGNÓSTICO......15
11.1. Población...15
11.2. Coordinación del proceso...15
11.3. Fases...16
III. EL CONTEXTO...35
IV. LA EVALUACIÓN DE DIAGNÓSTICO EN RAYUELA...37
1V.1. Actuaciones anteriores a la aplicación de las pruebas...38
1V.2. Actuaciones entre la aplicación y la emisión de informes...40
1V.3. Publicación de informes... ...42
V. RESULTADOS....49
V.1. Población...49
V.2. Puntuaciones medias transformadas por competencias y provincias...51
V.3. Puntuaciones medias transformadas por competencias y sexos...53
V.4. Porcentaje de adquisición de dimensiones de competencia...55
V.5. Niveles medios de competencia...59
VI. CONTEXTOS SOCIALES, ECONÓMICOS Y CULTURALES Y SU RELACIÓN CON LOS RESULTADOS...61
VI.1. Resultados según la edad del alumnado y trimestre de nacimiento...61
VI.I.I. Edad del alumnado...62
VI.1.2. Trimestre de nacimiento...64
VI.2. Resultados según el número de hijos que forman parte de la unidad familiar...66
VI.3. Resultados en función del tiempo diario dedicado a las tareas escolares...68
VI.4. Resultados atendiendo a la ayuda recibida para hacer las tareas escolares...71
VI.5. Resultados según el tiempo dedicado a otras actividades fuera de los fines de Semana...74
V1.6. Resultados según el número de libros y de libros juveniles en el hogar...83
VI.6.1. Números de libros...84
VI.6.2. Números de libros juveniles...86
VI.7. Resultados según los hábitos de lectura y la actitud hacia la lectura de los Padres...89
VI.7.1. Tiempo dedicado a la lectura...89
VI.7.2. Actitud hacia la lectura en la familia... ...92
VI.8. Resultados en función de las expectativas de estudio del alumnado, expresadas por sus familias...100
VI.9. Resultados atendiendo al nivel educativo de madres y padres...104
VI.10. Resultados según el perfil profesional de madres y padres...111
VI.12. Resultados según el número de habitantes de la localidad de residencia del
alumnado...121
VI.13. Resultados atendiendo a la titularidad de los centros...124
VI.13.1. Puntuaciones transformadas según tipo de centro...124
VI.13.2. Puntuación media en cada competencia por niveles de ISEC...125
VI.13.3. Porcentajes de los niveles de ISEC en función de la titularidad del centro...126
VI.14. Perfil del alumnado que supera las puntuaciones medias...128
AGRADECIMIENTOS
La Agencia Extremeña de Evaluación Educativa desea agradecer el trabajo y la dedicación de todos los que han colaborado para que la tercera edición de la evaluación de diagnóstico se haya desarrollado con éxito.
A los alumnos que han realizado las pruebas y a sus familias que han colaborado en la información sobre el contexto.
A los profesores, por su generosidad y profesionalidad; tanto a los que han participado en las comisiones de elaboración de los ítems de las distintas competencias, como a los Equipos Directivos, los Equipos de Orientación, los Departamentos de Orientación y a los que han actuado de aplicadores y correctores de las pruebas.
A los distintos departamentos de la Administración, donde siempre se ha encontrado respuesta positiva a las demandas planteadas.
Que el proceso se haya desarrollado sin incidencias es fruto del trabajo coordinado y un logro de todos.
Agencia Extremeña de Evaluación Educativa
I. INTRODUCCIÓN
I.1. ¿Qué es la evaluación de diagnóstico?
La Ley Orgánica 2/2006, de 3 de mayo, de Educación, establece en sus artículo 21 y 29 que al finalizar el segundo ciclo de Primaria y el segundo curso de la Educación Secundaria Obligatoria respectivamente, todos los centros realizarán una evaluación de diagnóstico de las competencias básicas alcanzadas por sus alumnos. Establece, asimismo, que tendrán como marco de referencia las evaluaciones generales de diagnóstico que se regulan en el artículo 144.1 de la citada Ley.
La Orden de 8 de mayo de 2009 (DOE núm. 90, de 13 de mayo), regula la evaluación de diagnóstico y su procedimiento de aplicación en los centros docentes extremeños.
La Consejería de Educación y Cultura fomenta la evaluación externa como un mecanismo mediante el cual los centros, y la propia administración, recogen datos sobre el proceso educativo con la finalidad de tomar las decisiones oportunas que optimicen los recursos. Se evalúa para avanzar en la calidad y la equidad de la educación, compromiso éste que tiene la Junta de Extremadura con los ciudadanos y ciudadanas de la región.
La importancia de esta evaluación externa radica en ser de diagnóstico, censal y formativa. Es de diagnóstico porque pretende tener datos sobre el estado del sistema educativo; es censal porque los destinatarios son todos los alumnos y alumnas de los niveles establecidos; y es formativa porque ayuda a orientar las políticas educativas y contribuye a mejorar la práctica docente en los centros. Es esta última la razón por la que se realiza en 4º de Primaria y 2º ESO, cursos no terminales en los que todavía se pueden tomar decisiones para superar los déficits detectados y alcanzar esas competencias en aquellos alumnos que no las hayan adquirido.
Esta evaluación se realiza a través de un conjunto de pruebas y cuestionarios de contexto, comunes para todo el alumnado, que serán aplicadas con criterios
Como resultado de esta evaluación, la administración, el centro escolar, el profesorado, el alumnado y las familias podrán disponer de una información suficientemente objetiva sobre su situación, que deberá complementar con sus propios datos internos, y posibilitará la puesta en marcha de procesos de mejora.
El curso 2010/2011 es el tercero en el que se realizan estas pruebas diagnósticas en todos los centros extremeños y en este informe se da cuenta de los resultados y su análisis.
I.2. Marco teórico de la evaluación
En 1997 la OCDE inició el Proyecto DeSeCo con el fin de brindar un marco conceptual firme para identificar y evaluar las competencias claves. Con este documento se pretendía fortalecer las encuestas internacionales que midieran el nivel de competencia de jóvenes y adultos.
Este proceso desembocó en el Programa PISA, que reunió a un grupo de expertos con el objetivo de consensuar un marco de referencia a fin de orientar las políticas educativas. Como primer objetivo, se identificaron las competencias básicas.
En 2005 la Unión Europea acordó asumir los principios de PISA y recomendó a los países miembros introducir en sus legislaciones la cultura de la evaluación externa y la asunción de las competencias básicas como objetivo de la enseñanza obligatoria.
En España, la LOE introdujo estas competencias básicas que más tarde desarrollaron en sus respectivas legislaciones las comunidades autónomas. Para todo el Estado español se regulan en los Reales Decretos 1631/2006, de 29 de diciembre, por el que se establecen las enseñanzas mínimas correspondientes a la Educación Secundaria Obligatoria (BOE de 5 de enero de 2007) y 1513/2006, de 7 de diciembre, por el que se establecen las enseñanzas mínimas de la Educación Primaria (BOE de 8 de diciembre). Los Decretos 82/2007 y 83/2007, de 24 de abril, (DOE núm. 50 de 3 de mayo) por los que se establece el Currículo de Educación Primaria y el de Educación
Secundaria Obligatoria para la Comunidad Autónoma de Extremadura, respectivamente, la desarrollan en nuestra comunidad.
Se entiende por competencias básicas aquellos conocimientos, destrezas y actitudes que, de manera integrada, permiten a los alumnos y alumnas su participación activa como ciudadanos en una sociedad democrática, facilitan su incorporación al mundo laboral y les prepara para aprender a lo largo de la vida. Es un avance sobre los planes de estudios anteriores que, aunque hacían referencia al “saber hacer”, no lo contemplaban con esta concreción. El desarrollo de las competencias básicas supone la integración de conocimientos y su funcionalidad. De manera que un alumno o alumna necesita esos conocimientos para “incorporarse a la vida adulta de manera satisfactoria y ser capaz de desarrollar un aprendizaje permanente a lo largo de la vida.” Por eso son competencias básicas.
En ningún caso se ha de relacionar competencias básicas con una única materia o área, pues tienen un carácter integrador que debe impregnar todas las actividades del centro para que el alumnado las adquiera. Cada una de las competencias tiene su función pero, al desarrollarlas todas juntas, se refuerzan aún más.
En el marco de la propuesta realizada por la Unión Europea, y de acuerdo con las consideraciones que se acaban de exponer, se han identificado ocho competencias básicas:
1. Competencia en comunicación lingüística.
2. Competencia matemática.
3. Competencia en el conocimiento y la interacción con el mundo físico.
4. Tratamiento de la información y competencia digital.
5. Competencia social y ciudadana.
6. Competencia cultural y artística.
7. Competencia para aprender a aprender.
8. Autonomía e iniciativa personal.
La Orden de 8 de mayo de 2009 (DOE núm. 90, de 13 de mayo), regula la evaluación de diagnóstico en Extremadura. Allí se establece que todos los alumnos de 4º de Primaria y 2º ESO de todos los centros de la región son destinatarios de la prueba. Asimismo, recoge que cada curso se evaluarán al menos dos competencias, una de las cuales será necesariamente la Competencia en comunicación lingüística o la Competencia matemática.
I.3. Competencias evaluadas
En la evaluación de diagnóstico 2011, en la Comunidad Autónoma de Extremadura, las competencias evaluadas han sido la “Competencia en comunicación lingüística” y la “Competencia matemática”.
Los Decretos 82/2007, de 24 de abril, por el que se establece el Currículo de Educación Primaria para la Comunidad Autónoma de Extremadura (DOE de 3 de mayo) y 83/2007, de 24 de abril, por el que se establece el Currículo de Educación Secundaria Obligatoria para la Comunidad Autónoma de Extremadura (DOE de 5 de mayo), definen las competencias evaluadas como sigue:
Competencia en comunicación lingüística
Esta competencia se refiere a la utilización del lenguaje como instrumento de comunicación oral y escrita; de representación, interpretación y compresión de la realidad; de construcción y comunicación del conocimiento; y de organización y autorregulación del pensamiento, las emociones y la conducta.
Competencia matemática
Consiste en la habilidad para utilizar y relacionar los números, sus operaciones básicas, los símbolos y las formas de expresión y razonamiento matemático, tanto para producir e interpretar distintos tipos de información, como para ampliar el conocimiento sobre aspectos cuantitativos y espaciales de la realidad, y para resolver
Dimensiones y elementos
Partiendo de estos Decretos, se identifican los ámbitos competenciales a los que denominamos “dimensiones”, dentro de los cuales se diferencian los “elementos de competencia”, que señalan las tareas concretas que habrán de ser capaces de desarrollar los alumnos y alumnas para demostrar la adquisición de las competencias básicas.
En el caso de la competencia matemática, junto a las dimensiones y los elementos, se fijan las destrezas de la competencia: reproducción, conexión y reflexión.
A continuación se muestran las dimensiones, los elementos de competencia y las destrezas que fueron objeto de evaluación en cada una de las competencias y etapas.
COMPETENCIA EN COMUNICACIÓN LINGÜÍSTICA
EDUCACIÓN PRIMARIA Y EDUCACIÓN SECUNDARIA Dimensión 1 – Comprender textos orales
Elementos de competencia
Capta el sentido global del texto.
Comprende el vocabulario básico del texto oral.
Reconoce las ideas principales y las secundarias.
Extrae información de textos orales.
Dimensión 2 – Comprender textos escritos
Elementos de competencia
Identifica la idea principal o general de un texto.
Comprende las relaciones entre las ideas de un texto.
Realiza interferencias a partir de la información escrita.
Relaciona el contenido de un texto con el conocimiento y las ideas previas.
Relaciona la forma de un texto con la actitud e intención del autor o autora.
Reconoce y comprende los rasgos característicos de los diversos tipos de textos literarios y no literarios.
Dimensión 3 – Expresarse por escrito
Elementos de competencia
Conoce y reconoce un vocabulario básico y su uso funcional.
Comprende la variabilidad del lenguaje y las formas de comunicación a través del tiempo y en diferentes ámbitos geográficos, sociales y comunicativos.
Escribe distintos tipos de textos con diferentes propósitos, controlando los distintos componentes que forman parte de la escritura.
Usa recursos para producir textos relativamente complejos de la escritura.
Distingue la información relevante de la no relevante a la hora de
COMPETENCIA MATEMÁTICA
EDUCACIÓN PRIMARIA Y EDUCACIÓN SECUNDARIA
Dimensión 1 – Producir e interpretar informaciones, tomando decisiones a partir de los datos disponibles
Elementos de competencia
Identifica el significado de la información numérica y simbólica.
Ordena información utilizando procedimientos matemáticos.
Comprende la información presentada en un formato gráfico.
Elabora gráficos, cuadros, tablas y diagramas a partir de datos derivados de una situación cotidiana.
Dimensión 2 – Expresión matemática a partir de la identificación de aspectos cuantitativos y espaciales de la realidad
Elementos de competencia
Se expresa utilizando vocabulario y símbolos matemáticos básicos.
Utiliza formas adecuadas de representación según el propósito y naturaleza de la situación.
Expresa correctamente resultados obtenidos al resolver problemas.
Justifica resultados expresando argumentos con base matemática.
Dimensión 3 – Plantear y resolver problemas relacionados con la vida diaria y el mundo laboral
Elementos de competencia
Traduce las situaciones reales a esquemas o estructuras matemáticas.
Valora la pertinencia de diferentes vías para resolver problemas con criterios matemáticos, seleccionando en cada caso las estrategias adecuadas.
Selecciona los datos apropiados para resolver un problema.
Utiliza con precisión procedimientos de cálculo, fórmulas y algoritmos para la resolución de problemas.
DESTREZAS MATEMÁTICAS EVALUADAS EN LAS DOS ETAPAS:
Reproducción
Hace referencia a la reproducción de los conocimientos practicados, tales como el reconocimiento de tipos de procesos y problemas matemáticos familiares y la realización de operaciones habituales. Esta destreza es necesaria para la realización de los ejercicios más sencillos.
Conexión
Esta destreza exige que los alumnos vayan más allá de los problemas habituales, realicen interpretaciones y establezcan interrelaciones en diversas situaciones, pero en contextos conocidos.
Reflexión
Implica perspicacia y creatividad a la hora de identificar los elementos matemáticos de un problema y establecer interrelaciones. Suele aparecer en situaciones asociadas a acciones de planificación compleja.
I.4. Principios que caracterizan la evaluación de diagnóstico
Las pruebas se elaborarán teniendo como referencia el currículo establecido por el Decreto 82/2007, de 24 de abril, para la Educación Primaria, y el Decreto 83/2007, de 24 de abril, para la Educación Secundaria Obligatoria en la Comunidad Autónoma de Extremadura.
La evaluación de diagnóstico, que carecerá de efectos académicos para el alumnado, tendrá un carácter formativo y orientador para los centros e informativo para las familias y el conjunto de la comunidad educativa. No es un instrumento de control de los resultados en los centros educativos, ni tampoco se permite establecer una clasificación. Más bien, debe ser entendida como un complemento a la evaluación que hacen los propios centros sobre el rendimiento de su alumnado. Por tanto, no tiene una finalidad sumativa, sino formativa del nivel del logro de competencias en un
de los estudios en la etapa correspondiente. Y por este motivo se realiza en los cursos intermedios, con la intención de optimizar los procesos educativos y conseguir mejores resultados al final de la misma.
El proceso de evaluación debe garantizar la confidencialidad del alumnado y de sus familias, así como el derecho de los propios centros a evitar comparaciones entre los mismos. Los resultados obtenidos tienen exclusivamente el objetivo de mejorar la calidad educativa en el contexto evaluado.
Dicha evaluación servirá para conocer el grado de desarrollo de las competencias básicas en el alumnado, teniendo a su vez en cuenta aspectos del contexto sociocultural, para que los centros organicen las medidas de refuerzo que dicho alumnado requiera y adopten las decisiones oportunas para la mejora de los resultados educativos.
Los principios que caracterizan la evaluación de diagnóstico son:
Igualdad y justicia. La evaluación de diagnóstico contribuye a conocer y compensar las desigualdades detectadas en las personas y tomar decisiones que hagan progresar su situación en el entorno escolar como vía para dar la oportunidad de mejorar.
Participación democrática de todos los sectores implicados en la educación del alumnado, y potenciar la toma de decisiones consensuadas en la planificación de una respuesta educativa adecuada a partir de una evaluación responsablemente compartida.
Transparencia. Implica tener en cuenta que las sociedades democráticas deben garantizar que la información obtenida, en este caso a través de la evaluación de diagnóstico, sea conocida por los implicados en el proceso (administración, profesores, centros educativos, familias y la sociedad en su conjunto) a través de informes que reflejen fielmente los resultado obtenidos.
II. PROCESO DE LA EVALUACIÓN DE DIAGNÓSTICO
El proceso de la evaluación de diagnóstico engloba además de la aplicación y corrección de las pruebas, actuaciones previas y posteriores. Se ha de responder a cuestiones como: qué competencias evaluar, quién elabora las pruebas, quién y cómo se validan los ítems redactados, cómo se lleva a cabo la distribución del material necesario, estructura y contenido de los informes de resultados, etc.
En este capítulo se expone el proceso completo de la evaluación de diagnóstico 2010-2011.
II.1. Población
Públicos 394
Concertados 61
Primaria 458
Privados 3
Públicos 135
Concertados 56
Nº de Centros:
652
Secundaria 194
Privados 3
Pública 1 987
Concertada 336
Nº de Profesores Correctores:
2 323
Privada 12
II.2. Coordinación del proceso
Por primera vez, en el curso 2010/2011, la Agencia Extremeña de Evaluación Educativa asume la organización y el desarrollo de la evaluación diagnóstica.
II.3. Fases
Uno de los principales retos en el procedimiento para la evaluación de competencias lo constituye objetivar el nivel que posee el alumno en las competencias evaluadas. En este sentido, pueden existir diversos procedimientos útiles para evaluar el desempeño del alumnado en las competencias previamente definidas (por ejemplo, se podría requerir la observación directa, el manejo de los recursos tecnológicos para obtener información, etc.). En general, la forma de evaluar el grado en el que el alumnado ha desarrollado las competencias básicas podría ser determinado a través de técnicas y procedimientos de evaluación como las pruebas escritas, la realización de trabajos, las exposiciones orales, la entrevista, etc.
En este caso se ha utilizado el procedimiento de pruebas escritas, homologadas y contrastables. Estas pruebas tienen una puntuación directa y una ponderación según el nivel socioeconómico del centro de cada uno de los alumnos evaluados. Esta forma de medir el nivel competencial del alumno conlleva algunos problemas: no se evalúa la dimensión de expresión oral, por ejemplo; además existe el riesgo de que la medición no sea completamente objetiva, por la cantidad de correctores implicados.
Precisamente para evitar este inconveniente, la evaluación de competencias básicas se centró en utilizar pruebas escritas y objetivas centradas en estímulos (un anuncio publicitario, una noticia periodística, una situación real del aula, etc.). A partir de los mismos se realizaron las preguntas o ítems que recogían información sobre las competencias, tales como la comprensión de la comunicación oral escuchada, la comprensión escrita, la capacidad para transferir la información, para comprender el vocabulario utilizado, para interpretar una gráfica presentada, etc. En este sentido, se plantearon preguntas con diferentes formatos de respuesta: preguntas de elección múltiple, que exige al alumnado optar por la respuesta correcta; y preguntas abiertas que exigen una elaboración de la respuesta (escribir una frase, expresar una opinión, aplicar operaciones y obtener un resultado, etc.).
La objetividad en la corrección por el propio profesor se garantizó mediante la elaboración de criterios objetivos y contrastados en la asignación de puntuaciones, que podrían variar en todos los ítems entre 0 y 2 puntos.
El proceso completo de la evaluación de diagnóstico conlleva unas fases que se describen a continuación.
Fase I: Identificación de las competencias a evaluar
Los Decretos 82/2007 (Educación Primaria) y 83/2007 (Educación Secundaria Obligatoria) definen claramente las competencias básicas y su integración en el currículo.
La Comisión Técnica encargada de la elaboración de los ítems integrada por miembros del Servicio de Inspección y profesores de especialidades referidas a distintas áreas y materias identificó, en una primera instancia, los ámbitos competenciales a los que se denominó “dimensiones”, dentro de los cuales se diferenciaron los “elementos de competencia”, que señalan las tareas u operaciones concretas que habrán de ser capaces de desarrollar los alumnos y alumnas para demostrar el dominio de las competencias básicas y en el caso de la competencia matemática, las destrezas.
Fase 2: Redacción de los ítems
El término ítem se utiliza en evaluación para referirse a una pregunta en una prueba de corrección objetiva.
La elaboración de los ítems parte de un riguroso procedimiento de trabajo en equipo formado por responsables de la Agencia Extremeña de Evaluación Educativa (AEEE), el Servicio de Inspección Educativa, un grupo de profesores expertos en las competencias que pretenden evaluarse en colaboración con el área de Métodos de Investigación y Diagnóstico en Educación de la Facultad de Educación de la Universidad de Extremadura.
Los profesores de la Comisión Técnica, coordinados por un Inspector y la Directora de la AEEE, redactaron los primeros ítems sobre la base de los elementos de competencia descritos en la Introducción. En esta segunda fase se concreta el nivel
la que debe demostrar en qué medida puede dar una respuesta correcta al problema o a la situación planteada. Es decir, se somete al alumnado a situaciones-problema ante las que debe demostrar en qué grado es capaz de aplicar sus conocimientos, habilidades y actitudes.
No obstante, la evaluación del desempeño en cada uno de los ítems se estableció en tres niveles que se correspondió con la puntuación posible otorgada a cada ítem.
Así, se asignó 0 puntos cuando no se respondía correctamente al ítem; 1 punto cuando la respuesta era parcialmente correcta; y 2 puntos cuando la respuesta era totalmente correcta siguiendo criterios claros y objetivos de corrección.
El conjunto inicial de ítems elaborados por los cuatro grupos de profesores fueron de 60 en cada una de las competencias evaluadas y etapa; es decir, el triple de los que se utilizarían en las pruebas diagnósticas definitivas. En una primera selección, se eligieron los 40 ítems que formaron parte de las pruebas de la fase de validación. En cada competencia y etapa se obtuvieron dos pruebas diferentes (A y B), cada una de ellas compuesta por 20 ítems.
Fase 3: Aplicación experimental de las pruebas
El objetivo fundamental de la fase experimental fue garantizar la calidad científica de la prueba censal, y para ello se plantearon los siguientes objetivos específicos:
a) Seleccionar los ítems que formarían parte de la evaluación censal teniendo en cuenta criterios rigurosos de dificultad, fiabilidad, validez y equilibrio entre las distintas dimensiones y, en su caso, destrezas de la competencia evaluada.
b) Garantizar la objetividad en la aplicación y en los criterios de puntuación de los ítems seleccionados.
c) Validar las pruebas en su conjunto.
Para llevar a cabo la aplicación experimental, garantizando la representatividad de la muestra, se realizó una selección de 10 centros de Educación Primaria y 10 de
Educación Secundaria, teniendo en cuenta tres criterios: una distribución proporcional según la provincia (6 de la provincia de Badajoz y 4 de la provincia de Cáceres en cada una de las etapas); la titularidad del centro (públicos y privados-concertados); y la participación de un CRA y un IESO en primaria y secundaria respectivamente. La fase experimental se llevó a cabo con alumnos de 5º de EP y 3º ESO.
La distribución de centros fue la siguiente:
PRIMARIA
Badajoz (6 centros) Cáceres (4 centros) Públicos Concertados Públicos Concertados Número de
centros 5 CEIP 1 3 (2 CEIP
1 CRA) 1
Número de
alumnos 114 24 49 25
Total nº de
alumnos 138 74
212
SECUNDARIA
Badajoz (6 centros) Cáceres (4 centros) Públicos Concertados Públicos Concertados Número de
centros
4 ( 3 IES
1 IESO) 2 3 1
Número de
alumnos 89 56 68 17
Total nº de
alumnos 145 85
230
La primera actuación de esta fase fue una reunión de la AEEE y el Servicio de Inspección General con los Directores de los 20 centros seleccionados donde se les informó sobre los objetivos, el procedimiento y el calendario.
La aplicación de las pruebas en esta fase la realizó un equipo de la Universidad de Extremadura formado por profesores y titulados en psicopedagogía que fueron preparados al efecto para dicha aplicación. La coordinación y preparación de este grupo, así como los análisis de los ítems y su selección definitiva, estuvo a cargo de dos profesores de la Facultad de Educación del área de Métodos de Investigación y Diagnóstico en Educación.
La corrección de las pruebas en esta fase y la organización del proceso la llevó a cabo la AEEE.
La aplicación experimental se realizó desde el 31 de enero hasta el 15 de febrero de 2011, ambos incluidos. Cada una de las competencias fue evaluada utilizando las modalidades A y B y semanas diferentes. La aplicación comenzaba en la primera hora de la mañana, estableciéndose dos sesiones de trabajo con descansos intermedios para evitar la fatiga del alumnado.
El procedimiento de puntuación de cada ítem estuvo apoyado por las plantillas de corrección de los mismos, que fueron diseñadas por la Comisión Técnica, en el momento de la elaboración de los ítems.
Una vez corregidas las pruebas se pasaron a una plantilla numérica para su análisis.
En dicha plantilla, las filas corresponden a cada uno de los alumnos y alumnas y las columnas a cada uno de los ítems que componen las pruebas. Antes del análisis se procedió a realizar un estudio descriptivo con objeto de depurar los datos y posibles errores ocurridos en el proceso de tabulación.
El análisis realizado tuvo el propósito de identificar las características psicométricas de los ítems con el fin de seleccionar los más idóneos para la evaluación diagnóstica. Para ello se utilizaron criterios de la Teoría Clásica de los Test, como son los índices de dificultad y homogeneidad de cada uno de los ítems. Mediante la selección de los ítems de mejor calidad se obtuvieron pruebas diagnósticas con garantías científicas globales de objetividad, validez y fiabilidad.
Fase 4: Elaboración de pruebas definitivas
A partir del análisis de los ítems de la fase de aplicación y corrección experimental se tomaron decisiones sobre la composición final de las pruebas, el orden de los ítems en las mismas y el formato de presentación de la prueba.
La selección de los ítems se llevó a cabo atendiendo a los siguientes criterios:
- En función de la dificultad, se seleccionaron aquellos ítems con índices de dificultad entre 0,25 y 0,75. Se eliminaron aquellos muy difíciles (<0,25) y muy fáciles (>0,75) y además se seleccionaron en mayor medida ítems de dificultad media; es decir, aquellos cuyos índices de dificultad se situaron entre 0,40 y 0,60. No obstante, la selección de ítems fáciles (>0,60) dio la oportunidad de responder correctamente a gran parte del alumnado, al menos en estos ítems, mientras que la dificultad de algunos ítems (<0,40) permitieron discriminar mejor a los sujetos con altos niveles de competencia.
- Atendiendo a la homogeneidad, se seleccionaron aquellos ítems que más correlacionan con la prueba, una vez que se elimina el efecto de este ítem.
Precisamente, los ítems más homogéneos son también los más discriminativos y los que proporcionan una mayor fiabilidad de la prueba en su conjunto.
- Cubrir las dimensiones y destrezas evaluadas. Se procuró que los ítems de mejor calidad tuvieran una distribución equilibrada en las dimensiones evaluadas en cada competencia, y la ponderación determinada en cada destreza y evitar así una concentración de ítems en una sola dimensión o destreza en su caso. Esto se puede apreciar en la tabla de especificaciones en la que se señalan los ítems correspondientes a cada dimensión y destreza.
Las pruebas definitivas constaron de 20 ítems, y el tiempo total dedicado a responder cada prueba fue de 90 minutos, divididos en dos sesiones de 45 minutos entre las que hubo un descanso de 5 minutos hacia la mitad de la prueba.
La estructura de cada una de las pruebas diagnósticas en función de las dimensiones y, en su caso destrezas, fue la siguiente:
COMPETENCIA EN COMUNICACIÓN LINGÜÍSTICA EDUCACIÓN PRIMARIA
DIMENSIONES Y ELEMENTOS
Dimensión 1 – Comprender textos orales Ítems
Capta el sentido global del texto. 1
Comprende el vocabulario básico del texto oral. 3
Reconoce las ideas principales y las secundarias. 4 Elementos
Extrae información de textos orales. 2 Dimensión 2 – Comprender textos escritos
Identifica la idea principal o general de un texto. 11
Comprende las relaciones entre las ideas de un
texto. 6 y 12
Realiza inferencias a partir de la información
escrita. 7, 13 y 15
Relaciona el contenido de un texto con el
conocimiento y las ideas previas. 14 y 19
Relaciona la forma de un texto con la actitud e
intención del autor o autora. 16
Elementos
Reconoce y comprende los rasgos característicos de los diversos tipos de textos literarios y no literarios.
17 Dimensión 3 – Expresarse por escrito
Conoce y reconoce un vocabulario básico y su
uso funcional. 5
Comprende la variabilidad del lenguaje y las formas de comunicación a través del tiempo y en diferentes ámbitos geográficos, sociales y
comunicativos.
9
Escribe distintos tipos de textos con diferentes propósitos, controlando los distintos
componentes que forman parte de la escritura.
10 y 18
Usa recursos para producir textos relacionados
complejos de la escritura. 20
Elementos
Distingue la información relevante de la no
relevante a la hora de expresarse por escrito. 8
EDUCACIÓN SECUNDARIA DIMENSIONES Y ELEMENTOS
Dimensión 1 – Comprender textos orales Ítems
Capta el sentido global del texto. 1
Comprende el vocabulario básico de un texto
oral. 4
Reconoce las ideas principales y las secundarias. 2 Elementos
Extrae información de los textos orales. 3 Dimensión 2 – Comprender textos escritos
Identifica la idea principal o general de un texto. 12 y 15
Comprende las relaciones entre las ideas de un
texto. 6, 11 y 16
Realiza inferencias a partir de la información
escrita. 14
Relaciona el contenido de un texto con el
conocimiento y las ideas previas. 9
Relaciona la forma de un texto con la actitud e
intención del autor o autora. 5 y 13
Elementos
Reconoce y comprende los rasgos característicos de los diversos tipos de textos literarios y no literarios.
7 Dimensión 3 – Expresarse por escrito
Conoce y reconoce un vocabulario básico y su
uso funcional. 20
Comprende la variabilidad del lenguaje y las formas de comunicación a través del tiempo y en diferentes ámbitos geográficos, sociales y
comunicativos.
8 y 19
Escribe distintos tipos de textos con diferentes propósitos, controlando los distintos
componentes que forman parte de la escritura.
17
Usa recursos para producir textos relacionados
complejos de la escritura. 18
Elementos
Distingue la información relevante de la no
relevante a la hora de expresarse por escrito. 10
COMPETENCIA MATEMÁTICA EDUCACIÓN PRIMARIA DIMENSIONES Y ELEMENTOS
Dimensión 1 – Producir e interpretar informaciones, tomando
decisiones a partir de los datos disponibles Ítems
Identifica el significado de la información numérica y
simbólica. 17
Ordena información utilizando procedimientos
matemáticos. 1 y 18
Comprende la información presentada en un
formato gráfico. 16 y 11
Elementos
Elabora gráficos, cuadros, tablas y diagramas a partir
de datos derivados de una situación cotidiana. 4 Dimensión 2 – Expresión matemática a partir de la
identificación de aspectos cuantitativos y espaciales de la realidad
Se expresa utilizando vocabulario y símbolos
matemáticos básicos. 3, 14 y 20
Utiliza formas adecuadas de representación según el
propósito y naturaleza de la situación. 12
Expresa correctamente resultados obtenidos al
resolver problemas. 5 y 9
Elementos
Justifica resultados expresando argumentos con
base matemática. 8
Dimensión 3 – Plantear y resolver problemas relacionados con la vida diaria y el mundo laboral
Traduce las situaciones reales a esquemas o
estructuras matemáticas. 19
Valora la pertinencia de diferentes vías para resolver problemas con criterios matemáticos en cada caso las estrategias adecuadas.
10 y 15
Selecciona los datos apropiados para resolver un
problema. 2 y 7
Elementos
Utiliza con precisión procedimientos de cálculo, fórmulas y algoritmos para la resolución de problemas.
13 y 16
EDUCACIÓN PRIMARIA
DESTREZAS Ítems
Reproducción 4, 7, 8, 12, 14, 18 y 20
Conexión 2, 3, 6, 9, 10, 11, 15, 16, 17 y 19
EDUCACIÓN SECUNDARIA DIMENSIONES Y ELEMENTOS
Dimensión 1 – Producir e interpretar informaciones, tomando
decisiones a partir de los datos disponibles Ítems
Identifica el significado de la información numérica y
simbólica. 8
Ordena información utilizando procedimientos
matemáticos. 6 y 7
Comprende la información presentada en un
formato gráfico. 11
Elementos
Elabora gráficos, cuadros, tablas y diagramas a partir
de datos derivados de una situación cotidiana. 4 y 15 Dimensión 2 – Expresión matemática a partir de la identificación
de aspectos cuantitativos y espaciales de la realidad
Se expresa utilizando vocabulario y símbolos
matemáticos básicos. 13 y 18
Utiliza formas adecuadas de representación según el
propósito y naturaleza de la situación. 20
Expresa correctamente resultados obtenidos al
resolver problemas. 9
Elementos
Justifica resultados expresando argumentos con base
matemática. 3 y 12
Dimensión 3 – Plantear y resolver problemas relacionados con la vida diaria y el mundo laboral
Traduce las situaciones reales a esquemas o
estructuras matemáticas. 17 y 19
Valora la pertinencia de diferentes vías para resolver problemas con criterios matemáticos, seleccionando en cada caso las estrategias adecuadas.
14
Selecciona los datos apropiados para resolver un
problema. 2 y 10
Elementos
Utiliza con precisión procedimientos de cálculo, fórmulas y algoritmos para la resolución de problemas.
1, 5 y 16
EDUCACIÓN SECUNDARIA
DESTREZAS Ítems
Reproducción 1, 4, 6, 16 y 17
Conexión 2, 3, 5, 7, 8, 9, 10, 12, 14, 18, 19 y 20
Las garantías científicas de calidad están representadas globalmente por la fiabilidad, validez y objetividad de las pruebas en la aplicación experimental a partir de los resultados obtenidos en los análisis.
a. La fiabilidad de la prueba hace referencia a la precisión de la medida. El estadístico de fiabilidad utilizado fue el valor Alfa de Cronbach y, desde el punto de vista técnico, una prueba es bastante fiable cuando su coeficiente se sitúa entre 0,80 y 0,90 sobre un máximo de 1,00.
b. La validez de una prueba hace referencia a su significatividad; es decir, si evalúa realmente aquello para lo que fue construida. La validez de la prueba se obtuvo a partir de un doble sistema: la validez de contenido y la validez de criterio.
La validez de contenido representa al propio contenido de los ítems, y dado que fue elaborada por expertos, este hecho permite suponer su adecuación para medir aquello que pretende medir. Por otro lado, uno de los criterios externos más utilizados en la validación de una prueba es la valoración o juicio del profesorado, puesto que éste tiene un conocimiento real del rendimiento de su alumnado en distintos ámbitos. Para comprobar la validez criterial de la prueba, cada uno de los maestros y profesores del alumnado evaluado en la fase experimental valoraron el rendimiento de cada alumno y alumna, sin conocer la puntuación obtenida en las pruebas, y asignaron a cada uno de ellos una puntuación de 1 a 4 según el nivel de consecución de los objetivos durante el curso. Esta valoración corresponde a la siguiente clasificación: 1) No consigue los objetivos previstos; 2) consigue los objetivos aunque para ello necesita un poco de ayuda; 3) consigue los objetivos previstos según lo esperado; 4) sobrepasa los objetivos previstos.
Una vez que se dispuso de la puntuación del sujeto en la prueba con los 20 ítems seleccionados, se calculó el coeficiente de correlación de Pearson entre la valoración del docente y la puntuación obtenida. La interpretación que hacemos de cada uno de los coeficientes de correlación obtenidos indican que las cuatro pruebas son muy válidas; esto es, existe una adecuada concordancia entre la valoración del profesor y la puntuación total obtenida en cada competencia básica evaluada. Desde el punto de
vista cuantitativo, se observa que todos los coeficientes de correlación tienen un valor de significación inferior al 0,001, que es el indicador de una relación significativa.
c. La objetividad en la puntuación fue comprobada mediante un sistema de doble corrección. Para constatarlo, se seleccionaron aleatoriamente 40 alumnos y alumnas (20 de primaria y 20 de secundaria en cada una de las competencias evaluadas) y se efectuó una segunda corrección de las pruebas aunque, en este caso, por correctores diferentes a los que corrigieron la primera vez. Se comprobó que las puntuaciones otorgadas en la primera corrección eran muy similares en la segunda corrección. El grado de relación entre ambas correcciones queda expresado matemáticamente por el coeficiente de correlación de Pearson, que será muy elevado cuando supere el valor de 0,90 (hipotéticamente, la correlación perfecta es 1,00).
Desde el punto de vista formal, se tuvieron en cuenta las características de los destinatarios, tanto en el lenguaje utilizado en la redacción de los ítems así como en las instrucciones de aplicación y en el diseño. En este sentido, se elaboró un cuaderno del alumno con un diseño atractivo y motivador en relación con el tipo y tamaño de la letra, márgenes, ilustraciones y espacios para las respuestas.
En cuanto a la puntuación, y para facilitar la interpretación se transformó la escala original que permitía puntuaciones de los sujetos entre 0 y 40, en una escala transformada con una media de 500 y una desviación típica de 100, tal y como se ha hecho en otros estudios nacionales e internacionales. Además, se comprobó en la aplicación experimental que la distribución de puntuaciones se ajustaba a la Curva normal o campana de Gauss, dividiéndose ésta en cuatro intervalos correspondientes a los cuatro niveles de competencias básicas establecidos. Teniendo en cuenta este hecho, el eje central de la curva deja dos intervalos a la derecha que son los niveles medio-alto (43,5%) y alto de las puntuaciones (6,5%) y dos a la izquierda, que son los niveles medio-bajo (43,5%) y bajo (6,5%). Estos números expresan, de manera aproximada, el porcentaje de sujetos que previsiblemente integrarán cada uno de los cuatro niveles de desarrollo de competencias básicas en los resultados censales.
Fase 5. Aplicación y corrección de las pruebas
Con fecha 5 de abril de 2011 la Dirección General de Política Educativa emitió sendas Instrucciones por las que se regula la Evaluación de Diagnóstico en los centros de Educación Primaria/Secundaria de la Comunidad Autónoma de Extremadura para el curso 2010/2011 que establecen el proceso.
Las pruebas se realizaron los días 4 y 5 de mayo en Primaria, y el día 10 en Secundaria, aplicándose en primer lugar la prueba de la Competencia matemática y, a continuación, la Competencia en comunicación lingüística.
MATERIALES PARA LA APLICACIÓN
La aplicación de las pruebas diagnósticas de competencias básicas en comunicación lingüística y matemática necesitó los siguientes materiales complementarios:
• Cuadernillo del alumno para cada una de las competencias.
• Pruebas adaptadas a necesidades visuales, auditivas o motoras, en su caso.
• Manuales de aplicación y pautas de corrección para los encargados de llevarlas a cabo.
• Grabaciones en audio de los textos que fueron reproducidos mediante dispositivos existentes en los centros.
• Calculadora para cada alumno de educación secundaria que realizaba la prueba de competencia matemática.
• Lápices de colores y regla para cada alumno de educación primaria que realizaba la prueba de competencia matemática.
La aplicación censal de las pruebas diagnósticas requirió del diseño de unas Pautas
CORRECCIÓN
La corrección de las pruebas se llevó a cabo por los maestros y profesores del centro, designados por la dirección por su idoneidad para corregir la prueba, siguiendo los criterios de puntuación establecidos. Posteriormente, los resultados se volcaron en la aplicación informática dispuesta en la plataforma RAYUELA para su análisis.
Para comprobar la objetividad de la corrección, la Orden que regula la evaluación de diagnóstico prevé una muestra de contraste regulada por las Instrucciones que, al respecto, emitió la Dirección General de Política Educativa. Esta muestra, con un aplicador y corrector externo al centro, se hizo en los centros que la Agencia Extremeña de Evaluación Educativa seleccionó con los criterios que recogen las siguientes tablas:
EDUCACIÓN PRIMARIA
Tipo de centro Provincia
Concertado CEIP CRA
Total
Cáceres 1 5 2 8
Badajoz 2 10 0 12
Total 3 15 2 20
SEGMENTACIÓN SEGÚN ÁMBITO POBLACIONAL
Localidades de menos de 40 000 habitantes 15
Localidades de más de 40 000 habitantes 5
Total 20
EDUCACIÓN SECUNDARIA
Tipo de centro Provincia
Concertado IES IESO
Total
Cáceres 2 6 0 8
Badajoz 4 6 2 12
Total 6 12 2 20
SEGMENTACIÓN SEGÚN ÁMBITO POBLACIONAL
Localidades de menos de 40 000 habitantes 12
Localidades de más de 40 000 habitantes 8
Total 20
INTERPRETACIÓN DE LAS PUNTUACIONES
Los resultados de las pruebas diagnósticas ofrecen información sobre el nivel alcanzado por el alumnado en cada competencia. Se establecieron cuatro niveles competenciales que se obtienen a partir de las puntuaciones transformadas en una escala cuyo promedio es de 500 y su desviación típica es 100.
Puntuación transformada = 500 + (Puntuación Directa – Puntuación Media) x 100 Desviación Típica1
Se muestran las descripciones de cada uno de los niveles en cada etapa y en cada una de las competencias evaluadas:
NIVELES DE COMPETENCIA EN COMUNICACIÓN LINGÜÍSTICA
4
Posee un desarrollo elevado de los elementos de la competencia en comunicación lingüística en los ámbitos de la comprensión oral y escrita, y en la expresión escrita, teniendo en cuenta la edad del alumno. En este nivel se encuentra el alumnado que aplica los elementos de competencia adquiridos de forma precisa y creativa.
3
Está desarrollando normalmente los elementos de esta competencia;
aunque presente algunas deficiencias, puede afirmarse que comprende el sentido global tanto de textos orales como escritos y reconoce lo más relevante, es capaz de manejar un vocabulario básico, de resumir un texto sencillo, de extraer información de distintos tipos de textos en ámbitos adecuados a su edad, de realizar pequeñas narraciones o descripciones sobre temas cotidianos y elaborar sencillos comentarios de valoración atendiendo al contenido de los textos.
2
Desarrolla parcialmente algunos elementos de esta competencia, presenta indicadores sobre la posibilidad inmediata de desarrollar esta competencia en niveles acorde con su edad; extrae determinadas informaciones de textos escritos y orales, aunque no todas las que se solicitan y, probablemente, no las más relevantes; realiza interpretaciones y valoraciones parciales del contenido de un texto; elabora síntesis incompletas; respeta algunas convenciones ortográficas y de puntuación, aunque presenta errores.
PRIMARIA
1
Tiene importantes déficits en el desarrollo de los elementos de la competencia en comunicación lingüística, que impiden al alumno aplicarlos para responder con acierto a diferentes situaciones escolares o cotidianas.
1 Es la medida de dispersión más utilizada en las investigaciones por ser la más estable de todas, ya que para su cálculo se utilizan todos los desvíos con respecto a la media aritmética de las observaciones, y
NIVELES DE COMPETENCIA MATEMÁTICA
4
Presenta un alto desarrollo de la competencia en los terrenos de producción e interpretación de información; en la expresión matemática y en el planteamiento y resolución de problemas relacionados con la vida diaria.
3
Ordena la información de manera precisa, utilizando procedimientos matemáticos. Plantea y resuelve problemas traduciendo situaciones reales a esquemas matemáticos. Selecciona los datos adecuados para resolver un problema.
2
Muestra un nivel de competencia en desarrollo. Utiliza formas adecuadas para presentar la información, capacidad limitada para plantear problemas traduciendo situaciones reales a esquemas matemáticos; ejecuta incorrectamente las operaciones y comete errores en la ordenación de la información.
PRIMARIA
1
Tiene importantes déficits en cuanto al desarrollo de la competencia matemática, que impiden al alumno aplicarla para responder con acierto a las diferentes situaciones de la vida cotidiana que se le planteen dentro o fuera del ámbito escolar.
NIVELES DE COMPETENCIA EN COMUNICACIÓN LINGÜÍSTICA
4
El alumno situado en este nivel está logrando un alto desarrollo de la competencia en comunicación lingüística en los ámbitos de la comprensión oral y escrita, y en la expresión escrita. Capta las ideas principales y secundarias de textos orales y escritos de diferente nivel de formalización, comprende las relaciones entre las partes de un texto, identificando su estructura; es capaz de interpretar y valorar textos relacionados con la vida escolar y cotidiana, atendiendo no sólo a elementos de contenido, sino también de la estructura y forma de los textos. Además, es capaz de utilizar un vocabulario relativamente amplio y aplicar correctamente las reglas morfosintácticas y ortográficas.
3
Muestra un desarrollo normal de los distintos elementos de competencia definidos, aunque se puedan observar algunas posibles deficiencias que deben ser objeto de mejora. El alumnado situado en este nivel presenta un desarrollo normal de la comprensión y la expresión. Extrae sin dificultad las ideas principales de un texto y aplica su conocimiento sobre la lengua para comprender las situaciones que se le proponen y para su expresión. Es mejorable su desarrollo competencial en producción de textos: cohesión sintáctica, precisión semántica, corrección ortográfica;
así como en la interpretación y valoración de determinados textos.
2
Desarrolla parcialmente algunos elementos de esta competencia. Se observan dificultades en la adquisición de esta competencia, aunque presenta indicadores sobre las posibilidades reales de desarrollar normalmente todos los elementos de esta competencia: extrae determinadas informaciones de textos escritos y orales, aunque no todas las que se solicitan y, probablemente, no las más relevantes, realiza interpretaciones y valoraciones parciales del contenido de un texto, elabora síntesis incompletas, respeta algunas convenciones ortográficas y de puntuación, aunque presenta errores.
SECUNDARIA
1
Tiene importantes déficits en el desarrollo de los elementos de la competencia en comunicación lingüística, que impiden al alumno aplicarlos para responder con acierto a diferentes situaciones escolares o cotidianas.
NIVELES DE COMPETENCIA MATEMÁTICA
4
Presenta un alto desarrollo de la competencia. Identifica el significado de la información numérica y simbólica, ordenándola con procedimientos matemáticos y comprendiéndola cuando se presenta en un formato gráfico en los distintos ámbitos. Expresa correctamente los resultados obtenidos al resolver problemas, valorando la pertinencia de diferentes vías de solución y justifica los resultados.
3
El alumno ha alcanzado de forma satisfactoria aunque mejorable los distintos elementos de la competencia. Ordena y comprende la información presentada en un formato gráfico en prácticamente todas las situaciones. Demuestra capacidad suficiente para plantear y resolver problemas cotidianos mediante procedimientos matemáticos, justificando los resultados.
2
Muestra un desarrollo parcial deficiente de la competencia, aunque parte de un nivel aceptable para su desarrollo. Resuelve con acierto parcial algunas situaciones en las que se requiere plantear e interpretar información, expresar matemáticamente aspectos de la vida cotidiana y plantear y resolver problemas contextualizados.
SECUNDARIA
1
Tiene importantes déficits en el desarrollo de la competencia matemática, que impiden al alumno aplicarla para responder con acierto a las diferentes situaciones de la vida cotidiana que se le plantean dentro o fuera del ámbito escolar.
III. CONTEXTO
Se considera contexto el conjunto de circunstancias y realidades personales, sociales, escolares y comunitarias en las que se desenvuelve el alumnado. La situación o el contexto en el que se encuentra un alumno es factor determinante en su educación.
Como han puesto de manifiesto estudios nacionales e internacionales de evaluación, el grado de adquisición de las competencias básicas por el alumnado tiene relación con el estatus social, económico y cultural de las familias. Por ello, la relación entre el ISEC (índice socioeconómico y cultural) y el rendimiento del alumnado se puede interpretar como una medida más de la equidad del sistema educativo. Una relación baja indica que el sistema reproduce en menor grado en los resultados las diferencias socioeconómicas y culturales entre las familias de los alumnos y, por tanto, es más equitativo que otro sistema en el que estas diferencias se reproduzcan en mayor grado.
Una de las conclusiones de PISA 2000 es que la composición social de la población de estudiantes de una escuela es mejor predictor del rendimiento de los alumnos que el entorno social individual. Precisamente por esto, el ISEC de cada centro está construido como el resultado de la aportación del ISEC de cada uno de los alumnos que han realizado la evaluación de diagnóstico, y es común para todos.
Fuertemente asociado al concepto de ISEC y al de calidad educativa se desarrolla el concepto de valor añadido de un centro. Se considera que un centro educativo añade valor cuando el alumnado supera el rendimiento esperado en función de su situación escolar y socioeconómica. El valor añadido describe la diferencia entre el logro académico obtenido y el esperado, teniendo en cuenta las características de los estudiantes y del contexto, y es fundamental para evaluar su calidad, puesto que va más allá de la mera comparación directa de los resultados obtenidos por los centros.
Para construir el ISEC, seleccionamos aquellas variables socio-familiares que se consideran más relevantes. Partiendo del cuestionario cumplimentado por las familias y teniendo como criterios de selección los siguientes:
Que hagan directamente referencia al contexto en el que se desenvuelve la familia.
Que sean las mismas variables tanto en primaria como en secundaria.
Que no haya un excesivo número de valores perdidos.
Que el conjunto de variables seleccionadas estén relacionadas con el rendimiento competencial del alumnado tanto en primaria como en secundaria.
Se obtienen índices diferenciados para cada una de las etapas. Las 9 variables seleccionadas para la construcción del ISEC fueron las siguientes:
Nº VARIABLE
CUESTIONARIO DESCRIPCIÓN DE LA VARIABLE
A Perfil profesional de la madre o tutora legal 5
B Perfil profesional del padre o tutor legal
A Nivel educativo más alto que ha finalizado la madre o tutora 6
B Nivel educativo más alto que ha finalizado el padre o tutor
7 Número de libros que hay en casa (sin contar revistas, libros juveniles o de texto)
8 Número de libros juveniles sin contar libros de texto o revistas
11 Durante una semana, ¿cuánto tiempo dedican ustedes a la lectura en casa?
12E Indicar hasta que punto se está de acuerdo con la afirmación: leer es una actividad importante en mi casa
13 Aproximadamente, ¿cuánto tiempo dedica su hijo o hija en casa, a hacer los deberes y estudiar cada día?
Tras un proceso de análisis factorial de los datos se obtiene el ISEC de cada centro educativo de la Comunidad Autónoma de Extremadura.
Una vez se dispone de una puntuación que resume el ISEC de cada centro, ésta se emplea para corregir el resultado absoluto del alumnado en una prueba de rendimiento académico. Esta corrección se lleva a cabo para intentar responder una cuestión capital dentro de los estudios sobre sistemas educativos: ¿puede un centro lograr resultados más allá de lo esperado según los antecedentes sociológicos del alumnado que escolariza?
IV. LA EVALUACIÓN DE DIAGNÓSTICO EN RAYUELA
Para una mejor gestión y seguimiento de la evaluación de diagnóstico, y como sucede en otros procesos educativos, la plataforma Rayuela ha dado soporte a los distintos procedimientos que ésta comprende, desde la distribución del material hasta la emisión de los informes.
Las actuaciones realizadas pueden dividirse en tres grupos: anteriores a la aplicación de las pruebas, entre la aplicación y la emisión de informes y la publicación de informes. El correo interno de la Plataforma Rayuela ha sido la principal vía de comunicación entre la AEEE y los centros públicos y concertados; en el caso de los centros privados se ha utilizado el correo electrónico corporativo.
De esta forma, dicha plataforma, ha sido un instrumento muy útil en las tres etapas del proceso.
IV.1. Actuaciones anteriores a la aplicación de las pruebas
Reunión de la AEEE con los responsables de la empresa adjudicataria del proyecto donde se fijaron las actuaciones, los responsables de las mismas y el calendario necesario para conseguir que las pruebas se aplicaran en los tiempos que previamente se habían fijado en el calendario escolar para el curso 2010- 2011.
En la misma reunión, y con responsables de la Plataforma Rayuela, se les trasladaron a la empresa accesos específicos a la Plataforma que permitieron llevar un mejor control tanto de la entrega del material, como de las posibles incidencias surgidas para su pronta subsanación. Este seguimiento se lleva a cabo de forma paralela por la empresa y la AEEE. La información que se debe gestionar, así como las posibles incidencias en el proceso, quedan reflejadas en las siguientes pantallas de la Plataforma:
La AEEE, por primera vez en esta edición de la Evaluación de diagnóstico, ha supervisado las distintas situaciones del alumnado destinatario de la evaluación:
alumnos matriculados en 4º de E.P. y 2º de E.S.O. sin necesidad de adaptación;
alumnos con necesidad de adaptación del instrumento de evaluación (cuadernos de las dos competencias adaptados a discapacidad visual, auditiva o motora); y alumnos objeto de estudio diferenciado (alumnos con adaptación curricular individual significativa global o alumnos extranjeros que llevan menos de un año escolarizados en España).
Los Equipos de Orientación en Primaria y los Departamentos de Orientación en Secundaria son los competentes para fijar los niveles de competencia curricular correspondientes a los alumnos del tercer grupo y reflejarlos en la Plataforma. Previamente a la aplicación de las pruebas, la AEEE ha puesto en marcha todas las actuaciones necesarias con el objetivo de poder contar para todos estos alumnos con esta información imprescindible, punto de partida del
Las Pautas de Aplicación de las dos etapas estuvieron disponibles en Rayuela con la suficiente antelación en la ruta: Manuales /Centro /Evaluación de Diagnóstico /Pautas de Aplicación Primaria /Secundaria.
IV.2. Actuaciones entre la aplicación y la emisión de informes
En el perfil del Director/a y en la ruta Manuales /Centro /Evaluación de Diagnóstico /Pautas de Corrección, los centros tuvieron a su disposición el documento inmediatamente después de la aplicación de las pruebas.
Los profesores correctores, previamente designados por el Director, introducen los resultados de las pruebas.
La AEEE llevó a cabo un seguimiento del volcado de los resultados en Rayuela con el objetivo de que, a la finalización del plazo establecido en las Instrucciones, la totalidad de los centros tuvieran reflejados sus resultados, requisito imprescindible para la emisión de los Informes.
Al finalizar la actuación anterior, la AEEE, a través del correo interno de Rayuela, puso a disposición de los centros una herramienta que permite obtener una primera impresión del nivel de adquisición de las competencias evaluadas en el alumnado del centro, teniendo en cuenta que estos datos eran resultados directos de los alumnos sin la enriquecedora contextualización de los mismos que permite situar al alumno, al grupo y al centro respecto a la comunidad autónoma y respecto a los centros de su mismo contexto socioeconómico y cultural. Los Manuales de uso de esta herramienta se encuentran disponibles en la ruta: Manuales /Centro /Evaluación de diagnóstico /Avance de resultados /Manual de uso (modelo OpenOffice o
Paralelamente, los/as Directores/as consignaron en la Plataforma que los cuestionarios de contexto estaban disponibles, una vez cumplimentados por las familias. A su vez la empresa comunicó al centro la fecha de recogida. La AEEE llevó a cabo un seguimiento de todo el proceso resolviendo las incidencias surgidas.
IV.3. Publicación de informes
La Plataforma Rayuela facilita la consulta y el acceso a la información resultante del proceso. Así, los centros pueden generar automáticamente los siguientes informes: del alumno para la familia, del alumno para el centro, del grupo y del centro, por cada una de las competencias.
A continuación se expone un ejemplo de cada uno de los informes que se generan.
o Resultado de la evaluación de diagnóstico del alumno (para la familia).
En este informe aparece el nivel de adquisición de cada una de las dimensiones de la competencia por el alumno (ponderadas según su contexto), el porcentaje de adquisición de cada dimensión (que se obtiene a partir de la puntuación directa obtenida por el alumno en los ítems que evalúan cada dimensión) y unas sugerencias de líneas de trabajo en aquellas dimensiones que el alumno tiene menos desarrolladas (por debajo o igual al 75%).
El informe pretende ser útil para la familia por presentar de una forma detallada la situación del alumno, lo que permite detectar fácilmente los déficits y colaborar en
o Resultado de la evaluación de diagnóstico del alumno (para el centro).
En este informe, además de los datos que aparecen en el anterior modelo de informe, se reflejan la puntuación contextualizada del alumno y su situación con
o Resultado de la evaluación de diagnóstico del grupo (para el centro).
El informe refleja la situación del grupo contextualizada, el nivel de desarrollo de las distintas dimensiones, la situación con respecto al centro y las sugerencias de líneas de trabajo para todas las dimensiones de la competencia.
La última parte tiene como objetivo fundamental abundar en el carácter formativo que tiene la evaluación de diagnóstico y pretende orientar al tutor, y al equipo docente, en las líneas de trabajo que son necesarias poner en marcha para conseguir elevar el nivel de adquisición de la competencia evaluada por parte del alumnado.
o Resultado de la evaluación de diagnóstico del centro (para el centro)
Este modelo de informe consta de las siguientes partes: la situación contextualizada, el nivel de desarrollo de las dimensiones que tienen los alumnos que han realizado la prueba y un enlace de interés donde se informa sobre las dimensiones y elementos de las competencias evaluadas.
Finalmente, para que el desarrollo global de todo el proceso sea óptimo, los usuarios implicados han contado además con la ayuda y asesoramiento del centro de atención a usuarios (C.A.U.). Éste ha dado soporte funcional en los procesos relacionados con la plataforma y ha resuelto, adecuadamente, otro tipo de consultas más específicas de procedimiento.
Los Informes de los alumnos, objeto de estudio diferenciado, se han elaborado en la Agencia Extremeña de Evaluación Educativa siguiendo la misma estructura que los que emite la Plataforma para el resto del alumnado y se han puesto a disposición de los centros utilizando el correo electrónico de la Plataforma Rayuela en el perfil del Director.
