Reporte técnico de la Evaluación Censal de Estudiantes (ECE 2016)

(1)

Reporte técnico de la Evaluación

Censal de Estudiantes (ECE 2016)

2.° grado y 4.° grado de primaria

(2)

Reporte técnico de la Evaluación

Censal de Estudiantes (ECE 2016)

2.° grado y 4.° grado de primaria

(3)

Idel Vexler Talledo

Ministro de Educación del Perú Henry Harman Guerra

Viceministro de Gestión Institucional Guillermo Molinari Palomino

Viceministro de Gestión Pedagógica Ana Grimanesa Reategui Napuri Secretaria General

Jorge Zapata Gallo

Secretario de Planificación Estratégica Humberto Pérez León Ibáñez

Jefe de la Oficina de Medición de la Calidad de los Aprendizajes

Reporte técnico de la Evaluación Censal de Estudiantes (ECE) 2016 segundo y cuarto de primaria (EBR y EIB), segundo de secundaria

Equipo técnico

Andrés Burga León (coordinador) Yoni Arámbulo Mogollón

Diana Marchena Palacios Luis Mejía Campos

Sandra del Pilar Montero Urbina Tania Pacheco Valenzuela Juan Carlos Saravia Drago Yuriko Sosa Paredes

©Ministerio de Educación, 2018 Calle Del Comercio 193, San Borja Lima, Perú

Teléfono: (511) 615-5800 www.minedu.gob.pe

(4)

En el presente documento, se utilizan de manera inclusiva términos como “el docente”, “el estudiante” y sus respectivos plurales (así como otras palabras equivalentes en el contexto educativo) para referirse a hombres y mujeres. Esta opción se basa en una convención idiomática y tiene por objetivo evitar las formas para aludir a ambos géneros en el idioma castellano (“o/a”, “los/las” y otras similares), debido a que implican una saturación gráﬁca que puede diﬁcultar la comprensión lectora.

(5)

Índice

Introducción . . . . 7

Capítulo 1: Construcción de las pruebas aplicadas en la ECE . . . . 11

1.1 Construcción de las pruebas aplicadas en la ECE . . . 12

1.1.1 Construcción de los ítems y las pruebas . . . 12

1.1.2 Procesos de validación de los instrumentos de evaluación . . 14

1.1.3 El ensamblaje de las pruebas . . . 18

Capítulo 2: Población y muestra . . . . 25

2.1 Población objetivo . . . 26 2.2 Marco muestral . . . 27 2.2.1 Muestra de Control . . . 28 2.3 Estimación de resultados . . . 34 2.3.1 Segundo de primaria . . . 34 2.3.2 Cuarto de primaria . . . 35 2.3.3 Secundaria . . . 35

Capítulo 3: Operativo de campo . . . . 37

3.1 Organización territorial del operativo . . . 39

3.2 Conformación de la Red Administrativa de aplicación . . . 40

3.3 Proceso de selección y capacitación del personal de la RA . . . 41

3.4 Características de los instrumentos y documentos utilizados . . . 44

3.5 Proceso de aplicación . . . 46

Capítulo 4: Propiedades psicométricas . . . . 53

4.1 El modelo Rasch para ítems dicotómicos . . . 55

4.2 El modelo Rasch de crédito parcial . . . 59

4.3 El modelo de Rasch frente a otros modelos psicométricos . . . 62

4.3.1 El modelo Rasch frente a la teoría clásica de los test (TCT) . . 62

4.3.2 El modelo Rasch frente a la teoría de respuesta al ítem (IRT) . 63 4.4 Programa informático utilizado para el análisis Rasch . . . 65

4.5 Análisis de ítems . . . 66

4.5.1 Segundo grado de primaria . . . 69

4.5.2 Cuarto grado de primaria EBR . . . 71

4.5.3 Cuarto grado de primaria EIB . . . 75

4.5.4 Segundo grado de secundaria . . . 81

4.6 Evidencias de la conﬁabilidad de las medidas . . . 87

4.7 Evidencias de validez . . . 91

4.7.1 Evidencias de validez referidas al contenido de las pruebas . 92 4.7.2 Evidencias de validez referidas a la estructura interna de las pruebas . . . 94

(6)

4.8 Proceso de codiﬁcación de preguntas de respuesta construida . . . . 96

4.8.1 Precisión . . . 96

4.8.2 Acuerdo . . . 97

4.8.3 El proceso de codiﬁcación . . . 97

4.9 Equiparación de puntuaciones . . . 99

4.9.1 Segundo grado de primaria . . . 104

4.9.2 Cuarto grado de primaria EIB . . . 105

4.9.3 Segundo de Secundaria . . . 108

4.10 Niveles de logro y presentación de resultados . . . 110

Referencias . . . . 115

Anexos . . . 121

A Ejemplo de ﬁcha técnica de revisión de ítems . . . 122

B Especiﬁcaciones ECE 2016. Lectura – castellano: 2.° grado de primaria124 C Especiﬁcaciones ECE 2016. Matemática: 2.° grado de primaria . . . . 131

D Especiﬁcaciones ECE 2016. Lectura – castellano: 4.° grado de primaria138 E Especiﬁcaciones ECE 2016. Matemática: 4.° grado de primaria . . . . 146

F Especiﬁcaciones ECE 2016. Lectura – castellano como segunda lengua: 4.° grado de primaria EIB . . . 164

G Especiﬁcaciones ECE 2016. Lectura – 4.° grado de primaria EIB: aimara168 H Especiﬁcaciones ECE 2016. Lectura – 4.° grado de primaria EIB: asháninka . . . 172

I Especiﬁcaciones ECE 2016. Lectura – 4.° grado de primaria: quechua Cusco Collao . . . 177

J Especiﬁcaciones ECE 2016. Lectura – 4.° grado de primaria EIB: quechua Chanka . . . 181

K Especiﬁcaciones ECE 2016. Lectura – 4.° grado de primaria EIB: shipibo-konibo . . . 186

L Especiﬁcaciones ECE 2016. Lectura – castellano: 2.° grado de secundaria . . . 191

M Especiﬁcaciones ECE 2016. Matemática: 2.° grado de secundaria . . 202

N Especiﬁcaciones ECE 2016. Historia, Geografía y Economía: 2.° grado de secundaria . . . 221

Ñ Porcentaje de selección y correlación alternativa - medida de la prueba de Lectura. ECE 2016, segundo grado de primaria . . . 236

O Porcentaje de selección y correlación alternativa-medida de la prueba de Matemática. ECE 2016, segundo grado primaria . . . 241

P Porcentaje de selección y correlación alternativa - medida de la prueba de Lectura. ECE 2016, cuarto grado de primaria . . . 246

Q Porcentaje de selección y correlación alternativa - medida de la prueba de Matemática. ECE 2016, cuarto grado de primaria . . . 254

(7)

R Porcentaje de selección y correlación alternativa - medida de la prueba de Lectura – lenguas originarias. ECE 2016, cuarto grado de primaria EIB . . . 264 S Porcentaje de selección y correlación alternativa - medida de la

prueba de Lectura – castellano como segunda lengua. ECE 2016, cuarto grado de primaria EIB . . . 283 T Porcentaje de selección y correlación alternativa - medida de la prueba

de Lectura. ECE 2016, segundo grado secundaria . . . 287 U Porcentaje de selección y correlación alternativa - medida de la prueba

de Matemática. ECE 2016, segundo grado secundaria . . . 297 V Porcentaje de selección y correlación alternativa - medida de la

prueba de Historia, Geografía y Economía. ECE 2016, segundo grado secundaria . . . 307

(8)

(9)

7

Introducción

En el 2006, el Ministerio de Educación del Perú (Minedu) tomó la decisión de llevar a cabo evaluaciones de carácter censal con la ﬁnalidad de informar sobre el estado de los aprendizajes de los estudiantes considerando un principio de equidad, según el cual todos los estudiantes, sin excepción, deben tener acceso a una educación de calidad (Ministerio de Educación, 2016).

En tal sentido, en sus inicios, la Evaluación Censal de Estudiantes (ECE) estuvo orientada hacia los estudiantes de segundo grado de primaria y, en caso de que en las instituciones educativas (IE) se aplique el Programa de Educación Intercultural Bilingüe (EIB), se evaluó a los estudiantes de cuarto grado de primaria. A partir del año 2015, se inicia la evaluación censal en segundo grado de secundaria, considerando las áreas de Lectura y Matemática. Además, desde el año 2016, se evalúa el área de Historia, Geografía y Economía, y también empieza la evaluación censal en cuarto grado de primaria (EBR) en las áreas de Lectura y Matemática. De esta manera se busca producir información referida al logro de los aprendizajes mínimos esperados según el currículo oﬁcial que pueda luego ser utilizada por el sistema escolar y sus actores (padres de familia, directores y docentes de todas las escuelas, especialistas y autoridades de las Unidades de Gestión Educativa Local (UGEL), Direcciones Regionales de Educación (DRE) y Minedu) con la ﬁnalidad de mejorar los aprendizajes en las áreas y competencias evaluadas.

Dada esta ﬁnalidad, la ECE formula dos objetivos generales (Ministerio de Educación, 2016):

1. Dar información sobre los logros de aprendizaje de los estudiantes peruanos en las siguientes áreas:

• Comunicación y Matemática en 2.° grado de primaria, 4.° grado de primaria no EIB y 2.° grado de secundaria

• Comunicación en 4.° grado de primaria EIB

• Historia, Geografía y Economía en 2.° grado de secundaria

2. Comparar en el tiempo los resultados para informar sobre la evolución de los aprendizajes.

Para lograr los objetivos antes mencionados, la Oﬁcina de Medición de la Calidad de los Aprendizajes (UMC) del Minedu, contando con el Instituto Nacional de Estadística e Informática (INEI) como operador logístico, aplicó las pruebas ECE el 20 y 30 de noviembre del 2016 a los alumnos de segundo y cuarto grado de primaria de la EIB. En el caso de los alumnos de segundo grado de secundaria, las pruebas se aplicaron el 21, 22 y 23 de noviembre del 2016. Finalmente, en el caso de los

(10)

8

estudiantes de cuarto grado de primaria de la EBR, la aplicación se efectuó los días 1 y 2 de diciembre del 2016. Es importante señalar que este operativo estuvo dirigido a las IE de nivel primario y secundario de la Educación Básica Regular (EBR) con cinco o más estudiantes matriculados en el grado por evaluar (segundo grado de primaria, cuarto grado de primaria EIB y segundo grado de secundaria). Respecto a la cantidad de pruebas aplicadas, en segundo grado de primaria, se aplicaron dos cuadernillos de Lectura y dos de Matemática. En cuarto grado de primaria EIB, se aplicaron dos cuadernillos de Lectura en castellano como segunda lengua. En segundo grado de secundaria, se aplicaron dos cuadernillos de Lectura, dos de Matemática, y uno de Historia, Geografía y Economía.

En cuanto al proceso de la ECE, este comprende las actividades de diseño, construcción y aplicación de instrumentos; recolección, procesamiento y análisis de información; y elaboración y difusión de resultados. De manera general, el procesamiento y el análisis de información implican los siguientes pasos:

1. Depurar las bases de datos. Con ello se garantiza la calidad de la información que será utilizada para entregar resultados globales e individuales de la ECE. 2. Calibrar los ítems aplicando el modelo Rasch dicotómico. En esta etapa, se

eliminan del análisis aquellos ítems que no han mostrado un adecuado ajuste al modelo Rasch.

3. Analizar el funcionamiento diferencial de los ítems a lo largo del tiempo (denominado ítem drift). Para ello, se aplican métodos gráﬁcos e inferenciales, usando como punto de referencia las medidas estimadas para los ítems comunes entre las ECE de dos años consecutivos.

4. Equiparar los ítems de la actual ECE con la ECE del año anterior. Para ello, se calculan las constantes de equiparación, omitiendo aquellos ítems que en el paso anterior han mostrado un marcado funcionamiento diferencial entre los años.

5. Una vez equiparadas las medidas de diﬁcultad de todos los ítems, estas son utilizadas para estimar las medidas de habilidad de todos los estudiantes evaluados.

6. Considerando el valor de las medidas de diﬁcultad de los ítems que marcan los dos puntos de corte de la ECE, se asigna a cada estudiante a un nivel de desempeño, según su probabilidad de responder correctamente un ítem con una diﬁcultad análoga a la del que marca el punto de corte.

7. Calcular los pesos por estudiante requeridos en la muestra de control, considerando el estrato al cual pertenece cada estudiante.

8. Calcular el porcentaje de estudiantes en cada nivel de desempeño, tanto para los resultados nacionales como por estrato, además de su respectivo error estándar, considerando el diseño muestral complejo utilizado.

(11)

9

Para ﬁnalizar, debe señalarse que el objetivo del presente documento es detallar los procesos de construcción de las pruebas aplicadas en la ECE 2016, la población y la muestra utilizadas, la forma de organización del operativo y las estrategias de análisis psicométrico aplicadas. Se recomienda que la lectura de este reporte técnico se haga en conjunto con los marcos de fundamentación de la ECE (Ministerio de Educación, 2016).

En el primer capítulo, se describe el proceso de construcción de los instrumentos aplicados. Se señalan los criterios que se siguen en la elaboración de los ítems, el recojo de evidencias de validez vinculadas al contenido de los ítems, y el proceso piloto y deﬁnitivo de recojo de información.

En el segundo capítulo, se describen la población objetivo y el marco muestral utilizado. Además, se señala qué es la muestra de control, cómo fue deﬁnido su tamaño y los pesos utilizados en la estimación de los diversos parámetros derivados de dicha muestra. Este capítulo culmina con el análisis de los posibles sesgos por cobertura.

El tercer capítulo aborda los aspectos relacionados con el operativo de campo. Describe la forma cómo se organizó la red administrativa, el modo cómo fueron seleccionados y capacitados los aplicadores, y la manera cómo se recolectaron los datos en el contexto de la ECE 2016.

Finalmente, el cuarto capítulo describe el modelo Rasch utilizado para los análisis psicométricos. Se pone énfasis en la forma cómo se analizaron los ítems, y cómo se obtuvieron evidencias de conﬁabilidad y validez. Además, se describe cómo se realizaron los procesos de corrección de respuestas construidas y de equiparación de medidas, la forma cómo se establecieron los puntos de corte en segundo grado de secundaria, así como la manera cómo se presentaron los resultados de los estudiantes evaluados.

(12)

(13)

Construcción

de las pruebas

aplicadas en la ECE

(14)

12

Capítulo 1

Construcción de las pruebas

_{aplicadas en la ECE}

1.1. Construcción de las pruebas aplicadas en la ECE

La UMC cuenta con un equipo de evaluación conformado por especialistas de Matemática, Comunicación, Educación Intercultural Bilingüe, Ciencias Sociales, y Ciencia Tecnología y Ambiente. Este equipo es el encargado de elaborar las pruebas y demás instrumentos para las diversas evaluaciones y estudios que están bajo la responsabilidad de la UMC, entre ellos, la ECE, que tiene una especial importancia por evaluar a toda la población estudiantil de los grados seleccionados. 1.1.1. Construcción de los ítems y las pruebas

La construcción tanto de los ítems como de las pruebas sigue los principios de validez, confiabilidad y diseño universal de evaluación. Estos establecen que los instrumentos de evaluación deben recoger información de los estudiantes de tal manera que se pueda estimar de forma fiable su nivel de aprendizaje y que dicha información pueda ser usada para los fines propios del proceso educativo (American Educational Research Association, American Psychological Association & National Council of Measurement in Education, 2014). Asimismo, debe reflejar una concepción inclusiva de la educación, conforme a los lineamientos de la política educativa nacional (Ministerio de Educación, 2015).

En el caso de las pruebas de la ECE, se emplean ítems de dos formatos: de opción múltiple y de respuesta construida. Cada uno de ellos es entendido de la siguiente forma:

Ítem de opción múltiple. Este formato de ítem se constituye por un enunciado o una

pregunta que debe ser respondida eligiendo solamente una opción (o alternativa) de entre varias que se presentan. Esto implica que una de las opciones funciona como clave (la que completa correctamente el enunciado o pregunta), mientras que el resto de las alternativas funciona como distractores (respuestas incorrectas). En segundo grado de secundaria, alguno de los distractores puede constituir una respuesta intermedia o incompleta y, por lo tanto, modelada como un ítem de crédito parcial (puntaje parcial). En el caso de la ECE, se ha determinado que, para segundo grado de primaria y cuarto grado de primaria EIB, se presentan tres opciones en cada ítem de opción múltiple, mientras que, para los demás grados, se presentan cuatro opciones.

(15)

13

Capítulo 1

REPORTE TÉCNICO ECE 2016

Para cada ítem de opción múltiple, la construcción de su enunciado y sus alternativas sigue las pautas ofrecidas por Moreno, Martínez y Muñiz (2004). De acuerdo con lo propuesto por estos autores, se consideran las siguientes pautas:

Respecto de la construcción del ítem en general

• Debe haber correspondencia entre el ítem y el indicador que evalúa.

• La complejidad de la tarea solicitada debe ser adecuada para el estudiante según el grado.

• El ítem debe estar libre (en la medida de lo posible) de todo sesgo sociocultural, socioeconómico, de género o de religión.

• El ítem no debe estar relacionado con ningún otro ítem de la prueba; es decir, la respuesta correcta no puede inferirse a partir de otro ítem.

Respecto de la construcción del enunciado

• Lo central debe expresarse en el enunciado. Cada opción es un complemento de este.

• El enunciado debe concordar gramaticalmente con todas las alternativas. • La sintaxis o estructura gramatical debe ser clara y precisa; es decir, el

enunciado debe estar claramente redactado, evitando enunciados demasiado escuetos, profusos, ambiguos o confusos.

• En lo posible, debe evitarse redactar el enunciado de forma negativa. Si hubiera necesidad de usar una expresión negativa, esta debe resaltarse.

• El enunciado debe estar libre de elementos irrelevantes e innecesarios. Respecto de la construcción de las alternativas

• La opción correcta debe ser solo una y debe estar acompañada por distractores plausibles.

• A lo largo de la prueba, la opción correcta debe estar distribuida entre las distintas ubicaciones.

• Las opciones deben ser preferiblemente tres o cuatro. En el caso de la prueba de segundo grado de primaria, se tiende a ofrecer tres para evitar que el estudiante, debido a su edad, haga un mayor esfuerzo cognitivo en la lectura que en la solución del ítem. En el caso de los demás grados evaluados, se determinaron cuatro alternativas.

• Las opciones deben disponerse, de preferencia, de forma vertical. • El conjunto de opciones de cada ítem debe aparecer estructurado.

(16)

14

• Las opciones deben ser autónomas entre sí, sin solaparse ni referirse unas a otras.

• Se deben evitar en todo momento las opciones “Todas las anteriores” y “Ninguna de las anteriores”.

• Ninguna opción debe destacar entre las demás, ni en contenido ni en apariencia.

• Las alternativas deben estar libres de palabras, frases o imágenes irrelevantes. • Se deben emplear como distractores los errores posibles y más frecuentes en

la resolución del ítem.

Ítem de respuesta construida. Este formato de ítem se compone únicamente de un

enunciado que demanda una tarea al estudiante evaluado. Se espera que el estudiante redacte su respuesta. La inclusión de este tipo de ítem responde a la necesidad de explorar tanto los procedimientos involucrados en la resolución de un ítem como las habilidades complejas de argumentación, evaluación, juicio crítico y toma de decisiones razonada. Las respuestas de los estudiantes a este tipo de ítem son codificadas por codificadores expertos en el área y especialmente capacitados. Estos, de preferencia, poseen experiencia en procesos similares. Los codificadores pasan por un riguroso proceso de capacitación que les permite apropiarse de la lógica de los ítems, los criterios de codificación y las posibles respuestas. Tanto para el proceso de capacitación previa, como para la codificación en sí, se utiliza un manual de codificación que especifica el indicador y el descriptor que el ítem evalúa, la descripción de la respuesta correcta y, al menos, cuatro ejemplos de respuestas reales de los estudiantes. También, especifica la descripción de las respuestas incorrectas y sus respectivos ejemplos. Asimismo, algunos de los ítems de este tipo admiten respuestas incompletas o que reflejan un logro parcial del estudiante en la tarea. En este caso, se describe también en el manual, la respuesta parcial y se incluyen ejemplos de respuestas parciales.

En la ECE, los ítems de respuesta construida se encuentran en menor proporción que los ítems de opción múltiple; esto debido a la complejidad del procesamiento de las respuestas a este tipo de ítems en procesos masivos.

1.1.2. Procesos de validación de los instrumentos de evaluación 1.1.2.1. Validación de los expertos de la UMC

Después de que los equipos de especialistas en las áreas (de Matemática, de Comunicación, de Ciencias Sociales y de EIB) han construido los ítems, estos son revisados por expertos de la UMC. Para esto, se cuenta con protocolos que permiten evaluar cada ítem en aspectos como la calidad, vigencia y veracidad de la información según cada disciplina cientíﬁca, la correspondencia con la tabla de especiﬁcaciones, la adecuación de la complejidad del ítem a la población evaluada,

(17)

15

Capítulo 1

y la construcción del enunciado y las alternativas, tanto en lo formal como en su eﬁcacia para la medición del constructo a evaluar. Asimismo, se revisa que no se presenten sesgos socioeconómicos, culturales ni de género en la construcción de los ítems. En el caso de las pruebas de Lectura, correspondientes al área de Comunicación (segundo y cuarto grados de primaria, segundo de secundaria, y cuarto grado de primaria EIB), se revisa y evalúa también la pertenencia de los textos a los tipos y géneros textuales señalados, la densidad de la información, el vocabulario, la sintaxis, la familiaridad del tema, la extensión y el formato.

1.1.2.2. Validación de campo: aplicación piloto

Después de la revisión de expertos al interior de la UMC, los ítems que no presentan problemas pasan a ser empleados para la construcción de las pruebas destinadas a la aplicación piloto. Esta consiste en la aplicación de las pruebas a una muestra de estudiantes que cuenta con la condición de ser representativa a nivel nacional. Un diseño estadístico permite determinar las IE que pertenecerán a la muestra de la aplicación piloto. Siguiendo el procedimiento estadístico, las IE son elegidas aleatoriamente y corresponden a los distintos estratos (según las características determinadas en el diseño): rural y urbano, estatal y no estatal, polidocente y multigrado/unidocente. Asimismo, cabe señalar que los estudiantes de estas IE presentan similares condiciones a las de la población objetivo (edad, avance curricular, desarrollo de capacidades, etc.). Además, las pruebas piloto presentan estructura y características similares (orden de presentación de los ítems según su dificultad; extensión, dificultad, diagramación, tiempo de aplicación de la prueba) a las de las pruebas definitivas.

La aplicación piloto busca recoger información que permita asegurar que los ítems, en particular, y los instrumentos en su conjunto presentan adecuadas evidencias de validez referidas a cada uno de los constructos que se evalúan en las diversas pruebas.

1.1.2.3. Análisis de las propiedades psicométricas y de la distribución de los ítems en la escala

Sobre la base de los resultados de la aplicación piloto, se analizan las propiedades y otros aspectos psicométricos de las pruebas y los ítems; además, se realiza una revisión pedagógica de la distribución de los ítems en la escala. Entre los aspectos psicométricos, se analiza el ajuste de los ítems y de los distractores, la confiabilidad de las medidas, la unidimensionalidad, la correspondencia entre la media de habilidad de los estudiantes y la media de dificultad de cada prueba, y el comportamiento diferencial de los ítems según los distintos estratos (urbano y rural, estatal y no estatal, sexo). Igualmente, se ensayan hipótesis sobre las posibles causas por las que un ítem no se ajustó al modelo psicométrico, tuvo un funcionamiento diferencial según los estratos o su dificultad no concordó con la

(18)

16

complejidad propuesta. Para una mayor profundización de este aspecto, en el capítulo 4 de este documento, se detallan dichas propiedades psicométricas. En la revisión pedagógica, se analiza la correspondencia entre la complejidad pedagógica estimada de un ítem (antes de la aplicación piloto) y la dificultad dada por el modelo psicométrico (después de la aplicación piloto), la pertinencia de incluir un determinado ítem en la prueba definitiva y las posibles causas por las que los estudiantes no contestaron correctamente un ítem. En el caso de Comunicación, tanto en primaria como en secundaria, se analizan también las posibles causas de los errores cometidos por algún factor relacionado con el texto. Este proceso de análisis concluye con la selección de los ítems de mejor desempeño y el ajuste de los ítems que presentaron algún tipo de problema con vistas a la aplicación definitiva de la ECE.

1.1.2.4. Validación de expertos de otras oficinas del Minedu

Según lo establecido por la UMC, el proceso de validación incluye que un conjunto de expertos en cada una de las áreas evaluadas emita su juicio respecto de la construcción, la correspondencia con el indicador y la diﬁcultad de la tarea solicitada en cada ítem empleado para medir el constructo implicado (criterio de jueces). Para ello, los ítems seleccionados a partir de la aplicación piloto y el análisis posterior, son organizados en cuadernillos para que sean validados por expertos de las distintas direcciones del Minedu involucradas, tales como la Dirección de Educación Primaria (DEP), la Dirección de Educación Secundaria (DES), la Dirección General de Educación Básica Alternativa, Intercultural Bilingüe y de Servicios Educativos (Digeibira)1 _{y la Dirección de Evaluación Docente (DIED). En esta}

validación, se solicita a los jueces que evalúen los aspectos mencionados en una ficha técnica (se puede ver un ejemplo de esta ficha en el Anexo A de Evaluación). Esta ficha cuenta con cuatro secciones: tres donde se presentan los indicadores que evalúan tanto las características generales del ítem como las características específicas del enunciado y de las alternativas, y una sección donde el juez escribe sugerencias puntuales sobre el ítem. Las fichas presentan ciertas particularidades de acuerdo a las características de la competencia que evalúan. Por ejemplo, en el caso de Lectura (área de Comunicación), se incluyen indicadores referidos a cada uno de los textos y no solamente a los ítems. Cada experto completa la ficha y formula las observaciones que, de acuerdo con su juicio, estime convenientes. Luego, las fichas son sistematizadas, los cuestionamientos absueltos y las sugerencias incorporadas. Ello implica, en algunos casos, realizar algún tipo de ajuste al ítem o al texto.

1_{La prueba de cuarto grado de primaria EIB, además, es sometida a revisión por parte de especialistas UGEL}

(19)

17

Capítulo 1

1.1.2.5. Adaptación de instrumentos para estudiantes con discapacidad sensorial

Desde el año 2015, la UMC realiza adaptaciones a los instrumentos de evaluación y a los procedimientos de aplicación en los distintos constructos evaluados. Estas adaptaciones se realizan con el ﬁn de incluir a la población con discapacidad visual (baja visión o ceguera) y auditiva (hipoacusia y sordera) en la ECE. Se optó por priorizar estas discapacidades, debido a que se trata de una población que, por sus características, quedaba sin posibilidades de participar de la ECE pese a no presentar diﬁcultades de orden cognitivo2_{. Adicionalmente, existe evidencia}

internacional sobre procesos de adaptación de pruebas estandarizadas que orientaron la toma de decisiones para la evaluación de esta población.

1.1.2.6. Aplicación definitiva

La aplicación deﬁnitiva de la ECE se realiza en el último bimestre del año (noviembre-diciembre). Esta aplicación se lleva a cabo durante dos días en primaria y tres días en secundaria. En el primer día, se aplican, primero, las pruebas de Lectura y, luego, las de Matemática. En el segundo día, el orden de aplicación de las pruebas es inverso. Este cambio obedece a la necesidad de neutralizar los posibles efectos del cansancio de los estudiantes, quienes rinden dos pruebas en un día. En el caso de secundaria, el tercer día se destina la aplicación de la prueba de Historia, Geografía y Economía. A partir del 2015, los instrumentos de la ECE, incluidos los cuadernillos de las pruebas, retornan en su totalidad al Minedu y se mantienen bajo conﬁdencialidad. Este procedimiento, aunque complicado, se realiza pues permite alimentar un banco de ítems creciente y asegurar la comparabilidad de resultados en el tiempo. Asimismo, cabe señalar que las aplicaciones piloto permiten renovar un porcentaje de los ítems de las pruebas cada año, sobre todo aquellos ítems que se liberan, es decir, que son hechos públicos en los reportes de resultados que produce y distribuye la UMC.

En resumen, mediante los procesos de construcción y validación, se logra que los instrumentos de evaluación de la ECE 2016 cumplan con los requerimientos técnicos y consideraciones de contenido que permiten recoger datos válidos y conﬁables sobre los niveles de logro de los estudiantes evaluados. Asimismo, se asegura que los instrumentos guarden correspondencia con los diversos documentos curriculares del sistema educativo y que sus resultados sean comparables a lo largo del tiempo.

2_{Cabe señalar que los procedimientos de aplicación de la ECE siguen el principio de incluir a todos los}

estudiantes del país en la evaluación. No participan de la evaluación los estudiantes que tengan una discapacidad y cuyo docente o director indique que no pueden dar la prueba debido a su condición. En ese sentido, están convocados a participar todos los estudiantes al margen de la discapacidad que presenten. Para más detalles respecto de las acomodaciones realizadas en la evaluación de los estudiantes con discapacidad sensorial, véase el “Informe de la participación de estudiantes con necesidades educativas especiales asociadas a discapacidad sensorial en la ECE 2016”.

(20)

18

1.1.3. El ensamblaje de las pruebas

Conforme avanzan en su escolaridad, los estudiantes amplían y profundizan los aprendizajes logrados en los grados anteriores. Así, por ejemplo, respecto de la Lectura, el lenguaje de los textos se complejiza y se especializa progresivamente, los temas tratados son más diversos, y las capacidades de inferencia y reﬂexión se consolidan. Por su parte, en Matemática, las nociones de número, variación y espacio, en un inicio ligadas a situaciones más particulares y objetos concretos, demandan de mayor formalización, abstracción y aprendizaje de conceptos nuevos, necesarios para seguir construyendo el pensamiento matemático.

Por esta razón, es fundamental proponer una evaluación que cubra un amplio espectro de capacidades y conocimientos, de manera que los resultados recojan de la manera más precisa lo que realmente logran hacer los estudiantes. Sin embargo, las evaluaciones de carácter censal suelen enfrentar la restricción de tener que medir con una prueba única (y las consiguientes limitaciones del tiempo de evaluación y del número de ítems) las habilidades de los estudiantes. Para lidiar con esta restricción, en la evaluación -de cuarto grado de primaria en adelante-, se estudió la posibilidad de utilizar diseños que contengan bloques de ítems comunes a todos los estudiantes y bloques no comunes que se distribuirían aleatoriamente entre la población. De este modo, y gracias al uso de técnicas de equiparación desde el modelo Rasch, se podría contar con mayor cantidad de ítems en la misma métrica, sin que ello implique incrementar la cantidad de ítems a los que cada estudiante se enfrenta.

Con la asistencia técnica del Berkeley Evaluation and Assessment Research (BEAR) Center, de la Universidad de California (Berkeley), se llevó a cabo un conjunto de estudios psicométricos en los que se plantearon diversos escenarios que combinaban formas de repetir ítems en ciertos cuadernillos a fin de ampliar el número total de ítems aplicados (aunque no todos los estudiantes respondan el total de dichos ítems): bloques comunes, bloques rotados y número de ítems por bloque. A partir de estos escenarios, se realizaron simulaciones estadísticas con la base de datos de la aplicación piloto, para verificar que la confiabilidad de las personas en estos diseños se mantuviera estable en múltiples reiteraciones, de manera que sea factible, dentro de márgenes razonables, reportar resultados a nivel individual y agregado por escuela. En todos los escenarios planteados, se obtuvieron niveles altos en la media de la confiabilidad (entre 0,90 y 0,96), así como en la media de la correlación entre el valor verdadero y el valor estimado (entre 0,95 y 0,96).

En relación con la conformación de los bloques, es preciso señalar que el bloque común tiene por finalidad optimizar la equiparación de las medidas y es construido asegurando ítems que reflejen la tabla de especificaciones, así como la dispersión de las medidas a lo largo de la escala de dificultad.

(21)

19

Capítulo 1

Matriz de bloques de la prueba de Lectura En segundo grado de primaria

En este grado, todos los ítems de la prueba de Lectura (50 ítems) se distribuyen en dos cuadernillos únicos. Cada estudiante evaluado es enfrentado a ambos cuadernillos, uno por cada día de aplicación.

En cuarto grado de primaria

La prueba de Lectura de cuarto grado de primaria elaborada para la ECE 2016 cuenta con un total de 12 textos de diferente tipo, género, formato y complejidad. A partir de este conjunto de textos, se han elaborado 72 ítems. Dichos textos e ítems se distribuyen en 2 bloques comunes a todos los cuadernillos y 6 bloques no comunes, cada uno de los cuales reﬂeja los indicadores de la tabla de especiﬁcaciones.

Tabla 1.1. Matriz de bloques de la prueba de Lectura. Día 1 Cuadernillo Bloque Ítems

por cuadernillo 1 BC1 24 B1 2 BC1 24 B2 3 BC1 24 B3

De los seis cuadernillos así generados, cada estudiante evaluado se enfrenta a dos de ellos (uno por cada día de aplicación); de este modo, de los 72 ítems en total que tiene la prueba, un estudiante responde 48. En segundo grado de secundaria

(22)

20

La prueba de Lectura de segundo grado de secundaria elaborada para la ECE 2016 cuenta con un total de 14 textos de diferente tipo, género, formato y complejidad. A partir de este conjunto de textos, se han elaborado 86 ítems. Dichos textos e ítems se distribuyen en 2 bloques comunes a todos los cuadernillos y 10 bloques no comunes, cada uno de los cuales reﬂeja los indicadores de la tabla de especiﬁcaciones. Tabla 1.3. Matriz de bloques de la prueba de Lectura. Día 1

Cuadernillo Bloque Ítems por cuadernillo 1 BC1 25 B1 B2 2 BC1 25 B2 B3 3 BC1 25 B3 B4 4 BC1 25 B4 B5 5 BC1 25 B5 B1

(23)

21

Capítulo 1

por cuadernillo 6 BC2 25 B6 B7 7 BC2 25 B7 B8 8 BC2 25 B8 B9 9 BC2 25 B9 B10 10 BC2 25 B10 B1

De los diez cuadernillos así generados, cada estudiante evaluado se enfrenta a dos de ellos (uno por cada día de aplicación); en consecuencia, de los 86 ítems en total que tiene la prueba, un estudiante responde 50.

Matriz de bloques de las pruebas de Lectura en cuarto grado de primaria EIB Lectura en castellano como segunda lengua

Todos los ítems de la prueba de Lectura en Castellano como segunda lengua (44 ítems) se distribuyen en dos cuadernillos únicos. Cada estudiante evaluado es enfrentado a ambos cuadernillos, uno por cada día de aplicación.

Lectura en lengua originaria

En la ECE 2016, se elaboraron pruebas de Lectura en lenguas originarias de seis grupos lingüísticos: aimara, asháninka, quechua Cusco Collao, quechua Chanka, y shipibo-konibo. Cada prueba de Lectura en lengua originaria cuenta con 42 ítems que se distribuyen en dos cuadernillos únicos. Los estudiantes evaluados son enfrentados a ambos cuadernillos, uno por cada día de aplicación.

Matriz de bloques de la prueba de Matemática En segundo grado de primaria

(24)

22

En este grado, todos los ítems de la prueba de Matemática (46 ítems) se distribuyen en dos cuadernillos únicos. Cada estudiante evaluado es enfrentado a ambos cuadernillos, uno por cada día de aplicación.

En cuarto grado de primaria

La prueba de Matemática de cuarto grado de primaria elaborada para la ECE 2016 cuenta con un total de 90 ítems. Dichos textos e ítems se distribuyen en 2 bloques comunes a todos los cuadernillos y 6 bloques no comunes, cada uno de los cuales reﬂeja los indicadores de la tabla de especiﬁcaciones.

Tabla 1.5. Matriz de bloques de la prueba de Matemática. Día 1 Cuadernillo Bloque Ítems

De los seis cuadernillos así generados, cada estudiante evaluado se enfrenta a dos de ellos (uno por cada día de aplicación); de este modo, de los 90 ítems en total que tiene la prueba, un estudiante responde 54.

En segundo grado de secundaria

La prueba de Matemática elaborada para la ECE 2016 cuenta con un total de 90 ítems, los cuales están distribuidos en 2 bloques comunes a todos los cuadernillos y 10 bloques no comunes. Cada uno de ellos reﬂeja los indicadores de la tabla de especiﬁcaciones.

(25)

23

Capítulo 1

por cuadernillo 1 BC1 25 B1 2 BC1 25 B2 3 BC1 25 B3 4 BC1 25 B4 5 BC1 25 B5

por cuadernillo 6 BC2 25 B6 7 BC2 25 B7 8 BC2 25 B8 9 BC2 25 B9 10 BC2 25 B10

De los diez cuadernillos así generados, cada estudiante evaluado se enfrenta a dos de ellos (uno por cada día de aplicación); en consecuencia, de los 90 ítems en total que tiene la prueba, un estudiante responde 50.

Matriz de bloques de la prueba de Historia, Geografía y Economía En segundo grado de secundaria

La prueba de Historia, Geografía y Economía elaborada para la ECE 2016 cuenta con un total de 86 ítems, los cuales están distribuidos en 6 bloques.

(26)

24

Tabla 1.9. Matriz de bloques de la prueba de Historia, Geografía y Economía. Día 3 Cuadernillo Bloque Ítems

por cuadernillo 1 B1 29 B2 2 B3 29 B4 3 B5 29 B6 4 B2 29 B3 5 B4 29 B5 6 B6 29 B1

Como se observa en la tabla anterior, la organización de los bloques dentro de los cuadernillos sigue el diseño de bloques balanceados incompletos simple. En la ECE 2016, cada estudiante se enfrentó a un cuadernillo de 29 ítems.

(27)

Población y muestra

(28)

26

Capítulo 2

Población y muestra

2.1. Población objetivo

En la ECE 2016, hubo cuatro poblaciones objetivo: los estudiantes que asistieron a clases en el segundo grado de primaria en una IE de Educación Básica Regular (EBR); los que asistieron a clases en el cuarto grado de primaria en una IE de Educación Básica Regular (EBR); los que asistieron a clases en el cuarto grado de primaria en una IE que desarrolla el Programa Educación Intercultural Bilingüe (EIB); y los que asistieron regularmente a clases en el segundo grado de secundaria de una IE de Educación Básica Regular (EBR).

Se evaluó a los estudiantes de segundo grado de primaria, porque en este grado se concluye el tercer ciclo de la EBR, mientras que, en cuarto de primaria, se concluye el cuarto ciclo de la EBR. En secundaria, se evaluó a los estudiantes de segundo grado, porque en este grado se concluye el sexto ciclo de la EBR, lo que brinda la oportunidad de planificar intervenciones en el sistema para mejorar los grados y ciclos posteriores, en los cuales el conocimiento se especializa y se hace más complejo. Atendiendo a la distinción de que no todos los estudiantes manejan la lengua castellana, se evaluó a los estudiantes de cuarto grado de primaria de las IE EIB, por ser este el grado en que finaliza el cuarto ciclo de la Educación Básica Regular (EBR), y porque se espera que los estudiantes hayan concluido el aprendizaje inicial de la lectoescritura (decodificación) tanto en la lengua originaria 3 como en castellano como segunda lengua.

Se excluyó a los estudiantes que asisten a una IE que atiende a menos de cinco estudiantes matriculados4en el grado a ser evaluado (segundo grado de primaria en lengua castellana, cuarto grado de primaria en lengua castellana, cuarto grado de primaria EIB y segundo grado de secundaria). En segundo y cuarto de primaria, esta exclusión fue de alrededor del 5 % de los estudiantes a nivel nacional, y en relación con la cantidad de IE, fue de alrededor del 40 % a nivel nacional (Minedu, 2015). En cambio, en secundaria, la exclusión fue del 0,5 % de los estudiantes a nivel nacional, y en relación con la cantidad de IE, fue de alrededor del 8 % a nivel nacional (Ministerio de Educación, 2015). En cuarto de primaria EIB, esta exclusión fue de alrededor del 17 % a nivel de estudiantes, mientas que a nivel de IE fue de 49 %. Las razones de esta exclusión se encuentran detalladas en el Marco de trabajo de la ECE (Ministerio de Educación, 2009).

3

Se considera que el aprendizaje de la lectoescritura en niños bilingües implica el conocimiento y el manejo de una cultura escrita para quienes provienen de una cultura oral.

4_{La cantidad de estudiantes matriculados es el dato mayor entre lo registrado por el Sistema de Información}

de Apoyo a la Gestión de la Institución Educativa (Siagie), el Censo Escolar y la aplicación de la ECE del año anterior.

(29)

27

Capítulo 2

En el 2016, la ECE tenía programado evaluar 21 037 IE en segundo grado de primaria, 19 685 IE en cuarto grado de primaria, 2294 IE en cuarto grado de primaria EIB y 12 895 IE en segundo grado de secundaria. A nivel de estudiantes, se tenía programado evaluar, aproximadamente, 569 191 en segundo grado de primaria, 503 239 en cuarto grado de primaria, 25 262 en cuarto grado de primaria EIB y 523 042 en segundo grado de secundaria.

2.2. Marco muestral

El marco muestral ha sido elaborado con información proveniente de diferentes fuentes: el Padrón de Instituciones Educativas de la Unidad de Estadística Educativa (UEE), la cantidad de estudiantes y secciones del Censo Escolar 2015 y la información del Sistema de Información de Apoyo a la Gestión de la Institución Educativa (Siagie) del 2016. Anualmente, la Unidad de Estadística Educativa (UEE) del Minedu elabora y difunde el Padrón de Instituaciones Educativas con ﬁnes estadísticos, el cual es actualizado de manera constante. La información sobre las IE tiene como fuente las operaciones estadísticas que aplican a nivel nacional y los procedimientos asociados a estas operaciones. Es importante precisar que la información de la cantidad de estudiantes y secciones que proviene del Censo Escolar es declarada por el director de la IE. En el Censo Escolar, existen algunas IE que no reportan datos. Por ello, la información corresponde a datos imputados. En primaria, el 2,5 % de los registros son imputados (un registro corresponde a una IE). Las IE con datos imputados son estatales en 51,5 %, rurales en un 49 % y pequeñas, es decir, con menos de diez estudiantes en un 61 %. En secundaria, el 2,3 % de los registros son imputados. Las IE con información imputada son estatales (en un 45 %) y urbanas (67 %).

Para elaborar el listado de IE de la ECE 2016, se aplicó el siguiente procedimiento:

1. Se solicitó el Padrón de Instituciones Educativas a la Unidad de Estadística Educativa (UEE), la información de la cantidad de estudiantes y secciones del Censo Escolar (CE) 2015, y la cantidad de estudiantes y secciones del Siagie del 2016.

2. Se revisaron las consistencias en la información solicitada (CE primaria y CE secundaria).

3. Se identiﬁcó en el CE de primaria las IE del Programa Educación Intercultural Bilingüe (EIB). Para ello, se utilizó la deﬁnición operacional construida para efectos de la ECE (Ministerio de Educación, 2009), la cual sostiene que una IE es EIB si atiende a niños cuya lengua materna es una lengua originaria, y si en ella se enseña a leer y escribir en dicha lengua originaria y en castellano como segunda lengua, según la declaración del director de la IE. En la ECE 2016, se evaluó Lectura en castellano como segunda lengua y en lengua originaria. Cabe mencionar que esta última es interanual (Ministerio de Educación, 2009).

(30)

28

4. Se asignó el grado por evaluar. Las IE EIB son evaluadas en cuarto grado, y las demás, en segundo y cuarto grado de primaria o en segundo grado de secundaria.

5. Se calculó la cantidad de secciones y estudiantes programados. Esta información corresponde al valor registrado en Siagie en caso las nóminas de matrículas se encuentren aprobadas al momento de la construcción del marco muestral. Si una IE no cuenta con las nóminas de matrícula aprobadas, se tomó el valor mayor entre la información del CE 2014, del Siagie 2016 o de estudiantes evaluados en la ECE 2015, dependiendo del grado por evaluar. 6. Se seleccionaron las IE que tuvieron cinco o más estudiantes asignados en el

punto 5.

La distribución de IE y estudiantes en la ECE 2016 mediante el procedimiento antes descrito se presenta en la tabla 2.1.

Tabla 2.1. Cantidad de IE, secciones y estudiantes programados en la ECE 2016 Tipo de evaluación IE Secciones Estudiantes 2.° grado de primaria 21 037 30 649 569 191

ECE 2016 15 052 20 407 356 881

MC 2016 5985 10 242 212 310

4.° grado de primaria 19 685 27 699 503 239 4.° grado de primaria EIB 2294 2401 25 262 2.° grado de secundaria 12 895 23 014 523 042

2.2.1. Muestra de Control

Para garantizar resultados precisos en la ECE segundo grado de primaria5, se decidió reportar resultados a partir de una Muestra de Control (MC) con los siguientes niveles de inferencias: I) nivel nacional, II) por género de los estudiantes, III) por gestión de las IE (estatales/no estatales), IV) por ubicación geográﬁca de las IE (urbanas/rurales), V) por característica (polidocente completo/unidocente-multigrado), VI) nivel de Dirección Regional de Educación (DRE). Las razones por las cuales se usa la muestra de control (MC) se detallan en el Marco de trabajo de la ECE (Ministerio de Educación, 2009).

La Muestra de Control (MC) es una muestra probabilística de IE. Cada IE es considerada un conglomerado, pues agrupa a un conjunto de estudiantes, quienes son la unidad del análisis. El muestreo de conglomerados surge como una necesidad práctica, económica y de eﬁciencia administrativa. Su mayor ventaja es que no es necesario contar con un marco muestral de cada elemento por analizar:

5_{En el caso de cuarto grado de primaria EIB, no fue necesario hacer esto, ya que el tamaño de la población}

(31)

29

Capítulo 2

solo es necesario tener el marco muestral a nivel de conglomerados (IE) para realizar la selección de los mismos (Lehtonen & Pahkinen, 2004). Luego, en cada conglomerado seleccionado, se puede obtener el listado de todos los estudiantes y seleccionar una muestra de estos. En la Muestra de Control (MC), todos los estudiantes forman parte de la muestra.

2.2.1.1. Estratificación

En la Muestra de Control (MC), se realiza una estratiﬁcación principalmente por las siguientes razones:

• mejorar la precisión de los estimadores,

• aplicar alguna particularidad de diseño de muestra en algunos estratos, • asegurar una adecuada representación de grupos especíﬁcos en la población • y conveniencia administrativa.

La Muestra de Control (MC) cuenta con 26 dominios que vendrían a ser cada Dirección Regional de Educación (DRE), bajo la consideración de que las IE son administradas por estas instancias, y en estas se forman estratos con las combinaciones entre la gestión, ubicación geográﬁca y característica de la IE. La selección de las IE fue proporcional al tamaño, siendo este último determinado por la cantidad de estudiantes en el grado a evaluar en cada una de ellas.

La distribución de las IE y los estudiantes programados por DRE se presenta en la Tabla 2.2.

(32)

30

Tabla 2.2. Cantidades de IE y estudiantes para cada DRE

cod_DRE nom_DRE IE % IE alumnos % alumnos

Nacional 5985 100,0 212 310 100,0 100 Amazonas 307 5,1 5460 2,6 200 Áncash 300 5,0 10 483 4,9 300 Apurímac 270 4,5 6359 3,0 400 Arequipa 223 3,7 8467 4,0 500 Ayacucho 285 4,8 8132 3,8 600 Cajamarca 353 5,9 8773 4,1 701 Callao 188 3,1 9554 4,5 800 Cusco 272 4,5 10 677 5,0 900 Huancavelica 242 4,0 4478 2,1 1000 Huánuco 299 5,0 7824 3,7 1100 Ica 204 3,4 10 293 4,8 1200 Junín 259 4,3 10 557 5,0 1300 La Libertad 251 4,2 9632 4,5 1400 Lambayeque 196 3,3 8298 3,9 1501 Lima Metropolitana 192 3,2 11 234 5,3 1502 Lima Provincias 180 3,0 7859 3,7 1600 Loreto 273 4,6 9425 4,4 1700 Madre de Dios 88 1,5 3580 1,7 1800 Moquegua 79 1,3 3007 1,4 1900 Pasco 183 3,1 4214 2,0 2000 Piura 292 4,9 11 494 5,4 2100 Puno 229 3,8 9627 4,5 2200 San Martín 336 5,6 10 810 5,1 2300 Tacna 151 2,5 5762 2,7 2400 Tumbes 141 2,4 5432 2,6 2500 Ucayali 192 3,2 10 879 5,1 2.2.1.2. Cálculo de pesos

Los pesos ayudan a corregir la distribución de la muestra en los estratos y también expanden la información muestral a la población.

El peso es el inverso a la probabilidad de selección de un conglomerado (IE) en el interior de cada estrato. En el caso del muestreo proporcional al tamaño, se utiliza las probabilidades conjuntas de selección de la IE; la inversa de esta probabilidad vendría a ser el peso de la IE, es decir:

(33)

31

Capítulo 2

pIEij=

1 pij

(2.1) donde:

pij=probabilidad de selección conjunta de la i-ésima IE en el j-ésimo estrato

pIEij=Peso de la i-ésima IE y en el j-ésimo estrato

Ajuste por estudiantes no evaluados en una IE. Esta corrección se realiza para cada competencia evaluada, es decir, para Lectura y Matemática, de manera separada.

a1ij=

tij

sij

(2.2) donde:

aij=ajuste por estudiante no evaluado en la i-ésima IE y el j-ésima estrato

tij=estudiantes que asisten la i-ésima IE y al j-ésima estrato

sij=estudiantes evaluados en la i-ésima IE y el j-ésima estrato

Ajuste por estudiantes no evaluados en el estrato. Esta corrección se realiza para cada competencia evaluada, es decir, para Lectura y Matemática, de manera separada. a2ij= tj sj (2.3) donde:

a2j=ajuste por estudiantes no evaluados del j-ésimo estrato

tj=estudiantes que asisten a la IE en el j-ésimo estrato

sj=estudiantes evaluados del j-ésimo estrato

Se obtiene un peso para Lectura y otro para Matemática. El peso ﬁnal está dado por:

pfij = pIEij× a1ij× a2j (2.4)

donde:

pfij=peso ﬁnal en el i-ésimo estrato y la j-ésima IE

pIEij=peso de la i-ésima IE en el j-ésimo estrato

a1ij =ajuste por instituciones educativas no evaluadas en el i-ésima IE del j-ésimo estrato

(34)

32

2.2.1.3. Cobertura y análisis de posibles sesgos Segundo grado de primaria

Es importante evaluar el rendimiento de la muestra para cada uno de los estratos deﬁnidos. Por ello, se ha calculado la cobertura para los estratos donde se reportan los resultados en el interior de cada DRE. La cobertura a nivel de estudiantes se muestra en la Tabla 2.3. El porcentaje de estudiantes evaluados respecto de los programados a nivel nacional es del 96,5 %. Dicha cobertura se calculó considerando la cantidad de estudiantes que llegan a la evaluación ﬁnal del año escolar en cada IE, según la información del Siagie para el 2016.

Tabla 2.3. Porcentaje de estudiantes evaluados por estratos en cada DRE

Estatal No

estatal Urbana Rural

Polidocente Completo Unidocente / Multigrado Nacional 95,8 94,3 95,5 94,7 95,7 93,4 100 Amazonas 96,4 88,9 97,1 94,8 97,1 94,8 200 Áncash 96,5 94,7 96,1 96,3 96,3 95,7 300 Apurímac 98,1 95,4 98,0 97,6 98,0 97,6 400 Arequipa 97,7 97,0 97,4 96,1 97,5 96,0 500 Ayacucho 98,5 97,6 98,5 97,9 98,5 97,4 600 Cajamarca 96,0 96,0 96,4 95,5 96,3 95,5 701 Callao 94,0 92,3 93,3 – 93,5 88,5 800 Cusco 98,2 96,8 98,0 96,9 98,0 96,4 900 Huancavelica 98,4 98,6 98,6 97,9 98,7 97,6 1000 Huánuco 96,3 95,9 97,2 94,6 96,9 95,1 1100 Ica 97,6 95,0 96,9 94,2 97,0 94,5 1200 Junín 97,3 95,1 97,0 95,8 97,3 94,7 1300 La Libertad 95,3 93,3 94,5 96,0 94,9 94,6 1400 Lambayeque 96,0 93,5 95,5 93,8 95,7 92,9 1501 Lima Metropolitana 94,9 93,7 94,2 94,3 94,6 87,2 1502 Lima Provincias 94,9 95,1 94,9 96,0 95,2 93,0 1600 Loreto 90,2 93,2 91,4 87,4 91,6 87,0 1700 Madre de Dios 94,7 87,2 94,3 88,2 94,3 87,9 1800 Moquegua 98,8 96,8 98,6 91,3 98,5 96,0 1900 Pasco 96,2 92,9 97,0 90,9 97,4 89,8 2000 Piura 97,5 94,1 96,8 96,9 97,2 95,7 2100 Puno 98,9 97,5 98,6 98,8 98,8 97,5 2200 San Martín 96,0 95,5 96,7 94,2 96,6 94,4 2300 Tacna 99,0 97,6 98,7 97,5 98,7 96,8 2400 Tumbes 95,3 90,5 94,6 95,3 95,1 87,6 2500 Ucayali 91,5 93,9 93,2 80,3 93,4 80,6

Cuarto grado de primaria EIB

Para el caso de cuarto grado de primaria EIB, el porcentaje de IE evaluadas fue del 98 %, y de estudiantes, del 92 %.

Cuarto grado de primaria

La evaluación en este grado es censal. La cobertura a nivel de estudiantes se muestra en la Tabla 2.4. El porcentaje de estudiantes evaluados respecto de los programados a nivel nacional es del 96,9 %. Dicha cobertura se calculó considerando la cantidad

(35)

33

Capítulo 2

de estudiantes que llegan a la evaluación ﬁnal del año escolar en cada IE, según la información del Siagie para el 2016.

Tabla 2.4. Porcentaje de estudiantes evaluados a nivel nacional

Estatal No

estatal Urbana Rural

Polidocente Completo Unidocente / Multigrado Nacional 97,0 95,4 96,7 95,8 96,8 94,8 100 Amazonas 96,9 87,2 97,4 95,4 97,4 95,4 200 Áncash 97,6 95,7 97,3 97,3 97,5 96,1 300 Apurímac 98,8 97,2 98,7 98,4 98,7 98,2 400 Arequipa 98,3 97,9 98,2 97,5 98,2 96,6 500 Ayacucho 98,5 97,6 98,5 98,3 98,5 98,0 600 Cajamarca 96,9 96,2 97,1 96,5 97,0 96,6 701 Callao 97,1 94,6 96,1 – 96,3 90,5 800 Cusco 98,6 97,1 98,6 97,2 98,5 97,1 900 Huancavelica 98,1 98,4 98,5 97,5 98,4 97,4 1000 Huánuco 96,7 96,0 97,4 95,4 97,2 95,5 1100 Ica 97,9 96,0 97,4 99,2 97,4 97,6 1200 Junín 98,1 95,8 97,7 96,6 97,9 96,1 1300 La Libertad 96,6 94,8 96,1 96,5 96,4 95,5 1400 Lambayeque 97,0 94,6 96,2 97,1 96,5 95,0 1501 Lima Metropolitana 96,9 95,0 96,0 96,5 96,2 89,1 1502 Lima Provincias 96,3 95,8 96,0 97,0 96,2 95,8 1600 Loreto 92,0 93,2 93,1 88,7 93,2 88,5 1700 Madre de Dios 96,4 92,7 96,4 92,5 96,3 91,1 1800 Moquegua 98,8 98,4 98,7 98,4 98,8 96,2 1900 Pasco 97,1 97,5 98,4 91,9 98,4 91,8 2000 Piura 97,9 95,2 97,3 97,8 97,6 96,5 2100 Puno 98,7 97,6 98,6 98,4 98,6 98,3 2200 San Martín 96,8 98,3 97,5 95,0 97,3 95,5 2300 Tacna 99,3 98,5 99,2 99,4 99,2 100,0 2400 Tumbes 95,7 92,5 95,2 96,1 95,3 93,0 2500 Ucayali 92,8 96,8 94,1 83,8 94,2 84,0

Segundo grado de secundaria

La evaluación en este grado es censal. La cobertura a nivel de estudiantes se muestra en la Tabla 2.5. El porcentaje de estudiantes evaluados respecto de los programados a nivel nacional es del 96,3 %. Dicha cobertura se calculó considerando la cantidad de estudiantes que llegan a la evaluación ﬁnal del año escolar en cada IE, según la información del Siagie para el 2016.

(36)

34

Tabla 2.5. Porcentaje de estudiantes evaluados a nivel nacional

Estatal No estatal Urbana Rural

Nacional 96,5 95,8 96,8 92,9 100 Amazonas 94,4 86,7 96,3 89,9 200 Áncash 97,0 97,3 97,1 96,9 300 Apurímac 96,6 97,1 97,0 95,3 400 Arequipa 99,0 98,4 98,8 98,9 500 Ayacucho 97,9 95,9 97,9 96,6 600 Cajamarca 96,1 91,9 97,1 92,8 701 Callao 97,8 93,9 96,3 – 800 Cusco 98,2 96,5 98,3 96,6 900 Huancavelica 95,9 98,2 96,6 94,7 1000 Huánuco 95,8 93,5 96,5 92,5 1100 Ica 97,1 97,2 97,1 96,0 1200 Junín 96,7 93,6 96,6 92,4 1300 La Libertad 96,2 95,2 96,5 92,5 1400 Lambayeque 97,1 95,9 96,8 95,6 1501 Lima Metropolitana 97,0 95,5 96,3 87,3 1502 Lima Provincias 96,2 97,5 96,5 96,4 1600 Loreto 89,8 95,4 92,8 79,0 1700 Madre de Dios 91,1 93,4 91,1 93,4 1800 Moquegua 98,2 99,0 98,3 98,6 1900 Pasco 95,1 90,6 98,1 84,4 2000 Piura 97,9 95,8 97,5 97,3 2100 Puno 98,4 98,3 98,5 97,7 2200 San Martín 96,3 98,3 97,5 89,0 2300 Tacna 99,4 98,9 99,3 99,5 2400 Tumbes 97,2 97,4 97,3 97,8 2500 Ucayali 89,3 95,2 92,6 72,5 2.3. Estimación de resultados 2.3.1. Segundo de primaria

La estimación de resultados de la ECE en segundo grado de primaria es realizada a partir de la Muestra Control y se proporcionan dos tipos de resultados:

1. estimación del intervalo de confianza del promedio de la medida de habilidad obtenido por los estudiantes en cada uno de los niveles de inferencia definidos 2. y estimación del intervalo de confianza del porcentaje de estudiantes en cada

nivel de logro alcanzado.

Como se mencionó al inicio de esta sección, los niveles de inferencia para los cuales se pueden reportar resultados son los siguientes:

• nivel nacional,

• por sexo de los estudiantes (femenino, masculino), • por gestión de la IE (estatal, no estatal),

(37)

35

Capítulo 2

• por característica de la IE (polidocente completo, unidocente/multigrado) y • por Dirección Regional de Educación (DRE).

Para el caso de la DRE de Madre de Dios, Moquegua, Tacna y Tumbes, la estimación de resultados se realiza con todos los conglomerados en el interior de estos dominios. La razón de esta estimación se debe a que se tienen pocos conglomerados y no se desea complicar la aplicación en dichas DRE.

Los resultados son calculados utilizando el programa informático R, versión 3.3. Especíﬁcamente, se utilizaron los paquetes survey y sampling. En este programa informático, la estimación de la varianza para una proporción (el ratio R = Y /X) es aproximada usando la fórmula de linearización de Taylor (Woodruff, 1971).

Woodruff (1971) advierte que el método de cálculo de la varianza es completamente general y considera que la muestra es suﬁcientemente grande para justiﬁcar el uso de la aproximación de Taylor. Supone también que no se tienen restricciones en la forma del estimador, el número de variables aleatorias supuestas en el estimador, el tipo y complejidad o número de muestras diseñadas asumidas en el estimador. La Muestra de Control (MC) en cada DRE, que es el estrato más pequeño para el cual se reportan resultados, es de tres mil a más estudiantes.

La estimación de resultados de cuarto grado de primaria para las IE que son EIB se realiza de manera directa con la información de los estudiantes evaluados.

2.3.2. Cuarto de primaria

La estimación de los resultados de la ECE en cuarto grado de primaria es realizada a partir de todos los estudiantes evaluados. Los resultados se reportan según los siguientes niveles:

• por área geográﬁca de la IE (urbana, rural),

• por característica de la IE (polidocente completo, unidocente-multigrado), • por Dirección Regional de Educación (DRE) y

• por Unidad de Gestión Educativa Local (UGEL). 2.3.3. Secundaria

La estimación de los resultados de la ECE en segundo grado de secundaria es realizada a partir de todos los estudiantes evaluados. Los resultados se reportan según los siguientes niveles:

(38)

36

• por área geográﬁca de la IE (urbana, rural), • por Dirección Regional de Educación (DRE) y • por Unidad de Gestión Educativa Local (UGEL).

(39)

Operativo de campo

(40)

38

Capítulo 3

Operativo de campo

La organización y los procedimientos del operativo de campo de la ECE se rigen bajo tres principios:

• mantener la conﬁdencialidad de las pruebas,

• asegurar la estandarización de los procedimientos de la evaluación y

• promover la probidad en las acciones de todos los actores durante todo el proceso de la ECE.

Las acciones propuestas para alcanzar estos principios se plasmaron en las especiﬁcaciones técnicas de los Términos de Referencia del servicio de aplicación de la ECE. Desde el 2007, el Instituto Nacional de Estadística e Informática (INEI) es el operador logístico responsable de la ejecución de la aplicación de la ECE en todo el país. Dicha institución tiene bajo su responsabilidad garantizar:

• la correcta impresión, modulado y embalaje de los instrumentos de evaluación, así como de los materiales de aplicación y capacitación;

• la distribución y entrega oportuna y segura de los materiales de capacitación y aplicación a cada una de las sedes a nivel nacional y el retorno de todos los instrumentos, aplicados y no aplicados, a la empresa responsable de la captura de datos;

• la seguridad y conﬁdencialidad de los instrumentos requeridos en todas las fases del operativo;

• la adecuada selección de la Red Administrativa (RA) según el perﬁl establecido; • la capacitación de la RA en los procedimientos estandarizados de aplicación; • y la correcta aplicación de los instrumentos de evaluación en las IE.

Por su parte, el Minedu puso en práctica una estrategia de monitoreo y supervisión de todas las fases del operativo de campo. Para ello, contó con un equipo de 95 monitores Minedu, quienes supervisaron in situ una o más sedes provinciales. El equipo de monitoreo tuvo como principales funciones asegurar que los procesos de capacitación cumplieran con el objetivo de transmitir de manera estandarizada los procedimientos de aplicación y velar por que el operador logístico llevara a cabo las acciones necesarias para asegurar la conﬁdencialidad de los instrumentos de evaluación. Asimismo, este equipo fue el principal interlocutor con las instancias de gestión educativa descentralizada.

(41)

39

Capítulo 3

3.1. Organización territorial del operativo

Para gestionar territorialmente la ejecución del operativo de campo, el país se dividió en 35 jurisdicciones regionales de aplicación. La conformación de estas jurisdicciones regionales no se ciñe estrictamente a los límites del departamento donde se ubican; por el contrario, se priorizó la accesibilidad como criterio para conformar las regiones de aplicación. En cada jurisdicción regional de aplicación, se establecieron oﬁcinas provinciales y/o distritales. En total se implementaron 274 locales de jurisdicción provinciales y distritales.

En la siguiente tabla, se puede observar el número de IE programadas en cada jurisdicción regional de aplicación.

Tabla 3.1. Jurisdicciones regionales de aplicación y distribución de IE

2.° primaria 4.° primaria (incluye EIB) 2.° secundaria Amazonas 905 1071 525 Áncash-Chimbote 360 349 219 Áncash-Huaraz 540 642 393 Apurímac 346 451 304 Arequipa 913 851 592 Ayacucho 409 619 380 Cajamarca 1561 1465 782 Callao 459 437 273 Cusco 715 1014 596 Huancavelica 350 488 323 Huánuco 838 856 438 Ica 582 548 364 Junín 1034 1064 645 La Libertad 1465 1385 760 Lambayeque 741 772 414 Lima Met 1 716 653 412 Lima Met 2 704 665 451 Lima Met 3 400 400 316 Lima Met 4 624 576 377 Lima Met 5 549 496 338 Lima Met 6 683 633 417 Lima Met 7 377 362 269 Lima-Cañete 208 196 133 Lima-Huacho 344 339 233 Loreto 701 796 342 Madre de Dios 88 78 64 Moquegua 79 79 63 Pasco 234 257 178 Piura 1573 1495 741 Puno 714 879 563 San Martín-Moyobamba 426 408 176 San Martín-Tarapoto 648 795 312 Tacna 151 133 112 Tumbes 131 124 78 Ucayali 469 603 312 Nacional 21 037 21 979 12 895

(42)

40

3.2. Conformación de la Red Administrativa de aplicación

El personal necesario para ejecutar el operativo de campo estuvo organizado en una RA conformada por cuatro niveles de cargos.

Tabla 3.2. Personal del operativo

Cargo N.° de personas

Nivel I Coordinador regional 35

Coordinador provincial 277

Nivel II Supervisor de procesos de aplicación 274 Supervisor de sistemas y almacén 274

Nivel III Asistente de supervisor 2440

Nivel IV Aplicador de 2.° y 4.° de primaria 46 343 Aplicador de 4.° de primaria EIB

Aplicador de 2.° de secundaria

Figura 3.1. Organigrama de la Red Administrativa ECE 2016

A continuación se resumen las principales funciones de cada uno de los cargos: • Los coordinadores regionales, provinciales y distritales son responsables de

las siguientes actividades: organizar, gestionar y dirigir el operativo, velar por el cumplimiento de los procedimientos y monitorear el desempeño de los miembros de la RA de su región. Así también, son responsables de garantizar las condiciones materiales necesarias para el operativo y asegurar la

(43)

41

Capítulo 3

implementación de medidas de seguridad en el almacén de instrumentos. Los supervisores de procesos de aplicación son responsables de organizar y dirigir los procesos de convocatoria, selección y capacitación de aplicadores, y del contacto previo con las IE, despacho de aplicadores y aplicación. • Los supervisores de sistemas y almacén son responsables de gestionar la

recepción, almacenamiento, inventario, registro de incidencias, despacho del material de aplicación, así como del uso de los sistemas de información implementados para estas actividades.

• Los asistentes de supervisor son responsables de ejecutar la selección y capacitación de los aplicadores, de supervisar la aplicación y de realizar el contacto previo con las IE.

• Los aplicadores son responsables de la adecuada aplicación de los instrumentos en las IE evaluadas.

Para cada uno de los niveles de la RA, el Minedu entregó manuales de aplicación y manuales de funciones. En ese sentido, se elaboraron quince manuales para el personal de la RA que atienden las particularidades de los grados evaluados.

• Manual para coordinadores regionales y provinciales/distritales • Manual para supervisores de procesos de aplicación

• Manual para supervisores de sistemas y almacén • Manual para asistentes de supervisor

• Manual para asistentes de supervisor de 4.° EIB (L1 y L2) • Manual para asistentes de supervisor de 4.° EIB (solo L2) • Manual para aplicadores de 2.° y 4.° grado de primaria • Manual para aplicadores de 2.° grado de secundaria

• Manual para aplicadores de 4.° EIB L1 y L2 Quechua Cusco Collao • Manual para aplicadores de 4.° EIB L1 y L2 Aimara

• Manual para aplicadores de 4.° EIB L1 y L2 Shipibo Konibo • Manual para aplicadores de 4.° EIB L1 y L2 Awajún

• Manual para aplicadores de 4.° EIB L1 y L2 Quechua Chanka • Manual para aplicadores de 4.° EIB L1 y L2 Asháninka • Manual para aplicadores de 4.° EIB solo L2

3.3. Proceso de selección y capacitación del personal de la RA

El proceso de selección del personal estuvo a cargo del INEI y constó de tres etapas cancelatorias:

(44)

42

1. convocatoria y revisión de hojas de vida, 2. preselección y

3. capacitación.

El Minedu estableció, en los términos de referencia, el perﬁl profesional para cada uno de los cargos. Para el caso de los aplicadores, el perﬁl fue el siguiente:

• Experiencia demostrada como aplicador de un (1) operativo ECE. Fueron considerados como aptos para la preselección siempre y cuando su desempeño haya sido óptimo.

• Personal sin experiencia en el operativo ECE. Debieron cumplir los siguientes requisitos:

• Formación (las condiciones no están colocadas en orden de prioridad): ◦ docente con experiencia en aula, sin carga docente o administrativa

en el sector estatal,

◦ egresado universitario o técnico, excepto carreras vinculadas al cuidado personal u oﬁcios,

◦ estudiantes universitarios de carreras de humanidades de los tres últimos años,

◦ estudiantes universitarios de otras carreras que no sean humanidades, de los tres últimos años y con experiencia demostrada en la aplicación de instrumentos de recojo de información,

◦ estudiantes de institutos pedagógicos de los tres últimos años o ◦ estudiantes de carreras técnicas del último año con experiencia

demostrada en la aplicación de instrumentos de recojo de información, excepto carreras vinculadas al cuidado personal u oﬁcios.

• Con deseable experiencia de trabajo con niños y niñas o adolescentes en aula, animación sociocultural o aplicación de pruebas estandarizadas de rendimiento escolar

• Edad entre 19 y 60 años, salvo excepciones que deberán ser aprobadas por el Minedu

• Habilidades para el buen manejo de grupos de niños y adolescentes • Deseable experiencia en la aplicación de instrumentos estandarizados de

evaluación educativa