Resultados de la Aplicación de Pruebas de Selección Universitaria 2006-2010

(1)

Resultados de

la Aplicación de

Pruebas de Selección

Universitaria

Comité Técnico Asesor Consejo de Rectores de las

Universidades Chilenas

Documentos

T

écnico

s

(2)

H. Consejo de Rectores de las Universidades Chilenas

Alameda 1371, 4°piso, Santiago.

Casilla 14798- Fono: (2) 6964286 - Fax: (2) 6988436 e-mail: [email protected]

(3)

Documentos

Técnicos

Septiembre 2010

Comité Técnico Asesor

Consejo de Rectores

de las Universidades Chilenas

www.cta-psu.cl

Resultados de

la Aplicación de

Pruebas de Selección

Universitaria

Admisiones 2006 - 2010

(4)

(5)

3

PSU

David Bravo Urrutia Profesor y Director Centro de Microdatos Departamento de Economía

Universidad de Chile [email protected]

Guido del Pino Profesor Titular

Manresa Departamento de Estadística Facultad de Matemáticas

Pontificia Universidad Católica de Chile [email protected]

Graciela Donoso Experta en Medición Educacional

Retamales Ex Jefa Unidad de Estudios e Investigación DEMRE, Universidad de Chile

[email protected]

Jorge Manzi Astudillo Profesor Titular y Director Centro de Medición MIDE UC

Escuela de Psicología

Pontificia Universidad Católica de Chile [email protected]

Manuel Martínez Profesor Titular

Martínez Facultad de Química y Biología Universidad de Santiago de Chile [email protected]

Raúl Pizarro Sánchez Profesor Titular

Facultad de Ciencias de la Educación Universidad de Playa Ancha de Ciencias de la Educación

[email protected]

(6)

4

PSU

(7)

5

PSU

Agradecimientos

Comité Técnico Asesor (CTA) del Consejo de Rectores de las Universidades Chilenas agradece a todas las personas que hicieron posible este estudio.

En cada proceso de admisión, desde la instalación de las Pruebas de Selección Universitaria, el Comité Técnico Asesor cumple con el mandato, entregado por el Consejo de Rectores, de realizar los análisis técnicos de las pruebas aplicadas en el mes de Diciembre de cada año, en el corto lapso que transcurre entre la rendición de las mismas y la asignación de los puntajes. Este análisis se realiza en dependencias del DEMRE (Departamento de Evaluación, Medición y Registro Educacional) de la Universidad de Chile, en condiciones que aseguran la confidencialidad de la información (se trabaja con información innominada) y culmina con la aprobación por parte del CTA de los procedimientos aplicados por el DEMRE para la asignación de puntajes finales, los que posteriormente son entregados públicamente a los postulantes. Los resultados que se presentan en esta serie de documentos técnicos se extraen de los insumos obtenidos en el proceso antes descrito.

En primer lugar, el Comité Técnico Asesor estima necesario reconocer y agradecer la gran colaboración prestada para el desarrollo de esta tarea por el DEMRE de la Universidad de Chile, organismo técnico responsable del desarrollo, construcción y aplicación de las pruebas, así como del proceso

(8)

6

PSU

de admisión a las universidades del Consejo de Rectores. Agradecemos especialmente a quien fue su director, Lautaro Cisternas Lagos, y a su actual directora (S) María Angela Bocchieri, quienes han dispuesto en cada proceso de admisión (desde el proceso 2004 en adelante) la generosa colaboración de su institución. Particular mención merecen las siguientes personas dentro del DEMRE:

• María Ángela Bocchieri A., Jefa Unidad de Construcción de Pruebas;

• Graciela Donoso R., Ex Jefa Unidad de Estudios e Investigación (y miembro del Comité Técnico Asesor y coautora de este estudio);

• Claudio Calderón N., Jefe de Unidad Informática.;

• Carlos Canto H., Jefe de Unidad de Registro Educacional;

• Jorge Ahumada Unidad Informática;

• Alfredo Gabriel M., Unidad Informática;

• Paola Contreras O., Unidad de Estudios e Investigación.

En segundo lugar, queremos también agradecer a Iñigo Díaz C., quien se desempeñaba como Vicerrector de Asuntos Académicos de la Universidad de Chile, autoridad responsable del DEMRE y que ha sido pieza fundamental para el alto nivel de colaboración institucional con el Comité Técnico Asesor. Carlos Lorca A. y María Teresa Marchall, del Consejo de Rectores, han sido fundamentales para materializar el esfuerzo del Comité Técnico Asesor traducido en éste y otros estudios técnicos.

Finalmente, agradecemos a Angélica Bosch y Valeria Signorini, investigadores asistentes del Comité Técnico Asesor, por su eficaz apoyo y destacado trabajo.

Este informe puede ser descargado de la página Web del Comité Técnico Asesor del Consejo de Rectores: www.cta-psu.cl

(9)

7

PSU Este estudio, componente de la serie de Documentos Técnicos1_elaborado por el Comité Técnico Asesor de las Pruebas de Selección Universitaria (PSU), presenta algunos de los principales resultados de la tercera, cuarta, quinta, sexta y séptima aplicación de estas pruebas, aplicadas en los meses de Diciembre de 2005, 2006, 2007, 2008 y 2009, respectivamente. Estas pruebas tuvieron como propósito seleccionar a los postulantes para el ingreso a las Universidades del Consejo de Rectores en los años académicos 2006, 2007, 2008, 2009 y 2010, respectivamente.

De manera similar a los informes de resultados anteriores, en este documento se presentan los principales resultados del análisis relativo a las cualidades métricas de las preguntas y pruebas aplicadas, para lo cual se utilizaron de manera complementaria tanto técnicas basadas en la teoría clásica de la medición como en la teoría de respuesta al ítem.

Resultados de la Aplicación

de Pruebas de Selección

Universitaria

Admisiones 2006–2010

1 Los documentos técnicos, a los que se alude en varias oportunidades, están disponibles en www. cta-psu.cl. Se trata de estudios sobre resultados de las pruebas de admisión (Hawes et al, 2004; y Bravo et al, 2005) y un estudio sobre validez predictiva (Manzi et al, 2006).

(10)

8

PSU

La evidencia empírica para los procesos de admisión 2006, 2007, 2008, 2009 y 2010, confirma lo ya encontrado en los dos años anteriores (admisiones 2004 y 2005): las PSU presentan características que permiten asegurar su calidad como instrumentos de medición para seleccionar estudiantes a las universidades chilenas.

La publicación se estructura en cinco partes. En la primera se caracteriza, en términos generales, los instrumentos aplicados y la población examinada en los procesos de admisión. En la segunda parte se realiza el análisis de los ítemes, incluyendo como indicadores el grado de dificultad, su capacidad para discriminar y el grado de omisión. En la tercera sección se reportan la confiabilidad de las pruebas y las correlaciones entre los factores de selección. En la cuarta parte se estudian los aspectos relacionados con las distribuciones de puntajes. Finalmente, se incluye un resumen con las principales conclusiones de este informe.

(11)

9

PSU

Antecedentes Generales

I.

Desde el proceso de admisión a las universidades del año 2004, el Consejo de Rectores de las Universidades Chilenas realiza anualmente un proceso de medición para la selección de estudiantes que se incorporan a sus programas de pregrado mediante las Pruebas de Selección Universitaria (PSU). Este conjunto de instrumentos vino a reemplazar a la batería de pruebas conformada por las Pruebas de Aptitud Académica (PAA) y de Conocimientos Específicos (PCE).

En consecuencia, los antecedentes que se analizan en este documento corresponden a los de la tercera, cuarta, quinta, sexta y séptima aplicación de las PSU, sin perjuicio de que también se presentan antecedentes que abarcan desde el proceso de admisión 2004.

Es importante recordar que el fundamento del cambio fue asegurar una mayor articulación entre las pruebas de admisión a las universidades y el marco curricular de la Enseñanza Media. Esta articulación es beneficiosa si se consideran los siguientes elementos2_:

(12)

10

PSU

3 Los contenidos curriculares que sirven de referencia para las PSU se pueden encontrar en la página Web del Consejo de Rectores www.cruch.cl.

4 Las pruebas anteriores también combinaban la medición de habilidades y contenidos, pero la diferencia principal se aprecia en el mayor grado de alineación curricular de las PSU en relación con la PAA. La batería empleada hasta la admisión 2003 estaba compuesta por tres pruebas de carácter obligatorio (la Prueba de Aptitud Académica en sus partes Verbal y Matemática y la Prueba de Historia y Geografía de Chile) y cinco de conocimientos específicos (Matemática, Física, Química, Biología y Ciencias Sociales).

• el fuerte y creciente impacto que habían exhibido las pruebas de admisión universitaria sobre la Educación Media;

• la escasa referencia curricular efectiva de la Prueba de Aptitud Académica y la importante disminución en el número de postulantes que rendía las Pruebas de Conocimientos Específicos;

• el beneficio que tiene sobre el sistema universitario la elevación de los estándares de la Educación Media;

• los antecedentes internacionales que muestran la preeminencia de pruebas de admisión universitaria referidas al currículo escolar en los países desarrollados.

El modelo de medición de las Pruebas de Selección Universitaria es funcional al propósito de seleccionar a los postulantes a las universidades del Consejo de Rectores y para ello combina dos aspectos: habilidades cognitivas y contenidos curriculares3_{. Con el objeto de medir estas} habilidades se realizan pruebas en las siguientes disciplinas: Lenguaje y Comunicación, Matemática, Historia y Ciencias Sociales y Ciencias (Biología, Física y Química)4_.

El sistema que se está empleando desde el proceso de admisión 2004 está compuesto por dos pruebas obligatorias (Matemática y Lenguaje y Comunicación) y una tercera que los estudiantes deben elegir entre Ciencias e Historia y Ciencias Sociales.

(13)

11

PSU La Prueba de Selección Universitaria de Ciencias contiene un módulo común (con preguntas de Biología, Física y Química, referidas al marco curricular común hasta segundo año de enseñanza media) y módulos electivos en Biología, Física y Química, basados en el marco curricular de toda la Enseñanza Media. Los postulantes deben rendir la parte común y uno de los tres módulos electivos. Independientemente del bloque específico escogido, se entrega un puntaje único para la prueba de Ciencias, sin diferenciar el módulo electivo rendido.

El Cuadro Nº 1 muestra que el número total de postulantes que ha rendido pruebas se ha incrementado notablemente desde el proceso de admisión 2004. Así, por ejemplo, la prueba de Lenguaje fue rendida por aproximadamente 154 mil postulantes en el proceso de admisión 2004, mientras que en el proceso 2008 el número de personas que la rindió ascendió a 218 mil, registrándose un aumento de 41%, si se considera el año 2009 rindieron alrededor de 243 mil postulantes, es decir un 58% más que el año 2004 y al observar el proceso 2010 se aprecia que 253 mil personas rindieron la prueba, lo que significa un incremento del 64% respecto del año 2004. Similar situación se aprecia en Matemática, la segunda prueba obligatoria, desde el comienzo de la aplicación de la PSU se observa un crecimiento promedio anual de más de 9%. Debe notarse además que el incremento más sustantivo se produce en el proceso de admisión 2007, atribuible al importante aumento de becas otorgadas para posibilitar la rendición de las PSU.

Dentro de las pruebas opcionales, en los siete años de aplicación la prueba más rendida es la de Historia y Ciencias Sociales, registrándose más de 157 mil estudiantes que la rindieron en el último proceso de admisión, lo cual representa un 62,2% del total que rinde la PSU. No obstante, estos estudiantes se incrementan menos que el total de postulantes (48% en el

(14)

12

PSU

período considerado, con un crecimiento anual de 8% promedio). Por otra parte, la prueba de Ciencias se ha rendido por una proporción equivalente de postulantes entre 2004 y 2009, la cual está en torno al 55% con respecto a la prueba más rendida en cada año.

Si se suman los estudiantes que rindieron ambas pruebas opcionales, se tiene un número total que asciende a 124% de los que rindieron la prueba de Lenguaje en la PSU 2004, a 120% para la PSU 2009 y 118% para la PSU 2010. Esto indica que entre una cuarta y quinta parte de los postulantes rinde ambas pruebas opcionales, aunque este porcentaje ha presentado una caída en el período.

Otro aspecto relevante que es posible apreciar del Cuadro Nº 1, tiene relación con la prueba de Ciencias, ya que el módulo electivo más rendido corresponde a Biología, lo cual se presenta en todo el rango de tiempo considerado. Además, el módulo electivo que ha registrado mayor crecimiento durante todo el periodo es el de Química.

(15)

13

PSU

En el cuadro Nº 2 que se presenta a continuación, se observan las características de quienes han rendido las PSU en el período bajo análisis, según dependencia y modalidad del establecimiento educacional, según el carácter de egresado del año o egresado en años anteriores y, por sexo. Los datos se expresan en porcentajes respecto del total que rindió tanto la Prueba de Lenguaje como la de Matemática, además de considerar sólo a quienes tienen datos en todas las categorías sobre las cuales se hace la clasificación.

Se observa que la proporción de estudiantes que provienen de establecimientos particulares pagados respecto del total de postulantes

CUADRO Nº1 / PRUEBAS DE SELECCIÓN UNIVERSITARIA/PROCESOS DE ADMISIÓN 2004-2010

Prueba Carácter

Nº de Postulantes

(y % que representan respecto de la prueba más rendida en cada año) PSU

2004 2005PSU 2006PSU 2007PSU 2008PSU 2009PSU 2010PSU

Matemática Obligatoria 153.483_(99,7%) 169.475_(99,7%) 176.438_(99,8%) _(99,4%)211.517 _(99,5%)217.120 242.427_(99.5%) 251.927_(99,4%)

Lenguaje y Comunicación Obligatoria 153.976 (100,0%) 169.901 (100,0%) 176.757 (100,0%) 212.721 (100,0%) 218.108 (100,0%) 243.563 (100,0%) 253.413 (100%) Historia y

Ciencias Sociales Opcional 106.843(69,4%) 112.988(66,5%) 116.257(65,8%) 138.099(64,9%) 139.256(63,8%) 152.583(62,6%) 157.665(62,2%)

Ciencias

Opcional

84.214

(54,7%) (55,4%)94.139 (56,3%)99.530 113.530(53,4%) 120.657(55,3%) 138.564(56,9%) 142.000(56%) Módulo electivo

Biología (31,8%)49.016 (32,0%)54.451 (31,5%)55.740 (29,3%)62.386 (29,7%)64.756 (31,4%)76.549 81.301(32%) Módulo electivo

Física (12,9%)19.827 (12,2%)20.722 (12,0%)21.248 (10,9%)23.264 (11,2%)24.341 (11,3%)27.606 (11,4%)28.900 Módulo electivo

(16)

14

PSU

que rinden las pruebas ha disminuido sostenidamente en el período analizado, pasando de representar un 15,7% en 2004, a un 10,5% en el proceso de admisión 2009 y a un 10% en el año 2010. La caída más importante se produce en el proceso de admisión 2007, año para el cual se implementó una política amplia de otorgamiento de becas para rendir las PSU destinada a estudiantes de menos recursos. A la caída anterior, de más de dos puntos porcentuales, se debe también sumar una caída en el período, de cerca de dos puntos porcentuales, en la participación de los postulantes que provienen de establecimientos municipales. Todo lo anterior, se ha producido junto con el incremento notable en el porcentaje de estudiantes que proviene de colegios particulares subvencionados. De hecho, desde el proceso de admisión 2005 esta dependencia supera en postulantes al sector municipal, diferencia que se ha ido ampliando en los últimos años.

La modalidad de los establecimientos también presentó un cambio importante a partir de 2007, proceso para el cual se observa un incremento de 5 puntos en el porcentaje de alumnos que provienen de establecimientos Técnico-Profesionales, así como también se aprecia una caída, de magnitud similar, para los establecimientos de carácter Científico-Humanista. Para el proceso de admisión 2009 se tuvo que un 70% de los postulantes corresponde al sector científico-humanista y un 29,4% tenía como origen la modalidad técnico-profesional, la misma tendencia se observa para el proceso 2010, ya que se aprecia que un 69.3% corresponde a postulantes de la modalidad científico-humanista y un 29.9% al sector técnico-profesional.

Adicionalmente, se puede advertir bastante estabilidad en la composición de quienes rinden las PSU en función de ser egresados del mismo año o

(17)

15

PSU bien postulantes rezagados. Entre un 70 y un 72% en todo el período ha estado constituido por egresados del año en curso mientras que la diferencia corresponde a postulantes provenientes de otras promociones.

Por último, se puede observar que hay más mujeres que hombres involucrados en los procesos de admisión. Para el proceso 2009, un 53,2% de quienes rindieron las pruebas eran mujeres, mientras que para el proceso 2010 esta categoría fue de 52.7%.

CUADRO Nº2 / CLASIFICACIÓN DE POSTULANTES / PROCESOS DE ADMISIÓN 2004-2010

Categoría

Proporción de postulantes

(% respecto del total que rindió ambas pruebas obligatorias en cada año) PSU 2004 PSU 2005 PSU 2006 PSU 2007 PSU 2008 PSU 2009 PSU 2010

(a) Por dependencia

Municipal 43,0% 42,4% 41,6% 42,8% 40,9% 40,8% 40,8% Particular Subvencionado 41,3% 43,1% 44,6% 45,4% 47,6% 48,1% 48,5% Particular Pagado 15,7% 14,5% 13,8% 11,8% 11,5% 10,5% 10%

(b) Por modalidad

Científico-Humanista 75,7% 75,5% 76,0% 70,6% 71,5% 70,0% 69,3% Técnico-Profesional 24,3% 24,5% 24,0% 29,4% 28,5% 29,4% 29,9%

(c) Por año de egreso

Egresado año en curso 70,1% 70,8% 71,5% 71,1% 72,0% 71,1% 71,1% Egresado año anteriores 29,9% 29,2% 28,5% 28,9% 28,0% 28,9% 28,9%

(d) Por género

Hombres 47,7% 47,4% 47,1% 46,4% 46,1% 46,8% 47,3% Mujeres 52,3% 52,6% 52,9% 53,6% 53,9% 53,2% 52,7%

(18)

16

PSU

En pruebas de tal trascendencia como es el caso de las PSU, es necesario examinar el funcionamiento de los ítemes utilizados. Desde el punto de vista métrico, lo fundamental es establecer si las preguntas cubrieron el rango de dificultad esperado y si su capacidad discriminativa se encontraba dentro de los valores convencionalmente aceptables. La combinación de estas dos propiedades otorga garantías básicas acerca de la capacidad de las preguntas para evaluar en forma consistente y diferencial a los postulantes a las Universidades.

Otra característica relevante es la tasa de omisión, considerando que mientras mayor es el porcentaje de respuestas correctas, menor es la dificultad del ítem. Por lo tanto, omisiones no relacionadas con el grado de dificultad de las preguntas podrían constituir una alerta de mal funcionamiento.

También se requiere analizar los patrones de omisión según la posición de los ítemes en cada prueba, lo que está relacionado con el tiempo que se otorga para rendirla. Si se advierte que, a medida que se avanza en el número de la pregunta aumentan las omitidas, entonces podría concluirse que el tiempo asignado es menor que el que se necesita para responderla totalmente. Los aspectos anteriores son abordados en las secciones II.1 y II.2, respectivamente.

Análisis de Ítemes

II.

(19)

17

PSU Como se indicara anteriormente, una característica central de los ítemes es su grado de dificultad, el que se expresa por medio de la proporción de respuestas correctas. Lo esperable en pruebas de selección es contar con un conjunto de preguntas que cubra todo el espectro de grados dificultad. Para las PSU se han considerado aceptables grados de dificultad, expresados en proporción, entre 0,1 y 0,8.

Una segunda cualidad relevante es la capacidad discriminativa. La importancia de evaluar esta característica radica en que informa sobre cuán efectivo es un ítem para diferenciar a personas que poseen diferente nivel de habilidad. El estimador más típico para evaluar este aspecto es la correlación entre el puntaje del ítem y el puntaje en la prueba respectiva (denominada correlación biserial). De este modo, si la pregunta funciona en forma adecuada, quienes la responden acertadamente debieran tener un puntaje total mayor que aquéllos que la contestan en forma errónea. Se ha considerado aceptable que los coeficientes de correlación biserial deben ser iguales o superiores a 0,255_.

Los Gráficos 1, 2, 3, 4 y 5 presentan ambas propiedades de los ítemes para los procesos de admisión 2006, 2007, 2008, 2009 y 2010, respectivamente. En el eje horizontal se incluye el porcentaje de respuestas correctas (el indicador va de mayor a menor grado de dificultad), mientras que en el eje vertical se tiene la capacidad discriminativa de los ítemes, medido por la correlación biserial. Cada punto de los gráficos representa uno de los más de 300 ítemes utilizados en las distintas pruebas.

Grado de Dificultad y

Capacidad Discriminativa

II.1.

5 Los rangos considerados aceptables para los grados de dificultad y la correlación biserial fueron definidos en un protocolo técnico el año 2003..

(20)

18

PSU

Los resultados generales obtenidos son altamente satisfactorios para los cuatro procesos de admisión. En el gráfico 1, que representa la admisión 2006, se observa que casi la totalidad (97,2%) de los ítemes se encuentra dentro de los rangos aceptables.

En materia de grados de dificultad, en el Gráfico 1 los ítemes están sesgados hacia los niveles de dificultad superiores (grado de dificultad 0,5 o menos) lo cual es deseable para un instrumento construido con propósitos selectivos. En efecto, la mayoría de ítemes que se escapan de los rangos aceptables están sobre el nivel de dificultad techo deseado, es decir, más de un 90% de las personas que rindieron la prueba que contenía esa pregunta contestó equivocadamente. Por otra parte, en materia de capacidad discriminativa, todos los ítemes están en el rango aceptable.

GRÁFICO Nº1 / DISTRIBUCIÓN DEL GRADO DE DIFICULTAD Y CAPACIDAD DISCRIMINATIVA TOTAL DE ÍTEMES (ÍTEMES=357). PROCESO DE ADMISIÓN 2006

Prueba Adimisión 2006 Dificultad vs Discriminación

DISCRIMINACIÓN R BISERAL

Dificultad en % de correctas 0

0 0.25 0.5 0.75 1

(21)

19

PSU En el Gráfico 2, correspondiente al proceso de admisión 2007, el panorama no cambia mucho con respecto al Gráfico 1. Se observa que todos los ítemes se encuentran dentro de los rangos aceptables en materia de capacidad discriminativa. En cuanto al grado de dificultad, la gran mayoría (98%) de los ítemes se encuentra dentro de los rangos aceptables y bajo 0,5 lo que sin duda es positivo dado que la prueba está hecha con objetivos de selección.

Luego, el Gráfico 3, referido al proceso de admisión 2008, reproduce, en términos generales, los mismos patrones. El porcentaje de ítemes que en el proceso de admisión 2008 se encuentra dentro de los rangos aceptables es también de 98%. Prácticamente todos los ítemes con una excepción en un nivel marginal, presentan los niveles establecidos como aceptables para la capacidad discriminativa.

Prueba de Ciencias 2007 Dificultad vs Discriminación

0 0.25 0.5 0.75 1

0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

(22)

20

PSU

El Gráfico 4, relacionado al proceso de admisión 2009, sigue una estructura similar a los gráficos recién expuestos. Se ilustra que la gran mayoría de los ítemes, un 98%, se encuentran dentro de los rangos deseados en materia de capacidad discriminativa.

Pruebas Admisión 2008 Dificultad vs Discriminación

0 0.25 0.5 0.75 1

0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

0 0.25 0.5 0.75 1

(23)

21

PSU Finalmente el Gráfico 5, asociado al proceso de admisión del año 2010, continúa mostrando las mismas características que los años anteriores. Se observa que la gran mayoría de los ítemes, un 98%, se encuentran dentro de los rangos deseados, lo cual se condice con los objetivos de selección que tiene la prueba.

Los mismos gráficos mostrados anteriormente, separados por años y por prueba, se pueden examinar en el Anexo 1 de este informe.

El Cuadro Nº 3 resume los indicadores para las pruebas obligatorias para los siete años en que esta batería de pruebas se ha rendido. El grado de dificultad promedio de estas dos pruebas se encuentra por debajo del 0,5, una característica deseable para instrumentos de selección universitaria. Se observa también que la prueba de Matemática presenta un mayor grado de dificultad que la de Lenguaje y Comunicación. Adicionalmente, se aprecia una disminución en la proporción media de respuestas correctas, tanto en Matemática como en Lenguaje, a lo largo de estos siete años, si se compara el proceso 2004 con la admisión 2010.

0.7 0.8 0.9 1

0 0.25 0.5 0.75 1

(24)

22

PSU

En el mismo cuadro Nº3 se observa que la capacidad discriminativa media de las pruebas obligatorias ha tenido un aumento a lo largo de los años, registrándose en lenguaje una variación de mayor magnitud.

En el cuadro Nº 4 se aprecian algunos indicadores para las pruebas optativas que se han rendido desde el proceso 2004 al último proceso realizado en el año 2010. En el caso de Ciencias, se presentan por separado las características de los ítemes del módulo común y de los tres módulos electivos.

La prueba de Ciencias presenta una menor proporción media de respuestas correctas en relación con la de Historia y Ciencias Sociales. Se puede apreciar que ello dice relación con el mayor grado de dificultad que presenta el módulo Común y el de Biología, el que aproximadamente es el mismo si se compara 2004 con 2010. Los módulos electivos de Química y

CUADRO Nº3 / RESUMEN DE CARACTERÍSTICAS DE LOS ÍTEMES PARA PRUEBAS DE CARÁCTER OBLIGATORIO / PROCESOS DE ADMISIÓN 2004-2010

Pruebas de Selección de carácter obligatorio ₂₀₀₄PSU ₂₀₀₅PSU ₂₀₀₆PSU ₂₀₀₇PSU ₂₀₀₈PSU ₂₀₀₉PSU ₂₀₁₀PSU

Matemática

N° de Itemes 118 103 70 70 69* 70 70 Proporción Media de Respuestas Correctas 0,38 0,38 0,33 0,32 0,33 0,33 0,34 Capacidad discriminativa media 0,71 0,72 0,73 0,72 0,73 0,73 0,73 Tasa de Omisión 0,35 0,34 0,36 0,41 0,39 0,38 0,38

Lenguaje

N° de Itemes 138 142 80 80 80 80 80 Proporción Media de Respuestas Correctas 0,47 0,47 0,47 0,44 0,44 0,46 0,46 Capacidad discriminativa media 0,47 0,48 0,50 0,51 0,53 0.54 0,53 Tasa de Omisión 0,23 0,20 0,20 0,23 0,24 0,22 0,22

(25)

23

PSU Física, por su parte, han exhibido un aumento en el grado de dificultad en el tiempo, especialmente si se compara 2004 y 2009-2010, acercándose a la proporción de respuestas correctas del módulo común y Biología.

Para el caso de Historia y Ciencias Sociales el grado de dificultad es casi el mismo si comparamos el proceso 2004 con el 2010, sin embargo, se observó cierta tendencia a la baja entre los procesos 2005 y 2007.

En el caso de las pruebas electivas, la capacidad discriminativa media en el año 2004 alcanza su mínimo en la prueba de Ciencias Sociales con un índice de 0,51, mientras que el máximo viene dado por la prueba de Ciencias en el módulo de Química, con un índice de 0,64. Analizando el año 2009, se observa que el mínimo se da en las pruebas de Ciencias Sociales y de Ciencias Módulo Electivo Biología con un valor de 0,58, por su parte el máximo corresponde a la prueba de Ciencias Módulo Electivo Física. Al examinar el proceso de admisión 2010, se ve que el mínimo de la capacidad discriminativa media se encuentra en la prueba de Ciencias Sociales con un valor de 0.58, por su parte el máximo está en la prueba de Ciencias Módulo Electivo Física con un valor de 0.72, pero la capacidad discriminativa de las pruebas a lo largo de estos siete procesos aumenta notoriamente en las dos pruebas optativas.

Al analizar ambos cuadros conjuntamente se observa que la capacidad discriminativa de las pruebas ha ido aumentando con el paso de los años. Este es un hecho positivo, por cuanto la alta correlación promedio ítem-test indica que la capacidad discriminativa de las preguntas es adecuada y ofrece suficientes garantías para que la diferenciación de puntajes en las pruebas sea confiable. Esto se refleja en el alto nivel de confiabilidad de cada prueba el que supera el valor 0,90.

(26)

24

PSU

CUADRO Nº4 / RESUMEN DE CARACTERÍSTICAS DE LOS ÍTEMES POR PRUEBA DE CARÁCTER ELECTIVO / PROCESOS DE ADMISIÓN 2004-2010

Ciencias Sociales

N° de Itemes 125 118 75 75 75 75 75 Proporción Media de Respuestas Correctas 0,41 0,45 0,44 0,43 0,42 0,42 0,41 Capacidad discriminativa media 0,51 0,54 0,53 0,56 0,57 0,58 0,58 Tasa de Omisión 0,28 0,26 0,26 0,26 0,30 0,28 0,29

Ciencias Modulo Electivo Común

N° de Itemes 54 54 54 54 54 54 54 Proporción Media de Respuestas Correctas 0,32 0,35 0,36 0,34 0,33 0,35 0,31 Capacidad discriminativa media 0,56 0,56 0,56 0,60 0,63 0,62 0,62 Tasa de Omisión 0,35 0,33 0,32 0,34 0,35 0,37 0,39

Ciencias Modulo Electivo Biología

N° de Itemes 25 26 26 26 26 26 26

Proporción Media de Respuestas Correctas 0,32 0,37 0,29 0,32 0,32 0,32 0,32

Capacidad discriminativa media 0,53 0,52 0,56 0,56 0,66 0,58 0,64

Tasa de Omisión 0,25 0,25 0,33 0,35 0,35 0,33 0,33

Ciencias Modulo Electivo Física

N° de Itemes 26 26 26 26 26 25 26

Tasa de Omisión 0,25 0,28 0,32 0,35 0,36 0,35 0,3

Ciencias Modulo Electivo Química

N° de Itemes 26 26 26 26 26 26 26

(27)

25

PSU Los resultados anteriores se confirman cuando se recurre al enfoque de la Teoría de Respuesta al Ítem. Esta aproximación establece una relación funcional (no lineal) entre la probabilidad de responder correctamente un determinado ítem y el grado de dominio del atributo subyacente al mismo, permitiéndose la estimación simultánea de las propiedades psicométricas de los ítemes y la habilidad de quienes son evaluados. Para el análisis debió calibrarse el conjunto de preguntas evaluadas en cada prueba y estimarse sus parámetros.

(28)

26

PSU

En el cuadro Nº 3 se ilustró que la tasa de omisión se ha mantenido relativamente estable para el caso de la prueba de Lenguaje, mientras que se verifica un aumento de 0,35 a 0,39 en la prueba de Matemática en el período 2004-2008, con una leve disminución en el año 2009 y 2010, obteniéndose un valor de 0,38. Para el caso de las pruebas optativas en Ciencias Sociales y en Ciencias en el módulo Común, las tasas de omisión se mantienen relativamente constantes a lo largo de estos siete años. Sin embargo, para el caso de la prueba de Ciencias en los módulos de Física, Biología y Química, las tasas de omisión han presentado alzas importantes, no obstante, para los años 2009 y 2010 se observa una pequeña caída en el valor al compararlo con el año 2008.

Un análisis más cuidadoso muestra que, en efecto, la omisión está altamente correlacionada con el grado de dificultad de las preguntas siendo, de acuerdo a lo deseable, más elevada para las preguntas más difíciles. Es decir, la omisión refleja desconocimiento del contenido medido por el ítem. En, función de lo anterior, podría ser claro que los cambios en la tasa de omisión aludidos anteriormente en el tiempo, están relacionados con los cambios también descritos previamente en los grados de dificultad de las pruebas.

La vinculación entre omisión y dificultad es claramente apreciable en los Gráficos 6, 7, 8, 9 y 10, en los cuales cada punto de los siguientes gráficos, representa uno de los ítemes de las pruebas correspondientes a los procesos 2006, 2007, 2008, 2009 y 2010, respectivamente. La línea con pendiente negativa dibujada sobre la dispersión de puntos de cada gráfico representa

Tasas de Omisión

(29)

27

PSU la tendencia que exhiben los datos, es decir, mientras mayor sea el nivel de dificultad de un ítem mayor es la tasa de omisión de aquella pregunta. Este patrón es análogo al encontrado para los ítemes aplicados en los procesos de admisión del año 2004 y 2005.

GRÁFICO Nº6 / RELACIÓN ENTRE OMISIÓN Y DIFICULTAD PROCESO DE ADMISIÓN 2006

Relación entre Omisión y Dificultad Pruebas Admisión 2006

% de omisión

0 0.2 0.4 0.6 0.8 1

0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

% de omisión

0 0.2 0.4 0.6 0.8 1

(30)

28

PSU

% de omisión

0 0.2 0.4 0.6 0.8 1

0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

% de omisión

0 0.2 0.4 0.6 0.8 1

(31)

29

PSU

Los mismos gráficos mostrados anteriormente separados por años y por prueba, pueden ser vistos en el anexo 2 de este informe.

Los ítemes también fueron analizados en su omisión de acuerdo a su posición en cada prueba. Si la omisión fuera significativamente mayor para aquellos ubicados hacia el final de las pruebas, podría constituir evidencia de que es necesario ajustar los tiempos asignados para responder.

Los resultados del análisis anterior muestran que no existe un patrón definido que implique mayor omisión hacia el final de las pruebas. De allí que esta evidencia muestra que el tiempo otorgado para responder las pruebas ha resultado apropiado y no ha constituido un factor que incidiera en la dificultad de las preguntas

% de omisión

0 0.2 0.4 0.6 0.8 1

(32)

30

PSU

Todo tipo de medición involucra algún nivel de error. La teoría clásica conceptualiza que todo puntaje observado en una prueba está constituido por dos partes: una parte “verdadera” y una parte de “error”. El objetivo de todo test es poder determinar con la mayor precisión posible el puntaje verdadero de cada examinado y, por lo tanto, minimizar el error.

La confiabilidad de una prueba es un concepto que, precisamente, indica el grado en que las puntuaciones observadas pueden ser consideradas como puntuaciones verdaderas.

El indicador comúnmente utilizado se denomina coeficiente Alfa de Cronbach y se debe estimar para cada una de las formas empleadas. Los resultados de este análisis se presentan en la sección III.1. La sección III.2 continúa presentando estadísticas sobre correlaciones entre pruebas.

Valores superiores a 0,9 para el indicador Alfa de Cronbach son considerados, tanto a nivel nacional como internacional, altamente

Confiabilidad de las

pruebas y correlaciones

entre ellas

III.

Confiabilidad de las pruebas

(33)

31

PSU satisfactorios y, por ende, señalan que la medición mide con precisión el puntaje verdadero de cada examinado.

El Cuadro N° 5 reporta el valor de este indicador para cada forma de las pruebas obligatorias aplicadas, cuatro en el caso de Matemática y Lenguaje para el año 2004 y 2005; y dos formas para los años 2006, 2007, 2008, 2009 y 2010. Los resultados muestran elevados niveles de consistencia de los puntajes entre cada uno de los años y entre cada prueba del mismo año. La prueba de matemática mantuvo su índice entre los procesos 2004 y 2010, mientras que la prueba de lenguaje mostró un notable incremento.

CUADRO Nº5 / CONFIABILIDAD DE LAS PRUEBAS OBLIGATORIAS POR FORMA / PROCESOS DE ADMISIÓN 2004-2010 (COEFICIENTE ALFA DE CRONBACH)

Pruebas de Selección de carácter obligatorio

PSU 2004

PSU 2005

PSU 2006

PSU 2007

PSU 2008

PSU 2009

PSU 2010

Matemática

N° de Itemes 118 103 70 70 69* 70 70 Forma 1 0,96 0,97 0,94 0,95 0,95 0,95 0,97 Forma 2 0,96 0,97 0,94 0,95 0,95 0,95 0,97 Forma 3 0,96 0,97 - - - -

-Forma 4 0,96 0,97 - - - -

-Lenguaje

N° de Itemes 138 142 80 80 80 80 80 Forma 1 0,92 0,92 0,93 0,94 0,94 0,94 0,94 Forma 2 0,91 0,93 0,93 0,94 0,94 0,94 0,94 Forma 3 0,92 0,92 - - - -

-Forma 4 0,91 0,93 - - - -

(34)

32

PSU CUADRO Nº6 / CONFIABILIDAD DE LAS PRUEBAS OPTATIVAS POR FORMA / PROCESOS DE

ADMISIÓN 2004-2010 (COEFICIENTE ALFA DE CRONBACH)

Ciencias Sociales

N° de Itemes 125 118 75 75 75 75 75 Forma 1 0,93 0,93 0,93 0,94 0,94 0,94 0,95 Forma 2 0,92 0,93 0,93 0,94 0,94 0,94 0,95

Ciencias Modulo Electivo Biología

N° de Itemes 79 80 80 80 80 80 80 Forma 1 0,92 0,93 0,94 0,94 0,94 0,95 0,93 Forma 2 0,92 0,93 0,93 0,94 0,94 0,95 0,93

Ciencias Modulo Electivo Física

N° de Itemes 80 80 80 80 80 79 80

Forma 1 0,94 0,94 0,94 0,94 0,94 0,95 0,93

Forma 2 0,94 0,94 0,94 0,94 0,94 0,95 0,93

Ciencias Modulo Electivo Química

N° de Itemes 80 80 80 80 80 80 80

Forma 1 0,94 0,95 0,93 0,94 0,94 0,95 0,93

Forma 2 0,94 0,95 0,93 0,94 0,94 0,95 0,93

El cuadro Nº 6 proporciona información acerca de la confiabilidad de las pruebas de carácter optativo. Nuevamente los resultados son altamente satisfactorios, ya que todas las pruebas presentan índices sobre 0,92. Todas ellas, además, son considerablemente estables a lo largo de los siete procesos y bastante similares entre las distintas formas de un mismo proceso.

En resumen, podemos señalar que los resultados son altamente positivos y muestran elevados niveles de consistencia interna de los puntajes en cada una de las pruebas.

(35)

33

PSU

CUADRO Nº7 / CORRELACIÓN ENTRE LA PRUEBA DE LENGUAJE Y LA PRUEBA DE MATEMATICA, HISTORIA Y CIENCIAS SOCIALES, CIENCIAS Y NOTAS DE ENSEÑANZA MEDIA / ADMISIÓN 2004-2010

PRUEBA OBLIGATORIA DE LENGUAJE Y COMUNICACIÓN

Los Cuadros 7 al 10, que se presentan a continuación, muestran los coeficientes de correlación entre los puntajes de las distintas pruebas de la batería de instrumentos de medición empleados en los procesos de admisión 2004 a 2010. Cada celda muestra el coeficiente de correlación simple para los postulantes que rinden ambas pruebas.

Un coeficiente de correlación positivo entre dos pruebas indica que quienes tienden a tener buenos puntajes en una prueba también registran un desempeño similar en la otra con la que se compara.

En el cuadro Nº 7 se reportan las correlaciones de los puntajes de la prueba de Lenguaje con el resto de la batería de instrumentos, para los procesos de admisión 2004 a 2010. Se puede apreciar que la correlación observada entre los puntajes de la prueba de Lenguaje y los de las demás pruebas es, en promedio, superior a 0,75. La correlación más alta de la prueba de Lenguaje se registra con la prueba de Ciencias Sociales, tendencia que se mantiene a lo largo de los distintos procesos de admisión. Adicionalmente, la correlación entre la prueba de Lenguaje y las Notas de Enseñanza Media es positiva pero notablemente inferior (en promedio en torno a 0,5).

Correlaciones entre pruebas

III.2.

AÑO 2004 2005 2006 2007 2008 2009 2010 PRUEBA PSU-L PSU-L PSU-L PSU-L PSU-L PSU-L PSU-L

PSU-M 0,715 0,745 0,733 0,743 0,764 0,779 0,778 PSU-CS 0,787 0,809 0,813 0,824 0,817 0,839 0,836 PSU-C 0,720 0,762 0,782 0,802 0,796 0,798 0,800 NEM 0,478 0,502 0,516 0,524 0,520 0,49 0,522

(36)

34

PSU

En el cuadro Nº 8 se incluye la correlación entre la prueba de selección universitaria de Matemática y el resto de las pruebas y las notas de enseñanza media. Las correlaciones allí exhibidas indican que la mayor asociación se produce entre la prueba de Matemática y las de Lenguaje y Ciencias. En el caso de la correlación con la prueba de lenguaje, ésta es de 0,779 en el proceso de admisión 2009 y 0,778 en el año 2010, lo cual exhibe un aumento respecto de los años anteriores. La correlación entre la prueba de matemática y la de ciencias es de 0,834 y 0,836 para los procesos de admisión 2009 y 2010 respectivamente, que son notoriamente más altas que la exhibida en el proceso 2004.

Nuevamente se encuentra que la correlación entre la prueba y las NEM es de nivel inferior, lo que viene a evidenciar que las notas están midiendo un factor claramente distinto al que evalúan las pruebas.

CUADRO Nº8 / CORRELACIÓN ENTRE LA PRUEBA DE MATEMÁTICA Y LA PRUEBA DE LENGUAJJE Y COMUNICACIÓN, HISTORIA Y CIENCIAS SOCIALES, CIENCIAS Y NOTAS DE ENSEÑANZA MEDIA / ADMISIÓN 2004-2010

PRUEBA OBLIGATORIA DE MATEMÁTICA

AÑO 2004 2005 2006 2007 2008 2009 2010 PRUEBA PSU-M PSU-M PSU-M PSU-M PSU-M PSU-M PSU-M

PSU-L 0,715 0,745 0,733 0,743 0,764 0,779 0,778 PSU-CS 0,654 0,656 0,633 0,663 0,674 0,681 0,681 PSU-C 0,731 0,802 0,789 0,798 0,818 0,834 0,836 NEM 0,511 0,524 0,526 0,539 0,529 0,513 0,528

(37)

35

PSU En el cuadro Nº 9 se puede encontrar que la prueba de Historia y Ciencias Sociales tiene correlaciones, en general, superiores a 0,8 con la prueba de Lenguaje. La correlación de esta prueba con Matemática y Ciencias es menor y del orden de 0,65 en los períodos analizados. Finalmente, la correlación con las notas es más baja y del orden de 0,4 en los períodos analizados.

Finalmente, el cuadro 10 reporta las correlaciones para la prueba de Ciencias, las que son más altas con las pruebas de Lenguaje y Matemática.

CUADRO Nº9 / CORRELACIÓN ENTRE LA PRUEBA DE HISTORIA Y CIENCIAS SOCIALES Y LA PRUEBA DE LENGUAJE, MATEMATICA, CIENCIAS Y NOTAS DE ENSEÑANZA MEDIA / ADMISIÓN 2004-2010

PRUEBA OBLIGATORIA DE HISTORIA Y CIENCIAS SOCIALES

AÑO 2004 2005 2006 2007 2008 2009 2010 PRUEBA PSU-CS PSU-CS PSU-CS PSU-CS PSU-CS PSU-CS PSU-CS

PSU-L 0,787 0,809 0,813 0,824 0,817 0,839 0,778 PSU-M 0,654 0,656 0,633 0,663 0,674 0,681 0,681 PSU-C 0,624 0,646 0,664 0,721 0,713 0,706 0,716 NEM 0,379 0,387 0,403 0,433 0,417 0,394 0,439

CUADRO Nº10 / CORRELACIÓN ENTRE LA PRUEBA DE CIENCIAS Y LA PRUEBA DE LENGUAJE, MATEMATICA, HISTORIA Y CIENCIAS SOCIALES Y NOTAS DE ENSEÑANZA MEDIA /

ADMISIÓN 2004-2010

PRUEBA OBLIGATORIA DE CIENCIAS

AÑO 2004 2005 2006 2007 2008 2009 2010 PRUEBA PSU-C PSU-C PSU-C PSU-C PSU-C PSU-C PSU-C

PSU-L 0,720 0,762 0,782 0,802 0,796 0,798 0,800 PSU-M 0,731 0,802 0,789 0,798 0,818 0,834 0,836 PSU-CS 0,624 0,646 0,664 0,721 0,713 0,706 0,716 NEM 0,493 0,526 0,543 0,553 0,548 0,519 0,511

(38)

36

PSU

Los puntajes estándares de las distintas pruebas de selección universitaria son utilizados por las Universidades del Consejo de Rectores para que, en combinación con los puntajes estándar asociados al promedio de Notas de Enseñanza Media y usando ponderaciones publicadas previamente, determinen los puntajes que sirven para elaborar las listas de seleccionados (y las listas de espera) en cada una de las carreras y universidades.

En la sección IV.1 se hace referencia a los procedimientos de conversión utilizados para la obtención de los puntajes de las pruebas; en la sección IV.2 se presentan las distribuciones empíricas de las distintas pruebas en el proceso de admisión 2006, 2007, 2008, 2009 y 2010. Finalmente, en la sección IV.3 se muestran las distribuciones de los puntajes asociados a las Notas de la Enseñanza Media que se incluyen en la batería de selección.

Distribución de

puntajes en las pruebas

IV.

(39)

37

PSU

Consideraciones generales

IV.1.

Para las PSU, los puntajes estándares finales se obtienen luego de aplicar un procedimiento de conversión de los puntajes brutos a puntajes corregidos, para lo cual, al número de respuestas correctas se descuenta un cuarto de punto por cada respuesta incorrecta. A continuación, estos puntajes corregidos se expresan en una escala de promedio 500 y desviación típica 110, observándose que la gran mayoría de los puntajes finales se concentra entre 200 y 800 puntos.

En términos generales, es deseable que los procedimientos de asignación de puntajes finales en las pruebas cumplan con las siguientes propiedades:

• Deben depender sólo de la ubicación relativa del postulante dentro del universo de los que rinden cada prueba;

• Sean conocidos con anticipación, de modo que los usuarios de la información puedan saber el porcentaje aproximado de postulantes que se ubicará por encima de cada puntaje. Esto es importante en un sistema de medición de altas consecuencias, pues entrega señales estables a los postulantes y a las instituciones, y resulta relevante para entender e interpretar los puntajes;

• Sean homogéneos entre pruebas. Que la conversión de puntajes no distorsione las ponderaciones que cada carrera universitaria decida utilizar. Para esto es importante la homogeneidad de procedimientos entre pruebas e intertemporalmente. En efecto, aún cuando distintos procedimientos aplicados a cada prueba no alteren el ordenamiento de los estudiantes al interior de ellas, sí se afectan los puntajes de postulación a las universidades pues éstos combinan los puntajes de las distintas pruebas. Por ejemplo, si una prueba de la batería de selección exhibe una desviación superior al resto, su ponderación efectiva será mayor a la nominal.

(40)

38

PSU

• Que no se produzcan fluctuaciones grandes de los puntajes estándar entre un año y otro. La estabilidad de las distribuciones de los puntajes finales entre años permite que las ponderaciones efectivas de cada prueba coincidan con las fijadas por las unidades que imparten una determinada carrera;

Con el objeto de implementar lo anterior, una vez obtenidos los puntajes corregidos, se deben calcular las frecuencias porcentuales acumuladas para cada puntaje, lo que equivale a obtener los percentiles de la distribución. Y, posteriormente, es necesario asociar a cada puntaje el percentil correspondiente a una cierta distribución que se utilice como referencia.

Es importante destacar que la elección de esta distribución de referencia no altera el ordenamiento relativo de los postulantes dentro de cada prueba. Y, para que tampoco se afecte el puntaje de postulación, se debe utilizar la misma para todas las pruebas.

El modelo usado para cada una de las PSU es la curva normal con una media de 500 puntos y una desviación estándar de 110 puntos. La elección de estos últimos parámetros es arbitraria y se viene aplicando desde el proceso de admisión 2005 de manera de hacerlos coherentes con el comportamiento histórico de los puntajes.

Al procedimiento de normalización anterior se le hacen pequeñas correcciones en los extremos de la distribución con el objeto de fijar puntajes mínimos y máximos comunes para cada prueba. En particular, se utiliza un puntaje mínimo de 150 puntos y un puntaje máximo de 850 puntos.

(41)

39

PSU La ubicación relativa de un postulante es su rango percentil, es decir, el porcentaje de puntajes igual o inferior al obtenido por éste. El puntaje final calculado es el percentil correspondiente de una distribución normal con el promedio y la desviación estándar indicados. Con el objeto de colaborar con una mejor información y comprensión por parte de los usuarios, a partir del proceso de admisión 2005, junto con los puntajes estándar de cada postulante se entrega el rango percentil correspondiente.

El Cuadro N° 11 contiene, a modo de ejemplo, algunos puntajes seleccionados y la información sobre el porcentaje de postulantes que rinde cada prueba que tiene un puntaje igual o inferior (el rango percentil asociado) y el porcentaje con puntajes superiores.

CUADRO Nº11 / PUNTAJES Y PERCENTILES ASOCIADOS A LA PRUEBA DE SELECCIÓN UNIVERSITARIA ADMISIÓN 2006-2010

Puntaje

Porcentaje de postulantes con puntaje igual o inferior (rango

percentil)

Porcentaje de postulantes con puntaje superior

400 18,2% 81,8%

450 32,5% 67,5%

500 50,0% 50,0%

550 67,5% 32,5%

600 81,8% 18,2%

650 91,4% 8,6%

700 96,5% 3,5%

750 98,8% 1,2%

800 99,7% 0,3%

(42)

40

PSU

Los gráficos 11 a 50 muestran, para cada prueba, primero la distribución de puntajes corregidos (antes del procedimiento de conversión a puntaje estándar) y luego la distribución de puntajes estandarizados. En todos ellos se incluye una distribución normal como referencia y además se han suavizado las distribuciones originales con el método de Kernel.

Los parámetros de cada distribución se reportan en el gráfico y se puede apreciar que, una vez normalizados, los puntajes se acercan a los 500 puntos en promedio con una desviación estándar de 110 (pueden diferir levemente de estos parámetros por el tratamiento que se hace a los extremos de las distribuciones, como se dijo antes).

Los gráficos permiten apreciar que los puntajes corregidos en las pruebas de Matemática y Ciencias presentan una clara asimetría, la que ha estado presente no sólo en los procesos de admisión 2006 a 2010, sino que también se puede apreciar en los dos procesos PSU anteriores y en la antigua batería de pruebas (en particular, en la prueba de aptitud matemática, y en las pruebas de Conocimientos Específicos de Matemática, Biología, Física y Química). Esta asimetría desaparece, como es esperable, una vez aplicado el procedimiento de normalización ya descrito. La asimetría observada previa a la normalización es similar para todos los procesos y en ambas pruebas.

En el caso de las pruebas de Lenguaje y de Historia y Ciencias Sociales, los puntajes corregidos exhiben una importante simetría en la distribución, la que se perfecciona luego de la normalización de la distribución. Esta simetría pre-normalización, es similar para todos los procesos y en ambas pruebas.

A continuación se muestran las distribuciones empíricas y corregidas de los puntajes de la prueba de Matemática; en la subsección siguiente se

Distribuciones empíricas de las pruebas

(43)

41

PSU incluyen los gráficos respectivos para la prueba de Lenguaje, mientras que, posteriormente, se hace lo mismo con los puntajes de la prueba de Historia y Ciencias Sociales y la de Ciencias.

Distribuciones empíricas y corregidas de la prueba de Matemática

El gráfico 11 muestra la distribución de puntajes corregidos de la prueba de Matemáticas para el proceso de admisión 2006. Como se indicó, se muestra una curva con una distribución normal como referencia. En comparación con ésta, se puede claramente apreciar la asimetría de la distribución de estos puntajes en la prueba.

Esta asimetría puede también apreciarse en los puntajes corregidos de la prueba de Matemática en los procesos de admisión 2007 (véase Gráfico 13), 2008 (véase Gráfico 15), 2009 (véase Gráfico 17) y 2010 (véase Gráfico 19).

GRÁFICO Nº11 / DISTRIBUCIÓN DE PUNTAJES CORREGIDOS PRUEBA DE MATEMÁTICA / PROCESO DE ADMISIÓN 2006

Media

Desviación estándar Asimetría Curtosis

17.40 18.53 0.972 - 0.014

Por

centaje

0 2.5 5.0 7.5 10.0 12.5 15.0 17.5 20.0

Puntaje corregido

(44)

42

PSU

El gráfico 12 muestra la distribución de los puntajes de la prueba de Matemática del proceso de admisión 2006, una vez estandarizados (los que se comunican a los postulantes). Se puede apreciar, en referencia a la curva de la distribución normal que también se incluye, que el proceso de estandarización remueve la asimetría anteriormente apreciada.

Los gráficos 14, 16, 18 y 20 que se muestran posteriormente presentan la distribución de puntajes estandarizados de la prueba de Matemática para los procesos de admisión 2007, 2008, 2009 y 2010. Se puede concluir, al igual que lo ocurrido en 2006, que el proceso de estandarización proporciona puntajes distribuidos de manera muy cercana con una distribución normal.

GRÁFICO Nº12 / DISTRIBUCIÓN DE PUNTAJES ESTANDARIZADOS PRUEBA DE MATEMÁTICA / PROCESO DE ADMISIÓN 2006

Media

500.57 110.27 0.102 0.000

Puntaje estandarizado

Por

centaje

70 0 1 2 3 4 5 6 7 8

370 310 250 190

(45)

43

PSU

Media Desviación estándar Asimetría Curtosis 18.094 18.064 0.977 - 0.022 Puntaje corregido Por centaje -25 0 2.5 5.0 7.5 10.0 12.5 15.0 17.5 20.0 22.5 0 50 -5 -10 -15

-20 5 10 15 20 25 30 35 40 45 55 60 65 70 75 80 85

Media Desviación estándar Asimetría Curtosis 500.23 109.56 0.040 - 0.076 Puntaje estandarizado 70 0 1 2 3 4 5 6 7 8 9 270 670 230 190 150

(46)

44

PSU Media Desviación estándar Asimetría Curtosis 18.637 18.125 0.937 - 0.067

Puntaje corregido

-25-20-15-10 -5 0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 0 2.5 5.0 7.5 10.0 12.5 15.0 17.5 20.0

Media Desviación estándar Asimetría Curtosis 500.31 109.91 0.062 - 0.050 Puntaje estandarizado 70 0 1 2 3 4 5 6 7 8 270 670 230 190 150

(47)

45

PSU

Media Desviación estándar Asimetría Curtosis 17.572 18.699 0.952 - 0.106 Puntaje corregido Por centaje -25 0 0 50 -5 -10 -15

-20 5 10 15 20 25 30 35 40 45 55 60 65 70 75 80 85 2.5 5.0 7.5 10.0 12.5 15.0 17.5 20.0

Media Desviación estándar Asimetría Curtosis 500.11 109.93 0.025 - 0.078 0 1 2 3 4 5 6 7 8 Puntaje estandarizado

(48)

46

PSU

Media Desviación estándar Asimetría Curtosis 18.327 18.321 1.005 0.087 Puntaje corregido -25 -30 0 0 50 -5 -10 -15

-20 5 10 15 20 25 30 35 40 45 55 60 65 70 75 80 85 2.5 5.0 7.5 10.0 12.5 15.0 17.5 20.0

Media Desviación estándar Asimetría Curtosis 500.71 110.80 0.098 0.069 0 1 2 3 4 5 6 7 8 Puntaje estandarizado

(49)

47

PSU

Distribuciones empíricas y corregidas de la prueba de Lenguaje y Comunicación.

Las distribuciones para los puntajes de la prueba de Lenguaje y Comunicación se presentan en los gráficos 21 a 30.

Los gráficos con la distribución de puntajes corregidos para los procesos de admisión 2006, 2007, 2008, 2009 y 2010, se pueden apreciar en los gráficos 21, 23, 25, 27 y 29, respectivamente.

Estos gráficos muestran que la prueba de lenguaje presenta una importante simetría en la distribución de los puntajes corregidos, tal como se puede apreciar visualmente en la comparación con una distribución normal y de los parámetros que se reportan en los gráficos

Los gráficos 22, 24, 26, 28 y 30 presentan la distribución de puntajes estandarizados de la prueba de Lenguaje para los procesos de admisión 2006, 2007, 2008, 2009 y 2010, respectivamente. Tal como en el caso del resto de las pruebas, el proceso de normalización perfecciona la simetría ya exhibida en los puntajes corregidos.

(50)

48

PSU

GRÁFICO Nº21 / DISTRIBUCIÓN DE PUNTAJES CORREGIDOS PRUEBA DE LENGUAJE / PROCESO DE ADMISIÓN 2006

Media Desviación estándar Asimetría Curtosis 30.471 16.9910 0.257 - 0.711 Puntaje corregido Por centaje -25 0 2 4 6 8 10 12 25 15 5 -5

-15 35 45 55 65 75 85 95

GRÁFICO Nº22 / DISTRIBUCIÓN DE PUNTAJES ESTANDARIZADOS PRUEBA DE LENGUAJE / PROCESO DE ADMISIÓN 2006

Media Desviación estándar Asimetría Curtosis 500.03 109.10 0.007 - 0.173 Puntaje estandarizado Por centaje 70 0 1 2 3 4 5 6 7 8 9 370 310 250 190

(51)

49

Puntaje corregido

-25-20-15-10-5 0 5 10 1520 2530 35 40 4550 55 6065 7075 8085 90 95 0 2 4 6 8 10 12

Media Desviación estándar Asimetría Curtosis 499.95 109.24 0.003 - 0.168 Puntaje estandarizado -70 0 1 2 3 4 5 6 7 8 9 130 530 90 50 10

(52)

50

Puntaje corregido

-25-20-15-10 -5 0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 0 2 4 6 8 10 12

Media Desviación estándar Asimetría Curtosis 499.98 109.32 0.006 - 0.137 Puntaje estandarizado 70 0 1 2 3 4 5 6 7 8 270 670 230 190 150

(53)

51

PSU

Media

30.811 18.311 0.312 - 0.801

Puntaje corregido -25

-30 -20-15-10 -5 0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 0

2 4 6 8 10 12

Media

500.04 109.21 0.009 - 0.171

0 1 2 3 4 5 6 7

(54)

52

PSU

Media

29.837 17.846 0.265 - 0.851

-30 -20-15-10 -5 0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 0

2 4 6 8 10 12

Media

499.96 109.15 0.005 - 0.177

0 1 2 3 4 5 6 7

(55)

53

PSU

Distribuciones empíricas y corregidas de la prueba de Historia y Ciencias Sociales.

Las distribuciones para los puntajes de la prueba de Historia y Ciencias Sociales se presentan en los gráficos 31 a 40.

Los gráficos con la distribución de puntajes corregidos para los procesos de admisión 2006, 2007, 2008, 2009 y 2010, se pueden apreciar en los gráficos 31, 33, 35, 37 y 39, respectivamente.

Estos gráficos muestran que la prueba de Historia y Ciencias Sociales presenta, al igual que la prueba de Lenguaje, una importante simetría en la distribución de los puntajes corregidos, tal como se puede apreciar visualmente en la comparación con una distribución normal y de los parámetros que se reportan en los gráficos.

Los gráficos 32, 34, 36, 38 y 40, presentan la distribución de puntajes estandarizados de la prueba de Historia y Ciencias Sociales para los procesos de admisión 2006, 2007, 2008, 2009 y 2010, respectivamente. Tal como en el caso de la prueba de Lenguaje, el proceso de normalización perfecciona la simetría ya exhibida en los puntajes corregidos.

(56)

54

PSU

GRÁFICO Nº31 / DISTRIBUCIÓN DE PUNTAJES CORREGIDOS

PRUEBA DE HISTORIA Y CIENCIAS SOCIALES / PROCESO DE ADMISIÓN 2006

Media Desviación estándar Asimetría Curtosis 27.44 16.64 0.406 - 0.626 Por centaje 0 2 4 6 8 10 12 Puntaje corregido

-25 -15 -5 5 15 25 35 45 55 65 75 85

GRÁFICO Nº32 / DISTRIBUCIÓN DE PUNTAJES ESTANDARIZADOS PRUEBA DE HISTORIA Y CIENCIAS SOCIALES / PROCESO DE ADMISIÓN 2006

Media Desviación estándar Asimetría Curtosis 500.06 109.15 0.018 - 0.170 Puntaje estandarizado Por centaje 70 0 1 2 3 4 5 6 7 8 9 370 310 250 190

(57)

55

-30 -20-15-10 -5 0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 0 2 4 6 8 10 12

(58)

56

-30 -20-15-10 -5 0 5 10 15 20 25 3035 40 45 50 55 6065 70 75 80 8590 0 2 4 6 8 10 12

(59)

57

PSU

Media

26.264 17.836 0.506 - 0.551

-30 -20-15-10 -5 0 5 10 15 20 2530 35 40 45 50 5560 65 70 75 80 8590 0

2 4 6 8 10 12

Media

500.11 109.47 0.012 - 0.121

0 1 2 3 4 5 6 7

(60)

58

PSU

Media

25.341 17.758 0.630 - 0.436

Puntaje corregido

-25-20-15-10 -5 0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 0

2 4 6 8 10 14

12

Media

500.10 109.56 0.015 - 0.105

0 1 2 3 4 5 6 8

7

(61)

59

PSU

Distribuciones empíricas y corregidas de la prueba de Ciencias.

Los gráficos 41 a 50 presentan las distribuciones para los puntajes de la prueba de Ciencias.

Los gráficos con la distribución de puntajes corregidos para los procesos de admisión 2006, 2007, 2008, 2009 y 2010 en relación con la prueba de Ciencias se pueden apreciar en los gráficos 41, 43, 45, 47 y 49, respectivamente.

Estos gráficos muestran una situación similar a la exhibida en la prueba de Matemática, a saber, una notoria asimetría en la distribución de los puntajes corregidos. Esta situación se muestra tanto para todo el período de los procesos de admisión 2004 a 2010 como también para la antigua batería de pruebas de conocimientos específicos (biología, física y química).

Los parámetros de las distribuciones normalizadas se presentan en los gráficos 42, 44, 46, 48 y 50 para la prueba de Ciencias en los procesos de admisión 2006, 2007, 2008, 2009 y 2010, respectivamente. Tal como en el resto de las pruebas, se encuentra que una vez estandarizados, los puntajes tienen una media de 500 puntos y una desviación estándar cercana a los 110 puntos, con una distribución muy próxima a una normal.

(62)

60

PSU Media Desviación estándar Asimetría Curtosis 20.29 16.93 1.086 0.588

GRÁFICO Nº41 / DISTRIBUCIÓN DE PUNTAJES CORREGIDOS PRUEBA DE CIENCIAS / PROCESO DE ADMISIÓN 2006

GRÁFICO Nº42 / DISTRIBUCIÓN DE PUNTAJES ESTANDARIZADOS PRUEBA DE CIENCIAS / PROCESO DE ADMISIÓN 2006

Media Desviación estándar Asimetría Curtosis 500.13 109.24 0.018 - 0.132 Puntaje estandarizado Por centaje Puntaje corregido

-30 -20 -10 0 10 20 30 40 50 60 70 80 90 0 2.5 5.0 7.5 10.0 12.5 15.0 17.5 20.0 Por centaje 50 0 1 2 3 4 5 6 7 8 350 290 230 170

(63)

61

Puntaje corregido

-30 -20 -10 0 10 20 30 40 50 60 70 80 90 0 2.5 5.0 7.5 10.0 12.5 15.0 17.5 Por centaje

(64)

62

Puntaje corregido

-30 -20 -10 0 10 20 30 40 50 60 70 80 90 0 2.5 5.0 7.5 10.0 12.5 15.0 17.5 Por centaje