Intervención de la lingüística textual en la construcción de evaluaciones de tipo selección múltiple para el área de lenguaje

Texto completo

(1)INTERVENCIÓN DE LA LINGÜÍSTICA TEXTUAL EN LA CONSTRUCCIÓN DE EVALUACIONES DE TIPO SELECCIÓN MÚLTIPLE PARA EL ÁREA DE LENGUAJE. CRISTIAN JOHNATAN BOHÓRQUEZ BETANCUR. UNIVERSIDAD TECNOLÓGICA DE PEREIRA FACULTAD DE CIENCIAS DE LA EDUCACIÓN ESCUELA DE ESPAÑOL Y COMUNICACIÓN AUDIOVISUAL LICENCIATURA EN ESPAÑOL Y LITERATURA PEREIRA 2010.

(2) INTERVENCIÓN DE LA LINGÜÍSTICA TEXTUAL EN LA CONSTRUCCIÓN DE EVALUACIONES DE TIPO SELECCIÓN MÚLTIPLE PARA EL ÁREA DE LENGUAJE. CRISTIAN JOHNATAN BOHÓRQUEZ BETANCUR. Trabajo de grado presentado para optar al título de Licenciado en Español y Literatura. Dirigida por: Dra. Luz Marina Henao. UNIVERSIDAD TECNOLÓGICA DE PEREIRA FACULTAD DE CIENCIAS DE LA EDUCACIÓN ESCUELA DE ESPAÑOL Y COMUNICACIÓN AUDIOVISUAL LICENCIATURA EN ESPAÑOL Y LITERATURA PEREIRA 2010.

(3) Nota de aceptación. Firma del presidente del jurado. Firma del jurado. Firma del jurado. 3.

(4) A mi madre, Yaneth de J. Betancur G. de quien recibí los dones de la imaginación, la honestidad y la entrega; a mi padre, Gilberto Bohórquez M., quien me inculcó el camino de la disciplina y el valor del arrojo; a mis tías: ‘Chochón’ por invitarme a la rebeldía y a ‘Pipi’, por enseñarme a escuchar mientras era escuchado; a ‘Chavita’ y a ‘Martica’, quienes me inspiraron la confianza en mi propio ser. A mi familia, mi clan, por el paciente tiempo de espera. A la memoria de Martha Giraldo y Julio Vélez; dos impecables seres humanos modelos de nobleza a quienes tanto debo. También a mi Preciosa, por fortalecerme en los momentos de duda y a los obstáculos de la vida, por forzarme a comprender que la carrera más importante es siempre contra uno mismo. Cristian Johnatan Bohórquez Betancur.. 4.

(5) Agradezco enormemente a la Dra. Luz Marina Henao, directora de este proyecto de grado, por la dedicación, constancia y entrega puestas en este trabajo más su amena actitud de complicidad; también al Mg. Luís Fernando Carrillo quien presenció con entusiasmo el nacimiento de este proyecto y brindó el necesario impulso motivacional en el momento preciso. A los dos maestros en conjunto agradezco por creer en un proyecto que no encontró fácilmente tan atentos oídos. Por otra parte, presento sinceros agradecimientos a la graduando Lizzy Paola Díaz, quien aportó muchas horas de su tiempo a debatir el objeto de estudio, permitiendo consolidar en conclusiones lo que era apenas conjeturas. Finalmente expreso un cordial reconocimiento a todos los maestros del programa cuyas voces se hacen de seguro presentes en cada palabra aquí dicha.. 5.

(6) CONTENIDO. pág.. INTRODUCCIÓN. 15. 1. EL ÍTEM DE SELECCIÓN MÚLTIPLE. 26. 1.1 SUPERESTRUCTURA DEL ÍTEM DE SELECCIÓN MÚLTIPLE. 26. 1.2 FUNCIONAMIENTO DE UN I.S.M.. 28. 1.2.1 Relaciones entre enunciados. 28. 1.2.2 Modelo de análisis. 31. 1.2.2.1 Soporte conceptual. 35. 1.3 EL ERROR. 40. 1.3.1 Explicitación del error. 40. 1.3.2 Error de construcción del ítem. 41. 1.3.3 Respuesta del sujeto evaluado ante ítems erróneos. 42. 1.4 TEXTUALIDAD E INTERTEXTUALIDAD DEL ÍTEM. 48. 2. ANÁLISIS PRACTICADO A ÍTEMS PROVENIENTES DEL ICFES. 53. 2.1 EJEMPLOS DE PREGUNTA ÁREA DE LENGUAJE 2010. 53. 2.1.1 Introducción arbitraria de correferente. 54. 2.1.2 Error en la determinación y/o comunicación de la respuesta. 56. 2.1.3 Imprecisión semántica. 57. 2.1.4 Uso de correferente inadecuado para el contexto. 59. 2.2 EJEMPLOS DE PREGUNTAS NÚCLEO COMÚN 2009. 60. 6.

(7) 2.2.1 Ítem desbordado del texto de evaluación. 60. 2.2.2 Relativismo macroestructural. 63. 2.2.3 Paráfrasis inadecuada. 68. 3. OPTIMIZACIÓN DE LA EVALUACIÓN TIPO SELECCIÓN MÚLTIPLE. 73. 3.1 BANCO DE ERRORES. 73. 3.1.1 Uso inadecuado de correferente. 73. 3.1.2 Imposición de convenciones individuales. 74. 3.1.3 Asimetría en marcos de conocimiento. 74. 3.1.4 Uso inadecuado de productos macroestructurales. 76. 3.1.5 Desbordamiento del ítem. 77. 3.1.6 Inadecuación en el parafraseo. 77. 3.1.7 Elección o trascripción errónea de la solución. 78. 3.2 SOLUCIÓN DE PROBLEMAS TÉCNICOS DEL EXAMEN DE ESTADO. 78. 3.2.1 Ítems de crédito parcial. 80. 3.2.2 Puntajes con significado. 82. 3.2.3. Comparación de resultados en el tiempo. 82. 3.2.4. Variedad en los resultados. 83. 3.2.5. Reconocer la pluriculturalidad. 83. 3.3 PROCEDIMIENTO PARA LA CONSTRUCCIÓN DE ÍTEMS. 85. 3.3.1 Instructivo para la composición de ítems.. 85. 3.4 PROPUESTA DE INNOVACIÓN DE LA EVALUACIÓN TIPO. 88. SELECCIÓN MÚLTIPLE. 7.

(8) 3.4.1 Demostración de prueba de selección múltiple. 96. 3.4.1.1 Textos de evaluación utilizados. 97. 3.4.1.2 Ítems de selección múltiple. 99. 3.4.1.3 Planeación. 101. 3.4.1.4 Resultados. 107. CONCLUSIONES. 109. BIBLIOGRAFÍA. 114. ANEXOS. 118. 8.

(9) LISTA DE FIGURAS. pág.. Figura 1. El ítem de selección múltiple. 28. Figura 2. Modelo de coherencia. 31. Figura 3. Demostración no. 1 de modelo de coherencia en I.S.M.. 32. Figura 4. Demostración no. 2 de modelo de coherencia. 34. Figura 5. Ilustración del error. 40. Figura 6. Primera situación de respuesta a ítem erróneo. 43. Figura 7. Segunda situación de respuesta a ítem erróneo. 46. Figura 8. Tercera situación de respuesta a ítem erróneo. 47. Figura 9. Intertextualidad del I.S.M.. 50. Figura 10. Base tripartita del I.S.M.. 51. Figura 11. Introducción arbitraria de correferente. 54. Figura 12. I.S.M. error en la determinación / comunicación de la respuesta. 56. Figura 13. I.S.M. imprecisión semántica. 57. Figura 14. I.S.M. correferente inadecuado para el contexto. 59. Figura 15. I.S.M. desbordado del texto de evaluación. 60. Figura 16. I.S.M. relativismo macroestructural. 63. Figura 17. I.S.M. progresión temática adecuada. 66. Figura 18. I.S.M. progresión temática inadecuada. 67. Figura 19. I.S.M. paráfrasis. 68. 9.

(10) Figura 20. I.S.M. demostración de instructivo de composición. 87. Figura 21. Resultados examen de estado. 89. Figura 22. I.S.M. demostración. 90. Figura 23. I.S.M. innovación. 91. Figura 24. I.S.M. área de filosofía. 93. Figura 25. I.S.M. área de sociales. 94. Figura 26. I.S.M. área de biología. 94. Figura 27. I.S.M. área de química. 95. Figura 28. I.S.M. área de matemática. 95. Figura 29. I.S.M. área de física. 96. Figura 30. Conjunto de ítems de P.S.M. de demostración. 102. Figura 31. Resultados de P.S.M. de demostración. 107. 10.

(11) LISTA DE ANEXOS. pág.. Anexo A. Criterios de recetario. 119. Anexo B. Criterios de recetario ICFES. 122. Anexo C. P.S.M. ICFES No. 1 (muestra parte A). 126. Anexo D. P.S.M. ICFES No. 2 (muestra parte B). 136. Anexo E. P.S.M. Editorial Norma. 141. Anexo F. P.S.M. Amanda Velásquez de Rodríguez. 143. Anexo G. P.S.M. Sugerida por el proyecto. 146. Anexo H. Constancia de la aplicación institucional de la P.S.M. sugerida. 152. 11.

(12) GLOSARIO. ASERCIÓN: enunciado que se forma por la combinación del enunciado principal y cualquiera de los enunciados secundarios del ítem de selección múltiple. CONSTRUCCIÓN DEL ÍTEM O DE LA PRUEBA: estado de correlación entre los componentes sintácticos y semánticos que componen al ítem. Proceso de composición del ítem. ENUNCIADO PRINCIPAL: enunciado que formula la pregunta con que inicia el ítem, también denominado pregunta o cuestionamiento. ENUNCIADO. SECUNDARIO:. cualquiera. de. los. cuatro. enunciados. que. constituyen las opciones de respuesta a la pregunta o cuestionamiento. E.T.S.M.: siglas de ‘Evaluación de Tipo Selección Múltiple’. Género de evaluación escrita cuyo rasgo característico es la utilización de cuestionamientos de selección múltiple. Entiéndase como una entidad abstracta e intangible que encuentra su materialización en la prueba de selección múltiple. I.S.M.: siglas de ‘Ítem de Selección Múltiple’. Cada uno de los cuestionamientos y sus opciones de respuesta de que se compone la Prueba de Selección Múltiple. Unidad fundamental de esta prueba. P.S.M.: siglas de ‘Prueba de Selección Múltiple’. Aquel test que se compone por ítems de selección múltiple y que hace parte del género de la Evaluación Tipo Selección Múltiple. Es la materialización del género evaluación tipo selección múltiple. SUJETO EVALUADO: persona quien resuelve el cuestionario de selección múltiple.. 12.

(13) SUJETO EVALUADOR: persona o institución responsabilizada por la autoría de la composición de la prueba o ítem de selección múltiple. TEXTO DE EVALUACIÓN: el texto a partir del cual se formulan los cuestionamientos de la prueba de selección múltiple. Es generalmente un fragmento de un texto de mayor extensión. TEXTO ORIGINAL: la obra, capítulo o texto completo del cual deriva el texto de evaluación a manera de fragmento.. 13.

(14) RESUMEN. Este trabajo parte de concebir la evaluación en general como un objeto lingüístico susceptible de ser explicado por medio del corpus teórico de las diversas disciplinas que estudian el lenguaje. Dado este marco conceptual, plantea la intervención de la disciplina lingüística textual en la evaluación tipo selección múltiple, pretendiendo dar claridad teórica a un género de evaluación que, al tiempo que posee el mayor impacto educativo, genera una fuerte controversia que cuestiona la validez de sus mediciones. Siendo el ítem de selección múltiple la unidad lingüística que media la interacción comunicativa de los sujetos evaluador y evaluado, y siendo el componente formal del ítem el que a su vez debe comunicar con exactitud la intención semántica del evaluador (pregunta) y del evaluado (respuesta); se tiene como hipótesis que el estudio textual explicará el funcionamiento de este mecanismo de sentido, para verificar las acusaciones de error que se le imputan a este género de evaluación, y en caso tal promover maneras que desde la reflexión textual ayuden a optimizar este instrumento de medición.. Palabras clave: preguntas de selección múltiple, evaluación, test, medición, prueba, cuestionario, examen de estado, SABER, ECAES, ICFES, coherencia.. 14.

(15) INTRODUCCIÓN. A la luz de la ciencia lingüística, la evaluación debe ser entendida como un objeto lingüístico, por ser precisamente una construcción del pensamiento elaborada por medio del lenguaje. Se aprecia con preocupación que al momento la evaluación ha sido un objeto circunscrito al marco de la pedagogía y de la psicología, no obstante de las evidentes ventajas que daría el estudiarla desde otros campos del saber como la sociología, la antropología y la lingüística; ventajas a favor no sólo de la evaluación en sí por profundizarse conceptualmente, sino también de las respectivas disciplinas al estar extendiendo su rango de acción.. La presente investigación tiene como principal objetivo avanzar desde la lingüística en dicha línea propuesta. Dado que la evaluación, como todo objeto digno de estudio, se magnifica a medida que se le observa desde una óptica teórica, se ha elegido únicamente una parte suya: la Evaluación de Tipo Selección Múltiple (E.T.S.M.) 1.. Diversas son las razones para tomar con preeminencia esta forma de evaluación y se ubican en los siguientes ejes: características formales, impacto educativo, función social y generación de controversia.. Para empezar, dentro de todo el objeto evaluación, la E.T.S.M. se destaca por su alto grado de formalidad. No sólo pertenece al género escrito, lo que la hace más fácil de estudiar para la lingüística debido a la posibilidad de archivo y exploración, sino que consta también de una estructura definida y compleja (superestructura, 1. Precisando el objeto de estudio, dentro del género de Evaluación Tipo Selección Múltiple (E.T.S.M.) se ha optado por estudiar exclusivamente el Ítem Tipo I …para su caracterización, véase el apartado 1.1…, y éste en el marco del área de Lenguaje. El tipo de ítem se elige teniendo en cuenta que es la clase de pregunta más común en la E.T.S.M. y el área por ser la directamente relacionada con el marco conceptual en el que se desarrolla el presente trabajo de grado.. 15.

(16) en términos textuales) cuya convención y uso se extienden con alcance internacional.. Precisamente el alto grado de formalidad, que incluye la posibilidad de dar una instantánea verificación a las respuestas del sujeto evaluado, ubica a la E.T.S.M. en las estancias evaluativas más decisorias e importantes. Partiendo de Colombia, esta forma es sobre todo reconocida por utilizarse en los exámenes de estado SABER 5º, 9º, 11º y PRO2, Carrera Docente y todo tipo de pruebas internacionales, v. gr. PIRLS, PISA y TIMSS entre otras3.. Como consecuencia del considerable nivel de impacto de la E.T.S.M., la escuela en todos sus niveles se ha inclinado por adoptar estrategias que permitan a sus estudiantes desempeñarse mejor en sus evaluaciones de estado. Dichas estrategias cobijan prácticas como los denominados ‘cursos de Pre-ICFES’ y simulacros ‘tipo ICFES’4 así como la generalización de su rutina evaluativa bajo el formato de selección múltiple. Por lo mismo, esta preocupación se evidencia si se observan los productos educativos que ofrece el sector comercial. Las editoriales vienen incluyendo entre sus libros de texto para todos los grados y áreas tests de selección múltiple, otras casas editoriales y revistas ofrecen guías y simulacros para prepararse en este tipo de examen y diversas empresas ofrecen servicios de 2. En este año 2010, el ICFES renombró las pruebas de estado en general. P. ej. el actual examen SABER PRO es el conocido hasta el 2009 como ECAES: Examen de Estado de Calidad de la Educación Superior. Este trabajo ha tenido en cuenta esta modificación, por lo que se encuentra actualizado con el acontecer de este género de evaluación y puede asegurar que se trata de una renovación de nombre mas no de fondo. 3 PIRLS: Progress in International Reading Literacy Study (Estudio Internacional sobre el Progreso en Lectura); PISA: Programme for International Student Assessment (Programa Internacional de Evaluación de Estudiantes); TIMSS: Trends in International Mathematics and Science Study (Estudio internacional de Tendencias en Matemáticas y Ciencias). Para una comparación entre algunas de estas pruebas, véase: ICFES. Comparación entre TIMSS, PISA y SERCE [en línea]. Bogotá: s.f. Disp. en Internet: <http://hydra.icfes.gov.co/timss/docs/Resultados2007_TablaCompara tiva.pdf> [rev. 13 de octubre de 2010] 4 Estos cursos y simulacros no son dirigidos por el Instituto Colombiano para el Fomento de la Educación Superior, ICFES. La práctica educativa en general les ha dado esta denominación por su carácter preparatorio al examen de estado.. 16.

(17) medición simulando la experiencia del examen de estado. La dinámica demuestra la importancia de la E.T.S.M. en la actual cultura educativa.. No podría ser menor la atención que el aparato educativo (incluyendo el sector comercial) quisiera prestarle a las E.T.S.M. Las pruebas de estado determinan en gran medida el futuro educativo de los egresados bachilleres al servir de filtro para el ingreso a instituciones de educación superior y militar y para la obtención de becas y otros méritos. Además, el éxito promedio en las pruebas de estado también sirve a una institución educativa (lo mismo que a un municipio, departamento, región, país o continente) para insertarse en una escala de estatus social, lo mismo que para recomponer sus prácticas educativas.. Como se puede apreciar, son muchas las decisiones, tanto individuales como colectivas, que se basan en las cifras arrojadas por los exámenes de estado, no obstante de que el formato de evaluación en el que se basan (tipo selección múltiple) sea popularmente controvertido. Quejas surgen desde evaluados de todos los niveles, sobre todo en la medida de poseer un rol más crítico al respecto. Así, cursantes de pre-grado y más precisamente licenciados en formación y optantes a vacantes docentes aducen que el formato de evaluación en cuestión no permite determinar el aprendizaje y las capacidades de una persona, puesto que se fundamenta en preguntas cerradas sin posibilidad de argumentación que demuestre la real competencia crítica y analítica del sujeto y, en cambio, deba sujetarse éste a cuatro opciones preestablecidas entre las cuales puede no hallar una respuesta satisfactoria y debe por tanto elegir mediante algún tipo de azar.. Sin embargo las quejas no trascienden a convertirse en cambios sustanciales representados en el reemplazo del método de evaluación o por lo menos en su reformulación. La máxima atención que se le concede a este tipo de reclamos se materializa en la anulación de ítems que los evaluados reportan como. 17.

(18) defectuosos. Así lo asegura el ICFES en un comunicado fechado el 8 de septiembre de 2009 por el que da respuesta conjunta a reclamaciones presentadas respecto de la evaluación concurso docente del año 2009: Uno de los procesos posteriores a la aplicación de las pruebas consiste en revisar las preguntas reportadas como inconsistentes o dudosas por quienes presentaron el examen, a través del formulario dispuesto para tal fin en cada uno de los salones de aplicación. Si como producto de la revisión de dichas preguntas, se comprueban las inconsistencias reportadas, se procede a la eliminación de las mismas y a su exclusión del proceso de calificación. Para el caso de la prueba aplicada el 5 de julio de 2009, el ICFES eliminó de la calificación las preguntas 39 y 47 de la prueba de aptitud numérica.5. No obstante de lo anterior, resulta completamente comprensible la desatención a las quejas. No sólo está el hecho de que el sistema de evaluación empleado sea el único que permita llevar a cabo las masivas mediciones estatales; más allá, se encuentra que no existe una argumentación seria de soporte científico que esgrima las razones por las que se deba reestructurar algo dentro o alrededor de las E.T.S.M.. En consecuencia surge el presente proyecto de investigación pensando en que una intervención de la ciencia lingüística, a través de su disciplina textual, puede dar explicación al mecanismo de lenguaje en el que se basa una Prueba de Selección Múltiple (P.S.M.). De este modo, la caracterización obtenida permitiría determinar la correcta o incorrecta construcción de una P.S.M. o cualquiera de sus ítems, lo que permitiría avanzar a su vez hacia la formulación de una serie de criterios textuales que sugieran la manera en que puedan componerse de manera acertada los ítems de Selección Múltiple (I.S.M.).. 5. ICFES. Comunicado [en línea]. Bogotá: 8 de Septiembre de 2009. Disponible en Internet:. <http://joomla.icfes.gov.co/index.php?option=com_docman&task=doc_view&gid=2282&Itemid=650>. [rev. 10 de agosto, 2010]. 18.

(19) Podría suponerse que el ICFES, dentro del reconocido ordenamiento y control de procesos que lo caracteriza, debe disponer ya de una serie de criterios de algún tipo sobre los cuales construye sus evaluaciones. En efecto, esta suposición puede confirmarse por diversos documentos de su autoría que el instituto publica a través del sitio web6 en los que explicita el soporte conceptual mediante el cual actúa.. Una revisión a dicha documentación permite confirmar lo que para el presente proyecto es un vacío metodológico. La explicación es muy sencilla: mientras la conceptualización del ICFES (o por lo menos la que deja conocer) se centra en establecer criterios con los cuales pueda estructurar el fondo de sus pruebas, este trabajo se preocupa por establecer criterios con los que se pueda estructurar la forma de las mismas.. La siguiente lista de títulos publicados por el instituto ilustra grosso modo los temas sobre los que gira su preocupación técnica7: Sobre las pruebas saber y de estado: una mirada a su fundamentación y orientación de los instrumentos en lenguaje (2007), Guía de orientación examen de estado ICFES 2010, Ejemplos de pregunta (para diversas áreas) (2009), Psicometría (s.f.), Transformaciones en las pruebas para obtener resultados diferentes (s.f.), Propuesta general (s.f.), Admisión a la educación superior (s.f.), Antecedentes y marco legal del examen de estado (1999), Resolución por la cual se adoptan las metodologías para seleccionar los mejores estudiantes de la Prueba de Estado (2008) (…).. Hay que decir que ninguno de los anteriores se ocupa de conceptualizar acerca de la construcción formal de una P.S.M. o de un I.S.M., situación que también puede entenderse porque no es misión del instituto la de brindar orientación para que 6 7. www.icfes.gov.co Para consultar las diversas fuentes, véase Bibliografía.. 19.

(20) docentes puedan componer pruebas de este tipo. Pero entonces sus técnicas de composición de ítems, sus criterios de redacción, quedan en completa oscuridad.. Es un hecho central que los procesos bajo los que actúa el ICFES permanecen en incógnita a pesar de la documentación que se pone al alcance del interés general. En repetidas ocasiones se trató de establecer comunicación con el instituto, insistiendo además bajo la tutela de la Escuela de Español de la Universidad. La ausencia total de respuesta a todos los intentos hace llegar a la conclusión de que el mismo instituto desea mantener fuera de cualquier posible controversia sus procedimientos, lo cual es completamente lamentable pues con actitudes de este tipo se niega el avance a la ciencia, al conocimiento y a la investigación, así como al interés humano de mejorar los procesos educativos de su nación, de desarrollar su sociedad y de construirse en su dimensión profesional.. De todos modos, para los fines del presente proyecto no constituye impedimento alguno la obligada ignorancia de las prácticas del instituto. Las quejas de los evaluados acerca de la construcción de los I.S.M. persisten y es allí en donde resulta necesario que un estudio de carácter lingüístico e independiente del ICFES resuelva las dudas acerca de la corrección e incorrección de estos objetos.. Por otra parte, además de resultar de utilidad para registrar y exponer el acierto o desacierto en la construcción de ítems de pregunta por parte del ICFES, la investigación en curso guarda interés para la labor docente general, la cual necesita a todas luces de criterios textuales mediante los cuales pueda optimizar la construcción de sus P.S.M.. Un trabajo anterior llevado a cabo por el autor del presente proyecto, que se vincula como antecedente aquí, concluyó la alarmante cifra de entre el 60 y 70 % de errores en la construcción de los ítems en una P.S.M. de lenguaje escogida al 20.

(21) azar8. La prueba fue publicada a manera de revista coleccionable por Casa Editorial El Tiempo, para efectos de producto educativo de entrenamiento para el examen de estado, y es de autoría o dirección de la profesora Amanda Velásquez de Rodríguez, para entonces licenciada en filología e idiomas de la Universidad Pedagógica Nacional, magister en ciencias del comportamiento de Nova University y posgraduada en docencia universitaria en la Universidad Antonio Nariño9. Con lo mencionado no se busca afectar la honorable reputación de la profesional o de la casa editorial; sólo se induce a partir de ello que la múltiple titulación universitaria y el renombre editorial no constituyen actualmente un fiel respaldo que asegure la validez de una P.S.M. El estudio fue la demostración primera de que una P.S.M. puede contener errores que imposibilitan su resolución no obstante de la ardua formación pedagógica y lingüística de su autor.. La guía principal de la labor del maestro de lenguaje, Los lineamientos curriculares, no ofrece una capacitación suficiente al respecto. Se entiende que es un documento que hace un recorrido básico y general por las competencias del docente del área: “El presente documento tiene como finalidad plantear unas ideas básicas que sirvan de apoyo a los docentes en sus definiciones referentes al desarrollo curricular, dentro de los Proyectos Educativos Institucionales.”10. En su capítulo 5 (Modelos de evaluación en lenguaje) el apartado 5.4 (Servicio Nacional de Pruebas ICFES: un modelo de prueba sobre dos tipos de texto) se ocupa de ejemplificar una P.S.M. por medio de trece ítems de pregunta basados en dos textos. El apartado, que no tiene más de trece páginas, presenta una útil pauta sobre este instrumento de medición, mas no brinda el desarrollo necesario para. 8. Seis de los diez ítems presentaban una construcción textual altamente cuestionable que imposibilitaba la resolución de la prueba, es decir, llegar a la solución preestablecida por el autor del test. Un ítem más era cuestionable, no por su construcción la cual era correcta, sino porque escapaba del área evaluada de lenguaje hacia otro contexto como el de medio ambiente. 9 VELÁSQUEZ DE RODRÍGUEZ, Amanda. Prueba de lenguaje. En: La prueba ICFES 2002. Lenguaje e inglés. Bogotá: Casa Editorial El Tiempo, 2002. p. 18 - 35. 10 MEN. Lineamientos curriculares lengua castellana. Bogotá: Cooperativa Editorial Magisterio, Julio de 1998. p. 13.. 21.

(22) despojar de la problemática de error a la construcción de E.T.S.M., lo cual es entendible pues ningún educador obtendrá la formación requerida por un documento de ciento cuarenta páginas como los Lineamientos, formación que depende entonces de la investigación autónoma.. En consecuencia, el docente podría conseguir este tipo de formación por medio de una consulta bibliográfica. Pero se aprecia con preocupación que la consulta del estado del arte no satisfizo las expectativas de reflexión y conceptualización que se supone debería existir sobre un objeto tan determinante como la E.T.S.M. La mayor parte del material de guía existente en torno al tema se compone de lo que se ha llamado aquí criterios de recetario …véanse anexos A y B… Esta expresión implica aquellos documentos que constan de una serie de consejos para la composición de los ítems de pregunta. Deben considerarse una guía de nivel poco confiable porque se basan en reflexiones que no poseen un sustento científico, pues no explican el porqué cognitivo, psicológico, pedagógico, lingüístico, antropológico o filosófico de sus propuestas. Está claro pues que si viene persistiendo una problemática en la construcción de las E.T.S.M., el primer paso a seguir es desconfiar de este conocimiento empírico no demostrable.. La otra parte del material de guía es mucho menor y se compone de autores y obras que constituirían el canon vigente alrededor de la materia evaluación y la de tipo selección múltiple. Entre ellos: J. Charles Alderson con obras como Language test construction and evaluation y Thomas M. Haladyna con A taxonomy of multiple choice item writing rules. Se nombra estos autores y obras porque son comúnmente citados como referencia bibliográfica en documentación del ICFES, por lo que podría entenderse en consecuencia que constituyen la base conceptual sobre la que el instituto actúa respecto a la construcción formal de sus pruebas.. 22.

(23) Una revisión del material de este tipo que estuvo al alcance del investigador concluye que no satisface aún la ambición de dar explicación lingüística y textual al funcionamiento del objeto lingüístico que es una E.T.S.M. Aunque de un nivel mayor de elaboración y sustento que el material primeramente nombrado, este segundo tipo de documentación continúa la misma línea de proponer consejos acerca de prácticas convenientes e inconvenientes para la composición de tests.. Existe, sin embargo, un título que capta la atención del investigador: Applied linguistics and language testing: a case study of the ELTS test, justamente de Charles Alderson; al cual no se ha conseguido acceder. El nombre se hace llamativo porque precisamente relaciona la lingüística y las pruebas de lenguaje como concierne al estudio en curso.. No obstante el investigador no encuentra redundancia entre los objetivos del proyecto y lo que pudiera tratar la obra en cuestión. Nuestro sistema educativo nacional sigue necesitando de un estudio que se ocupe de verificar las imputaciones de invalidez que se le hacen a las pruebas de estado y al mismo género de evaluación tipo selección múltiple. De esta situación se puede concluir que el canon conceptual y metodológico disponible no es entonces suficiente para permitir una mejor composición de las evaluaciones, albergando así un vacío conceptual que es preciso subsanar.. Existe un considerable argumento para demostrar, no sólo la existencia de dicho vacío conceptual, sino también que la práctica evaluativa ha terminado aceptándolo sin más remedio. La disciplina científica que actualmente conforma el sustento de la E.T.S.M. es una rama de la psicología llamada psicometría11. Ella. 11. Para un completo recorrido por la historia y las teorías psicométricas de elaboración e interpretación de tests, puede verse MUÑIZ, José. Las teorías de los tests: teoría clásica y teoría de respuesta a los ítems. En: Papeles del psicólogo, vol. 31, no. 1. España: Consejo General de. 23.

(24) se ocupa de la teoría de elaboración de tests, tanto de los que permiten conocer sobre la personalidad de un sujeto como de los que miden el grado de dominio de éste sobre un saber. La psicometría acepta la existencia del error dentro de los tests. Como lo advierte el psicólogo José Muñiz: “El error está mezclado con la verdadera puntuación, como la sal en el agua de mar, o el polvo con la paja, y para separarlos necesitamos llevar a cabo algunos procesos y ahí es donde entran las teorías o modelos estadísticos.”12 El yerro se encuentra tan presente en los resultados a interpretar que la psicometría lo incluye como una variable perpetua dentro de las fórmulas estadísticas de interpretación de resultados de los tests: “Un curso sistemático de Psicometría consiste en llevar a cabo las deducciones correspondientes para a partir de esos ingredientes llegar a las fórmulas que permiten estimar el grado de error que contienen las puntuaciones de los tests, y que se denomina habitualmente Fiabilidad de los Tests (…)”13.. La práctica evaluativa del ICFES se fundamenta en la psicometría. Ello puede conocerse al revisar la documentación teórica que publica el instituto en su sitio web14. De esta manera se entiende que si aquella disciplina acepta el error como una variable que interviene dentro de los resultados a interpretar, los tests del instituto no son ajenos a este constreñimiento de la precisión del instrumento. Por consiguiente también se entiende que no exista al momento una preocupación visible por deshacerse del papel del error en las E.T.S.M. Se puede decir que se ha aprendido a vivir con él.. Para la psicometría, el error puede venir de tres fuentes básicas: “El error cometido al medir alguna variable con un test (e) puede deberse a muchas. Colegios Oficiales de Psicólogos, 2010. p. 57 - 66. Disponible en Internet: <http://redalyc.uaemex.mx/pdf/778/77812441006.pdf> [rev. 10 de agosto, 2010] 12 Ibíd., p. 60. 13 Ibíd., p. 61. 14 ICFES. Psicometría [en línea]. s.d. Disponible en Internet: <http://www.icfes.gov.co/index.php?op tion=com_docman&task=doc_view&gid=1201> [rev. 22 de mayo, 2010]. 24.

(25) razones, que pueden estar en la propia persona, en el contexto, o en el test (…)”15. Es precisamente este último tipo de error el que busca estudiar el presente proyecto en las E.T.S.M., es decir, el que viene dado en la construcción formal del instrumento. Se piensa que por consiguiente una intervención desde la lingüística podrá, en primera instancia, explicar de qué depende el funcionamiento de un I.S.M, para luego entender en qué factor textual o discursivo preciso se funda el acierto o desacierto en la composición de un objeto de estos. Así, en segunda instancia, tal vez sea posible proponer, desde un fundamento científico-textual, una serie de criterios a tener en cuenta para optimizar la construcción formal del instrumento de evaluación tipo selección múltiple.. En correspondencia, el primer capítulo que compone este trabajo está dedicado al estudio del ítem de pregunta I.S.M., en busca de explicar el interior de este mecanismo de lenguaje. El segundo capítulo analiza una muestra reciente de E.T.S.M. provenientes del ICFES, tratando de exponer y explicar construcciones acertadas y desacertadas de sus ítems. Posteriormente, la experiencia resultante de dicho análisis deriva en la propuesta de una serie de criterios a tener en cuenta para optimizar la composición de P.S.M. que se recogen en el tercer y último capítulo.. El presente trabajo no es un manual, guía o recetario de consejos de redacción de tests. Es una parte de la ciencia lingüística aplicada a la comprensión del mecanismo íntimo de un importante objeto de lenguaje con el cual se imparten juicios trascendentales sobre el progreso cognitivo de multitud de personas. Es una procura por el mejoramiento del instrumento de evaluación de mayor impacto y formalidad en nuestro sistema educativo. Es la proposición de un campo extenso de estudio para la lingüística con múltiples implicaciones sociales. Es la utilización de la ciencia para la optimización de la civilización. 15. MUÑIZ. Op. cit., p. 60.. 25.

(26) 1. EL ÍTEM DE SELECCIÓN MÚLTIPLE. Primera tarea de una intervención textual en la construcción de P.S.M. es dar explicación del funcionamiento de sentido de un Ítem de Selección Múltiple. La razón de esto es que el I.S.M. es la unidad básica por la que se compone este tipo de prueba. Corresponde a este apartado dar solución a numerosos interrogantes. En primer lugar, se debe establecer cuáles son los rasgos que caracterizan la superestructura particular de un I.S.M. para hacer explícitas las diferencias que apartan a la E.T.S.M. de otro tipo de pruebas. En segundo lugar, es fundamental exponer la estructura interna de un I.S.M. para explicar la mecánica de sentido que presenta este objeto en la interacción de sus unidades constitutivas. Habiendo llegado a tal entendimiento, será posible en tercer lugar precisar de qué hecho del lenguaje depende el efecto de acierto o desacierto que guarda la elección de determinada opción dentro del ítem de pregunta. Finalmente, se tendrán que exponer las relaciones de sentido que guarda un I.S.M. hacia su exterior o nivel intertextual.. 1.1 SUPERESTRUCTURA DEL ÍTEM DE SELECCIÓN MÚLTIPLE Según Teun A. van Dijk, “una superestructura se plasma en la estructura del texto (…). Es decir que la superestructura es una especie de esquema al que el texto se adapta”16. En otras palabras, “una superestructura es un tipo de esquema abstracto que establece el orden global de un texto y que se compone de una serie de categorías, cuyas posibilidades de combinación se basan en reglas convencionales.”17.. 16 17. DIJK, Teun A van. La ciencia del texto. España: Ediciones Paidós, 1983. p. 143. Ibíd., p. 144.. 26.

(27) No obstante de que la estructura del I.S.M. es una convención occidentalmente extendida, se hace necesaria su caracterización textual para establecer una serie de convenciones sobre las que se desarrolle el presente trabajo. El esquema de un I.S.M. consiste en la disposición de cinco enunciados ubicados en orden descendente (de arriba a abajo), de manera tal que la disposición espacial es también distintiva de este género de prueba. El primero de ellos plantea un interrogante y se denominará enunciado principal o enunciado de pregunta. Los cuatro restantes son enunciados secundarios porque se desprenden en una relación subordinada del primero y constituyen opciones para dar solución al cuestionamiento por lo que se denominarán también como enunciados de opción. Los I.S.M. reciben una numeración según el orden de aparición dentro de la prueba la se introduce al inicio del enunciado principal. Por su parte los enunciados secundarios reciben un ordenamiento alfabético conforme a su disposición descendente dentro del ítem. Fuente de un cuestionamiento, el I.S.M. plantea en su interior una relación de tipo semántica entre los enunciados de manera tal que el enunciado principal se conecta de manera más apropiada en términos de sentido con uno de los enunciados secundarios que con los tres restantes. Basado en esta relación, aquel enunciado se reconoce como la opción correcta y éstos como opciones incorrectas. La relación semántica entre el enunciado de pregunta y los enunciados de opción está condicionada por otra relación semántica que ocurre al exterior del I.S.M., entre el enunciado principal y un texto anterior que se denominará texto de evaluación. Dada la anterior caracterización de la composición global del ítem de pregunta, con sustento en la definición de van Dijk se puede afirmar que un I.S.M. presenta una superestructura. Una vez más, “Una superestructura puede caracterizarse. 27.

(28) intuitivamente como la forma global de un discurso, que define la ordenación global del discurso y las relaciones (jerárquicas) de sus respectivos fragmentos.”18. Justamente dichas relaciones jerárquicas entre los respectivos fragmentos internos que componen la superestructura del I.S.M., son tema del siguiente apartado.. 1.2 FUNCIONAMIENTO DE UN I.S.M. Para demostrar el funcionamiento de un ítem de selección múltiple se debe explicar la interacción de sentido que existe entre sus unidades constitutivas, o sea los cinco enunciados que lo componen.. 1.2.1 Relaciones entre enunciados. El funcionamiento de un I.S.M. se basa en dos procesos: la relación entre los cinco enunciados de un I.S.M. está dada en términos de cohesión y coherencia.. Figura 1. El ítem de selección múltiple. Fuente: ICFES. Ejemplos de pregunta prueba de lenguaje 2010 [en línea]. Bogotá: feb. de 2010. Disp. en Internet: <http://w4.icfes.gov.co/guias/AC_EP_Lenguaje_2010.pdf> [rev. 22 de mayo, 2010] 18. DIJK, Teun A. van. Estructuras y funciones del discurso. 12 ed. México: Siglo Veintiuno Editores. 1998. p. 53.. 28.

(29) Nótese por la figura 1 que el enunciado principal es siempre una oración inconclusa que, en términos de cohesión, puede completarse exitosamente con cualquiera de los cuatro enunciados de opción para obtener un texto final. No obstante, únicamente la opción adecuada se relacionará exitosamente en términos de coherencia con el enunciado de pregunta. Cualquiera de las siguientes cuatro aserciones se encuentra perfectamente compuesta en el marco de la cohesión: a. Con la expresión que inicia el segundo párrafo: “Pero eso no es todo…”, el autor de la carta pretende negar lo que ha dicho en el párrafo anterior. b. Con la expresión que inicia el segundo párrafo: “Pero eso no es todo…”, el autor de la carta pretende reafirmar lo dicho hasta ese punto. c. Con la expresión que inicia el segundo párrafo: “Pero eso no es todo…”, el autor de la carta pretende complementar una información que ha dado. d. Con la expresión que inicia el segundo párrafo: “Pero eso no es todo…”, el autor de la carta pretende contradecir lo que ha dicho. Al momento de lectura de un I.S.M., el sujeto evaluado se encuentra relacionando en su mente el enunciado principal con cada uno de los enunciados secundarios, obteniendo de esta manera cuatro enunciados completamente adecuados en el marco de la cohesión. Este resultado final es lo que le ocasiona el efecto distractor tras el que se esconde la opción que se supone debe elegir. Despojarse de dicho efecto distractor es lo que constituye el reto en el que se basa el I.S.M. y la E.T.S.M. Librar el reto implica la confrontación entre opciones y la elección de la construcción más coherente.. 29.

(30) Bien sabido es que la existencia de cohesión no implica necesariamente la existencia de coherencia. Por ejemplo, luego de explorar una serie de enunciados19, van Dijk concluye que: En cada grupo los ejemplos con (a) parecen perfectamente aceptables, los ejemplos con (b) son menos aceptables o sólo aceptables en condiciones muy concretas, mientras que los ejemplos con (c) parecen definitivamente inaceptables. ¿Qué clase de constricciones determinan estas intuiciones acerca de la aceptabilidad semántica de estas frases y discurso? Primeramente debe observarse que estas constricciones son en realidad SEMÁNTICAS y no sintácticas: las oraciones en los ejemplos con (c) están, como tales, 20 perfectamente bien formadas. [la cursiva es nuestra].. Vencer el efecto distractor de los cuatro enunciados consiste para el sujeto evaluado en trascender la lógica sencilla y literal que le proponen las cuatro aserciones correctamente construidas desde el punto de vista de la cohesión, para luego encontrar aquel enunciado que desde una lógica más compleja, el punto de vista de la coherencia, se posiciona como el más acertado. Para el ítem en cuestión, la opción de respuesta es el enunciado C21. Se podría decir para demostrar la corrección de la opción preestablecida en este ítem en particular, que la expresión “Pero eso no es todo” posee precisamente la intención de completar una información que se ha dado y que, además, se aparta claramente de otras intenciones como negar, reafirmar y contradecir, como lo sugieren las opciones A, B y D respectivamente, intenciones para las cuales existen otras fórmulas gramaticales. Pero la necesidad del proyecto es hallar una fórmula general que permita explicar para todos los casos de I.S.M. por qué un determinado enunciado constituye una opción correcta o incorrecta a cualquier cuestionamiento. 19. Parte de los enunciados es: 1.a. Juan es soltero, por tanto no está casado. b. Juan es soltero, por tanto compra muchos discos. c. Juan es soltero, por tanto Amsterdam es la capital de Holanda. 2.a. Porque Harry no trabajó con suficiente ahínco, suspendió su examen. b. Porque Harry no trabajó con suficiente ahínco, Mary le besó en la mejilla. c. Porque Harry no trabajó con suficiente ahínco, la luna da vueltas alrededor de la tierra. 3. a. Amsterdam es la capital de Holanda. Tiene 800.000 habitantes. b. Amsterdam es la capital de Holanda. ¿Le gusta Amsterdam? c. Amsterdam es la capital de Holanda. Declaro por la presente abierta la reunión. 20 DIJK, Teun A. van. Texto y contexto. España: Ediciones Cátedra, 1995. p. 84. 21 Véase al final del anexo C las soluciones oficiales del cuestionario.. 30.

(31) 1.2.2 Modelo de análisis. Para comprender el efecto de corrección o incorrección que inviste a cada uno de los enunciados de opción dentro de un I.S.M., así como para otros propósitos de importancia dentro del proyecto como demostrar la correcta o incorrecta construcción de un ítem de pregunta; se ha formulado la presente herramienta. Dado que la coherencia determina finalmente el efecto de acierto o desacierto de cualquier enunciado de opción así como la sensación de acierto o desacierto en la construcción de un I.S.M. (como se verá más adelante), puesto que define la lógica mediante la cual se relacionan los cinco enunciados de un ítem de pregunta; se ha diseñado un modelo de coherencia que permita el estudio generalizado de estos dos fenómenos para cualquier I.S.M. Se ha discriminado que la relación entre los enunciados primarios y secundarios se desarrolla dentro de cuatro dimensiones fundamentales:. Figura 2. Modelo de coherencia. 31.

(32) A partir del siguiente ítem de pregunta22, que destaca por la presentación de enunciados de opción evidentemente ilógicos, puede exponerse claramente el desempeño del modelo:. Figura 3. Demostración no. 1 de modelo de coherencia en I.S.M.. Fuente: BELLO CUBIDES, Óscar H. Metáfora 6. Talleres de comprensión lectora. Bogotá: Editorial Norma, 2007. p.4.. La respuesta al cuestionamiento es A. Antes de demostrar el porqué, se dirá que el enunciado más fácil de descartar es D ya que propone una lógica absolutamente risible, la que además puede explicarse. 22. Véase el anexo E. Se suma a continuación el texto de evaluación del que se desprende el ítem, para comodidad del lector: “En un lugar de la Mancha, de cuyo nombre no quiero acordarme, no ha mucho tiempo que vivía un hidalgo de los de lanza en astillero, adarga antigua, rocín flaco y galgo corredor. Es, pues, de saber que este hidalgo, los ratos que estaba ocioso (que eran los más del año), se daba a leer libros de caballerías con tanta afición y gusto, que olvidó casi el ejercicio de la caza, y aun la administración de su hacienda; y llegó a tanto su curiosidad y desatino en esto, que vendió muchas fanegas de tierra de sembradura para comprar libros de caballerías en que leer, y se enfrascó tanto en su lectura, que se le pasaban las noches leyendo de claro en claro y los días de turbio en turbio; y así, del poco dormir y del mucho leer se le secó el cerebro de manera que vino a perder el juicio. Llenósele la fantasía de todo aquello que leía en los libros, así de encantamientos como de pendencias, batallas, desafíos, amores, disparates imposibles; y vino a dar en el más extraño pensamiento que jamás concibió loco en el mundo, y fue que le pareció necesario hacerse caballero andante, e irse por todos los caminos con sus armas y su caballo, en busca de aventuras. Para ello, lo primero que hizo fue limpiar sus armas que estaban puestas y olvidadas en un rincón. Luego fue a ver a su rocín, y después de muchos nombres, al fin le vino a llamare “Rocinante”. Puesto nombre, y tan a su gusto, a su caballo, quiso ponérselo a así mismo, y en este pensamiento duró ocho días, y al cabo decidió llamarse don Quijote”. BELLO CUBIDES, Óscar H. Metáfora 6. Talleres de comprensión lectora. Bogotá: Grupo Editorial Norma, 2007. p. 4.. 32.

(33) La aserción: “El texto nos muestra que a este hidalgo lo que más le importaba era ir a ciclovía” presenta, desde la herramienta propuesta, una incoherencia de tipo temporal y espacial: en tiempos de caballeros andantes, que se entienden muy antiguos, no podría existir la ciclovía pues no se había inventado la bicicleta (lógica temporal), y además se conoce la ciclovía como una actividad que se desarrolla en este país23 (lógica espacial). En otras palabras, el enunciado “d. ciclovía.” se hace incoherente porque la ciclovía es una actividad que pertenece a los presentes tiempo y espacio. Por otra parte las aserciones B y D, respectivamente: “El texto nos muestra que a este hidalgo lo que más le importaba era la caza.” y “El texto nos muestra que a este hidalgo lo que más le importaba era dormir.”; presentan ambas una falta a la coherencia de causa – efecto. Recuérdese que el hidalgo se ocupó tan obsesivamente de leer (causa) que se olvidó incluso de cazar y de dormir (efecto). Teniendo en cuenta el orden causal que propone el texto, resultaría ilógico afirmar que a don Quijote le interesaba más la cacería o el reposo diario. Sobre el mismo tipo de coherencia, causa – efecto, es que la aserción “El texto nos muestra que a este hidalgo lo que más le importaba era la lectura.” se convierte en la indicada para dar solución al cuestionamiento. Continuando, el siguiente ejemplo permitirá mostrar el funcionamiento de la coherencia referencial en un I.S.M.24: 23. No obstante de la existencia de actividades similares en otros países, el nombre ‘ciclovía’ tiene un memorable carácter nacional. 24 Véase el anexo C. El siguiente es el texto de evaluación: «... Y me contestó la divina entre las diosas: / “Hijo de Laertes, de linaje divino, Odiseo de mil trucos, / no te quedes ya más en mi morada contra tus deseos. / Pero ante todo tienes que cumplir otro viaje y llegar / a las mansiones de Hades y la venerada Perséfone, / a consultar en oráculo el alma de tebano Tiresias, / el adivino ciego, que conserva su entendimiento firme. / A él, incluso muerto, le concedió Perséfone mantener su mente / despierta, a él solo, que los demás se mueven como sombras”. / Así dijo. Entonces a mí se me partió el corazón. / Me eché a llorar tumbado sobre el lecho, y mi ánimo / ya no quería vivir ni ver más la luz del sol. / Luego que me sacié de llorar y de revolcarme, / entonces a ella le dirigí mis palabras y dije: / “¿Ah, Circe, quién va, pues, a guiarme en ese viaje? / Hasta el Hades nunca nadie llegó en una negra nave.” » En: ICFES. Ejemplos de pregunta prueba de lenguaje 2010 [en línea]. Bogotá: febrero de 2010. Disp. en Internet: <http://w4.icfes.gov.co/guias/AC_EP_Lenguaje_2010.pdf> [rev. 22 de mayo, 2010]. 33.

(34) Figura 4. Demostración no. 2 de modelo de coherencia. Fuente: ICFES. Op. cit.. La respuesta es D25. La aserción “Del texto anterior, se puede afirmar que Odiseo es para Circe noble y astuto.”, es la más coherente entre las cuatro opciones porque en el segundo verso del texto de evaluación puede observarse que las palabras “divino” y “de mil trucos”, respectivamente son referentes de “noble” y “astuto” con las que se relacionan semánticamente mediante la sinonimia. Téngase en cuenta que el hecho es similar a cuando, por ejemplo, en un artículo periodístico se introduce al inicio un referente llamado “El presidente de La República” y luego, para no repetir la misma denominación, se utiliza un correferente como “el primer mandatario”. De igual modo, “noble” lo es de “linaje divino” y “astuto” lo es de “de mil trucos”. Por su parte, los enunciados de opción A, B y C no son aptos para dar solución al cuestionamiento, puesto que violan el mismo género de coherencia, el de tipo correferencial: “Del texto anterior, se puede afirmar que Odiseo es para Circe inteligente y sabio.”. 25. Puede consultarse la hoja de respuestas al final del anexo C.. 34.

(35) “Del texto anterior, se puede afirmar que Odiseo es para Circe noble y adivino.” “Del texto anterior, se puede afirmar que Odiseo es para Circe divino y triste.” De igual manera que estas cuatro dimensiones de la coherencia (tiempo, espacio, causa – efecto y correferente) funcionaron para explicar de qué factor depende el efecto de corrección o incorrección que envuelve a un enunciado de opción, serán suficientes para explicar el mismo hecho en cualquier ítem de selección múltiple. Es decir, se ha conseguido un instrumento generalizable a todo I.S.M. La herramienta será también fundamental para determinar en adelante la correcta o incorrecta construcción de los ítems en P.S.M. tomadas del ICFES …véase el capítulo 2… y para la proposición de criterios que permitan optimizar la composición de este tipo de pruebas …véase el capítulo 3... Partiendo del hecho de que este modelo se convierte así en un pilar fundamental de la presente investigación, se hace necesario exponer el sustento conceptual por medio del cual se ha llegado a obtenerlo. Este objeto, que pertenece al terreno de lo cognitivo, posee su fundamentación en la teoría de modelos de situación26.. 1.2.2.1 Soporte conceptual. Es preciso entender la coherencia como un proceso cognitivo más que textual. Con de Vega, Díaz y León: “El discurso no es una colección azarosa de frases, sino que éstas tienen una unidad temática o coherencia. La coherencia es una característica que, generalmente, se ha atribuido al discurso (v. gr., un texto es coherente o incoherente). Sin embargo, los psicolingüistas consideran que la coherencia es más bien una función cognitiva. Dicho de otro modo: la coherencia está en la mente y no en el texto.” 27.. 26. Al respecto de la autoría de la teoría, según de Vega et al. “La idea de modelo de situación tiene múltiples padres y está todavía en fase de elaboración (Johnson-Laird, 1983; Van Dijk y Kintsch, 1983; Bower y Morrow, 1990; Glenberg et al., 1987; Franklin y Tversky, 1990; De Vega, 1995; Zwaan y Radvansky, 1998).” VEGA, Manuel de, DÍAZ, José Miguel y LEÓN, Inmaculada. Procesamiento del discurso En: VEGA, Manuel y CUETOS VEGA, Fernando. Psicolingüística del español. España: Ediciones Trotta, 1999. p. 286. 27 Ibíd., p. 273.. 35.

(36) Si la mecánica de sentido de un I.S.M. se encuentra definida por la coherencia y ésta se rige por procesos cognitivos, se hace imperativa para las ambiciones del proyecto la indagación de lo referido a los procesos cognitivos que guían la comprensión lectora. Se parte del hecho de que la operación de la coherencia se fundamenta en el marco de conocimientos y experiencias del sujeto. Así, según los anteriores autores, “el lector de un texto entiende las relaciones de coherencia entre diversas partes del texto gracias, en gran medida, a sus conocimientos pragmáticos del mundo.”28. Estos conocimientos pragmáticos del mundo son los que dan origen a los esquemas, que son representaciones generalizadas de la realidad. Los modelos de situación actúan a raíz de los esquemas, como representaciones particulares de la realidad. Siguiendo de nuevo a los citados profesores, una explicación muy ilustrativa para entender ambas teorías es la siguiente: Los modelos de situación que elaboramos a partir del discurso son representaciones de patrones de información singulares o únicos. Por ejemplo, supongamos que mi amiga María me dice: «Ayer estuve en la Pizzería Dagiggio, la que tú me recomendaste. Fui con Gonzalo, porque ya nos hemos reconciliado, y la comida nos pareció estupenda». Ésta es una descripción de un episodio concreto, con una ubicación espacio-temporal determinada, que implica a personas específicas y sus relaciones interpersonales, motivacionales, etc. la representación que uno construye de ese episodio es muy diferente de sus representaciones esquemáticas de los «restaurantes» o de las «relaciones entre novios», por ejemplo. Un esquema es una especie de promedio estadístico que resulta de procesar multitud de situaciones análogas, pero que no representa ninguna situación particular. El esquema es un prototipo que incluye información convencional sobre los objetos, personajes y roles, acciones características, etc., que se desarrollan en un determinado tipo de situación (los restaurantes, los museos, el rodaje de una película, etc.). En cambio, el modelo de situación que se construye al entender un fragmento de discurso como el anterior es una representación de un estado particular de sucesos, que incluye combinaciones únicas de parámetros del tipo «quién dijo qué (a quien)», «quién sabe qué», «dónde está qué o quién», etcétera.29. 28 29. Ibídem. Ibíd., p. 286.. 36.

(37) De todo lo anterior sale a relucir que marco de conocimientos, esquemas, modelos de situación, coherencia y comprensión lectora (incluso multitud de diversos procesos mentales, como resulta obvio suponerlo) son procesos íntimamente ligados. De ahí que se entienda que la resolución de un I.S.M. sea una actividad cognitiva basada en el establecimiento de un modelo de situación para juzgar el grado de lógica de cualquiera de las cuatro situaciones (aserciones u opciones) a que da lugar. La cadena de hechos referidos en un texto contiene una lógica, calco del funcionamiento mismo de la realidad. La composición y comprensión de un texto se guía a partir de esquemas cognitivos, las estructuras generales que contienen el conocimiento empírico acerca de la lógica fundamental que rige al mundo. Sobre dichos esquemas básicos, actúan los modelos de situación; escenarios particulares que se construyen en torno a la lógica de una situación específica con base en los esquemas. Dichos escenarios o modelos de situación se construyen en todo momento, lo mismo para la comprensión lógica de los hechos que propone el mundo que para los hechos que propone otra clase de mundo, un texto, un discurso. Un I.S.M. es un texto30. Su comprensión y resolución implica por consiguiente la construcción de modelos de situación con base en los esquemas mentales propios del sujeto evaluado. Para su composición, de igual manera, implica los modelos de situación y esquemas del sujeto evaluador31. Siguiendo de nuevo a los autores citados: “un texto es siempre una guía incompleta hacia el significado, (…) los lectores deben ser capaces de construir una representación apropiada del mundo real o ficticio al que se refiere el texto (sucesos, situaciones, episodios, etc.).”32.. 30. Véase el apartado 1.4. La medida de disparidad o asimetría entre los esquemas y modelos de situación de los dos sujetos (evaluador – evaluado) da origen a circunstancias que afectan o imposibilitan la solución de un I.S.M. En otras palabras, puede causar que el objeto lingüístico que media los sujetos, el I.S.M., sea un acto de habla infortunado en términos pragmáticos. Véase el apartado 3.1.3. 32 Ibíd., p. 285. 31. 37.

(38) Dado el papel de la experiencia en la obtención de modelos de situación, fundamentales para la coherencia y ésta a su vez para la construcción / resolución de un I.S.M. (o cualquier otro tipo de texto), “La teoría de los modelos de situación pretende justamente desvelar los procesos de construcción del referente que realiza el lector y cómo son las estructuras resultantes.” En consecuencia, la conceptualización de los procesos cognitivos que guían la conformación de estructuras, entre ellas los modelos de situación, sirve para explicar el funcionamiento del mecanismo de sentido I.S.M., el objeto lingüístico en cuestión. Las cuatro dimensiones, verbigracia tiempo, espacio, causa – efecto y correferencia, que se han tomado aquí para formular una herramienta de análisis de I.S.M., son propias de la teoría de estructuras, como los modelos de situación, que explica el proceso de comprensión de lectura. De nuevo con de Vega: Una vez fundada una estructura, la información que se vaya procesando se incorporará a la misma, siempre que sea coherente con ella. Aunque no se define con mucha precisión qué se entiende por coherencia, se señalan cuatro factores que la determinan: la correferencia de las cláusulas, la continuidad temporal, la continuidad espacial y la continuidad causal entre sucesos descritos. Siempre que estas dimensiones de continuidad se mantengan, el lector probablemente continuará actualizando la estructura que está en curso. Sin embargo, las discontinuidades en alguno de estos parámetros [como se vio en el apartado anterior 1.2.2] provocarán que el lector inicie una nueva estructura.33 [la cursiva es nuestra].. En este punto es preciso acotar que no existe aún un consenso suficiente entre los estudiosos en general acerca de los principios y las dimensiones en que se fundamenta la coherencia; esto para justificar el hecho de que la sustentación teórica del modelo de análisis se haya basado en una única referencia bibliográfica. Entre los autores y obras consultados para este fin ‒Bruner (s.f.), Lozano, Marín y Abril (1989), Graesser, Gernsbacher y Goldman (1997), Renkema (1999), Calsamiglia y Tusón (1999) y van Dijk (1978, 1980, 1995, 1998 y 2000)‒ únicamente van Dijk posee un discurso que se acerca al planteamiento de Vega, Díaz y León, en una reflexión más extensa y a la vez menos concreta sobre la 33. Ibíd., p. 284.. 38.

(39) temática34. La siguiente cita de los autores refiere la dificultad que existe para concretar los planteamientos en torno a la coherencia y también consolida las dimensiones aquí tomadas como fundamento del modelo de análisis: El número de situaciones posibles y de sus cambios dinámicos es infinito. Consecuentemente, el número de modelos de situación y sus estados también debe ser infinito. Sin embargo, la composición interna de los modelos se reduce a unos cuantos parámetros básicos, que constituyen lo que podríamos llamar sus «ladrillos» epistemológicos. Es difícil establecer a priori cuáles son estos parámetros, ya que constituyen la materia prima de nuestra experiencia, pero no son objeto de experiencia por sí mismos. Creemos que deben ser pocos y universales, es decir, compartidos por todos los seres humanos independientemente de su entorno cultural o idioma. Las investigaciones más recientes están tratando de desvelar cuáles son estos parámetros privilegiados y cuáles son los principios por los que se combinan para construir modelos (De Vega, 1996; Zwaan y Radvansky, 1998). Las dimensiones kantianas del tiempo, el espacio y la causación están implícitas en, prácticamente, todos los modelos de situación. Las situaciones se representan organizadas en un marco espaciotemporal y los sucesos y acciones suelen vincularse en términos de causaefecto. Pero a ello habría que añadir ciertas entidades interpersonales. En efecto, los protagonistas son elementos vertebradores de muchos modelos de 35 situación (…) [la cursiva es nuestra]. El marco conceptual de la coherencia es inconcluso. Sin embargo, lejos de buscar resolver el panorama teórico, el investigador acoge las cuatro dimensiones planteadas porque funcionan a cabalidad para los objetivos del proyecto. Aunque sea visible en ocasiones que estas dimensiones han de albergar en su interior otros principios más que precisen el funcionamiento de la coherencia, tal como han sido planteadas se desempeñan en este análisis con la suficiencia esperada. Discutir más a fondo las mencionadas dimensiones sería salirse del curso del trabajo y abandonarlas por la falta de precisión conceptual que permiten los 34. En su Texto y contexto, la situación puede percibirse varias veces al redundar sobre lo que define intuitivamente como mundos posibles. Puede observarse el tercer capítulo “Conexión y conectivos”, el capítulo cuarto “Coherencia” y el numeral cuatro “Macro-estructuras y las condiciones de conexión y coherencia” del capítulo quinto. No obstante coincide de algún modo con las dimensiones más precisadas por de Vega, Díaz y León. Para el ejemplo, las siguientes palabras del holandés en torno a la coherencia: “En un sentido más amplio, la identidad está también implicada cuando algún hecho se mantiene en el mismo mundo posible, en el mismo lugar y/o en el mismo tiempo.” [la negrilla es nuestra]. Texto y contexto. Op. cit. p. 148. 35 DE VEGA, Op. cit., p. 288.. 39.

(40) estudios al momento, sería abandonar un instrumento que arrojará valiosos resultados. Además, no se descarta tampoco que el presente análisis pueda aportar en algo al estudio que hace carrera sobre los principios que guían la coherencia.. 1.3 EL ERROR El término error refiere un procedimiento basado en un juicio falso. Desde el modelo aquí propuesto, el equívoco surge si el sujeto razona desatendiendo las leyes del tiempo, espacio, causa – efecto o correferencia en su objetivo de componer / resolver un I.S.M. Por lo tanto, el yerro puede provenir tanto del sujeto evaluado como del sujeto evaluador. Así, para juzgar un error de respuesta el ítem debe poseer primero una construcción correcta.. 1.3.1 Explicitación del error. El propósito de este apartado es sintetizar, en una ilustración sobre todo, lo referente a la naturaleza del equívoco.. Figura 5. Ilustración del error Situación Ideal Suj. 1. ― ITEM ―. Error de Respuesta Suj.. Suj.. 2. 1. ― ITEM ―. Error de Construcción Suj.. Suj.. 2. 1. ― ITEM ―. Suj. 2. El rectángulo izquierdo representa la situación ideal de I.S.M. El sujeto 1, el evaluador, ha construido un ítem adecuado puesto que razonó para ello acertadamente dentro de la determinada dimensión de coherencia. Luego, el sujeto. evaluado. tuvo. la. oportunidad. cuestionamiento.. 40. de. solucionar. efectivamente. el.

(41) El rectángulo central representa la situación de error de respuesta de I.S.M. El sujeto 2, el evaluado, no razonó acertadamente dentro de la dimensión de coherencia en la que se fundaba el ítem. El equívoco es suyo y no del otro sujeto puesto que el cuestionamiento se hallaba construido adecuadamente. El rectángulo derecho representa la situación de error de construcción de I.S.M. El sujeto 2, el evaluado, responde un ítem que presenta construcción errónea. Dado que se encuentra en la obligación de solucionar el cuestionamiento, porque se supone que está construido adecuadamente, halló coherencia en un enunciado de opción diferente al preestablecido como solución por el sujeto 1, el evaluador. Dada la cuestionable composición del ítem, la respuesta no debe juzgarse como equívoco del sujeto evaluado. A partir de lo anterior, concierne a este apartado dejar en claro dos hechos: a) la existencia efectiva y comprobable del error, posible en ambos sujetos, y b) que no toda respuesta del evaluado que se aparte de la predeterminada por el evaluador es válida bajo la tradicional excusa de que toda P.S.M. encierra un carácter subjetivo. La lógica en un I.S.M. tiene existencia efectiva y demostrable. Este hecho adelanta una conclusión valiosa: se puede hacer de la E.T.S.M. un instrumento más preciso de medición.. 1.3.2 Error de construcción del ítem. Se hace necesario explicitar bajo qué criterio se ha de juzgar que un I.S.M. posea una construcción incorrecta. En primer lugar, un ítem se vuelve sospechoso para el sujeto analista, profesional formado en el conocimiento del lenguaje, cuando en la resolución se le imposibilita conseguir un razonamiento que le indique elegir la misma opción de respuesta que la predeterminada por la autoría del cuestionamiento. Esta sospecha pone en marcha el respectivo análisis para verificar el posible estado de incorrección del ítem.. 41.

(42) Se ha dicho que el error de construcción sucede cuando el sujeto evaluador razona inadecuadamente dentro de la dimensión de coherencia a la que pertenece el ítem. De experiencias anteriores a la consecución del modelo de coherencia utilizado, se conoce que cada I.S.M. suele constituir un caso particular en el que se debe invertir en extensas reflexiones textuales con fin de exponer el error de construcción. Todo lo contrario, el modelo de coherencia se ha desempeñado como un instrumento de análisis generalizable a todo I.S.M., que permite por ello comparar ítems y obtener así conclusiones generales al aparato de la E.T.S.M., economizando además las largas redacciones singulares.. 1.3.3 Respuesta del sujeto evaluado ante ítems erróneos. Dada la existencia efectiva del error de construcción de I.S.M. …véase el cap. 2…, y dado que en casos de este tipo el sujeto evaluado se ve obligado a dar respuesta a estos ítems errados, se hace necesario caracterizar la actuación de este sujeto en un escenario así. La finalidad es aprender a reconocer las decisiones que toma el evaluado ante situaciones de esta clase. Una primera situación ocurre cuando el sujeto evaluado no encuentra dentro de las opciones del I.S.M. una clara demarcación entre la que fuera una elección correcta y una incorrecta, dado que varios de los enunciados de opción cobran coherencia para él. Obsérvese para el ejemplo el siguiente I.S.M. proveniente del ICFES36:. 36. Véase el anexo C. Para comodidad del lector, se adjunta el texto de evaluación que consiste en una carta: “Marcel Proust a Genevieve Straus: Jueves, después de dejarte. Madame: Amo a mujeres misteriosas, puesto que vos sois una de ellas, y lo he dicho con frecuencia en Le Banquet, en el que a menudo me habría gustado que usted se reconociese a sí misma. Pero ya no puedo seguir amándola por completo, y le diré por qué, aunque no sirva de nada, pues bien sabe usted que uno pasa el tiempo haciendo cosas inútiles o, incluso, perniciosas, sobre todo cuando se está enamorado, aunque sea poco. Cree que cuando alguien se hace demasiado accesible deja que se evaporen sus encantos, y yo creo que es verdad. Pero déjeme decirle qué sucede en su caso. Uno habitualmente la ve con veinte personas, o, mejor dicho, a través de veinte personas, porque el joven es el más alejado de usted. Pero imaginemos que, después de muchos días, uno consigue verla a solas. Usted sólo dispone de cinco minutos, e incluso durante esos cinco minutos está pensando en otra cosa.. 42.