Procedimientos y niveles de análisis

Los procedimientos e instrumentos para el análisis de los datos de la presente investigación se apoyan en diversas fuentes. En primer lugar, el análisis de los datos parte de la propuesta sobre los diferentes niveles y elementos implicados en los procesos de evaluación ya comentados (ver punto I.1). Por otra parte, el análisis se inspira en el modelo general de análisis de la interactividad ya esbozado (ver punto II.2 de este mismo capítulo), el cual adaptamos a nuestro objeto de estudio y objetivos de investigación. La realización del análisis de los datos se define en tres niveles de generalidad sucesivos, que son los siguientes:

1. Distinción entre diseño y desarrollo tecnopedagógico. Éste constituye el primer y más general nivel de aproximación al análisis de los datos. En coherencia con la distinción entre interactividad potencial y real (Coll, 2004; Coll, Mauri y Onrubia, 2008; Engel, 2008), el modelo de análisis adoptado nos lleva a diferenciar entre la planificación inicial y el desarrollo tecnopedagógico real; la identificación del diseño tecnopedagógico del conjunto de las prácticas de evaluación del proceso educativo nos lleva a delimitar algunas posibilidades y restricciones que, en lo relativo a las formas de organización de la actividad conjunta de los participantes, ofrece el diseño de las actividades de evaluación y los recursos tecnológicos previstos junto con la normativa teórica de sus usos previstos.

De esta manera, y aunque el foco de análisis lo constituye el uso real que hacen los participantes durante el desarrollo efectivo de las actividades de evaluación para

ejercer su influencia educativa, el análisis del diseño tecnopedagógico se considera un apoyo importante para comprender mejor el curso que toma el despliegue de la actividad conjunta de profesor y alumnos en torno a las diferentes tareas evaluativas analizadas.

2. Aspectos tecnológicos y pedagógicos implicados en las prácticas de evaluación y valoración de su nivel de transparencia. En relación con el diseño y desarrollo tecnopedagógico de las prácticas de evaluación, la perspectiva de análisis adoptada exige centrar la atención, en este segundo nivel de generalidad, en los aspectos de naturaleza tecnológica y pedagógica que se exponen a continuación:

2.1. Aspectos tecnológicos:

• Primero, se consideran los tipos de dispositivos tecnológicos implicados en ese diseño o desarrollo de la actividad conjunta.

• Segundo, se consideran las diferentes propiedades tecnológicas presentes en cada herramienta que median –o pueden mediar– en el ofrecimiento de la ayuda pedagógica.

Para ver una definición de los criterios concretos para la identificación de estos aspectos, el lector puede ir más adelante al punto II.5.3

2.2. Aspectos pedagógicos:

• En primer lugar se considera, desde un nivel más general, el programa de evaluación del proceso instruccional; así, para analizar esa estructura global y articulación de las actividades de evaluación, se utilizan los siguientes criterios (Coll y otros, 2000; Coll y otros, 2001; Coll y Onrubia, 1999): los diversos tipos de actividades de evaluación que lo conforman; el número, frecuencia y ordenación temporal de cada tipo de situación de evaluación; la ubicación de las situaciones de evaluación en el proceso de enseñanza y aprendizaje y la interrelación entre ellas; y los usos de las informaciones generadas.

• En segundo lugar, se deben considerar las diferentes actividades o situaciones de evaluación. En la identificación de las actividades y situaciones de evaluación de cada secuencia didáctica se tiene en cuenta no sólo los momentos de evaluación

en sentido estricto, sino también lo que sucede antes y después de eso (Colomina y otros, 2002; Mauri y Barberà, 2007; Solé y otros, 2003).

En este nivel de análisis, se debe estudiar el nivel de transparencia o visibilidad de las prácticas evaluativas. Así, se considera que la transparencia de esas prácticas evaluativas debe ser abordada en los dos niveles que se han especificado anteriormente: a nivel del programa evaluativo –valorándose la propiedad que genera el conjunto global de las situaciones de evaluación del proceso instruccional para que el profesor acceda y pueda realizar el seguimiento del proceso cursado por un determinado alumno en la realización de esas actividades– y a nivel de cada actividad de evaluación –valorándose el nivel en que cada actividad de evaluación permite, correspondientemente a profesor y compañeros del aula, realizar un seguimiento del proceso seguido por un determinado alumno en la realización de esa actividad–. Para consultar los criterios operativos que permiten valorar la transparencia, remitimos al lector al punto II.5.3.

3. La actividad conjunta de los participantes. En relación con el desarrollo o construcción de la actividad conjunta de profesor y alumnos en torno a las tareas y contenidos de evaluación, se considerarán –en correspondencia con el modelo del análisis de la interactividad– dos niveles de análisis diferentes, que nos remiten a niveles de molaridad y unidades diferentes de análisis, aunque se consideran dos niveles encajados y que ofrecen informaciones distintas y complementarias para poder interpretar el curso de la actividad conjunta y la influencia educativa. Los dos niveles son los siguientes:

3.1. En un primer nivel se considera la articulación de las actuaciones de profesor y alumnos en torno a los contenidos y tareas de evaluación y la utilización efectiva de los recursos tecnológicos en esas tareas. Así, en este nivel de análisis más molar, se identifican los patrones de actuación de profesor y alumnos para determinar los segmentos de la actividad de evaluación desarrollados. La identificación de los patrones de actuación de profesor y alumnos ofrece el contexto y da una pista sobre el curso de la actividad conjunta desplegada en esa situación de evaluación y, a la vez, es utilizado, centrando el criterio de análisis en la funcionalidad de las actuaciones de los participantes, para identificar los diferentes segmentos –preparatorios, de

evaluación en sentido estricto, de corrección o valoración, de comunicación y de aprovechamiento– desplegados en la construcción de esa actividad conjunta. 3.2. En un segundo nivel se consideran los diferentes dispositivos de ayuda

prestados por profesor y compañeros mediante el uso de las TIC, en el marco contextual generado por los segmentos de la actividad de evaluación identificados en el nivel anterior. Este nivel de análisis, más molecular que el anterior, se centra en la actividad discursiva de los participantes –dadas las características del objeto de estudio, eminentemente el discurso escrito de profesor y alumnos– e intenta identificar los diferentes dispositivos concretos de ayuda ofrecidos mediante el uso de instrumentos tecnológicos específicos. Para la identificación y segmentación de los dispositivos de ayuda pedagógica se elaboran unos criterios específicos (ver punto II.5.3). El análisis de los diversos dispositivos concretos de ayuda se realiza a partir de la consideración de diversas dimensiones de la ayuda pedagógica. Así, se utiliza un sistema de categorías de 14 tipos distintos de ayudas pedagógicas –en función del objeto o aspecto de la actividad conjunta que se pretende regular–. Asimismo, a cada tipo de ayuda se asocian y delimitan tres niveles distintos de calidad: nivel alto, medio y bajo (ver punto II.5.3). Igualmente, una de las dimensiones de análisis de la ayuda pedagógica es la modalidad –en función del grado de su proximidad al alumno–. Se establece un sistema de cuatro categorías a partir de los postulados conceptuales sobre las ayudas directas e indirectas (Rogoff, 1993 y 2003) (ver punto II.5.3). Por último, con respecto a este nivel de análisis se considera la importancia de identificar el instrumento tecnológico concreto con el que se ofrece cada ayuda identificada.

A continuación se expone de manera gráfica los tres niveles ya descritos de aproximación al análisis:

Gráfico II.1 Niveles de análisis y objeto de estudio

Aunque los tres niveles expuestos presentan finalidades diferentes, esos niveles deben considerarse, en el marco del modelo de análisis generado, como necesariamente articulados y en constante relación. Así, se plantea que para dar respuesta a las preguntas directrices de esta investigación, es necesario que los resultados derivados en cada nivel se pongan al servicio de los niveles más moleculares –como contexto general que permite reinterpretar de manera más amplia y global ciertos fenómenos detectados en niveles inferiores–, así como de los niveles más molares –ofreciendo información

más concreta que detalla y especifica lo que sucede en el contexto interpretado en niveles superiores–.

Así, siguiendo una lectura “deductiva” de los datos, la distinción entre el diseño y el desarrollo permite deducir dos grandes “contextos” o interactividades que, de manera inmediata, dan pie a identificar algunos componentes básicos de esa interactividad como los tipos de dispositivos tecnológicos presentes y sus características y el programa de evaluación y las diversas actividades o situaciones que lo componen. Esta información puede ser detallada centrándonos en el tipo de actividad conjunta, especialmente en aquella que desarrollan o construyen los participantes en el marco de la interactividad real: se pueden identificar los diferentes segmentos de la actividad o situación de evaluación desarrollados en las secuencias didácticas objeto de análisis, y, de una manera más fina aún, se pueden detectar los diferentes dispositivos concretos de ayuda ofrecidos por los participantes, mediante herramientas tecnológicas específicas, dentro de esos segmentos.

Siguiendo el camino inverso, es decir, realizando una lectura “inductiva” de los datos, los dispositivos concretos de ayuda ofrecidos por profesor y compañeros se interpretan en el marco más amplio de los diversos segmentos de la actividad de evaluación en que se proporcionan; esos segmentos se engloban en una determinada situación de evaluación que tiene lugar, a su vez, en el conjunto más amplio del programa de evaluación que se desarrolla mediante la presencia de ciertos tipos de dispositivos tecnológicos. Al mismo tiempo, esos procesos conforman globalmente la planificación o el despliegue efectivo del proceso instruccional.