ESTRATEGIA DE EVALUACIÓN

DEL PROCESO: revisión de procesos seguidos y decisiones adoptadas en términos numéricos. Valora procesos concretos dentro de la actividad.

EVP

ESTIMAR: apreciar, poner precio a partir de un cálculo aproximado.

EST

DE LA ACTIVIDAD: valoración de la actividad realizada considerada como producto final

EAC

MEDIANTE CONOCIMIENTOS PREVIOS: valoración de la actividad mediante conocimientos previos.

ECP

TRANSFERENCIA TEÓRICA: emplear conocimientos teóricos aprendidos en un contexto

TRT

PRÁCTICA: emplear conocimientos prácticos aprendidos en un contexto a otro

TRP

3. CODIFICACIÓN Y VALIDACIÓN 3. 1. La codificación

Una vez definido y validado el sistema de categorías que se va a utilizar para analizar la información, se da paso al proceso de codificación. La codificación hace posible agrupar, conceptualmente, los segmentos de información que son cubiertos por una misma temática. Es decir, cuando codificamos estamos sintetizando diferentes unidades de datos bajo un mismo concepto teórico. Así, entendemos el proceso de codificación como la operación concreta por la que se asigna a cada segmento de información (unidad de análisis) una serie de indicativos (códigos) propios de las categorías asignadas. En cuanto a las unidades de análisis, como queremos identificar procesos llevados a cabo, hemos tomado como criterio fundamental la segmentación a partir de cada toma de decisiones, ya sea verbal o mediante la acción del sujeto. Después de incorporar los códigos a los datos, de acuerdo con los criterios o indicadores de aplicación, se construyó un plan de codificación que permitió convertir las categorías en un sistema numérico. Esta fase permite volcar la información en una matriz para someterla a análisis estadísticos.

3. 2. Validación del sistema de categorías.

El proceso de validación del sistema de categorías hizo posible construir un instrumento confiable y aplicable a estudios sobre estrategias de aprendizaje. Para la validación del sistema se llevaron a cabo dos procesos complementarios para justificar la validez del sistema: uno centrado en la validez de contenido y otro en el proceso de aplicación. Con referencia a la validez de contenido, ésta se realizó mediante un grupo de acuerdo inter-jueces formado por investigadores en estrategias de aprendizaje. Las aportaciones y sugerencias que se consideraron fueron aquellas en que existió consenso entre todos los miembros sobre los planteamientos a las dimensiones de categorías y características (estrategias) que configuran el sistema. El proceso comenzó reuniendo a un grupo de expertos que actuaron como jueces en la valoración del sistema. Se les entregó un documento que contenía una descripción del sistema de categorías, así como la forma de aplicación, con la finalidad de que lo analizasen individualmente para su

posterior discusión en un grupo con los demás jueces. Para que ajustasen mejor su opinión se les indicó que sus valoraciones se adecuasen a criterios mínimos como: 1) Exhaustividad del sistema

2) La existencia o no de coherencia en la relación de cada una de las categorías recogidas y las dimensiones a las que pertenecen

3) Nivel en el que consideraban que las categorías pertenecientes a cada dimensión eran excluyentes entre si

4) Adecuación o no de las definiciones de cada una de las categorías y dimensiones contempladas

Pasados unos días de la entrega del material a los jueces, dejando un tiempo mínimo para que lo revisaran, se les reunió para formar un grupo de discusión en el que se realizase una puesta en común de las opiniones individuales así como una discusión conjunta de aquellos aspectos en los que no existía consenso. En términos generales, el sistema fue valorado de forma positiva. Se consideró, de forma consensuada que el sistema recogía todos los posibles tipos de estrategias que se empleaban en las tareas propuestas, por lo que podíamos afirmar que nuestro sistema es exhaustivo.

Además se consideró que el sistema de categorías estaba organizado de forma coherente. Por otro lado, los principales puntos de discusión giraron en torno al grado de exclusividad mutua de categorías y por tanto, la calidad técnica de las definiciones. Se pudieron aclarar todas las dudas mostradas por los jueces, y se pudo llegar a la conclusión de que en el sistema existía exclusividad mutua entre las categorías, pero tenía cierta imprecisión en las definiciones que podía inducir a otras interpretaciones. A partir de las sugerencias consensuadas entre los jueces se volvieron a reformular aquellas definiciones de categorías que podían mejorarse para garantizar una mayor precisión. Tras este proceso de depuración y mejora del sistema de categorías, se obtuvo como resultado final, el sistema que ha sido descrito en el apartado anterior. Además de la aplicación del sistema de categorías, hemos considerado necesario validar su aplicación, con el fin de garantizar que los codificadores, aplican el sistema de categorías de manera inequívoca. Para ello, hemos realizado dos actividades complementarias.

a. Establecer el nivel de acuerdos entre los distintos codificadores.

b. Determinar en qué medida las codificaciones que se han hecho son compartidas por jueces expertos en la materia que se está trabajando.

Para establecer el índice de concordancia entre los codificadores se compararon los resultados obtenidos en la codificación de diversos análisis. Se analizaron, en dos ocasiones distintas, una serie de datos con categorías similares a las de nuestra muestra. Para ello se utilizó el ATLAS-Ti 6 (Muhr, 1997), extrayéndose todos los textos que iban a ser codificados con el mismo código. A partir de los códigos recogidos, siguiendo la fórmula antes citada, se alcanzó un índice de concordancia del 77%. Con esto, se puede establecer una alta concordancia y en consecuencia se puede garantizar

diferentes interpretaciones de los mismos elementos. Una vez asegurado un alto porcentaje de concordancia en las codificaciones, se procedió a la valoración por jueces expertos. En este proceso de validación se reunió a los mismos jueces que anteriormente habían valorado el grado de adecuación del sistema, ya que contaban con conocimientos previos sobre el mismo. Se les presentó el texto codificado, extraído de ATLAS-Ti 6, con el fin de que manifestaran su acuerdo o desacuerdo con la codificación realizada, acorde con el sistema de categorías establecido. Además se pidió que se señalaran e indicaran todas aquellas dudas y sugerencias encontradas en su lectura relacionadas con la codificación que realizada. De los códigos encontrados en los textos presentados se obtuvieron las siguientes estimaciones de acuerdos y desacuerdos entre los distintos jueces para las categorías de aprendizaje:

JUECES ACUERDOS DESACUERDOS KAPPA SIG.

Juez 1 124 12 0.809 **

Juez 2 143 22 0.764 **

Juez 3 128 12 0.799 **

TOTAL 395 46

*p<0.05, **p<0.01

Aplicando la formula mencionada a estos datos, el resultado obtenido fue un índice de acuerdos de 85%, por lo que se consideró que el sistema respondía a los criterios mínimos de calidad para ser utilizado en nuestra investigación. Para calcular la consistencia inter-jueces se hizo a continuación un análisis de varianza. Según las tablas de los puntos de significación de la distribución F de Snedecor (Bowker y Lieberman, 1981), se obtuvo para las columnas una F=0.001; 3,10=10.80 y para las filas F=0.001; 4,12=9,63; comparando estos valores con los obtenidos en el análisis de varianza (F columnas=12.47 y F filas=0,61), pudiéndose afirmar que la influencia en el resultado debida al factor columnas fue significativa a un nivel de confianza del 99,9%, mientras que la influencia debida al factor líneas (jueces) no lo fue (a un nivel de confianza del 99,9%).

En definitiva, en el grupo de 3 expertos consultado hubo una gran consistencia inter-jueces en cuanto a sus estimaciones de pertenencia a una categoría para cada actividad. El error estándar y los límites de confianza de la estimación final de probabilidad para cada actividad fueron de 3,10 y los límites de 5,2-11.3 y 3.4-10.5 respectivamente. Este resultado se puede considerar aceptable ya que, en general, el resultado es aceptable mientras el exponencial de los límites sólo varíe en un orden de magnitud. Finalmente se obtuvo el Índice Kappa de Fleiss con el programa ATLAS-Ti 6 (Shrout y Fleiss, 1979), que funciona con cualquier número de jueces para la cantidad fija de categorías empleadas, que se interpreta como la cantidad observada de acuerdo entre los codificadores que excede a lo que sería de esperar si todos ellos hiciesen sus codificaciones aleatoriamente, de acuerdo con la fórmula:

P - Pe  =

1 - Pe

El resultado obtenido fue de 0.82, correspondiente a una interpretación de acuerdo inter-jueces sustancial.