MÉTODO

8.1.1.1. PARTICIPANTES

El número de jueces que se emplea en el juicio depende del nivel de experiencia y de la diversidad del conocimiento en el tema de investigación; sin embargo, la decisión sobre qué cantidad de expertos es la adecuada varía entre autores. Rubba, Schoneweg-Bradford y Harkness (1996) usaron sólo 5 jueces (profesores y científicos) y recomendaron un mínimo de 8 ó 9 jueces para lograr una clasificación más válida y fiable. Para este estudio cualitativo de la validez de contenido se emplearon ocho jueces expertos, todos ellos acreditados como potenciales expertos competentes para emitir juicios válidos y fiables, para ello se tuvo en cuenta su experiencia profesional y su formación académica: cuatro de ellos son, en la actualidad, profesores e investigadores de la Facultad de Psicología de la Universidad de Oviedo y la Universidad Complutense de Madrid, pertenecientes al ámbito de psicología de la educación, los cuatro restantes, poseen estudios superiores y trabajos relacionados con la informática y las TIC´S. Todos ellos participan activamente en investigación en didáctica y algunos de ellos publican investigaciones

concretas sobre temas TIC´S. Sus características formativas se definen en la Tabla 17. Con respecto al género, la proporción de hombres y mujeres es la misma, cuatro son varones (50%) y cuatro mujeres (50%), con edades comprendidas entre los 25 y 63 años (Media=35.12 y Desviación Típica=12.893).Ningún experto conocía la identidad de los demás integrantes del grupo.

Tabla 17. Características de los expertos participantes en la valoración del contenido, Primer juicio de expertos

Experto Formación

1 Licenciada en Psicología

2 Diplomado en informática

3 Licenciado en Psicología

4 Licenciado en psicología

5 Licenciado en Comunicación Audiovisual 6 Ciclo superior de diseño y producción editorial

7 Licenciada en Psicología

8 Diplomado en informática.

8.1.1.2. INSTRUMENTO

El instrumento objeto de estudio consta con un total de 14 estrategias o escalas formadas por 109 ítems: Motivación (N=6), Actitud (N=7), Socio- afectividad (N=6), Atención sostenida (N=7), Búsqueda (N= 11), Selección (N=8), Organización (N=8), Elaboración (N=7), Archivo (N=12), Recuperación/Evocación (N=7), Generalización (N=5), Comunicación (N=6), Conocimiento metacognitivo (N=12) y Control metacognitivo (N=7).

8.1.1.3. PROCEDIMIENTO

Se siguió el siguiente esquema de procedimiento:

Selección de 8 jueces especialistas en el tema de investigación.

Elaboración de un formulario de evaluación del instrumento.

Aplicación del formulario y tabulación y revisión de datos.

Revisión de los ítems en base a los resultados obtenidos y correcciones propuestas (tanto cuantitativas en base a las puntuaciones, como cualitativas basadas en opiniones o nuevos ítems formulados).

Cada uno de los expertos opinó sobre la “bondad” de los ítems del instrumento de manera independiente, los jueces no conocían la identidad de los otros, intentando, de esta forma, disminuir los sesgos de persuasión, efectos de prestigio laboral…

Por su parte, cada experto recibió información escrita acerca de: (Anexo I)

El propósito del juicio de expertos

Un protocolo con las indicaciones necesarias para rellenar la hoja de respuestas

Una redacción de las definiciones semánticas de cada dimensión en las que se categorizan los ítems para facilitar la comprensión de los mismos.

El cuestionario con los ítems clasificados en sus dimensiones teóricas

Plantillas de hoja de respuesta con sus respectivos indicadores para la calificación. Para realizar el juicio sobre las variables requeridas debía valorar:

- Congruencia ítem-constructo, es decir, en qué medida el ítem guarda relación lógica con la dimensión que está midiendo.

- Claridad en la redacción de cada ítem, es decir, si el ítem se comprende fácilmente, o si su sintáctica y semántica son adecuadas al nivel poblacional al que va dirigido el cuestionario.

- Relevancia de los ítems con respecto a su dimensión de clasificación, es decir, el ítem es esencial o importante y debe ser incluido.

A continuación, se les proporcionó un apartado en la hoja de respuestas donde debían de hacer las siguientes observaciones

- Necesidad de agregar otra dimensión/estrategia que no se haya tenido en cuenta, en su caso, redactar algún ítem.

- Ítems que consideras que hay que eliminar dentro de la dimensión - Ítems que consideras que hay que introducir en la dimensión.

- Otras Sugerencias/ observaciones con respecto al cuestionario.

Para responder en esta hoja de respuestas los expertos debían de leer el ítem y seleccionar el número que mejor se ajustaba o correspondiera con su opinión deacuerdo con la siguiente escala Likert:

1=Totalmente en desacuerdo con la Congruencia/ Claridad/

Relevancia,

2=En desacuerdo con la Congruencia/ Claridad/ Relevancia

3=Ni de acuerdo ni en desacuerdo con la Congruencia/ Claridad/

Relevancia

4=De acuerdo con la Congruencia/ Claridad/ Relevancia

5=Totalmente de acuerdo con la Congruencia/ Claridad/ Relevancia La decisión de usar esta escala tipo Likert (1-5) se basa en las directrices planteadas por Osterlind (1989) en este campo, quién afirma que se debe pedir algo más que el acuerdo/desacuerdo a los jueces, y recomienda

usar sólamente las categorías anteriores, ya que resulta de muy poca utilidad práctica cuando se usa una discriminación mayor y ello puede complicar de manera innecesaria el proceso de alcanzar el acuerdo.

8.1.1.4. ANÁLISIS DE DATOS

Una vez tabuladas las hojas de respuestas, se comprobó la coincidencia o divergencia de criterios a través del Coeficiente de Concordancia W de Kendall, que permite apreciar la concordancia entre los jueces y el grado del acuerdo conseguido (Kendall y Babington-Smith, 1939). Se ha optado por dicho coeficiente debido a que se es particularmente útil cuando se solicita a los expertos que asignen rangos a los ítems, como es nuestro caso. Los valores del Coeficiente de Concordancia se expresan en un rango de 0 a 1, interpretado en los siguientes términos: Si el coeficiente es 1 indica un acuerdo perfecto entre los evaluadores, si es 0, indica que el acuerdo no es mayor que el esperado por el azar, y si el valor del coeficiente es débil, el nivel de acuerdo es inferior al esperado por el azar (Siegel y Castellan, 1995).

En la Tabla 18 se presentan intervalos orientativos usados como interpretación del estadístico W de Kendall (Altman, 1991)

Tabla 18. Criterios de interpretación para el estadístico W de Kendall

Valores Fuerza de la concordancia

< 0.20 Pobre

0.21 – 0.40 Débil

0.41 – 0.60 Moderada

0.61 – 0.80 Buena

0.81 – 1.0 Muy Buena