Validación con expertos

Para validar los lineamientos se realizó una encuesta (ver Anexo 2) para obtener la percepción de evaluadores expertos acerca de la utilidad y claridad de los lineamientos. La forma de respuesta de la encuesta hace uso de una escala de Likert de 5 niveles (donde 5 es la mejor calificación y 0 la peor) para evaluar los atributos de calidad antes mencionados. Además, los evaluadores podían agregar comentarios respecto a cada lineamiento. La encuesta fue respondida por una cantidad de 27 expertos (profesores e investigadores) de diferentes países (Colombia, España y Francia) cuyo promedio de años de experiencia docente es de 11.

La metodología estadística empleada en el desarrollo de la investigación contempló las siguientes fases:

Fase 1. En primera instancia se realizó un análisis con expertos para validar los lineamientos propuestos mediante un cuestionario, el cual mide la percepción de acuerdo a dos criterios (claridad y utilidad) dispuestos en las siguientes categorías: 1. Lineamientos asociados al tablero de analítica de datos (LAD), 2. Lineamientos asociados al estudiante (LAS), 3.

Lineamientos asociados al profesor (LAT), 4. Lineamientos asociados a actividades de aprendizaje (LAA) y 5. Lineamientos asociados a progreso/rendimiento/seguimiento de estudiantes (LAP). Las valoraciones de los expertos consultados fueron sometidas a un análisis de concordancia cuantitativo evaluando los criterios de utilidad y claridad.

Fase 2. En segunda instancia, una vez aplicado el cuestionario, se realizó un análisis descriptivo e inferencial, caracterizando cada categoría, a partir de la construcción de tablas, gráficas resumen y empleando la prueba de Mann-Whitney (Hollander et al. 1999) para evaluar posibles diferencias significativas entre la percepción de los encuestados entre los conceptos de Utilidad y Claridad. Con el objetivo de resumir la información recolectada y hacer una valoración general de las diferentes variables e ítems planteados, se construyó un índice de percepción porcentual que condensa esta información a través de una valoración cuantitativa que utiliza como insumo las respuestas otorgadas por cada uno de los expertos encuestados. La calificación final resulta de la operación del indicador definido en la siguiente ecuación (Rentería et al, 2011):

Expresión matemática:

(4)

Calificación del ítem.

Número de respuesta efectivas.

Máximo puntaje posible: (6 categorías de respuesta - Escala tipo Likert de 0 a 5).

El indicador anterior expresa el nivel general de percepción en cada uno de los criterios (utilidad y claridad) en una escala que varía en un rango de 0 a 100.

Para la organización, depuración y análisis de los datos se hizo uso de Microsoft Excel, consolidando los resultados correspondientes a las encuestas realizadas. Los análisis descriptivos y las pruebas estadísticas de Mann-Whitney y se realizaron con el programa estadístico de libre distribución R-3.4.2 (R Core Team, 2022).

En la Tabla 7 se pueden apreciar los indicadores de percepción de los expertos, de acuerdo a los dos criterios: utilidad y claridad. Los lineamientos LAD muestran una percepción ligeramente variada, oscilando entre 67% y 75%, indicando una buena recepción, aunque con margen para mejoras. Los lineamientos LAS, enfocados en estudiantes, tienden a tener percepciones ligeramente más altas, especialmente en claridad, sugiriendo que estos lineamientos están bien adaptados a sus necesidades. Los lineamientos LAT, asociados a profesores, mantienen percepciones consistentes, paralelas a las otras categorías. Los LAA, que se enfocan en actividades de aprendizaje, presentan la gama más amplia de lineamientos y, aunque varían, generalmente reflejan una percepción positiva similar a los demás grupos. Por último, los LAP, relacionados con el seguimiento del progreso de los estudiantes, también exhiben una percepción favorable, alineada con los promedios generales.

Lineamiento Indicador de percepción (%)

Utilidad Claridad

Lineamientos asociados al tablero de analítica de datos

LAD1 71.85 70.37

LAD2 70.37 68.15

LAD3 74.07 74.84

LAD4 71.11 69.63

LAD5 72.59 73.33

LAD6 69.63 69.63

LAD7 71.11 67.41

Lineamiento Indicador de percepción (%)

Utilidad Claridad

Lineamientos asociados al estudiante

LAS1 74.07 75.56

LAS2 72.59 71.85

LAS3 74.07 74.07

LAS4 72.59 71.85

LAS5 71.11 71.85

LAS6 72.59 73.33

LAS7 69.63 68.89

Lineamientos asociados al profesor

LAT1 69.63 73.33

LAT2 71.11 70.37

LAT3 71.85 71.11

Lineamientos asociados a actividades de aprendizaje

LAA1 71.11 66.67

LAA2 73.33 71.85

LAA3 74.81 73.33

LAA4 74.07 71.85

LAA5 71.85 74.81

LAA6 73.33 72.59

LAA7 70.37 74.07

LAA8 74.07 73.33

LAA9 67.41 69.63

Lineamiento Indicador de percepción (%)

Utilidad Claridad

LAA10 71.85 72.59

LAA11 71.85 71.85

LAA12 70.37 71.85

LAA13 68.89 70.37

LAA14 73.33 70.37

LAA15 71.85 69.63

Lineamientos asociados a progreso / rendimiento / seguimiento de estudiantes

LAP1 72.59 74.07

LAP2 68.15 71.11

LAP3 71.85 72.59

LAP4 73.33 74.07

Promedio general 71.78 71.72

Tabla 7. Percepción de las calificaciones de los expertos a los lineamientos.

Para una visualización detallada de los resultados, la figura 14 presenta los indicadores de percepción por lineamiento. Es importante mencionar que aquellos lineamientos con un porcentaje menor al 70%, fueron revisados por el equipo de trabajo. En este proceso se revisó la redacción de cada lineamiento para eliminar alguna ambigüedad y también se brindó mayor información en los casos que se consideró necesario.

Figura 14. Indicadores de percepción por lineamiento.

A continuación, la Tabla 8 presenta los resultados de la comparación del indicador de percepción para cada grupo de lineamientos entre los conceptos de utilidad y claridad.

Grupo de lineamientos Estadístico de prueba (W) Valor-p

LAD 33.5 0.27

LAS 25 1.00

LAT 3.5 0.83

LAA 120.5 0.75

LAP 4.5 0.38

Tabla 8. Comparación de la percepción por grupo de lineamientos entre el concepto de utilidad y claridad.

Los resultados de la prueba no paramétrica de Mann-Whitney para las categorías LAD, LAS, LAT, LAA y LAP, con estadísticos de prueba W de 33.5, 25, 3.5, 120.5 y 4.5 respectivamente, y valores-p correspondientes de 0.27, 1.00, 0.83, 0.75 y 0.38, no revelan diferencias estadísticamente significativas en la percepción de la claridad y utilidad entre los grupos. Los valores-p elevados en todas las categorías indican una falta de evidencia para rechazar

la hipótesis nula, lo que sugiere que las percepciones de claridad y utilidad de los lineamientos son consistentemente similares entre los distintos grupos evaluados. Este patrón uniforme implica que, independientemente de la categoría de lineamiento, no hay una diferencia perceptible en cómo se valoran en términos de su claridad y utilidad, sugiriendo una percepción equilibrada de estos atributos a través de los distintos lineamientos educativos analizados.