Formas de Evaluación

El primer método de Evaluación propuesto por el programa es llamado de Monitoreo de Procesos. Éste es alimentado en el SIMEC por cada institución y controlada directamente por el área de Monitoreo y Evaluación de CPE, y tiene como propósito recoger información sobre cada una de las acciones del programa en los territorios, en particular sobre los modos y las frecuencias de uso de los recursos entregados, y los desafíos y demandas que se presentan en cada institución y región. Para lograr esto, además de utilizar la herramienta del SIMEC, es responsabilidad del equipo de Monitoreo y Evaluación realizar visitas al terreno,

117 implementar tres encuestas anuales de satisfacción de usuarios y efectuar actividades de difusión de forma aleatoria (Unesco, 2016). Métricas que presuponen netamente un enfoque descriptivo cuantitativo en el que el interés se centra en medir y mostrar logros alcanzados, pero no en responder al objetivo planteado en la etapa del Diseño de calidad educativa. Por otro lado, también el área se produce cuatro “Boletines de Tendencias” anuales sobre informaciones acerca del mundo de las TIC en educación y gestión de residuos electrónicos, con el objetivo de en estos boletines eduquen sobre una de las líneas estratégicas del programa: Aprovechamiento Ambiental. Según CPE en 2014 estos Boletines han llegado a 270 personas aproximadamente, todos principalmente beneficiarios o participes del programa.

Dentro de los logros alcanzados en este primer modo de evaluación se destacan: un acceso a computadoras por más de tres millones de estudiantes entre el 2000 y 2008, alcanzando más de 14 mil sedes educativas de todos los niveles, y 150 mil docentes capacitados. Como se puede observar en la Tabla 7 (abajo) de las 48.000 sedes oficiales, el programa ha beneficiado al 23.46 % de ellas, de las cuales el 61 % son rurales.

Tabla 7: Estadísticas del Programa CPE 2001 al 2008

Fuente: Reporte de Gestión (2008). Computadores para Educar.

Según la Tabla 7 el programa inició en 2001 beneficiando a un pequeño porcentaje de sedes educativas, 156 municipios (que corresponde a menos del 10 % del total). En 2002 el programa favorecía ya 311 nuevos municipios. En 2003 se encontraba en 700 municipios,

118 llegando alcanzar en 2005 el territorio nacional, de tal forma que el 10 % de los municipios ya tenían el 43.6 % de beneficiados por el CPE. En 2006 superó los 1.000 municipios. Y en el 2008, únicamente el 3.8 % de los municipios del país no habían sido beneficiados del programa. Esta evolución “positiva” en cuanto a números relatada no sólo en la Tabla 7 sino en los informes oficiales del CPE (periodicidad anual) permitió que en 2008 se le otorgara, diez años más de continuidad como el programa único y estrella de dos ministerios que lleva las TIC a la educación pública básica y media. Resultados y estadísticas en el número de donaciones, computadoras, instituciones y docentes capacitados, que solo monitorean los logros en infraestructura y contenido del programa, dejando de lado la dimensión de evaluación de impacto en el que se comprenda y explore los cambios y las transformaciones educativas que ha ejercido el CPE en los beneficiarios. Situación que se refleja, también en las otras dos líneas estratégicas de la etapa del Diseño del programa como: Formación y Apropiación Digital, y Aprovechamiento Ambiental; en el cual los datos cuantitativos se vuelven el eje central de evaluación, al dejar de lado la riqueza exploratoria de hallazgos cualitativos que emergen de una política de inclusión digital.

Dentro de la línea estratégica de Formación y Apropiación Digital (método de monitoreo) y según el Informe de Gestión, hasta 2015 se han formado más de 130.000 docentes en diplomados de 152 horas, y 1.600 docentes capacitados en robótica educativa. Adicionalmente, se formaron 554 bibliotecarios y administradores de Casas de Cultura. Para el año 2018 se espera haber formado al 100 % de los profesores (Unesco, 2016). En la línea de Aprovechamiento Ambiental - Gestión de Residuos Electrónicos, y según el Estudio de Impacto 2014 de CPE “se evitó la emisión de 14.013 toneladas de CO2. Asimismo, el reacondicionamiento de equipos de cómputo en desuso, facilitó que 106.962 toneladas de CO2 no afectaran al medio ambiente, lo que equivale a ahorrar el consumo de energía de 9.759 hogares al año. Se han retomado 13.422 toneladas de equipos en desuso, que podrían afectar el medio ambiente o la salud humana” (Informe de Impacto CPE, 2014 y Entrevista a Fernando Bedoya, director ejecutivo de CPE, 2015). Como meta CPE en la línea de Gestión Ambiental establece poder efectuar para el 2018 la gestión integral de 100.000 equipos (equivalentes a 2.010 toneladas) para contribuir a la preservación del medio ambiente.

El segundo método de evaluación propuesto e implementado a partir de su reformulación por CPE son las Evaluaciones de Impacto, con periodicidad trienal, las cuales son efectuadas por entidades independientes (universidades nacionales, privadas y públicas, otorgadas por licitación) ajenas al programa con el objetivo de medir el impacto social y

119 educativo de CPE de una forma imparcial y objetiva. Las Evaluaciones de Impacto son realizadas en las comunidades beneficiadas midiendo de forma cuantitativa los impactos socio económicos del programa en áreas como: “calidad de la educación, deserción del sistema educativo, probabilidad de acceso a la educación superior; resultados obtenidos y posible inclusión de nuevas herramientas” (CPE, 2014). Estas mediciones corresponden a evaluaciones exploratorias que buscan conocer el impacto generado por el CPE en comunidades beneficiarias, en el cual la academia ejerce el rol de “consultor” e investigador con dimensiones ya estipuladas por el mismo gobierno que buscan dan respuesta al objetivo del diseño del programa (calidad educativa), pero dentro de los cuales no se clarifican los indicadores sociales específicos que puedan medir y comprender dicha calidad educativa. Situación que lleva informes descriptivos y muestrales de orden positivista que no determinan en sí las transformaciones sociales y educativas que el CPE haya traído a la sociedad colombiana.

El primer estudio fue realizado el año 2008 por el Centro de Estudios de Desarrollo Económico (CEDE) de la Universidad de Los Andes y sus resultados se dieron a conocer en 2010. A partir de ahí se han realizado dos Evaluaciones de Impacto más (2012 y 2015) a cargo del Centro Nacional de Consultoría. Las tres Evaluaciones de Impacto han arrojado como principales resultados: disminución de la deserción estudiantil, incremento de los puntajes promedio de las pruebas estandarizadas ICFES y en el ingreso a la educación superior. Resultados que no miden el entramado de lo que es calidad educativa, y mucho menos comprenden las transformaciones y cambios sociales y educativos que ha dejado el CPE a sus beneficiarios, sino que responden a datos y porcentajes positivos de mejora de acceso a la educación, el cual no depende netamente del uso o la apropiación de las TIC.

1. Las sedes educativas que se han beneficiado con la formación docente por Computadores para Educar, mejoraron su desempeño en un 10,6 %, gracias a los resultados de sus estudiantes en las Pruebas Saber.

2. Los estudiantes egresados de dichas sedes aumentaron en un 7.5 % el ingreso a la educación superior.

3. Los alumnos de dichas sedes, disminuyeron en un 3,6% la tasa de repitencia escolar. Los alumnos de estas sedes beneficiadas por el Programa, disminuyeron en un 4.3 % la deserción. Evaluación de Impacto más (Centro Nacional de Consultoría, 2015)

120 Estos resultados no logran demostrar que estas diferencias, que además no son muy significativas, se deben netamente al programa y no a otros factores que influencien para disminuir la repitencia escolar y/o alcanzar un mejor desempeño en las Pruebas PISA y del Saber. Exámenes de impronta global que se enfocan en medir cuantitativamente a los sujetos, sin intentar comprender que la educación transpone otros ambientes, significados y simbologías, que no están solamente relacionadas con Matemática, Lengua o Biología, sino con entramados económicos, políticos y culturales entre todos los actores sociales, el uso y las TIC.

Un aumento de 0 a 8 % en la proporción de docentes formados en CPE de un año a otro aumenta el desempeño promedio en la prueba Saber 11 de los estudiantes de ese colegio en 1,52 puntos en una escala de 0 a 100. (CPE, 2012 y Centro Nacional de Consultoría, 2015b).

Dentro de los grupos de perfil utilizados en los estudios de impacto del CPE se destacan como foco central los docentes y estudiantes, y posteriormente en un segundo nivel: padres de familia e instituciones (directivos). Lo que deja de lado, otros actores participantes de la etapa evaluativa como el sector académico, privado, gubernamental y social (comunidad), ya que es la vinculación de todos ellos y el análisis integral lo que permite reconfigurar el programa hacia las necesidades y accionares que realmente lleven a un mejoramiento de la calidad educativa. Sin embargo, dentro de estos grupos de perfil se busca medir los usos técnicos y académicos gestados dentro el aula, por los docentes, los estudiantes, el rol de la familia, y el papel de la institución. Objetivos que no están estructurados bajo una escala de indicadores sociales sistematizados que comprendan y conozcan cada uno de estos ítems, sino bajo variables que miden acceso, infraestructura y contenido, dando así respuesta a las metas planteadas en la etapa de Diseño, y no al objetivo de calidad educativa que menciona el CPE.

Frente a esto, muchas críticas han sido mencionadas durante la evolución del programa y sus resultados como los análisis de Muñoz y Núñez (2008) y Márquez; Rodríguez y Sánchez (2011), resaltando que el CPE está aún muy centrado en el marco del acceso a la infraestructura, cursos aplicados y residuos ambientales; los cuales son medidos por resultados cuantitativos de accesos, capacitaciones, y no indicadores de apropiación del usuario, resultados sociales, formaciones e inclusiones que atraviesen los impactos en todos como lo menciona autores como Sorj (2003), Bar (2007) y Finquelievich (2008) o que

121 busquen comprender las perspectivas y simbologías de los beneficiarios. Situación que demuestra una visión acotada sobre el significado de la educación y apropiación, o de los indicadores de evaluación utilizados para medir los objetivos, pero que el gobierno colombiano ya está comenzando a visualizar, mas primeramente en sus discursos.

Necesitamos herramientas que nos permitan medir. El tema numérico son las metas de Política Pública, pero lo de fondo es otro tema, la medición cualitativa (...) estamos viendo cómo medir el impacto, necesitamos herramientas que nos permitan medir de forma distinta, en tiempo real, constante y continua. (Entrevista realizada a David Luna, ministro actual del MinTIC, 2017).

Métricas que comienzan a estar en el discurso de los actores intervinientes del CPE, pero no en las planificaciones o reconfiguraciones de un nuevo modelo de evaluación, donde las preguntas de investigación se reformulen de acuerdo al objetivo de lo que puede llegar a ser el programa, entendiendo el concepto de apropiación y calidad educativa, sus variables, representaciones y perspectivas. Un nuevo modelo evaluativo que determine indicadores que vayan más allá del acceso, distribución, contenidos o infraestructura, sino que hable de habilidades y competencias alcanzadas y no alcanzadas, que no sólo muestre casos exitosos, sino que aborde la experiencia y transformación del CPE en los actores participantes, conociendo sus perspectivas, simbologías y representaciones.

4.3.2.3.1.1 Formas de Evaluación – Encuentros y acciones cualitativas

Por otro lado, y entiendo que el sistema de medición cuantitativo utilizado por el programa, no profundiza de forma cualitativa en los casos de éxito alcanzados por las sedes educativas y los docentes, CPE en 2012 crea los Encuentros de Educa Digital Colombia®, un espacio para abrir al diálogo y a la construcción de ideas en torno al aprovechamiento pedagógico de las TIC. En los eventos han participado docentes de todo el territorio nacional que han sido beneficiados. Según Fernando Bedoya, director ejecutivo de CPE (2015) los proyectos que año a año son llevados a Educa Digital "son la evidencia de cómo la tecnología ha logrado impactar en las prácticas pedagógicas, y cómo ha cambiado la forma de pensar y actuar en muchas comunidades educativas de Colombia". Dos ejemplos destacados y mencionados por el programa en el último encuentro de Educa Digital son:

122 1) Institución Educativa Naranjal, sede Morelia Baja (Quimbaya-Quindío). Proyecto “Agromatic” que articula el área de matemáticas a los procesos agropecuarios con la mediación de las TIC, incentivando el pensamiento lógico-matemático en los estudiantes e implementando un software y herramientas web 2.0 en su desarrollo. Uno de los elementos más significativos de este proyecto es la posibilidad de trabajar conjuntamente nociones matemáticas (números naturales, enteros, reales, ecuaciones) en la práctica diaria agropecuaria: desarrollo de cultivos, medición, siembra, entre otros.

2) Institución Educativa Francisco Javier Cisneros (Puerto Colombia, Atlántico). En esta institución, se ha evidenciado avances significativos a raíz de la llegada de la tecnología y su implementación en todas las áreas del conocimiento. Por un lado, la sede educativa mejoró de nivel bajo a alto, y ello se reflejó en el mejoramiento de los resultados de los alumnos en las pruebas Saber, al punto de haber colocado el mejor ICFES en 2013 y el año anterior haber logrado que once de sus estudiantes fueran premiados con la estrategia de "ser pilo paga", beca para estudios universitarios otorgada por el Ministerio de Educación para impulsar a los mejores estudiantes.

Dichos ejemplos mencionados por CPE denotan que el programa se sostiene bajo el concepto de “buenas prácticas”, es decir, evaluaciones descriptivas en el que se citan las experiencias más innovadoras vinculadas a CPE, sin hacer un mapeo general del impacto del programa, sino de unos casos específicos. Según Benítez Larghi y Winocur (2016) este análisis corresponde a un recurso bastante frecuente en las evaluaciones de políticas públicas, en el que la preocupación es detectar "casos exitosos" de los logros que ha alcanzado el programa, como una visión etnocentrista que suple las expectativas y metas marcadas en el diseño, pero no necesariamente una evaluación de lo logrado o una respuesta al objetivo. En la mayoría de las situaciones no es claro el criterio de selección de los casos de “buenas prácticas” y el por qué de ser estos exitosos y recomendados. Situación que se evidencia de la misma forma en los tres programas de inclusión digital, al buscar de forma exploratoria y descriptiva conocer situaciones exitosas que den respuesta a las metas y la razón de ser del programa.

123 La noción de “buenas prácticas” mantiene amarrado el estudio a cierto etnocentrismo ya que los criterios de éxito o fracaso de las prácticas no terminan de desligarse de la racionalidad presupuesta al momento del diseño de la política pública (Benítez Larghi y Winocur, 2016).

Por consiguiente, los autores mencionan que es importante destacar que muchas de las “buenas prácticas” son considerados como “efectos secundarios” o “derrames” de la política, que no miden de forma general el impacto del programa, ni estandarizan sus resultados, corriendo el riesgo, muchas de las veces de olvidar que “la apropiación es un proceso heterogéneamente situado y, por lo tanto, inseparable del contexto sociocultural en que se desarrolla” (Benítez Larghi y Winocur, 2016). En el caso de Colombia, la mayoría de estos estudios de casos, corresponde a lo indagado y citado por los docentes en los Encuentros de Virtual Educa, dejando de lado la profundidad investigativa a la que se puede llegar con alguno de estas “buenas prácticas”, en el caso de evaluarlo, medirlo y comprenderlo de forma académica, no por sus logros, sino por sus hallazgos y resultados; llevando así a una reconfiguración del modelo de evaluación que no sólo mida impacto cuantitativo, sino comprenda la transformación social que el programa trae consigo.