IIIINNTNNTTTEEREERRRVVVVEENEENCNNCIIIIÓCC ÓNÓÓNNN PPOPPOOORRRR PPRPPRRROOGOOGRGGRARRAAAMMMMAASAAS:::: OSS OOOBBJJJJEBB ETEETIIIIVTT VVVOOOOSS YSS YYY C
C
CCRRIIIITRR TTTEEREERRRIIIIOOOOSS DSS DDDEEEE EEVEEVVVAAAALLULLUUUAACAACIIIIÓCC ÓNÓÓNNN....
4 4
44....1111.... AAssAAspspppeeeeccccttttoooossss iiiinnttttrrrronn oooddudduuucccttttoc orrrriiiiooo ooossss....
En el momento de realizar la elección de un determinado modelo evaluativo, hemos creído oportuno partir del contexto donde se ha realizado una intervención, así debemos tener en cuenta que:
a . La evaluación que nosotros desarrollamos pretende conocer cómo se pasa de una intervención por servicios a una intervención por programas y en qué medida se mantiene en el tiempo esta intervención.
b . Necesitaremos conocer aspectos referentes al contexto que nos ayuden a entender el proceso y evolución que va sufriendo la intervención.
c . Deberemos evaluar el diseño, pero recogiendo información que nos ayude a conocer como se esta planificando la intervención por parte de los profesores,
tutores y orientadores implicados, y como se ha planificado el proceso de asesoramiento.
d. Será imprescindible desarrollar una evaluación que nos confiera información desde los diferentes profesionales que están llevando a cabo el proceso de intervención, el desarrollado en las aulas, el que se desarrolla internamente en el centro y el que también se desarrolla en el centro pero a través del asesor externo.
e . Nos interesará conocer los resultados globales de la intervención, por lo que se refiere a:
- éxito de los programas,
- cambios producidos en el centro, - éxito del asesoramiento,
- perdurabilidad en el tiempo.
Todos estos aspectos se han tenido en cuenta en el momento de diseñar la evaluación que aquí presentamos.
444
4....22.... E22 EEEllll ppllllappanaanttttenn eeeaamaamiiiiemmeeennttttonn ooo ggeggeneennneerrrraee aaallll ddddeeee llllaaaa eeveevvvaalllluaauauuaccaaciiiiócóóónn....nn
En el momento de plantearnos la evaluación de nuestra realidad, debemos tener presente que toda investigación evaluativa parte de un proceso sistemático para llegar a
realizar la elección del proceso, debemos tener en cuenta que nuestra evaluación tiene un carácter formativo, con lo que resulta complicado, partir o definir un proceso cerrado de investigación dentro de nuestro proyecto evaluativo,.
La riqueza y características de la propia intervención ha hecho que debamos plantearnos un proceso abierto en el que se han ido añadiendo distintos procedimientos dentro de cada una de las fases de la investigación.
Hemos tomado como referentes para hablar de nuestro proceso evaluativo, el presentado por Latorre, del Rincón y Arnal (1996), al parecernos lo suficientemente sistemático y flexible como para poder ir introduciendo cambios en el transcurso de la investigación, el que propone Jiménez Jiménez (1999), al integrar todos los contenidos que creemos necesarios para garantizar que la evaluación se considere sistemática, rigurosa y creíble y el propuesto por Rodríguez Espinar y otros (1993), al contextualizarse el proceso en la evaluación de programas de orientación.
Estas tres aportaciones van a servirnos como puntos de referencia para intentar establecer las pautas de lo que va a ser nuestro proceso evaluativo, desde el planteamiento de los objetivos de la evaluación hasta la realización del informe final, por este motivo hemos creído oportuno presentar los tres procesos.
En este capítulo vamos solo a desarrollar los objetivos evaluativos de los que partimos y los criterios que hemos delimitado en la evaluación, por considerar éste capitulo un puente entre el marco teórico de nuestra evaluación y el
apartado más metodológico de nuestra tesis, que se desarrollará en el siguiente capítulo y donde, retomando el planteamiento general de nuestra evaluación haremos especial hincapié en el diseño de la investigación y el proceso de recogida y análisis de los datos.
Al plantearnos como debería ser el proceso mediante el cual evaluar nuestro proyecto, pensamos que tomar como referencia un proceso cerrado podría no abarcar todos los aspectos que van sucediéndose en el proceso de intervención, pero al mismo tiempo, también creemos en la necesidad de partir de un proceso de evaluación que nos ayude a sistematizar y analizar toda la información que requiere nuestro proceso evaluativo.
Hemos tomado como referencia distintos procesos de evaluación, puesto que como hemos dicho anteriormente creemos que de los tres vamos a confeccionar las pautas de lo que será nuestro proceso evaluativo.
Jiménez Jiménez (1999) propone los siguientes contenidos a tener en cuenta al hablar del diseño de una investigación evaluativa:
- Finalidad.
- Objeto: • Dimensiones, categorías o subcategorías.
• Variables / indicadores / objetivos
• Referentes y criterios de evaluación - Metodología: • Cuantitativa, cualitativa, mixta.
• La triangulación,
• Validez, fiabilidad, credibilidad.
- Fuentes de información, informantes:
- Instrumentalización:
• Selección, en el caso de aplicación de pruebas estandarizadas.
• Adecuación, adaptación o elaboración de instrumentos y técnicas.
- Aplicación y recogida de datos y de información:
• Estudio de poblaciones y técnicas de muestreo.
• Elección para estudio de casos.
• Exigencias metodológicas en cada proceso.
- Temporalización de las diversas actuaciones.
- Tratamiento de la información:
• Programas estadísticos para datos cuantitativos:
BMPD, SPSS, etc.
• Programas informáticos para datos cualitativos: SPAD, ADQUA, Etnograf, etc.
• Análisis textual.
- Las audiencias destinatarias de las conclusiones, aportaciones y propuestas. El informe.
- La composición y conformación del equipo evaluador y sus colaboradores.
- El presupuesto.
Cuadro nº15: LLaLLassaass ccccuueuuesseessttttiiiioooonnnneeeesss qs quqqueuue dee deddebeebbbeeee ccccoonoonttttenn eeemmpmmpppllllaarrrr uaa uuunnnn ddiiiissddseseeeññoñño doo deddeee e
e
eevvvvaalllluaauauuaaacccciiiióónóón.... ((((JJJJiiiimnn mémmééénnnneeeezzzz JJJJiiiimmémmééénnenneeezzzz,,,, 1111999999999999))))
Para Latorre y otros (1996) el proceso quedaría representado de la siguiente forma:
EEE
Esssqsquqqueuueeemmamma naa nnnºº1ºº1114444: Fases de la investigación evaluativa (En: Latorre y otros, 1996)
Otro proceso que nos parece interesante, sobre todo porque está vinculado con programas de orientación, es el que
¿Cuán buena/eficaz/eficiente es la intervención? ¿Cómo optimizarla? ¿Cuáles son sus efectos? ¿Porqué aparecen determinados efectos?
Valorar, tomar decisiones, optimizar, exigir responsabilidades, comparar eficacia.
Comprensión lectora, cálculo mental, técnicas de estudio, docencia
Planifica- ción del programa
Implanta- ción del programa
Criterios valorativos
Juicios de valor
Observación, entrevista, cuestionario, encuestas, documentos y análisis de contenido, tests y otras técnicas e
instrumentos
Cuantitativo / Cualitativo
Vías de acción Toma de decisiones 6
6
66)))) AAAANNÁNNÁLÁÁLIIIISLL SSSIIIISSSS DDDDEE DEEDDDAATAATOTTOSOOSSS
777
7)))) PPPPRRRROOOOCCECCEEESSSSOOOO DDDDEE VEEVVVAAAALLLLOOOORRRRAAAACCCCIIIIÓÓNÓÓNNN 5
5
55)))) RRRREEEECCOCCOOOGGIIIIDGG DDDAA DAADEDDEEE DDADDAAATTTTOOOOSSSS 4
4
44)))) MMOMMOOODDEDDEEELLLLOO,,,, DOO DIIIISDD SSSEEEEÑÑOÑÑO,,,, EOO ESEESSSTTTTRRRRAATAATETTEGEEGGGIIIIAA,,,,AA 3
33
3)))) VVAVVARAARIIIIARR AAABBBBLLLLEESEESSS,,,, SSIIIITSSTUTTUUUAACAACIIIIOCC OOONNNNEEEESSSS,,,, ÁÁMÁÁMMMBBBBIIIITTOTTOSOOSSS,,,, AAAASSSSPPPPEEEECCCCTTOTTOSOOSSS 222
2)))) PPRPPRORROOOPPÓPPÓÓÓSSSSIIIITTTTOOOO 1
1
11))))NECESIDAD, PROBLEMA, DEMANDA, AUDIENCIA,,,,
representan de la siguiente manera:
E E
EEsssqsquqquuueeeemmmmaa naanºnnººº11511555: Fases del proceso de evaluación de programas según Rodríguez Espinar y otros (1993: 599-600)
Nosotros en el diseño de nuestro proceso evaluativo hemos querido recoger las aportaciones de los tres procesos y
PRIMERA FASE OBJETIVO
Concretar el tipo de información n e c e s a r i a y relevante
P P
PPRRRROOCOOCCCEEEESSOSSO EOOEVEEVAVVAAALLLLUUUUAAAATTTTIIIIVVVVOOOO
FINALIDAD OBJETO REFERENTE MOMENTO NATURALEZA JUICIOS AUIDIENCIA
¿Para qué evaluar? ¿Qué decisiones?
¿Qué evaluar?
¿Qué criterios utilizar?
¿Cuándo evaluar?
¿Qué tipo de información?
¿Qué tipo de juicios?
¿A quién va dirigida la evaluación?
SEGUNDA FASE OBJETIVO Recogida de la información
TÉCNICAS DE RECOGIDA DE DATOS.
I N S T R U M E N T O S D E RECOGIDA DE DATOS.
CUANTIFICACIÓN
Selección y Descripción.
Selección/Elaboración Aplicación Unidades de grado o cantidad.
TERCERA FASE OBJETIVO Valoración de la información
FORMULAR JUICIOS TOMAR DECISIONES
CUARTA FASE OBJETIVO
En función de los criterios
Dar a conocer los resultados.
I N F O R M E D E EVALUACIÓN
Tipos de audiencias
presentamos a continuación, los aspectos que componen la metodología que hemos seguido en esta investigación.
Para el desarrollo de la misma, hemos utilizado el siguiente procedimiento, que será desarrollado en los puntos siguientes de éste capítulo:
1. Delimitación del objeto de evaluación, debemos tener en cuenta que el tipo de evaluación que aquí intentamos desarrollar parte de un contexto determinado y pretende encontrar las pautas mediante las cuales se interviene por programas. Así, nuestro objeto de evaluación se limita a observar y analizar como en una realidad determinada se desarrolla un proceso de intervención en orientación.
El objeto de evaluación hará que las fuentes de información, los participantes, las estrategias evaluativas y el diseño se amolden a las necesidades de este objeto, y también seré este objeto de evaluación el que delimite los criterios y referentes que vamos a utilizar en la evaluación.
2 . Objetivos de la evaluación: al implantar una nueva modalidad de intervención en los centros, éstos van adquiriendo unas competencias y recursos para mejorar la práctica educativa. De la misma intervención se extraen unos objetivos que vamos a intentar observar si se cumplen o no.
3. Elaboración de criterios evaluativos: en esta fase de la
referentes mediante los cuales vamos a desarrollar la investigación, estos indicadores y criterios pueden, en cierta medida, ayudar en el sistematismo del proceso evaluativo y ayudar a conseguir la fiabilidad y validez de la evaluación que se nutre fundamentalmente de datos y metodologias cualitativas como es el caso que nos ocupa.
4 . Especificación del diseño de evaluación utilizado: sin duda, creemos que el diseño que planteamos viene muy determinado por el tipo de contexto y evaluación que pretendemos hacer, el optar por un tipo u otro de diseño va a ayudarnos a entender el proceso de recogida y análisis de la información.
5 . Explicitación de los instrumentos de recogida de información teniendo en cuenta los momentos de la evaluación. Los instrumentos de recogida de información, deben diseñarse partiendo del objeto a evaluar. Desde nuestro planteamiento hemos diseñado distintos instrumentos dependiendo del momento en el que se desarrolla la intervención. (Este apartado y los tres siguientes los desarrollaremos en los siguientes capítulos).
6 . Proceso de recogida de información. La recogida de información, en una investigación evaluativa es constante y se realiza a través de diferentes audiencias, con lo que la riqueza de matices y la profundización en aquellos aspectos considerados como importantes está garantizada. El problema reside en el hecho de obtener información dispersa, con lo que su reducción y análisis puede resultas, a veces, un tanto compleja.
7 . El análisis de la información. Es interesante e imprescindible manejar datos cualitativos y cuantitativos, el análisis de unos u otros requieren procedimientos diferenciados. Por ello, al evaluar resultados propios de la aplicación de una determinada intervención los análisis cuantitativos, nos ayudaran a conocer la eficacia de los programas. En cambio, para explicar y comprender la programación, el proceso y el impacto de la intervención, la utilización de metodologias cualitativas para el análisis nos parece más apropiada.
8. Elaboración del informe evaluativo: los resultados de la evaluación. La comunicación de los resultados es uno de los aspectos clave en la investigación evaluativa.
Proporcionar una visión clara y estructurada de todo el proceso es una labor considerablemente dificultosa, más si pensamos que en este tipo de investigaciones se manejan infinidad de datos, procedentes de distintas audiencias y, más si se trata de estudios longitudinales.
444
4....3333.... LLoLLossooss ooboobbbjjjjeettttiiiivee vovvossoos gs geggeneenenneeerrrraalllleaaessees ds dedde llllaee aaa eeveevavvaaalllluuuuaaccaaciiiiócóóónnnn ddddeellll pee prrrropp ooocccceesseesosooo ddeddeee iiiinnnntttteerrrrvee vevveeennnncccciiiióónóón....nn
Cuando iniciamos una experiencia evaluativa, lo primero que debemos plantearnos es cual es la intención de nuestra evaluación, ya que este primer cuestionamiento va a ser la guía de todo el proceso evaluativo. En este sentido Pio (1999) afirmará:
“... cuando nos adentramos en los análisis sobre cualquier tipo de acción educativa, hemos de hacerlo desde la explicitación de intenciones.” (Pio, 1999:
211)
De este modo, una de las primeras reflexiones a realizar será el pensar en lo que pretendemos llegar con nuestra evaluación, debemos tener claro si lo que pretendemos es evaluar la intervención en sí misma, es decir rendir cuentas al proceso seguido (accountability) o, si lo que deseamos es mejorar el proceso de intervención por programas (improvement).
Nuestra investigación evaluativa pretende comprender y explicar proceso un proceso de intervención en orientación, así como las causas del éxito y los posibles fracasos para poder formular posteriormente cuales deberían ser las condiciones y estrategias a seguir para que se trabajara por programas de orientación en los centros.
Cuando en investigación evaluativa se formulan los objetivos de la evaluación, observamos que es tarea difícil, puesto que si repasamos las distintas taxonomias existentes sobre formulación de objetivos, la mayoría se refieren a los procesos de enseñanza – aprendizaje.
Nosotros, al plantearnos los objetivos que buscamos con nuestra evaluación hemos creído necesario:
1 . analizar el proceso de intervención por programas a partir del modelo de consulta, de aquí extraeremos pautas para comprobar si el proceso de intervención sigue los pasos del modelo y consigue lo que pretende:
- crear una dinámica en los centros de intervención por programas infusionados en el quehacer diario del aula.
- constituir un grupo de profesionales preocupados por la calidad educativa y por el rendimiento de sus alumnos, que trabajan en equipo para resolver los posibles problemas y que piensan en el futuro de sus alumnos.
- fomentar la figura del orientador (existente en todos los centros) como un dinamizador de todo este proceso.
2 . Revisar investigaciones sobre la intervención por programas infusionados, que utilizan el modelo de consulta para detectar posibles lagunas en este campo.
Ello nos ha hecho reflexionar sobre todo en todas aquellas cuestiones referentes al proceso de intervención, pero no tanto fijándonos en los resultados obtenidos por los alumnos, sino en la manera de hacer de los profesionales que utilizan este modelo, así como el impacto que puede tener una intervención de este tipo en un conjunto de centros.
A partir de estas reflexiones hemos planteado unos interrogantes evaluativos a los que deberemos dar respuesta a través del proceso evaluativo que vamos a llevar a cabo, a partir de estas preguntas intentaremos estructurar nuestra investigación, así hemos creído oportuno el formular como objetivos a comprobar mediante nuestra
evaluación, los siguientes:
- ¿Cuáles han sido los cambios más representativos o importantes que se han producido en los centros?
- ¿Qué queda en los centros de la intervención por programas una vez desaparece el asesor externo?
- ¿Cuáles son los indicadores de éxito del proceso de intervención por programas?
- ¿Qué aspectos deberían controlarse para que la experiencia perdurara en el tiempo?
La respuesta a estos interrogantes ha de permitirnos encontrar explicaciones sobre el proceso y el impacto de la intervención realizada. De este modo, entendemos que la evaluación debe dar respuesta a estos interrogantes que nos hemos planteado para poder valorar la calidad de la intervención y el impacto que ésta ha tenido en los centros.
Por ello, la evaluación que presentamos se estructura en momentos evaluativos que concretaremos y analizaremos a partir de los criterios evaluativos desarrollados.
En definitiva la evaluación aquí realizada deberá ayudarnos a comprender y analizar el objetivo general de nuestra intervención:
G GG
Geeeennennerrrraee aaarrrr uuuunnnn mmmmoovooviiiimvvmiiiiemm eeennttttonn o eoo eeennnn lllloossoos ccs ceceneennnttttrrrroooossss qqqquuuueeee ttttrrrraaaabbabbaaajjjjee llllaee aaa o
oo
orrrriiiieeneenttttann aaacccciiiióónóón ann aaa ttttrrrraaaavvvvéésséés ds dddee peeprrrropp ogoogrrrragg amaamammaaassss iiiinnttttenn eeeggggrrrraaaaddoddooossss ee iiiinee nnnffffuussuussiiiioonoonannaaaddoddooossss y
yy
y,,,, ddddoonoonnnddddeeee llllaaaa ffffiiiiggugguuurrrraa daa deddeeellll oorrrriiiieoo eneennnttttaadaadddoooorrrr sssseeeeaa llllaaa a daa deddeee ddddiiiinnannamaamiiiizzmmzazadaadoddorrrr yoo yyy a
aa
aggggeeeennttttenn eee ddddee cceecacamaambmmbbbiiiioooo....
Por este motivo, la evaluación que hemos diseñado, deberá
recoger y analizar información en vistas a comprobar la permanencia y ampliación en los centros donde se ha desarrollado esta experiencia en la intervención por programas; es decir, analizar y valorar qué aspectos han permanecido en el tiempo de esta manera de trabajar la orientación y conocer y analizar como se ha ido desarrollando el proceso de intervención a través del asesoramiento proporcionado.
Las variables de la evaluación son muchas y las analizaremos a partir de los criterios e indicadores que hemos planteado en nuestra evaluación, de manera que reservaremos un apartado para analizar y describir los criterios que hemos considerado necesarios para realizar el análisis de toda la experiencia.
444
4....4444.... CCCCrrrriiiitttteerrrriiiioee ooosss ps pppaaaarrrraa llllaaa a rrrreaa eaeeaaalllliiiizzzazaccaacciiiióónóónnn ddddee uee unuunnnaaaa eeeevvavvalllluaauauuaccaacciiiióónóónnn ddedde llllaee aaa iiiinnnntttteerrrrvee vevveneennnccciiiiócónóón pnn popporrrr poo prrrropp oooggggrrrraaaammammassaass....
Evaluar implica emitir un juicio de valor, si tenemos que emitir un juicio sobre algo, será necesario contar con un referente con el cual poder realizar comparaciones con los datos e informaciones que extremos de esa realidad. A estos referentes se les ha venido denominando ccrrrriiiittttecc errrriiiioee ooosss es iiiinnnnddddiiiiccccaaaaddddoooorrrreessees.... Hemos creído interesante la aportación des Tiana (1997ª) al ofrecernos tres formas posibles para realizar estas comparaciones:
1. La comparación con un criterio o norma, donde a través
del establecimiento previo de criterios evaluativos, se determinan los niveles de rendimiento y la evaluación lo que hace es verificar si se cumplen o no esos criterios.
2 . La comparación sincrónica o transversal, donde se comparan diversas realidades entre sí, se seleccionan unos determinados indicadores que representen la realidad y la evaluación se centra en su análisis.
Ejemplos de este tipo de comparaciones las tenemos en los Indicadores Internacionales publicados por la OCDE.
Estos indicadores resultan excesivamente generales cuando se trata de evaluar realidades más reducidas, sin embargo son de gran utilidad para la toma de decisiones a escala general.
3 . La comparación diacrónica o longitudinal, donde la realidad se compara con ella misma a través de indicadores, efectuándose el análisis a lo lardo del tiempo.
Nos parece interesante la valoración que Tiana (1997ª) realiza de la evaluación mediante criterios, como un argumento más por decantarse por el uso de criterios evaluativos:
“... el modo más transparente y menos controvertido de valorar el mérito de una realidad sometida a evaluación. En efecto, la existencia de una referencia externa y explícita evita la subjetividad en la valoración y confiere mayor credibilidad y confiabilidad al juicio emitido. La tarea de acordar los criterios en los que se debe basar el juicio de valor está obviamente lejos de ser sencilla pero ofrece la innegable ventaja de prestar
un apoyo sólido a la actividad evaluadora.” (Tiana, 1997ª: 187)
Nosotros hemos optado por utilizar el primer procedimiento para evaluar nuestra realidad, siendo conscientes de los peligros que entraña este tipo de comparación a mediante criterios:
- la dificultad en determinar los criterios que deben servir de referencia, para ello hemos tenido en cuenta los modelos de intervención de los que partíamos y la realidad educativa en la que está inmersa la experiencia;
- el problema de su aplicabilidad, nosotros hemos optado por contextualizar la evaluación puesto que no pretendemos generalizar resultados, sino comprender el nivel de éxito de un proceso de intervención en una realidad determinada y el porqué de su funcionamiento e impacto.
Creemos de suma importancia el establecimiento de criterios evaluativos de manera que sea posible contrastar las actividades y procesos de la intervención a partir de unas normas preestablecidas que servirán de referencia para establecer la buena marcha o no del proceso de intervención.
En múltiples ocasiones se ha intentado encontrar diversos criterios para poder evaluar una intervención por programas, el hecho de encontrar estos criterios, supondrá, para algunos autores mejorar la propia evaluación de
programas.
Tomamos como referencia la definición propuesta por Ruiz Ruiz (1996) Tejedor y otros (1994) al considerar al criterio de evaluación como la norma necesaria para poder emitir juicios de valor sobre una realidad, considerándolos como un elemento fundamental para poder valorar la realidad.
Tejedor y otros (1994) plantean el establecimiento de criterios evaluativos como un proceso en el que se debe:
1 . Especificar los criterios que van a señalar que determinará que un programa o intervención se considere buena.
2 . Especificar para cada criterio estándares de funcionamiento que detallen niveles o grados de mérito.
3. Recoger información sobre esos criterios para comprobar si se han alcanzado o no los estándares.
A partir de estas reflexiones presentamos distintas maneras de establecer criterios evaluativos a partir de las aportaciones de diversos autores, este repaso puede servir como fuente de información y referencia en el momento de plantear los criterios que van a formar parte de nuestra evaluación.
Pérez Juste (1987), propuso el utilizar criterios intrínsecos y extrínsecos; los primeros criterios harían referencia a la coherencia interna del programa; mientras que los segundos se refieren a los efectos del mismo (utilidad y eficacia).
Sobrado y Porto proponen un modelo de evaluación en cinco
fases, conde en cada una de ellas se desprenden diferentes criterios de evaluación:
F F
FFAASAASESSESEESSS CCCCRRIIIITRR TETTEREERRRIIIIOOOOSSSS
Supuestos teóricos
Finalidad Propósitos
tipo de información receptores
características del profesorado y del contexto
Conocimiento del programa
Tipo de programa Destinatarios
Conocimiento de metas y objetivos Conocimiento de las actividades Temporalización
Recursos y medios
Validación de la evaluación
Evaluación de necesidades Especificación de objetivos
Calidad en los criterios de selección Definición del programa
Implantación Calidad del diseño
Calidad de las operaciones
Procedimientos de recogida de información Aceptabilidad
Obstáculos
Implicación del evaluador Finalidades de los resultados Coste de la evaluación
E v a l u a c i ó n d e l desarrollo
Cobertura del profesorado Realización de actividades Ejecución de la temporalización Funciones de los agentes Utilización de recursos
Binomio programa-factor humano Autoevaluación del orientador o agente Análisis técnico del programa
Evaluación de la eficacia
Resultados y efectos Impacto
Efectos colaterales Eficiencia
Demanda Participación
Cuadro nº16: CCCCrrrriiiitttteerrrriiiioee ossoos pspppaarrrraaa a llllaaa aaa eeeevvvvaaaalllluuauuaaacccciiiióónóón dnndeddeee pprrrropp ogoogggrrrraaaammmmaassaass eeeenn ccnncacadaadaddaaa ffffaaaasssseeee ddeddeee llllaaaa eeeevvavvalllluaauauuaccaaciiiiócóóónnnn sssesegeegggúúnúún SnnSSSoooobbbbrrrraadaadoddo yooyyy PPoPPorrrrttttooo ooo
También se han utilizado los criterios como referentes para evaluar la calidad de la intervención, de éste modo
podríamos hacer referencia a los criterios de calidad que Latorre, del Rincón y Arnal (1996) proponen al hablar de calidad absoluta y relativa. La primera atiende a criterios propuestos por expertos en la materia que servirán para comprobar si el programa en sí alcanza las normas o estándares de calidad; la segunda, necesitará de criterios tomados de otros programas e intervenciones que nos deben permitir conocer si los resultados son satisfactorios.
Ferrández (1990) operativiza criterios evaluativos para la evaluación de programas de formación ocupacional, presentando nueve criterios distintos y apropiados para ese fin:
- Criterios de pertinencia que se utilizaran para conocer el grado de adecuación de un programa con la política formativa y el contexto de aplicación.
- Criterios de actualización: para averiguar la adecuación de los objetivos del programa y las necesidades reales.
- Criterios de objetividad: donde se intenta saber si las leyes y los principios científicos son o no adecuados.
- Criterios de aplicabilidad: útiles para conocer la posibilidad de poder poner en práctica los objetivos propuestos.
- Criterios de suficiencia: donde se examina el grado en que un programa satisface las necesidades detectadas.
- Criterios de eficacia: donde se miden el nivel de logro de los objetivos.
- Criterios de eficiencia: donde se valora el grado de implicación de recursos humanos, materiales y
funcionales.
- Criterios de comprensividad: para averiguar el grado de optimización alcanzado con el programa.
- Criterios de relevancia: para examinar el grado de importancia del programa para cubrir las necesidades individuales y sociales.
Tejedor y otros (1994), aunque matizan el hecho de que cada evaluación debe fijar y establecer sus propios criterios, proponen seis criterios de referencia que pueden tenerse en cuenta en toda evaluación:
“... utilidad, viabilidad, formalidad, exactitud (precisión y validez), contextualización, diversidad en la valoración de las consecuencias/efectos del programa, juzgadas desde el punto de vista de los técnicos, de los gestores y de los usuarios.” (Tejedor y otros, 1994:
119-120)
Como puede observarse, son muchos los criterios que los diferentes autores consultados presentan al realizar una evaluación de programas. Nosotros pensamos que cada realidad requerirá unos criterios evaluativos que se adecuen a cada concepción teórica, teniendo siempre presente el contexto donde se han aplicado los programas, por ello nos va a interesar más la definición de aquellos criterios que profundicen en la intervención, más que en el diseño del programa.
En el momento de plantearnos una evaluación que recoja no sólo la evaluación de uno o más programas de orientación, sino todo un proceso de intervención a través de un
definición de una serie de criterios que nos ayudaran a elaborar y utilizar los instrumentos y técnicas de evaluación más adecuadas a nuestro propósito.
La evaluación implica una valoración, esta valoración debe realizarse a partir de unos referentes que sirvan como base para la interpretación de la información obtenida para la evaluación.
En este sentido, la aportación de Vélaz de Medrano (1998) nos parece interesante en el momento de plantearnos el referente de la evaluación a partir del cual se determinaran los criterios evaluativos a tener en cuenta. La autora identifica como instancias de referencia:
a) La autorreferencia: donde el objeto de evaluación seria el propio programa de intervención y de él se desprenderían los criterios de evaluación.
b) Las heteroreferencias: donde los criterios de referencia no son el programa en si, sino aspectos a tener en cuenta de ese programa o intervención. En este caso, aparecen dos posibilidades:
b.1) Referencia normativa: cuando al interpretar los datos obtenidos lo realizamos con relación a las puntuaciones o resultados obtenidos por el grupo de referencia. Ejemplo de este tipo de evaluaciones la encontramos en los diseños experimentales o cuasiexperimentales con grupo control, utilizando un instrumento para la medida de los resultados antes y después de la aplicación de un programa.
b.2) Referencia criterial: cuando la interpretación de la información obtenida la realizamos a partir de un patrón de realización preestablecido. En este tipo de evaluaciones es necesario definir previamente los criterios por los que se van a evaluar los resultados de un programa o intervención.
En el mismo sentido destacamos la aportación de Jiménez Jiménez (1999) cuando presenta tres tipos de criterios:
1 . Criterios basados en la estadística descriptiva o normativos.
2. Criterios basados en la autoridad.
3 . Criterios individuales o personalizados, basados en el propio objeto evaluado.
Quijano (1992) distingue entre dos criterios:
- Criterio final, se trataría del rendimiento ideal, el teóricamente deseable.
- Criterio real, se trataría de mediadas de éxitos que permiten aproximarse al criterio final.
Nuestra evaluación parte de criterios previamente establecidos basados en el propio objeto evaluado y con el proposito de evaluar un proceso de intervención. Creemos que estos criterios nos ayudarán a optimizar intervenciones de este tipo.
Para su ponderación hemos otorgado el mismo peso a todos
los criterios que hemos formulado en cuanto a la importancia otorgada a cada uno de ellos, con el fin de evitar posibles sesgos o errores al realizar una ponderación a priori. De todas formas se ha utilizado también el juicio de expertos para validar los criterios a utilizar, este procedimiento se analizará en el capítulo 6.
Así, identificamos cinco ámbitos de análisis a partir de los cuales establecemos los respectivos crietrios evaluativos:
1. Análisis del contexto de intervención.
2. Evaluación de la programación de la intervención.
3. Evaluación del desarrollo de la intervención.
4. Análisis del logro o eficacia de la intervención.
5. Evaluación del impacto de la intervención.
Debemos matizar que los criterios que aquí presentamos se han elaborado para adaptarlos a nuestro objeto de estudio y finalidad evaluativa (estaríamos hablando de criterios personalizados como apuntaba Jiménez Jiménez). A partir de ellos, se generarán las preguntas con las que se elaborarán los instrumentos y los indicadores nos van a ayudar en la recogida y el análisis de la información.
Coincidimos con Jiménez Jiménez (1999) al considerar a los indicadores como elementos de análisis para la recogida de información que nos van a indicar formas, modos y maneras de análisis para la recogida de información que nos ayudan a entender y desarrollar el fenómeno evaluado, pero este aspecto lo desarrollaremos en el punto siguiente.
4.4.1. El análisis del contexto de intervención.
Al considerar el contexto, uno de los criterios que debe, a nuestro entender, tenerse en cuenta son las características - necesidades y potencialidades de los destinatarios.
Por destinatarios entendemos, tanto el grupo de alumnos a los que va dirigida la intervención, como a los profesionales potencialmente participantes en el proceso de intervención.
En este sentido, los criterios a tener en cuenta serían:
- Características generales de los alumnos que cursan estudios de FP en los centros de capacitación agraria.
- Características generales del profesorado que imparte materias en las escuelas y centros de capacitación agraria.
Otro de los aspectos a tener en cuenta para analizar y comprender el contexto de intervención se refiere a las circunstancias que rodean y condicionan a los centros dependientes del Departament d’Agricultura Ramaderia i Pesca de la Generalitat de Catalunya, en este caso, los criterios a tener en cuenta serían:
- Tipo de estudios que se realizan.
- Ubicación de los centros y escuelas.
- Entorno geográfico.
- Descripción y valoración de los recursos que poseen los centros relacionados con la actividad orientadora.
- Características del proceso de orientación antes de la intervención por programas.
Todos estos subcriterios deberían ayudarnos a comprender el contexto donde se va a intervenir, de este modo, consideramos que su análisis permitirá, por un lado, la adaptación de la intervención al contexto, y, por otro, ayudará a comprender e interpretar la evaluación que aquí presentamos.
Otro aspecto importante a tener en cuenta en la evaluación del contexto se refiere a la especificidad de cada uno de los centros en los que se han aplicado programas, a partir de esta concreción, utilizaríamos como criterios de evaluación los siguientes:
- La implicación de los profesores en el proceso de aplicación de programas de intervención.
- La dinámica de los procesos de enseñanza – aprendizaje que se produce en el aula donde se van a aplicar los programas de orientación: metodología, actividades diarias, disciplina, motivación, atención, clima....
- Las necesidades detectadas en los grupos clase en vistas a la aplicación de un determinado programa de orientación.
- La implicación del orientador del centro en temas relacionados con la orientación.
- El trabajo en equipo del claustro en vistas a mejorar el rendimiento de sus alumnos.
- Actitudes ante la orientación por parte de los usuarios y agentes del programa: expectativas, nivel de participación, organización y realización de la acción tutorial
Estos criterios irían encaminados a conseguir el objetivo de encontrar qué necesidades debe satisfacer la actividad
orientadora, al mismo tiempo que ofrece un análisis de la implicación del profesorado en temas de orientación.
4.4.2. La evaluación de la programación de la intervención.
En este macro criterio hemos diferenciado dos niveles: por un lado, los criterios relacionados con el conocimiento y utilización de los programas y, por otro, los criterios relacionados con el proceso de consulta.
El conocimiento del programa de orientación a utilizar nos permitirá examinar si en el proceso de intervención se están cumpliendo los objetivos mínimos planteados desde un primer momento. Así, destacaríamos dentro de este macro criterio los siguientes criterios a tener en cuenta para conocer el programa:
• Proceso seguido en la aplicación de los programas en los distintos centros y escuelas.
- Utilización del instrumento para la evaluación inicial del grupo al que se aplica el programa.
- Objetivos a alcanzar acordes con la detección de necesidades.
- Actividades escogidas.
- Desarrollo de las actividades.
- Recursos utilizados.
- Temporización.
• Dificultades derivadas de la aplicación de los programas.
Debemos tener en cuenta que las características del programa pueden afectar al tipo de evaluación a realizar y a los objetivos que puede alcanzar la evaluación. Los criterios relacionados con el proceso de asesoramiento que se han tenido en cuenta han sido:
• Proceso formativo (asistencia y aprovechamiento).
• Análisis de las reuniones de asesoramiento (número, contenidos, coordinación entre asesores....)
• Evolución del proceso de intervención.
• Control y análisis del seguimiento de la intervención por parte de los asesores.
• Implicación en el proceso de los participantes.
• Dinámica del asesor en el centro.
La evaluación del proceso de asesoramiento, ha de ofrecernos pistas de qué ha ocurrido en cada uno de los centros en cuanto al cambio producido y de los problemas que van apareciendo en los centros cuando se pretende un cambio en la manera de enfocar los temas relacionados con la orientación.
4.4.3. La evaluación del desarrollo de la intervención.
El desarrollo de la intervención implicaría tener presentes, a nuestro entender todos aquellos criterios que ayuden a llevar a cabo el programa de la manera más eficaz, controlando aquellos aspectos que pueden dificultar la intervención; de este modo, creemos necesario tener en cuenta los siguientes:
- Esfuerzo requerido en la intervención, en cuanto a la cantidad y calidad de las actividades a desarrollar por parte del profesorado.
- Trabajo realizado por parte de los implicados, que puede observarse a partir de los resultados obtenidos, a través de un seguimiento continuado de la acción orientadora.
- Colaboración entre profesionales: intercambio de información, solución de problemas,...
- Creciente autonomía en el proceso de intervención, otorgando más protagonismo a los orientadores/as de los centros.
- Apoyo del asesor externo, en la resolución de problemas y en la gestión de la dinámica de la intervención.
- Apoyo y recursos ofrecidos por el orientador interno.
- Comprobación de logros, seguimiento de los resultados, corrección de posibles errores.
- Análisis de las sesiones de asesoramiento, en cuanto a su utilidad, eficacia e incidencia en el desarrollo de los programas de orientación.
Todos estos criterios, deben servir para saber como están funcionando las cosas, si la intervención por programas se está llevando a cabo satisfactoriamente y si se está produciendo en el centro un cambio en la manera de entender el proceso orientador.
4.4.4. El logro o eficacia de la intervención.
Al plantearnos la evaluación de los resultados hemos querido diferenciar dos ámbitos evaluativos:
1 . El análisis de los resultados obtenidos a través de la utilización de los distintos programas que se han aplicado en los centros.
Indudablemente, los resultados obtenidos a partir de una determinada intervención son un incentivo importante en el momento de plantearnos un cambio que, sin lugar a dudas, requiere un esfuerzo por parte del equipo docente de un centro. Los criterios que aquí presentamos, relacionados con el logro obtenido a través de la intervención por programas ponen el acento en la reflexión sobre los resultados obtenidos, de este modo, a nuestro entender una evaluación de la intervención por programas deberia plantearse los siguientes criterios:
- La suficiencia y adecuación de las actividades desarrolladas, referida al hecho de averiguar si el trabajo realizado coincide con las necesidades detectadas en un principio.
- El análisis del proceso que nos ha llevado a conseguir los resultados obtenidos.
- La eficiencia de la intervención, en la que se constata la relación existente entre el esfuerzo realizado y los resultados obtenidos.
- La evaluación de los resultados obtenidos, entendida como la comprobación de la eficacia de la intervención.
- La comparación entre el diagnóstico inicial y el logro del programa.
- La valoración y análisis de los resultados de la intervención.
De este modo, a través de estos criterios de evaluación deberíamos poder conocer la eficacia, la eficiencia y la funcionalidad final de la intervención, o en otras palabras, el grado de consecución de las capacidades previstas por el programa.
2. El análisis del proceso de intervención por programas.
Nos interesará conocer todos aquellos aspectos que han propiciado los cambios que nos hemos planteado al inicio de la experiencia, así, deberíamos tomar como criterios evaluativos:
- Cambios más significativos que se han producido en los centros en la manera de intervenir en orientación.
- Cambios en las funciones y rol del orientador.
- Utilización del trabajo en equipo para el análisis y resolución de problemas en cuanto al rendimiento académico de los alumnos.
- Cambios en la metodología y recursos utilizados en el aula para mejorar los resultados de los alumnos.
- Grado de autonomía alcanzado en la intervención por programas.
La información que obtendremos a partir de estos criterios nos deberá proporcionar un análisis de los cambios que se han producido en los centros, y si realmente se ha pasado de una intervención por servicios a la orientación por programas que hemos planteado y trabajado durante este tiempo en los centros y escuelas.
4.4.5. El impacto de la intervención por programas.
No resulta sencillo conocer el impacto que ha tenido un tipo de intervención sobre el colectivo de agentes implicados, lo que si parece ser necesario para poder hablar del éxito o fracaso de la intervención es el hecho de realizar un estudio continuado a lo largo de un período de tiempo y no basar la evaluación sólo en los resultados que se han obtenido tras la aplicación de un determinado programa para decidir si la intervención se mantendrá o no en el tiempo.
En nuestro caso, este aspecto aún resulta más interesante, puesto que al margen de los resultados obtenidos tras la aplicación del programa, deberemos considerar otros criterios para conocer el impacto que ha tenido sobre los agentes de intervención la intervención por programas a través del modelo de consulta triádica.
Los criterios que proponemos para conocer el impacto de la intervención son:
- Centros que sin el apoyo del asesoramiento externo continúan con la intervención por programas.
- Dinámica seguida por los centros.
- Rol del orientador en los centros.
- Implicación de los profesores.
- Efectos de la intervención al cabo del tiempo, contemplando los buscados y los no buscados.
El impacto de la intervención nos demuestra hasta que punto el proceso realizado durante un periodo de tiempo ha tenido continuidad en los centros y nos ayudará a valorar qué aspectos pueden en ocasiones, actuar de forma negativa o positiva en vistas a la continuidad y permanencia de nuestra intervención.
4.4.5.La evaluación de la propia evaluación.
Un aspecto importante a tener en cuenta en el momento de planificar y desarrollar una evaluación, se trata sin duda la evaluación de la propia evaluación, una manera interesante de enfocar dicha evaluación es a través de los estándares para la evaluación de programas propuestos por el Comité Conjunto de Estándares para la Evaluación en 1998 como el marco de referencia para el diseño y evaluación de procesos evaluativos. Nosotros creemos interesante tener en cuenta estos criterios de calidad para proceder a evaluar nuestra
propia metodología evaluativa, con lo que hemos creído oportuno concluir el marco teórico de esta tesis doctoral con la propuesta de criterios de calidad que ayuden a mejorar la calidad de nuestro proceso evaluativo.
Hemos creído oportuno utilizar las pautas propuestas por el Comité Conjunto de Estándares para la Evaluación, coincidentes con las propuestas por la Office of Educational Reserch and Improvement en 1995. Así en el momento de plantearnos la evaluación de nuestra evaluación utilizaremos los siguientes Estándares que servirán de base para la elaboración de un instrumento de evaluación objetivo para evaluarla y que presentaremos más adelante.
E EE
Esssttttás ááánndnndddaarrrreaa esseess ddddeeee uuuuttttiiiilllliiiiddddaaaadd: cuya pretensión es la de asegurardd que la evaluación sirve para responder a las necesidades de información de los usuarios. En nuestro caso, la comunicación de los resultados de la evaluación del proceso de intervención debería servir para:
1. Tomar conciencia de las necesidades observadas en un grupo de profesores que, voluntariamente, aplican programas de orientación en sus asignaturas con el fin de mejorar el rendimiento de sus alumnos.
2. Servir de incentivo a los profesores de manera que comprobaran que los esfuerzos realizados se materializan en unos resultados sobre sus alumnos.
3 . Sistematizar un proceso de intervención por programas que realmente se inicie con una fase de asesoramiento técnico, pero que concluya
obteniendo un grupo de profesores con funcionamiento autónomo en los temas en los que ha sido preparado.
EEEEsssttttás ááánnndndddaarrrreaa eeesss ds dddee vee viiiiavvaaabbbbiiiilllliiiiddddaadaaddd: cuyo objetivo es el de asegurar que la evaluación sea realista, prudente, diplomática y cometida; según el comité ello se consigue: reduciendo al mínimo las interrupciones y molestias mientras se obtiene la información necesaria; anticipándose a las posiciones de los distintos grupos para lograr su cooperación y siendo eficiente.
EEEEssssttttáánáánnnddddaaaarrrreesseess ddedde pee prrrropp opoopppiiiieedeedddaaaadddd: pretenden asegurar que la evaluación sea ética, legal y que respete a los implicados y afectados por ella, propiciando la satisfacción de necesidades de los usuarios – participantes; su conocimiento e implicación; cuidar los derechos de los implicados; desarrollando los puntos fuertes y débiles de la intervención evaluada; propiciando la accesibilidad a la información que ofrece la evaluación, así como tener en cuenta la corrección de la parte económica o presupuesto para la evaluación.
EEEEsssttttás ánáánnnddaddaaarrrreeeesss ds deddeee pppprrrreecceeciiiisscsiiiiósónóón: determinan la fundamentaciónnn de la información proporcionada por la evaluación, su pretensión es la de asegurar que ésta revele y divulgue información técnicamente apropiada sobre los rasgos que determinan el valor del programa o intervención. De éste modo, se deberá proporcionar información sobre el programa, el proceso de intervención, el contexto, los objetivos de la evaluación, las fuentes de información
los instrumentos utilizados para la recogida de información, analizar sistemáticamente toda la información (cuantitativa y cualitativa); justificar las conclusiones obtenidas y cuidar de la imparcialidad del informe de evaluación.
Atendiendo a estos estándares hemos elaborado unos criterios, a partir de los cuales seguir una determinada metodología evaluativa y que también servirán de pauta para evaluar nuestro proceso evaluativo. Aquí presentamos los criterios que hemos planteado para reflexionar sobre la metodología de evaluación de la intervención por programas que hemos propuesto en nuestro trabajo. Los criterios los hemos agrupado siguiendo los estándares anteriormente comentados. Somos conscientes de nuestra subjetividad en el momento de plantearlos, sin embargo hemos creído oportuno presentarlos a modo de pautas de reflexión sobre a bondad de nuestro proceso evaluativo.
Estándar Criterio Utilidad Parte de las necesidades de los profesores.
Contextualización de la intervención.
Recogida de información desde diferentes puntos de vista.
Planteamiento de los objetivos de la intervención.
Utilidad de la difusión de la información.
Ayuda a mejorar del proceso de intervención en el aula.
Ayuda a reflexionar sobre la práctica docente.
Utilidad de la evaluación para los centros y escuelas.
Viabilidad Impacto sobre los participantes de la recogida de información.
Participación de todos los participantes en la recogida de datos.
Coste de la evaluación.
Recursos necesarios para su desarrollo.
Implicación de los diferentes grupos de participantes en el proceso.
Accesibilidad a las fuentes de información
Propiedad Respeto a los participantes.
Inclusión de todos los aspectos relevantes relacionados con el éxito y/o fracaso de la intervención.
Accesibilidad de los resultados de la evaluación.
Garantía de objetividad de la evaluación.
Precisión Relevancia de los datos utilizados para la evaluación.
Descripción completa de los programas y la intervención.
Concreción de los objetivos de la evaluación
Descripción de las fuentes de información utilizadas.
Descripción de la metodología de evaluación seguida.
Descripción de los instrumentos y técnicas de evaluación utilizados.
Validez de la información recogida.
Fiabilidad de los datos obtenidos
Presentación sistemática de la información
Descripción y utilización adecuada de distintos procedimientos de análisis de la información.
Pertinencia y suficiencia de las conclusiones evaluativas.
Cuadro nº17:::: CCCCrrrriiiitttteerrrriiiioee ossoos eseeevvvvaaaalllluuauuaaattttiiiivvovvossoos pspppaarrrraaaa eaaeveevavvaaalllluuuuaarrrr llllaaa a eaaeveevavvaaalllluuuuaaccaaciiiiócóóónnnn....
P P
PPRRORROOOCCECCEEESSOSSO DOO DEDDE IIIINEE NTNNTETTEEERRVRRVEVVEEENNCNNCCCIIIIÓÓÓÓNN PNN POPPOOORR PRR PRPPRRROOGOOGGGRRRRAAMAAMAMMASAAS....SS
5 5
55....11.... A11 AAAssspspppeecceecttttoc ooossss iiiinnnnttttrrrroooodddduuccuuccttttoorrrriiiiooo ossoos:::: jjjjus ussuussttttiiiiffffiiiicccacaaaccciiiiócónóón dnn deddeee llllaa maamemmettttoee odoododdooollllooooggggííííaaaa uuu
uttttiiiilllliiiizzzazaaaddddaaaa....
La elección de la metodología de evaluación está muy condicionada por la tipología de datos que requiere la investigación, así como el tipo de intervención que hemos realizado, por ello queremos matizar el hecho que nosotros no vamos a aplicar una metodología o modelo evaluativo en estado puro, sino que intentaremos incorporar las distintas técnicas y métodos que consideremos más adecuadas para tratar y analizar la información. En este sentido, estaríamos de acuerdo con los modelos que defienden la complementariedad metodológica (Cronbach, Pérez Juste, Rossi y Freeman, Stuflebeam, Cook...)
Nuestra investigación utiliza mayoritariamente una metodología cualitativa y presenta un diseño abierto. La evaluación termina de una manera artificial, es decir a partir del momento en que se decide iniciar un proceso de evaluación de la intervención por programas.
Otro aspecto destacable de nuestra investigación es el hecho de efectuarse en el contexto donde se han aplicado los programas de orientación (escuelas y centros de capacitación agraria).
Por lo que se refiere a las técnicas de análisis de datos se han realizado análisis continuados, donde se pide información a: profesores, orientadores, directores, dirección del servicio y asesores externos. El contraste de toda esta información nos ha llevado a elaborar el informe evaluativo que presentaremos posteriormente.
Los instrumentos y técnicas utilizadas para la recogida de información han sido: cuestionarios, hojas de control, observación, análisis de documentos...
Sin embargo, creemos que es imprescindible, en el momento de plantearnos una tesis doctoral referente a la evaluación de una intervención por programas, el presentar un marco teórico evaluativo, que permita contextualizar nuestra evaluación, teniendo en cuenta que se trata de un tipo de evaluación, en el que el objetivo prioritario no es el de comprobar la eficacia de la aplicación de determinados programas. En este sentido, las aportaciones de Amador (1991), Pérez Escoda (1994) y Martínez Muñoz ( 1995) a la evaluación de la aplicación de un programa de orientación siguiendo el modelo de consulta triádica han constatado la eficacia de programas de motivación académica, inserción laboral y clima del aula respectivamente, utilizando el modelo CIPP de Stuflebeam para su evaluación.
Nosotros, al pretender una evaluación más global, no tan