Análisis de efectividad en la evaluación de programas sociales y educativos

AN&EI!3

DE

EFECTIMDAD

EN LA

EVALUACI~N

DE

P R O G W

SOCIALES

Y

EDUCATIVOS

RIWMW. La raz61-1 última de un proyecto social es solucionar un determinado pre blema. En este sentido, el concepto de eficacia determina el grado en que se alcanzan los objetiva y metas del proyecto en la poblau6n usuaria, en un período de tiempo determinado e independientemente de los costes que ello implica. Por o m parte, y como es sabido, el concepto de eficiencia se asocia a la productividad al reiacionar recursoc con resultados tras convertir todo a unidades rnonemrias.

Tanto la eficacia corno la diciencia con c o n c q m esendes en la evaluacih, pero cuando se quieren determinar en d afase del pmyeao y teniendo en cuenm las a& vidades y objetivo6 intmdios, resuita n e d o introducir otro concepa: la &vi- dad. S & que la efechMad se coasigue cuawdo la mim5n entre h o@- infcfades y los ~ ~ J % I & s se hace @ha, b cetulsupom ~ l a s y rq m d z i c e n o ~ ~ & h p r l m a las squndos. La e f a d a d se encuentra al observar la realidad de un programa, es decir, al comparar el ideal o esencia de una acción repm=m& por una norma o conjunto de están& pmfesionales con la situación existente o real.

BENEFICIOS

DE LA

EVALUACIÓN

DE

PROCESOS

La efectividad requiere considerar tanto la efiacia como la diciencia, es la combina- ci6n &

ambos.

Sabemos

que

se

puede ser

muy eficaz pero sin eficiencia, y mmbitn es frecuente en educacidn ver acciones eficien- tes pero ineficaces, especialmente en temas de atención educativa especializada y de

apoyo

a la

diversidad

del alumnado en situa- ciones de riesgo. Producimos a bajo costo,

con poco profesorado especializado, pero no conseguimoc objetiva y nuestro alumna- do sigue presentando elevados índices de

fracaco al

tiempo que nuestra enseiianza si-

gue descompensada y despersonalitada. Analizar la efectividad supone, pues, valo- rar 10s pmedimienrn que condicionan la reIaci6n entre resultados y objetivos (b hen y Franco,

1993).

Por tanto,

la efectividad viene determi-

na& por los procesos y aunque el término proceso mantiene un signifiado absoluta- mente intuitivo, conviene destacar que los sistemas

de

control de la calidad derivados de concepciones empresariales, han re- marcado en 10s sistemas socides

el llamado

.valor añadib. Podríamos tratar de ratonar la relaci6n existente entre los p r e s o s y

las

actividades o ddilxrar si el énfasis de éstos

(*) Universidad de Ovido.

Re&m & .&kcacidn, n h 324 (20011, PP. 317-339

en un programa social y educativo debe ponerse por igual en el cumpliiiiiento de objetivos o en la consecucibn de logros o

resultados, pero consideramos que ia asig- nación de valor a dichos procesos hace su-

perflua cualquier disquisicibn tedrica. En Grminos & evaIuaci6n, consideramos que

asociar procesos con el vdor que aiíaden sus actividades constituye un adecuado indicador de medida.

Los enfoques de control de la calidad entienden por proceso el conjunto de acti- vidades

enc&dm

que

v m afiudiendo valor, y que permiten lograr, en e1 caso de la educacidn, la formación del alumnado y

la prestacidn de los servicios que ofrece el centro edumtivo, tales como comedor, trans- porte, actividades complementarias, etc. Los procesos se caracterizan también por su di- námica: tienen una entrada

y

una saIida, pueden tener subprocesos o formar parte de un macroproceso, y todo ello se repre- senta mediante diagramas de flujo y sím-

bolos que reflejan sus actividades. El manual de procedimientos de un progra- ma

u

organizacidn que funcione bajo el modelo de la calidad suele reflejar en deta- lle todas sus

actividades

y

diferenciar los procesos en dos grandes categorías: opera- tivos y de gestión (Fernhdez

e

Iglesias,

1997). Los primeros son esenciales en la

prestacidn de un servicio: tienen una re- percusi6n dirtcm en la calidad y han sido

tradicionalmente objeto de rnedicidn y

control en educación. Nos referimos a los procesos didácticoc o de desarrollo curri- cular, diagn6sticos, de intervención correc- tiva o terapeútica o d e orientación para la carrera. Los denominados procesos de ges- tión, si bien no influyen en la calidad

d d

servicio o producto, tienen

un

enorme po- tencial de mejora de la eficiencia; de ahí

que

se estime

su

valor, como

en el

caso

del

modelo europeo de gestidn de la calidad, hasta en un

36%

de la puntuaci6n total.

Aunque siempre se ha considerado una parte fundamental de la evaluación, la importancia del análisis de procesos ha co-

brado un enorme auge debido a la com- plejidad que hoy tienen los programas educativos y sociales, al construirse sobre

una amplia base comunitaria t intentar res- ponder a las demandas de colaboración e integraci6n de servicios,

Por

este morivo, las diferencias de los distintos proyecbs adscri- tos a un

mismo

programa requieren también la valoracidn de sus actividades de acuerdo al contexto en

que

se desarrollen.

la evaiuaci6n de procesos consiste en ve- riíiar las acciones prwistas por el programa y

los tiempos de

paso

o mdosisn de

actividad

realizados, y se organiza a p2irtir de la

docu-

menta&~~ generada por estas actividacia du- rante el desarroiio de una intervencidn.

De acuerdo con McGraw y col. (13961, la evaluacibn de procesos detalla 10s com- ponentes de la intervencidn, c6mo fueron

organizados y de qué forma los recibieron los usuarios. La infomci6n que se obtie-

ne de la Evaluacidn de Procesos refuerza la validez del programa al poner de mani- fiesto sus señas de identidad y justificar su posible consideracidn de excelencia o d e =buena práctica..

Para Scheirer C1987), la verificacibn de actividades y de componentes, debe

ser

contrastada con la teoría del programa, que sugiere los componentes de este que deben ser analizados,

y

el que. debe po-

ner en funcionamiento el programa. Tam- bién deberá tener en cuenta la teoría del

proceso de intervenci6n o uimplementauón~ del programa, la cual sugiere los componen- tes de1 sistema social que deben ser analiza- dos para expiicar el nivel de funcionamiento de los procesos, es decir, el d r n o y el por- quQ del desarrollo del programa.

Esta

misma

autora defmía m á s reciente- mente (Scheirer, 15%) la evalusia6n & pro-

cesos como e l uso emphico & datos para valorar el

desarrollo

de

programas,

vehñcar lo

que

hace y si su evolución se corresponde con el diseño y los momentos previstos=.

tiones, referidas a su eficacia, su eficiencia y su efectividad, o interaccidn entre ambas. Según estos autores las evaluaciones de

procesos responden esencialmente a las

preguntas:

¿A qué nivel responden los servicios del programa a la poblaci6n referi-

da en el diseño?

iContempla la implemenmci6n aque- Uos servicios y recursos que resultan claves para

el éxito

del pro-

m ¿Qué variaciones de servicios y de

gestión se aprecian en los diversos contextos en que se desarrolIa e1

programa, y c6mo afecran las dife- rencias a Ia cobertura de servicios ofertados por este?

Es esta última cuestidn de interaccidn o efectividad la que permite conocer múl- tiples aspectos

o

factores de explicación tliferencial; por ejemplo, los componentes más relevantes del programa para la diver- sidad de población participante, la relaci6n

entre factores internos y externos, la pre- paración de los profesionales en las dife- rentes unidades o lugares de aplicacidn, etc. Esta posibilidad de comprender c6mo trabaja un programa permite, en

suma,

el

desarrollo de procedimientos adapcativos

y

la implementación de procesos de ajuste fino en la estandarizacien de programas de intervencidn (Rossi y Freeman,

1993).

Pdemos decir

igualmente

que evaluar procesos es una manera

ck

documenmr la

secuencia de sucesos que conforman

un

programa, y que el valor añadido por Ia in- formación documental de esos sucesos debe conseguir explicar los efectos del programa.

Esto

protege de

los

denominados errores de

tipo IIb, al

demostrar

que los resultados se

deben a las actividades reaiizadas por el pro- grama y

no

a otros sucesos cspúreos.

Otro gran beneficio de una evaluaci6n d e procesos se observa cuando se necesita justifkar la ausencia de efectos de un progra-

ma, ya que el a n W i de sus componentes pemite, en muchos casos, determinar si las

razones de la escasez de efectos se deben

a la teoría del programa, a una aplicaci6n

no adecuada, a incorrecciones en el dise-

ño de investigaci6n o a la cornbinaci61-1 de éstas.

La posible replicación de programas

y el intercambio de informacibn sobre procesos de 6xito en la implemtntacidn de un programa, permite considerar tam-

bién

como beneficio el hecho de analizar

y valorar un programa mediante la cola- boracibn entre evaluadores, responsa-

bles

de su implementacion

y

demás participantes implicados. En este sentido,

es sabido que los procesos d e innova- ción social y educativa no responden a

un conocimiento simpIe de resultados, sino que son los profesionales quienes,

al transmitir los procedimientos y comuni- car a otros sus apreciaciones sobre el pro- ceso o desarrollo, consiguen la difusi6n

de prácticas y la mejora de acciones.

No obstante, realizar evaluaciones de

proceso tiene aspectos delicados:. el angli- sic de información confidencial debe estar

sujeto a criterios tticos; los métodos de re- cogida de informaci6n no deben ser i n a - sivos ni condicionar los resultados del programa; la evaluaci6n de procesos debe ser apreciada por los participantes como una actividad más del programa y no

como un control. Todo esto permitir2 una recogida de informaci6n más signi£icativa que pueda llegar a jusrificar un resultado. Los fallos más frecuentes en las eva- luaciones de programas se aprecian por no

reflejar adecuadamente los uvalores= de las

audiencias y por la carencia de referencias procesuales q u e la hagan práctica y útil (Newman y Brown,

1992).

Estos autores asocian estas anomalías con la falta de cre- dibilidad, por la carencia de experiencia

de muchos evaluadores para realizar valo- raciones de procesos, lo que ocasiona a

E S T ~ D A R E S

Y

HOLKMO EN LA Hablamos de metas,

unidades,

tratamien- MEDIDA

D E

PROCESOS

m,

funciones, aiterios, -das, produao~,

m-

Las autoridades sociales

utilizan

con dema- siada frecuencia las evaluaciones de sus programas de forma incorrecta e incluso

en algunos casos, son usadas como #deter- gentes. para

lavar

programas

mediocres y

acciones fallidas que se encubren bajo eti- quetas nacionales e internacionales de campañas sociales

con abundancia

de fon- dos y subvenciones.

Cuando Guba y

W I n

(1989) propusie- ron la evaluaci6n de 4 generación, enfatiza- ron la importancia de los participantes implicados en el

programa.

Su episternologia asumía el constructivismo y el paradigma

posmiodmo en su afán por que los evalua- dores comprendieran, en relación con los participantes, cómo funciona un proyecto y bajo

que

condiciones, por

lo

que

@a ser considerado como

una

vacuna conrra Ios abusos

y

secgos de ciertas evaluaciones. La

evaluaci6n de generación animó tambih

a la participaci6n en la consmcciiin de crite-

rios

y

presentó al evaluador como un con- sultor,

un

faciliimdor, un apoyo, rechaaando

al

expato, tknico, fiscal o inspector.

A d e d , la unión entre

una

necesidad de perfeccionamiento institucional y un mo-

delo sistémico de análisis de evidencias re-

quiere un enfoque conceptual, el -cemente que brindan los profesionales con sus

inten-

tos de mejora permanente de los servicios ofrecidos a sus usuarios. En este sentido, los estandares profesionales pueden enten- derse como

los

-1adnllos~ necesarios para dar

consistencia

al edificio proyectado. Así, de-

sarrollar y aplicar

normas o estándares profe-

sionales constituye una garantía conm las evaluaciones incompetentes o

corruptas.

Cuando hablarnos de

normas

o están- dares

nos

estamos

refiriendo

a

uno de los

constmctos más extendidos en evaluacibn, entendiendo por dconstructon aquel con-

cepto estable y ampliamente manejado

que muestra Ias reIaciones de funciona-

miento

& un programa (Stake,19971.

tecedaites, ~ l m d o s , tlamciones, etc. Todas

ata cmmructos nos permiten estructurar

la

teoría de

k

evaluación y llevarla a la práctica y qui&s sea la denominaci6n de estándar la

m á s ampliamente asumida por los autores

que teorizan y/o practican la evduaci6n de programas, aunque no todos quieran exprem lo mismo

con

dicho térmho.

En la Enciclopedia de Husen

y

Pos- dethwaire (1985) se define estándar

como

el grado

ak excelencia

requedo para

de-

teminados

pmpbsitos,

como

unu

medida de lo que es

adecuado,

como el

nZwI

de

funciomm2nto social y profesionalmente

desedo. En Educacien ha sido descrito como la especificacidn de un nivel desea- do de logro de contenidos

y

de rendimien- to (Husén y Tuijnman,l994).

Stufflebeam

(19971,

considera los es- tcindares como #principios ampliamente compartidos para determinar el valor o ca-

lidad de

un

servicio profesional- y nosotros,

al

hablar

de normas y estándares de calidad en referencia a

programas

sociales Perrdn- dez e Iglesias, 1997), los hemos considerado

igualmente

como

+normas

profesionales o

principia acordados para contrasmr la cali- dad de la práctica profesional..

Hablar de estándares supone valorar

el funcionamiento de un sistema social en

confrontaci6n con el nivel profesionalmen- te deseado

y

constituye

un

enfoque de

gran

solidez en

la

evaluacidn d e progra- mas aunque no este exento de cierta con-

troversia metodol6gica.

E1 enfoque

de estándares profesiona-

les

se sitúa dentro del modelo criterial pre- conizado por Scriven, para

quien

el

análisis

del funcionamiento de

un

progra- ma, al ser contrastado con cntenoc especí-

ficos,

informa

mediante

una

síntesis final

de

los

aspectos de

calidad

que

sustentan al programa (Scriven,l99$). Para este autor,

funcionamiento de los aspectos idenufica- plean metodolog5a cuantitativa y cualitati-

dos

en relación a esos estándares, y en re- va y asumen su dependencia de valores y sumir

los

juicios

sobre

los componentes sesgos, lo cual no evita la consideracidn,

del

programa hasta determinar su calidad a

por

los

dos

enfoques, de que la evaluación

la luz de los estándares. constituye un servicio a la comunidad que

Aunque

la esmtegia

aiW evita

la

s u b

debe

ser

potenciado

y

mejorado.

jetividad al homologarse con esiándares que suponen consenso profecional

en

una

deter-

minada áreaa desde

el

PO-- UN

MODELO

DE ESTANDARES

DE

no propugnado

por

Y

sus PROCESOS:

EL

ENFOQUE OTL

EN

se previene contia el

hecho

de

que

el evalua- P E D A G O G ~

DE

LA

D M S I D ~ dor pretenda

un

juicio aséptico e inde-

pendiente, al margen

de

la comprension que

proporciona el contexto. ~ d e r n á s recuerda ~1 constructo OTL (Oportunity

TO

Learn) que los estandares, bien sean

formulados

por fue introducido por la Asociacibn Interna-

q m t o s

o por

consenso

de gmpos profesi* cional para Ia Evaluaci6n del Rendimiento

nales, con constnicciones humanas sujetas a Educativo para describir ciertos procesos

sago al dar prioridad a los aspectoc más arti- educativos

y

poder determinar en qué

me-

culados

u

ordenados

del programa. dida las diferencias de rendimiento se de-

En

nuestra opinidn, el desarrollo de la bían a las capacidades del aiumnado o a metodología de

estándares en

estos ÚIti-

las

experiencias, disponibilidad

y uso

de

mos

años

ha

conseguido incorporar en esa recursos escolares (McDonnell,l995).

-síntesis final. indicada por Scriven los El empleo de indicadores d e resulta- planteamientos holistas, interpretativos

y

dos basados en el rendimiento individual situacionales que presenta Stake en su del alwnnado, los logros de los cenms es- concepto de evaluacidn d e

procesos

me- colares

y

su utiljzaci6n para el control esco- diante .sintesis envolvente- (Stakc y col., lar, la sanci6n o

la

asignación administrativa 197). la formula consiste en incluir a los d e recursos, presuponen

la

existencia de

participantes en gmpos de discusión

o

pz-

un sistema educativo que proporciona las

dirles

que

revisen y

respondan

a los datos

Y

correspondientes oportunidades para que resultados emergentes (véase

d

proceso de

el alumnado consiga los

resultados

espera- validacibn denominado mber-cbekip1g dos.

De

esta forma se espera que el nivel demito

por

Lincoin y Guba, 1985) y el orga- de logros del alumnado dependa funda- nizar evaluaciones compartidas entre mnsul- mentalmente de los

esfuerzos

realizados tores internos

y

externos

al programa. por el centro educativo.

Adeds,

como luce ver

Mabry

(19981,

Pero la

crítica

a este

planteamiento

es

el enfoque criterial idenufica e incorpora el

muy

clara si consideramos

las

evidencias que sesgo en su proceso de evaluacibn, pero el demuestran la

desigualdad en

la distribución análisis holista mmbitn lo mantiene inhe- & los recursos educativos y

el

acceso

al

c e

rente a la complejidad del juicio humano y nochiento. En este sentido, se puede com- al ejercicio de la crítica rigurosa. probar cómo las investigaciones sobre

También Stufflebeam

(1997)

acerca es- minorías

y

diferencias curriculares

@dd,

ms dos posturas, la d e estándares profesio- M. y -l., 1997; Oakes, J.

y

Guiton, G.,

1999

nales y la postmoderna, haciendo ver

que

corroboran lo apreciado en muchos & nues- ambas consideran que los evaluadores de- mis centros,

en

los que puede asociase fád-

ben

ayudar

a los promotores de la evalua- mente el estatus social con el tip de materias cien a comprender los resultados mediante optativas de la enseñanza secundaria, con

tonos, o

conla

exismdadedasessqpp-

d a s b a @ ~ & ~ 6 n ~ ,

@+idoresi, *garantía d.,

4poyo

de

ám-

bibS etc.

Por desgracia, no es frecuente que la

admhimad6n educativa valore el impacto

mn

negativo que tiene el controlar la

efica-

d a

de

un c e m

en funcibn

&lo

&

los lo-

grqc

del

alumnado

(por

ejemplo, el nivel de aprobados en la s M v i d a 8 , y la des m o h c i 6 n

que

puede pmducu en

los

cen-

tros

y el profesorado

que se ve

p&do

por el m m hecho de trabajar

con

alumna- do en daventaja

y

riesgo

social.

Tampoco

resulta sufidente considerar que un mode- lo de gesti6n de la caiida'd como el WQM, por el hecho & mantener

un

estandar y seis criterios elementales relativos a proce-

sos

&

organizacibn

escolar,

sin

contem-

plar para nada la dimensidn educativa

básica de enselianzaaprendizaje,

pueda

considerarse

como

mecanismo váiido

para

detemilliar

la

ncalldad

&

un

centro

educa-

tivo, sin

contemplar

para

nada

la dimensi6n

educativa básica de e n s e ñ a n z a - a p d j e .

Es

ampemhie que ante 'esta situaci6n

haya

quien mte &

desarrollar

ciertas nor- mas o estándaes que @tan i-car el nivel de oportunidad & aprendtzaje

que

presentan los

cenw

esoolares,

c0nsiderEui-

dose

loB

estádares OTL como el critdo

M-

sic0 para valorar Ia suiEencia & calidad &

los i.ecursos y

condiciones

que

resultan ne-

cesarios

en

cada nivel

del

sistema

educadvo

(oenrros,

muniaph, comunidades

y

estado)

para que tab alumno y

alumna

&ponga

de la correspondiente oportunidad para

aprender el

rna&

cunicular de su comu- nidad educativa (Guiton

y Oakes,1999.

in- . cluso hay quien ha ido

m&

alla

y,

hadendo

uso & la conceptdimci6n impllcita en la

OTLdequeeldumnado

no

debafasereva-

luado & aquellos conodmientos sobre

los

que

no

ha

dispuesto

&

una

adecuada opor-

tunidad

para

su

aprendizaje, ha

plantea&

incluso c o d i i c ~

lepies

(ver el caso judicial

denominado

~Debra,

P.

en Mc. Donnell, 1995, p. 315).

Establecer

a nivel

local o

regional

un

sistema de estándares OTL

no

supone nin-

guna dificultad según lo iridicado por

Schwartz

(1999), quien considera que de-

berfa ser

exigible

para la waiuacion de cualquier programa o centro escolar.

Como

estrategia & carácter informativo re- cogemos los siguientes estándares OTL

enunciados

por diferentes autores ( M e s ,

1989; Smith

&

Day, 1993,

NCEST,

1992,

SPPEI,

1991, Darling-Hammond,

1994

,

Jackson,

1993 y Berry,

1993.

(Citados por

Schwartz. 0p.cit.):

Acceso

a

materias educativas: todo

alumno

y

aIumna &be

poder

acce-

der a materias que le permitan con-

seguir los conocimientos y logros escolares previstos por su currleu-

lum y que le proporcionen

una

buena oportunidad profesional.

El

curridum

de

un

centro

&be

in-

&ir los conrenidos &

las programas

ofidaies

&

las

respectivas

materias;

debe

estar

coordinado con otros

progamas formativos, reflejar

las

si-

tuaciones de la vida real, presentar

los materiales en un contexto rele-

vante p el alumnado y mantener-

se Wre & sesgos y valores ocultos.

Tiempo escolar el

p

d

d

debe

- emplear

y

disponer

dcl

tiempo apro-

piado para presentar

el contenido

&I programa. El

alumnado

&be

t

e

ner,

individualmente, tiempo

sufi-

ciente

pam

aprender los contenidos previstos. Los centros deben poner énfasis en los

elementos

más impor-

tantes del currículum~mediante la

a s i ~ d e m á s t i ~ d e c l á s e , y

disponer de tiempos para que el

alumnado realice sus tareas escola-

res en

el centro.

o Competencia del profesorado: la formaci6n inicial y permanente del

profesorado &be

conseguir

que

los

contenidos y las técnicas & ense- iianza

sean

adquiridos sigdicativa-

en los contenidos d e las diferentes materias curriculares y en las es- trategias a utilizar con poblaciones de estudiantes diversos y con esti- los d e aprendizaje diferentes.

Recursos

escolare% los

centros educa- tivos d e k n disponer del dciente es- pacio físico para acomodar con seguridad a todo el alumnado, así

como ofemr el número adecuado de profesorado y aulas para asegurar una ratio 6ptima.

B

alumnado &e

paseer

l

a

correspondientes libros

de

texto y

clemh

renucoc

eduativoc.

a

profeso-

racb&disponerdelneceaiomate nai, dempo,

=pb

-

y

apoyo t h h par;i preparar las

cIases

y aten- der a su A i l o profahal. Los cen- tros

deben

plantear prioridades cumculares, hacer

lac

asignauones

de

profesorado

que

resulten

más adema-

das

para el alumnado y proporuonar- le los apoyos requeridos.

e Medio y cultura: el edificio escolar deberá permanecer limpio, a salvo de riesgos y

en

buen

estado

de con-

servación.

Ei

centro debe fomentar el aprendizaje

y

mostrar su interés por el bienestar del alumnado, pro- moviendo el respeto a la diversidad

y protegiendo al alumnado de la discnminaci6n. Profesomdo y alum-

nado

deben mostrarse respetuosos

unos

con otros y sentirse a salvo de posiblec actos de violencia.

Servicios complementarios: los cen- tros educativos

y

las comunidades sociales deben mantener

un enfo-

que global e n lo que respecta a la salud y las necesidades de servicios sociales para el alumnado. Las di€e-

rentes acciones deben incluir vacu-

naciones,

servicios de salud física

y

mental, protección contra la insegu- ridad y la viokncia, el abuso de

sustancias y la orientación sexual. Las comunidades escolares deben propiciar que el profesorado,

los

orientadores y otros profesionales

con

funciones de apoyo escolar

m-

bajen en colaboraci6n para

conseguir

que los servicios disponibles se adap

ten a las necesidades del alumnado.

DOS EJEMPLOS

DE INSTRUMENTACI~N

PARA LA EVALUACI~N

DE

PROCESOS

La identificaci6n de necesidades educati- vas especiales en el contexto del aula y la

familia es el modelo que sigue Ysseldyke (Ysseldyke, Christenson

y

Kovaleski,l994)

cuando desarrolla su sistema de análisis de ambientes d e enseñanza. No s61o describe

una

valoracien diagnostica del alumnado, sino que evalúa prescriptivamente su estilo

y contexto de aprendizaje.

Desde

un

modelo de colaboraci6n en- tre profesionales, identifica 12 estándares d e procesos de aprendizaje y cinco de apoyo familiar que pueden considerarse bgsicos para analizar medios

y

situaciones

de

aprendizaje1.

Medio

escolar:

1. Organizacidn de de ensefianza.+ las necesidades del alumno son anali-

zadas con precisi6n

y

la

enseñanza

se organiza de acuerdo a los resul-

tados del diagnóstico pedagógico.

2. Expectativas del profesorado: las expectativas hacia el alumno so- bre la cantidad y calidad de trabajo escolar a r d z a r

por

éste

con

realis- tas, elevadas y se le expresan clara-

m

e

al alumno.

existe

una

amtkka positiva

y

de

apoyo, y

el

tiempo

es u-&

pro-

ductivamente.

4.

preSsnikxk5n

ds la

unidad

de

en-

setara-Je: e1 trabajo

escolar se presenta de forma ciara

y

efectiva;

ias

insmiociones contie-

nen

suficiente informacibn

para

que el alumno

comprenda

loB

com-

porrami-

o

habilidades

quede-

ben

ser demostrados,

oontrolando

el alumno

dicha comprensi6n.

5.

EnfasBs

c o g n W : las habiiidades

& estudio y las estrategias de aprendizaje requeridas por los aprendizajes

asignados

le

son co-

méados al alumno.

6.

Hsim&@as r n t h z k m a k se em-

plean

estrategias eficaces para

au-

mentar

el interés y el esfuerzo del alumno.

7.

Pr$c&as

rei%x.mm:

se

proporcio-

.na

al alumno

la

opomnldad

de

trabajar

con

los materiales necesa- rios para consegufr

buenos

resul- tados. Los ejercidos de clase

son

adecuados para ei logro

de

las metas de aprendizaje.

8. Informwkh el alumno recibe, de - forma inmediata y específica, In-

formacidn sobre sus logros y/o c o m p o ~ e n t o .

Cuando

comete

errores

se le propordona la opor-

tuna

actividad corredva.

9.

Tiempos de trabajo escolar: el

alumno

se

mantiene

activo en re- lación con

el

contenido & la uni- dad; el profesor controb el nivel

& actividad y reconduce al alurn- no cuando se distrae.

10.

B m w

a4apiWh-z el currícu-

lum se modifica

a l

objeto

&

dar

respuesta n las

necesidades

especí- ficas del alumno.

11.

Valoracidn de progresos:

existe una valorad6n directa

y

frecuente

de1

progreso del

alumno

hacia

la

consecucián de los objetivos de

aprendizaje;

se

utiliza

la informa- u6n sobre

los

logros y pmgma del alumno para pladcar la con-

tinuaci6n de la enseñanza.

12. Ccmpmsfh

del

drcmna

el alum-

no

demuestra

una

adecuada com- prensi6n de lo que

&be hacer

en

el aula

y

de

cómo

debe

hacerlo.

13.

~ ~ y c s t r l b L s c b o r a e s -

q-

m t i v a s e i e m d a s y ~ s u b r e e l

trabgio

escolar

le soh

e x p m d a ~

al

muchacho y

se

pone

édMs

en

el

esfúefzo durante el trabajo escolar.

14.

Normas:

se

mantiene un enfoque

de normas

de

comportamiento

basado

en

la

autoridad,

ni pemii-

sivo, ni autoritario

y

el muchacho

es

observado

y

supervisada

por su

familia.

15.

Afectividad del medio familiar:

la relaci6n familia-muchacho es

generalmente positiva

y

refor- zadora.

16.

Participación de la familia: se

aprecia un medio familiar educa- dor

y

participan en la escolaridad del muchacho.

17. OqanizacC6n

familiur:

la orga-

nización y

las

rutinas cotidianas facilitan la realizacidn

de

tareas escolares

y

se

apoya el

aprendi- zaje del muchacho.

Dos características & este modelo

son:

El

estándar se

hace

operativo

me-

del estándar por comparaci6n con

el segundo componente, la impor- tancia.

ESTANDAR

2. ~~pectata'vas &l profesora- do: las expectativas hacia el alumno sobre

la cantidad

y

calidad de trabajo escolar a

realizar

por

&te son realistas, elevadas y se

le expresan claramente al alumno.

Decide teniendo en cuenta si:

Los objetivos de las

lecciones

infor-

man

al alumno de

lo

que debe

hacer

y aprender.

e 'Las expectativas se basan en el ni- vel actual de Iogro del abmno. El alumno comprende las expecta-

tivas que mantiene el profesorado

sobre

el trabajo a realizar.

El

alumno

comprende

cómo

de-

mostrar dominio

sobre

los objeti- vos de aprendizaje.

El alumno tiene la oportunidad de

responder activamente.

El

alumno

se considera responsabIe

del

trabajo

asignado.

E1

número de indicadores puede ser

mucho

mayor, seg6n la complejidad de procesos que induya el estándar.

ESTANDAR 4. Presentcacidn de la Uni-

d& de EmWaanza-Aprendizaje. E1 trabajo escolar se presenta de forma clara

y

efecti- va; las instrucciones

contienen

suficiente información para

que

el

alumno

compren- d;t

los comportamientos

o

liabilidades

que deben ser demostrados,

controlándose

di- cha comprensi6n

por

el alumno.

Decide teniendo en cuenta si: Presenmión de contenidos

-

Se centra la atenci6n del alumno

durante la presentacibn de conte- nidos.

-

Se controlan las habilidades o conteni-

dos

previos requeridos

por

e1 alumno.

-

Los contenidos son relevantes para

la experiencia del

alumno.

-

Se especifican y rawnan al alumno las metas instructivas.

-

se

prop&nan

suflcienm

explia&

nes

al

alumno @. ej., áemamión, m e

defado

o

uso

de

ejemplos comtosl.

-

El alumno participa de la relacidn

profesoríaiumno o alumno-alumno

al aprender habilidades. EXP*A7iVAS

DEL PROFESORADO

Presencia I m m c i a

-

El alumno recibe suficiente orienm- ci6n pdctica antes

&I

trabajo inde- pendiente.

-

La informacidn se organiza

con

una estructura sistemática (p.ej., organizadores avanzados, revisio-

nes, prácticas dirigidas o inde-

pendientes).

-

Los

contenidos

se

presentan

a

un

ritmo que resulta adecuado a1 nive1 atencional del alumno.

Se

ensaya la inforrnaci6n y procedi- mientos y se reelaboran los concep- tos de la unidad.

Se proporaona informaci6n escrita y oral

en

un

lenguaje que

resulte senci-

llo para la c o m p d 6 n del alumno, de una longitud adecuada y en S&-

ciente número & repeticiones. La aknción del alumno es dirigida a la información dada y a los atri-

butos

esenciales de la

tarea.

Muy de

Control de la

comprensión

del dunano

-

Se comprueba regularmente la com- prensi6n

de

Io enseñado en el alumno.

-

Se controIa &

forma

activa el

logro

del alumno antes del trabajo

inde-

pendiente y durante los primeros cinco o diez minutos de

Ia

realiza- cibn de actividades en el pupitre.

-

El alumno conoce cbmo solicitar ayuda

cuando

se

confunde.

-

La comprensión

&I alumno es con-

.trolada analizando sus respuestas

y/o pidiéndole que las explique.

G ~ ~ . ~ D E I N ~ ~ ~ ~ N ~ P A L L A PERSONAS CON DISCAFAUDAD

La

Guía

& integracibn laboal

para

perso-

nas con discapacidad (Fernández e

Igle-

sias,l997) constituye otro ejemplo de

evaluaci6n de procesos mediante el desa-

miio

&

estándares

e

Indicadores.

Como se indica

en

el

documento,

el desarrollo de un

sistema de *dares

está

influido por numerosos factores reiaciona- dos entre

SI,

como

las consihdones

de

caracter

políticu, w c o

y pl%ctico,

y los

m-

nwhientos & investi@ones o de los pro-

fesionales

que

desamiian los

indicadores.

Por

d o

d t a necesario establecer unos al-

krios que guíen

la

elección, el desumllo y

la

valoracibn de l a estándares @. 27).

La

naturaleza

e

importancia de estos criterios

varia'según

el

nivel de la aplica- ci6n (nacional o loca0 de los estándares, la línea polfdca, el contexto

social,

etc.,

pu-

diendo señalar como

más

frecuentes:

la

re-

levancia política, la comprenslvidad, es

de&,

pocos y disponibles durante un pe-

ríodo de tiempo aceptable, la procedencia de trabajos de invesdgad6n

contrastados

por la accibn, así

como

la validez y

la

via-

bidad

relacionadas con el coste.

El desarrollo de indicadores en esta

Guía ha sido escrupuloso a la hora de

adoptar un procedimiento que tudera en cuenta los criterios más convenientes para

dar validez al proceso. Estos

fueron:

Asegurar

que

todas

las instituciones

participantes estuvieran repre-

sentadas

con el fin de ~ o d e r con- trastar la validez del Sistema de estándares e indicadores.

Adoptar un enfoque consensuado entre los profesionales para

elabo-

.m,

valorar

y

definir los indicadores

que concretan cada estandar, así

como su proceso de aplicación.

m Facilitar el acces0.a la elaboración y aprobación de indicadores de todo

aquel que pueda aportar informa-

ción relevante.

+ P h c e a r indicadores en torno a to-

dos

los niveles

de autoridad del sis-

tema (distrito social, autoridades locales, m.).

E n l a m r h ~ c r > n e l ~

&cada~d6nyconsus*os.

' a Incluir indicadores relacionados no &lo con profesionales, sino también con

procesos

de

gesti6n,

so-

dales, afectivm, cogniaktos,

etc.

Cubrir los procesos sociales y/o profesionales más significadvos de-

sarroiiados

en

las

instituciones.

Establecer demostraciones del uso & los indicadores

con

;e1 fin &

pre-

sentar

su contribuci6n a la toma & decisiones del programa.

~ e n C u a c f r ú I u n e j e m p b &

CUADRO

1

1, ESTANDARES DE GENERALES ORGANIZACI~N DEL PROGRAMA FACTOR I.A.: DIRECCI~N DEL PROGRAMA

ESTANDAR I.A.4.

La organización establm acuerdos de mordinacih con otros programas, proyectos, centros, instituciones, organismos o empresas, con el fin de asegurar una atenci6n completa y continuada a sus usuarios.

VALORAU6N INTERNA

LCumpi* u propvhn hr mdlap

y acribnn do1 Irdlpdor?

a. Fijacidn de politicas comunes de actuaci6n y resolucldn de problemas compartidos con las entidad- privadas y públlcai qw

-1

actúan en la localidad.

Medidas y accfdms a vaiomr:

O Existencia de un mapa de reairsos relacionado con las actividades del centro en el entorno próximo.

O Tipo de mecanismos y vías de comunicación establecidas. O Número, tipo y finalidad de los awerdos establecidos.

O Características de las instituciones o entidades cswi ias que se establecen los acuerdos.

b. Establecimiento de mecanismos de control y seguimiento de la coordinación.

Medidas y aecioms a valonr

o Existencia de m i s i o n e s de seguimiento con representación de cada una de

mEPI

las inti-luciones implicadas.

O Fijación de calendarios de reuniones.

Exjstencia de sistemas de evaluación sobre el wrnplimientu de b s acuerdos.

c. \laloración comparativa de la actividad

con

la ' de otras organizaciones del entorno (munlclplo, zona, regi6n) con expresión

de ratlos slgnlftcatlvas.

M i d a s y acciones a valdmr:

EBEl

0 Mbtodos de obtsnudn de información acerca de las aetivldades de las organizaciones del entorno.

0 Tipo de raiiis utilizadas.

VALORACI~M EXTERNA

PRINCIPIOS Y T~CNICAS DEL ANÁLISIS

DE

EFECTMDAD

Hasta este

momento

hemos expuesto algu- nos de los beneficios de las waIuaciones de procesos y argumentado a favor del do- ble enfoque holista y sintético. Hemos ha- blado de la importancia del análisis de

procesos por su condicionamiento hacia

los resultados, como e n el caso del OTL, ejtmplificando además con instrumentos

de valoracidn d e procesos socioeducati- vos. La cuestión que abordamos ahora es

@mo conseguir que esos estandares, nor-

mas o principios, sean aceptables y vaili- dos? Algunas de las estrategias para

conseguir que el modelo de evaluación de

procesos

que

propugnamos presente la necesaria validez son las siguientes:

m C A S DE CONSENSO

La elaboraci6n de normas o estándares re- quiere consenso y éstas deben representar

bs

diferentes wuntos de vista existentes so-

bre un procek social.

Una

vez establecido '

el consenso, los estándares se

hacen

deposi- tarios de la credibilidad que supone haber10 conseguido (Stufflebeam,

1997, p.

773.

De

entre

las tknicas de consenso re- saltamos el procedimiento Delphi por ser menos utilizado que los procedimientos de triangulacidn o los paneles de sintesis y

grupos & discusidn.

Esta

técnica fue originalmente formu-

la&

en

los

anos cincuenta para ser usada en temas de organizaci61-1 en investigación tecnoldgica y a partir de los setenta se apli- ca a la pmcaci6n y evaluaci6n de pro- gramas sociales. Se define como

un

medio de obtener

el

consenso de un grupo d e personas

y

se' caracterita por la forma de

organizar

la

comunicaci6n

en el

grupo,

consistente en la elaboraci6n previa de la información mediante paneles de expertos

y después, la aplicacidn de un procedi- miento recumnrc de valoraci6n y razona- miento

de

respuesms por los participantes

hasta conseguir el nivel de consenso pre- derceminado.

Podemos hablar de tres aspectos im-

portantes en la técnica Delphi:

Anonimato: los participantes en la consulta Delphi no conocen la identidad d e los demás participan- tes, lo que les permite expresar su opinidn y cambiarla sin la presión de la negociaci6n presencial

y

la in- fluencia d e los diferentes estatus profesionales.

Control d e la informacián:

el proce-

dimiento de devolución de la ínfor- maci6n garantiza s61o el uso de la informaci6n relevante, evitando la

confrontacidn por cuestiones irrele- vantes para e1 esrablecimiento

de

acuerdos.

Consenso

estadístico: 10s partici- pantes en el estudio reciben valora- ciones numéricas que indican el nivel & acuerdo o desacuerdo con-

seguido en la anterior fase de con- sulta, pidiendose la justificacibn de los valores discrepante con el grupo.

El supuesto que subyace en la técnica Delphi es que la informaci6n numérica ofrecida a cada participante en las sucesi- vas consultas permite a mda uno ia recon- sideracidn de estimaciones anteriores, generándose de esta forma un mayor con-

senso. Para 410, la informaci6n que se pre- senta a los participantes en las sucesivas

consuitas

incluye

un

valor estadlstico dc las respuesms dadas.

El criterio que se utiliza para la conclu- sidn del proceso es el logro de la conver- gencia y estabilidad prevism. Esto supone conseguir un determinado valor, con un

rango

o dispersi6n que indique conver- gencia de opinidn, y por un número signi- ficativo de participantes.

Con el

fm

de anaiizar el nivel

de

acuer- do entre los tecnicos y responsables de programas de integracidn laboral de perso- nas con discapcidad

sobre

el hnci-en- to normativo bhico de estos programas, fueron elaimradm 52 e s t á d a m por un panel

WCO, que se somerieron a consulta de un grupo de 50 participantes que repre- sentaban a instituciones sociales, agencias y

asociaciones de personas con discapauáad de Ias diferentes comunidades autbnomas.

El instrumento empleado para recoger la informacidn de

la

primera consulta Delphi estaba compuesto por eI listado de estAndares y un cuestionario para valorar

la

relevancia o importancia intrínseca, así como el peso relativo asignado a mda es- tdndar en su factor correspondiente.

Se incluía también

un

apartado para recoger las propuesms

de

modificacidn que se considerasen owortunas.

NORMATNA GENERAL DE ORGAKEAQ~N DEL PROGRAMA

"'M"*

"'

(

Peso ~Iglmdo (%) estandar (1 a 9)

DIRECCI~N DEL F ~ R O G ~

EST&DARlB GEMERALES DE ORGANIZAQ~N DEL PROGRAMA

pVecci6n del ?roerama

Equipo tecnico cualificado Acuerdos de coordinaci6n

~ ~de las fuentes 6 n& íinanciaci6n

TOTAL

Vd c'6 "c'al

m

-

-100.00

E1

segundo instrumento & la encuesta Delphi se elabord u ~ a vez conluido el a&- sis de los datos & la primera consul~.

En

este

m,

cada participante recibid

un

nuevo

listado

de

estindares que induia las

cacioms incorporadas, acompañado &

un

cuestionario en

el

que se solicitaba una valo- raci6n general de relevancia para aquellos estándares cuya redacción habh CáMbiado y una valoración parricular para aquellos a los

que la persona en concreto había asignado en la primera consulta una puntuaci6n di- ferente a la media

del

grupo (+/- 1,64 sig-

mas),

dejando

opci6n a repetirla si

lo

consideraba oportuno, pero con el ruego de explicar las

razones

para mantener la puntuación inicial. En el siguiente cua-

dro

11 se puede ver un ejemplo

del

pro- tocolo personalizado utilizado en la

CUADRO

11

HOJA DE VALORACI~N

1.

F.M.F.U.

(C.E.E. TALLER

E. B.)

A) Relevancia de los 4 estándares cambiados: 1.0.3

(nuevo)

y I.A.4, 11.61 y ll.F.5 (modificados). Valora

cada

uno de ellos de 1

a

9.

B)

Pe'sos

del bloque del estandar nuevo (I.D.). Reparte 100

'buntos

entre los 6 estándares para establecer

un

orden de prloridqid entre

ellos.

C)AnBlisis

de los

estandares a los que diste un

valor

muy diferente del resto de las personas ,consultadas. Compara, por favor, tu

anterior

puntuacidn con el valor medio del grupo y valora

de

nuevo estos

estándares. Si decides repetir el valor dado la primera vez, indica brevemente la razón de tu discrepancia en el espacio resewado justo debajo de cada

uno de

ellos.

ESTAMDhR Tu puntuación P-n media del Tu n m anterior grupo puntuacibn

1lA3 1 6 1 7.878 1

JUSTIFlCAC16N:

H.B.l 1 5 1 8.1E 1

En

su

forma

ideal, la partiupacidn y la co-

laboraci6n tratan de aunar los intereses de todos los participantes implicados en el

desarrollo de un

programa

mediante pro-

cedimientos que permitan la constnicci6n d e conocimiento significativo y contextua- lizado

y

que capaciten a los profesionales

para actuar sobre ese conocimiento en su objetivo de mejora institucional.

Consideramos

que

la participacibn

y

la

colaboraci6n en una evaluación de procesos

se refuenan con la utilizacidn de estándares

y

que la base aonstructivista de la evaluación participativa es consistente con el estableci-

miento

de estándares profesionales.

Las formulaciona de la evaluacidn par- ticipativa es& relacionadas con dos irnpor-

tantes vertientes de la teofí

y

la práctica de

la evduacidn

como

son la

waluaciiin otien-

mda a la

práctica,

r e p e n m d a en el pasado

por

Alhn y más actualmente por el *factor personal- de Patton

(1997)

y la evaluacidn de

ideología abierta, represenmda por

Guba

y

Lincoln, con las aportaciones del enfoque

centrado en el usuario de Whitrnore

(1994)

o

Schalock

(1995).

La esencia de los procesos de walua- uón participativa se encuentra en la defen-

sa de intereses de todos los participantes y

e n que las relaciones sean de colabora- ci611, es decir, regidas por normas & igual-

dad y reciprocidad. De acuerdo c o n Reiben

(1996),

la participacidn requiere que los participantes sean agentes activos del proceso, que se implique como

m

'

n

i

-mo a los usuarios, a los técnicos del pro-

grama y a 10s responsabIes o promotores,

y que participen en los momentos críticos de la evaluación, como son la planificación

y la elaboración de resultados. De esta for- ma se

asegura

su contribuci6n

al conoci-

miento

que

brinda Ia evaluación, así como

al planteamiento de planes de acción y mejora del programa.

Se comparte responsabilidad y autori- dad con todos los demás, incluido el wa-

luador, sobre deliberaciones

y

decisiones acerca de los procedimientos y la metodo- Iogía de acci6n m á s adecuada. El papel del

evaluador es d e consulta

y

guía.

Es un fa-

cilitador, no un aplimdor de diseños y cri- terios.

De

su

base constructivism toma la evaluación participativa

y

colaborativa la premisa de que el conocimiento es creado desde la experiencia individual & cada par- ticipante. P d e m o s decir con Guba y Lincoln (1989,

p. 44)

que

en la evaluación de los procesos & un programa .la verdad es una

cuesti6n

de

consenso

C...)

y

no de corres- pondencia

con

una

realidad objetiva.,

Cuando se busca conocer el estado d e opini6n sobre un plan o programa d e grandes dimensiones con una base amplia

de consulta, resulta útil la denominada evaluación Cluster & voces de la comuni- dad que incluimos dentro de las técnicas d e participacidri

y

colaboracián.

Estos

foros comunitarios se organizan como reuniones en las que los participan-

tes

de un programa extenso pueden valo- rar la marcha de una iniciativa

o

proyecto

que les afecta, por ejemplo la oferta

y

de- manda de servicios scciales para las perso-

nas

con discapacidad (Femández, Iglesias

y

Cabo,19991.

Constituye

una

forma de incorporar

al

análisis a personas escasamente repre- sentadas en los grupos habituales de con- sulta y su credibilidad radica en poder

conseguir una ackcuada represenmtividad del grupo o comunidad de referencia.

Cuando

la

consulta puede hacerse a personas implicadas en múltiples unidades d e análisis, proyectos o centros de caracte-

rísticas similares, se pueden organizar g m -

pos

de discusión bajo el concepto d e evaluación Cluster (Barley y Jenness,

1993).

Con esta denominación se conoce e1 análisis en el

que

se reúnen los repre- sentantes de estas unidades para compartir

estrategias

y

vaIorar sus actividades. Los

dares como referenda) situaciones comu- n e s m e d h t e a p t a d o n e s d k t a s a l g e n - cum de vaioraci6n

p-

o

indireaas,

atmésdelosdatascielaspiapiasunIdades.

Un

ejemplo

de

esta mdalidad & evaluad& Cluster puede verse en

el

informe final

del

progana

Helios-Espcina (Torroha, F d n - dez, Municio, y ylázatro,

1991).

Las

características

básicas del

enfoque

de

evaluacibn

Cluster

son:

Identifica aspectos y temas comu-

nes

que confirman su signifcación - mediante el contraste &

Informa-

d6n aportada por los partidpantes. Permite conocer no sólo #lo que su- cede en el conjunto de las unida-

des

& análisis, sino e l

porqub,

al

descubrir

los elementa que contri- buyenaléxitodelosproyecbsoini- dativas y

las

emwegks

empleadas. Actúa

con

la colaboración

de

directi-

vos,

~ c o s

y

4- -0s

~ k u n ~ ~ p a t i V 0 & esoludón

aolaboratirva

de problemas.

La relaci6n e- proyectos, centros o unidades

y

evaluadores permite presentar la informaci6n de

forma

agregada

y

compartida,

b cual po-

tencia las relaciones entre

los

asb-

tentes

y sus

instituciones.

Es pues, un procedhiento que permi- te

al

promotor &

una

eYaluad6n aunar

es-

f u e r z o s & m e j o r a & a d o n e s e ~ la utilidad &

la

evaluación & procesos.

La conjunci6n & la d d a d de fo-

ros

comunitario8 con

ia

evaluacibn

Cluster

es conocida como ?mes de la

comunidad

(O'Sullivan

y

O'Sullivan,

1998).

Constituye

una

tecnica de a U s

por

audiendas

para

la mejora

o

transformadbn

social. El

grupo

& participantes kn cada Cluster

lo

consti- tuyen ~Iíderes- o personas que

representan

puntos

de vista y realidades importantes de cada instltuci6n o unidad & a'náiisis participante. El objetivo es presentar pun- tos & vista individuales y trabajar hacia una visi6n compartida, de grupo, de tal

forma

que

permita

la mejora de los

proce-

sos del sector

sodal

al

que se nqxsenm. Una aplicación en el ámbito de la educa- ci6n &

adultos puede

verse

en

Horton

y

Freire (1990).

En este modelo, los evaluadores, en

tanto

que

faciiitadores,

identifican los pro- cesos y la organizacidn promotora de la evaluación establece una estrategia de tra-

bajo conjunta con las audiencias. De esta

forma se

organiza

una

evaluaci6n de carác-

tercohbodvoqueathiasperspectivasde

los lxuado6, t¿adms, d m i n & t m h , eva-

l u a ~ y ~ l e s & l o ~ c ~ o i n s -

titudones.

constitqm

las

unidades

&

d i s , lo

cual

fortalece

el

condmienio

&

l a pnxedhienta

y

promum acdoms

de

mejora

asociadas a

dicho

conocimiento.

La evaluaci6n de voces consiste bási- camente en:

Identificar los procesos esenciales - . .

& la acción o

programa.

Presentar

cuestiones de evaluacldn importantes.

Buscar evidencias relevantes

para

cada

proaso,

generalmente a tra- ves

de

grupos

de discusibn.

Resumir

la informacibn de eviden-

cias

útiles.

A estas alturas del discurso sobre mo- delos

y

tecnicas, a algunos lectores con una determinada posicibn teórica sobre

la

evaiuaci6n quizás les genere cierta confu-

si6n esta combinaci6n de planteamientos y

dcdcas. Justificamos esta descripci6n de

procedimientos por nuestra creencia de que, al igual que nos ha ocurrido a noso-

ms,

a algunos evaluadores de progamas se les ha

podido

piantear la duda, al

anali-

zar prockbs

o parpldpar

en el seguimiento

& programas, sobre su funci6n investiga- dora o evaluadora, sobre si ser experimen- talistas

o

naturalistas, ser provisores de informes o agentes de

cambio

en los

pro-

gramas. Probablemente

una buena

res- puesta sea anotar la consideracibn que