Planificación de la evaluación La planificación de la evaluación es fun-

damental como pilar de su validez (Jornet Meliá, Suárez Rodríguez y Perales Mon- tolío, 2003) y para llevarla a cabo de una manera adecuada debe contemplar todos los componentes del diseño y gestión de la evaluación. Estos componentes son:

– Definición del objeto y la finalidad de la evaluación. Se trata de definir to- dos los elementos que pueden afectar al objeto evaluado, para garantizar que la evaluación es una respuesta adecuada para aquello que se preten- de. Para evaluar al profesorado es ne- cesario tener muy claro el referente de perfil de calidad que se va a tomar en cuenta, y este no es generalizable, sino muy dependiente del nivel en que se trabaja (infantil, primaria, secun- daria, postobligatoria, universidad) y de la modalidad de trabajo (presencial o a distancia/virtual), dado que el per- fil de calidad es muy dependiente de las funciones docentes. La definición de la unidad objeto es el elemento cla- ve inicial de validación, porque trata de definir las funciones, competencias,

revista española de pedagogía año 78, n.º 276, mayo-agosto 2020, 233-252

habilidades y actitudes que debe te- ner el profesorado para ser conside- rado de calidad. En este sentido, por ejemplo, establecer el peso diferencial de la competencia emocional en la evaluación del profesorado de infan- til, o de las competencias de tutoriza- ción en el profesorado universitario, y cuál es la fuente de información más pertinente en cada caso (familias o el propio estudiantado) es fundamental en la definición de la unidad objeto.

Por tanto, una definición completa, coherente y exhaustiva del modelo de evaluación, que recoja todas las dimensiones implicadas reconocidas por el marco teórico con respeto al contexto cultural donde se realiza, contribuye a garantizar la validez in- terna de la evaluación, y por tanto, su credibilidad.

– En segundo lugar, es necesario anti- cipar facilitadores y obstáculos en el proceso de evaluación. Es muy impor- tante cuidar el proceso de mediación³ en la evaluación, con la finalidad prio- ritaria de promover la aceptación de la evaluación, siendo claro también en el establecimiento de los límites de uso de la información evaluativa, y ajustarlo a la finalidad de la evalua- ción de la docencia de que se trate. En todo caso, la evaluación siempre va a ser un acto de mediación entre todos los colectivos implicados (docentes, alumnado, familias autoridades y/o gestores-administradores de la edu- cación, sociedad…), según el nivel educativo de que se trate y el uso final que se quiera hacer de los resultados

de la evaluación. Esto es especialmen- te importante en las evaluaciones de la docencia con consecuencias suma- tivas (ingreso, mantenimiento, pro- moción). En este sentido, los compo- nentes fundamentales que debemos plantear en esta especificación de la evaluación es determinar qué se va a evaluar (en términos concretos) y los usos de la evaluación. Por ello, llega- mos a presentar, en los años ochenta del s. xx, la propuesta de definir un contrato de evaluación, que permi- tiera establecer de forma explícita y consensuada la finalidad de la evalua- ción, la participación que van a tener los diferentes colectivos implicados, el tipo de información recogida, los aná- lisis que se realizarán de la misma, y el uso que se hará de los resultados, concretando la forma de difusión, la confidencialidad o no de cada tipo de datos y los receptores de los informes.

– En tercer lugar, y como desarrollo de lo anterior, es fundamental cuidar la participación, roles y responsabilida- des de los colectivos implicados. Ga- rantizamos la calidad de la evaluación si podemos contar con los informan- tes clave para cada información y si tenemos claros los diferentes roles que cada uno de los colectivos impli- cados debe tener en la evaluación.

Integrar a todos los participantes re- levantes en la planificación y diseño de la evaluación aporta credibilidad al proceso y este es el pilar básico de la utilidad (como señalamos an- teriormente, una evaluación no será útil si no es creíble). Pero, además, la

revista española de pedagogíaaño 78, n.º 276, mayo-agosto 2020, 233-252

evaluación es creíble y útil cuan- do tiene consecuencias y estas son coincidentes con las previstas. Si la evaluación aporta información, pero no tiene consecuencias claras para la persona o el colectivo evaluado o afectado por la evaluación, no será ni creíble ni útil. Para determinar estas consecuencias es fundamental definir bien cuáles son los participantes y cuáles deben ser sus roles en el proce- so de evaluación.

– Finalmente, va a ser fundamental la elaboración del plan de trabajo para llevar a cabo la evaluación propia- mente dicha. Así, el plan de trabajo es válido cuando se garantizan dos con- diciones: la fidelidad y la generalidad de la traducción.

1. Fidelidad de la traducción. Se trata de asegurar que en el diseño del plan de trabajo se recogen todos los ele- mentos (todas las competencias) que hemos definido como demostrativos de la calidad docente, cuidando así tanto la validez interna como la vali- dez de constructo. Asimismo, deben integrarse todos los factores que con- dicionan o moderan las posibilidades de actuación docente —variables de entrada y contexto mediato (social) e inmediato (institucional)— y los mo- dos en que se llevan a cabo —procesos personales—. Esto se concreta en las diferentes fases de la evaluación:

a) Recogida de información: deter- minar bien los momentos y el modo de recogida de información,

sin introducir disrupciones o in- terferencias que modifiquen la realidad y cotidianeidad con que se produce habitualmente la si- tuación educativa que se evalua.

Si, por ejemplo, se quiere evaluar si un profesor o profesora impar- te bien sus clases, técnicamente lo ideal sería grabar todas las cla- ses y elegir alguna/s al azar, pero, desde una perspectiva ética, esta propuesta presenta problemas que habitualmente esgrime el profesorado (protección de datos, libertad de cátedra, protección de la imagen del profesor…) y que, sin duda, deben ser atendidos desde la deontología profesional antes de apostar por este tipo de soluciones. En cualquier caso, se trata de un tema que debatir, pues creemos que los derechos de los que reciben la docencia tienen prioridad sobre los que tienen quienes la imparten. Por ello, es necesario abordar las decisiones de este tipo a partir de procesos de mediación.

b) Análisis de la información: elegir los análisis adecuados para dar respuesta al objeto y finalidad de la evaluación, elegir análisis que permitan hacer afirmaciones y que esto se traduzca en el plan de evaluación. Por ejemplo, para comprobar el posible incremen- to de conocimientos de los estu- diantes será necesario un diseño pretest-postest, o para compren- der el uso que el profesorado hace

revista española de pedagogía año 78, n.º 276, mayo-agosto 2020, 233-252

de sistemas de evaluación conti- nua como el portfolio será necesa- rio, además de recoger los propios portfolios, establecer un sistema de registro de narraciones sobre los usos que hacen de ellos y cómo perciben esos usos.

c) Interpretación de la información, desde la integración contextual:

más allá de la definición del perfil docente de calidad para cada nivel educativo y cada modalidad, la evaluación debe también ser sensible a las características del contexto (medio rural o urbano, nivel socioeconómico de las familias de procedencia del alumnado…). Es muy importante para modular la interpretación de resultados, pero esta integración de los elementos contextuales es muy difícil de realizar porque esa modulación de interpretación de resultados solo se puede susten- tar en el enfoque cualitativo, en la observación del evaluador, siendo esta una de las evaluaciones más difíciles de realizar.

d) Uso de la información: extraí- da y analizada la información, es necesario ajustar el uso a las finalidades manifestadas para la evaluación. Si se diseña la evaluación formativa para la mejora, la información obtenida requiere un análisis más por- menorizado, indicando cuáles son las lagunas o deficiencias identificadas y cuáles son los ele-

mentos que se pueden dinamizar para la mejora.

2. Generalidad de la traducción. La ca- lidad del plan de trabajo, como pilar de la validez de la evaluación, depen- de de que ese plan de trabajo refleje todos los aspectos implicados en el concepto de calidad docente y el pro- pósito y finalidad que animaron el di- seño del plan de evaluación para que fuera una herramienta dirigida a con- seguir determinadas consecuencias.

Evaluaciones parciales como valorar solo el dominio de la materia, las com- petencias de planificación o el uso de las TIC no son adecuadas; solo si se integran de forma coherente todos los componentes se puede hablar de una evaluación válida, cumpliendo el cri- terio de generalidad de la traducción del objeto de evaluación, vinculado con la validez de constructo.

Se presentan como ejemplo dos situacio- nes evaluativas del ámbito de la educación superior en España que probablemente no se hubieran dado de haber respetado estos con- sejos y, especialmente, de existir un contrato de evaluación. En 1989 se inicia en España la evaluación del profesorado universitario: eva- luación de la investigación y de la docencia.

La evaluación de la investigación se di- seña en 1989 a nivel estatal, con finalidad formativa y de dotación de un complemento salarial (Tejedor y Jornet, 2008). Se propuso en períodos de seis años, voluntaria y rea- lizada a partir de la valoración de los cinco trabajos seleccionados como más relevantes por el profesor. Así presentada, fue bastante

revista española de pedagogíaaño 78, n.º 276, mayo-agosto 2020, 233-252

bien aceptada por el colectivo profesional.

Sin embargo, con el transcurso de los años, ha pasado a tener consecuencias sumativas que van más allá del complemento salarial inicialmente acordado. Actualmente, se han derivado de esa evaluación otras muchas consecuencias (participación en tribunales de tesis o de promoción de profesorado, par- ticipación en dirección de tesis, consecuen- cias para la dedicación docente del profeso- rado) no previstas en el diseño inicial.

La evaluación de la docencia en la univer- sidad española se inició con proyectos pun- tuales: a) con carácter experimental, dirigidos al diseño de instrumentos y para ir adaptan- do la realidad de la evaluación al contexto de nuestras universidades (Aparicio, Tejedor, y Sanmartín, 1984), y b) con usos y finalidades institucionales como, por ejemplo, el de la Universitat de València en el curso 1986/87, que estaba esencialmente vinculado a pro- cesos de mejora de la docencia diseñados a partir de los resultados de la evaluación. Esta orientación contribuyó a salvar las grandes reticencias iniciales del profesorado a ser eva- luado (y que estas evaluaciones se realizaran tomando las opiniones de estudiantes como fuente de información principal), permitien- do así la implantación del modelo. Sin embar- go, en cuanto cambió la coordinación del pro- ceso, perdió esa función formativa, se dejaron de diseñar planes de formación adaptados a los resultados evaluativos y se limitó a un uso sumativo (consecuencias para incremento salarial) que después se ha intensificado, vin- culándolo también a procesos de promoción docente.

Estos cambios en los usos de los resulta- dos de la evaluación no son éticos (ni en el

evaluador ni en el legislador). Si hubiera ha- bido un planteamiento profesional o un con- trato especificando los usos y consecuencias que tendría la evaluación, no se hubieran podido cambiar las consecuencias. Si los res- ponsables hubieran considerado necesario introducir cambios, hubiera sido requerido un nuevo acuerdo. Por esto es tan importan- te la participación real de los colectivos en la evaluación, para garantizar la aceptación de la evaluación, que esa aceptación quede por escrito y en qué condiciones, como se da en algunos países. Estos componentes éticos son fundamentales en procesos de evaluación que tienen consecuencias direc- tas o indirectas en el desarrollo profesional de personas concretas. En definitiva, como es evidente, se incumplió la ya mencionada validez consecuencial, de forma que en la ac- tualidad este tipo de procesos han quedado como un hecho administrativo carente de sentido para docentes y alumnado, pero que satisfacen la imagen institucional compro- metida con el control evaluativo de su acción.

4.2. Estrategias de cuidado de la vali-