Capítulo 1. Concepto y coordenadas de la Evaluación Psicológica
2. Planteamiento del problema
2.2. Problemas relacionados con la delimitación del criterio de rendimiento
El psicólogo que clasifica o selecciona a un sujeto o a un grupo de ellos lo hace con un objetivo en mente, que los seleccionados rindan de modo efectivo en el puesto o cursos para los que se les va a seleccionar. Ahora bien, ¿qué significa “rendir de modo efectivo” en un puesto de trabajo? Y, lo que es más importante para el proceso de selección, ¿de qué variables depende ese rendimiento?
La respuesta a la primera pregunta implica delimitar un criterio de éxito y la respuesta a la segunda, identificar las cualidades necesarias para que se produz- ca el rendimiento buscado, para lo que es preciso analizar el puesto de trabajo o las demandas cognitivas o de otro tipo derivadas de los cursos a realizar y com- probar empíricamente el grado en que el modelo resultante predice el rendi- miento en el criterio.
Con el término criterio se hace referencia a un juicio acerca de los estándares que se consideran valiosos y deseables, estándares que pueden ser alcanzados en diferente medida por cada persona. El hecho de que la validez del modelo implique establecer una relación entre predictores y criterio exige prestar espe- cial atención al problema de la delimitación y medición de éste, pues depende de estos procesos el que pueda comprobarse de qué modo diferentes variables
permiten predecirlo. De hecho, puede darse el caso de que los predictores sean buenos pero el criterio no sea fiable, lo que podría hacer pensar que aquellos no parezcan adecuados, limitando la validez de la predicción. Así pues, si el primer problema es cómo delimitar y operativizar los criterios de éxito a predecir, ¿qué tipos de criterios de éxito y qué forma de evaluarlos pueden utilizarse en el mun- do laboral? ¿Cómo optimizar la predicción del criterio X, donde X es un aspecto importante del desempeño del trabajo, una competencia que el aspirante a un puesto debe poseer? (Bartram, 2005) ¿Y qué debe aprender sobre este problema el alumno que desea trabajar en selección de personal?
Para responder a las cuestiones anteriores es preciso tener en cuenta, en pri- mer lugar, que no hay un único criterio de rendimiento. Por un lado, en el ámbito laboral la realización de un trabajo implica el desempeño de tareas diferentes, cada una de las cuales puede requerir distintos conocimientos y habilidades. En consecuencia, un criterio de rendimiento puede venir dado por el conocimiento que una persona tiene del trabajo y por la eficiencia con que desempeña las ta- reas que conlleva. La evaluación de ambos –conocimiento y eficiencia– puede hacerse a partir de indicadores derivados de la naturaleza de las mismas (job performance). Para facilitar el acceso a estos criterios, algunos países han desa- rrollado bases de datos de información relativas a la mayoría de las ocupaciones (Peterson y otros, 1995).
Sin embargo, el trabajo se realiza en un contexto social en que es preciso interactuar y cooperar con los compañeros, de tal modo que las relaciones pue- den facilitar o interferir el rendimiento, y en un contexto organizacional donde, a menudo, él éxito es fruto del trabajo en grupo y del grado en que la forma de actuar se ajusta a la cultura de una organización particular. En estos casos, lo que cuenta es la capacidad de adaptación al grupo, y de ajuste e identificación con la organización, capacidades que definen un nuevo criterio o, si se desea, la dimen- sión contextual del criterio de rendimiento, más que la capacidad individual de desempeñar una tarea concreta (Kristoff, 1996).
Finalmente, cada vez es más frecuente el participar en “grupos de trabajo destinados a realizar un proyecto”, grupos cuya vida termina con la realización del mismo. El hecho de que sea necesario cambiar periódicamente de proyecto y de compañeros al producirse estos cambios demanda flexibilidad y capacidad de aprendizaje y adaptación, tanto a la hora de realizar el trabajo como a la hora de interactuar, capacidades que constituyen una nueva faceta del criterio o un nuevo criterio a considerar (Lawler, 1994).
No haber tenido en cuenta el aspecto adecuado del criterio a predecir ha llevado a menudo a conclusiones inadecuadas sobre la mayor o menor utilidad de evaluar distintas variables para predecir él éxito laboral. Así, numerosos es-
tudios de validación han llevado con frecuencia a la conclusión de que no era útil evaluar las variables de personalidad porque su capacidad predictiva era insig- nificante (Ghiselli, 1973), conclusión que no es correcta dependiendo del criterio utilizado. De hecho, las revisiones más recientes sobre los avances en procesos de selección han puesto de manifiesto la importancia de considerar tres tipos de criterios:
a) Competencias técnicas propias del puesto (in role behaviours). Son las res- ponsables más directas del desempeño del trabajo (task performance), esto es, las que posibilitan que se pueda realizar un trabajo de modo más o menos eficiente, eficiencia que se manifiesta en la productividad. Estas competen- cias, que varían de un puesto de trabajo a otro (Motowidlo, Borman y Schmidt, 1997) unas veces se evalúan a través de sus consecuencias como, por ejemplo, volumen de ventas, cantidad o calidad de los artículos producidos, número de promociones, y otras de modo más directo, como cuando los supervisores estiman el grado en que el trabajador posee éstas y otras competencias y las pone en práctica, o como en evaluación de 360º, donde esa estimación de- ben hacerla los supervisores, los iguales y los subordinados). La evaluación de competencias por parte de otras personas es una de las más utilizadas, pero se ha comprobado que depende no sólo de la eficiencia real del trabajo reali- zado, sino de otros factores entre los que tiene un peso importante el sesgo del evaluador. En consecuencia, dado que el criterio usado a la hora de valorar si un predictor es adecuado o no puede estar sesgado, es importante tener en cuenta cómo se ha evaluado dicho criterio antes de basar las decisiones de evaluación y selección en los resultados del estudio en cuestión (Scullen, Mount y Goff, 2000).
b) Comportamiento organizacional cívico (Organizacional citizenship beha- viours). Este concepto hace referencia a acciones que el sujeto realiza por ini- ciativa propia, sin que nadie se lo exija, acciones que contribuyen en su con- junto al funcionamiento efectivo de la organización, y cuya realización no es reconocida de forma directa y explícita por el sistema formal de recompensa o retribución. No son acciones que entren en la definición de las características del puesto ni, por tanto, sujetas a los términos de un contrato, sino que son fruto de la decisión personal. Bajo este concepto se incluyen al menos siete categorías de comportamientos: 1) Ayuda voluntaria a otros destinada a pre- venir que surjan problemas relacionados con el trabajo. 2) Deportividad: Dis- ponibilidad para tolerar los inconvenientes e imposiciones inevitables del tra- bajo, para mantener una actitud positiva cuando las cosas no salen como uno quiere y para sacrificar los propios intereses por el bien del grupo. 3) Lealtad a la organización. Se manifiesta en las acciones que el sujeto realiza para promo- cionar la organización ante los de fuera de la misma, y para protegerla y defen-
derla ante amenazas externas. 4) Adherencia a las reglas la organización. Se manifiesta en el sometimiento a las reglas y procedimientos de la organización por haberlas interiorizado, aunque otros no las sigan. 5) Iniciativa individual. Se manifiesta en actuaciones relacionadas con el desempeño de la tarea mis- ma, pero que no se le exigen desde fuera, destinadas a mejorar el propio traba- jo o el funcionamiento de la organización, y que pueden conllevar innovación o creatividad. 6) Virtud cívica. Se manifiesta en la disponibilidad y compromiso para participar activamente en el gobierno de la organización. 7) Búsqueda de la mejora de la competencia personal relacionada con el trabajo. Se manifiesta en la participación activa en cursos de formación. El hecho de que todas estas conductas tengan consecuencias claramente positivas en el trabajo y de que estén especialmente condicionadas por la naturaleza del puesto (Motowidlo, Borman y Schmidt, 1997) constituye una razón importante para buscar de qué variables dependen, esto es, cómo predecirlas y, previamente, cómo eva- luar este criterio en los estudios de validación (Podsakoff, Mackenzie, Paine y Bachrach, 2000).
c) Conductas contra-productivas en el trabajo (counterproductive behaviours at work). Este concepto hace referencia a cualquier conducta intencional reali- zada por un miembro de la organización que pueda considerarse contraria a los intereses de la misma. Como tal, es una faceta del desempeño laboral. Sin embargo, en cuanto que se trata de conductas intencionales, es necesa- rio predecir la probabilidad de que se produzcan para evitar problemas a la organización. Estas conductas son de distintos tipos: 1) robos, 2) sabotaje y destrucción de la propiedad, 3) uso inadecuado de la información –falsifica- ción, revelación de secretos–, 4) uso inadecuado del tiempo y los recursos, 5) violación de los protocolos de seguridad, 6) absentismo injustificado, 7) tra- bajo lento o descuidado, 8) trabajo bajo efectos del alcohol, 9) uso o venta de drogas en el trabajo, 10) discusiones con los compañeros, 11) agresión a los compañeros, 12) acoso sexual. El hecho de que todas estas conductas tengan consecuencias claramente negativas en el trabajo constituye una razón impor- tante para buscar de qué variables dependen, esto es, cómo predecirlas y, pre- viamente, cómo evaluar este criterio en los estudios de validación (Sackett y DeVore, 2001; Spector y Fox, 2005).
La necesidad de evaluar adecuadamente el criterio que se desea predecir ha llevado no sólo a distinguir las tres categorías generales de criterios que acaba- mos de señalar. Teniendo en cuenta, por un lado, que el desempeño es lo que los trabajadores hacen y se puede observar y no las consecuencias de lo que hacen y, por otro lado, que cada una de las categorías de criterios señalada puede incluir diferentes tipos de comportamientos, lo ideal es centrar la planificación de la evaluación primero, clarificando las dimensiones de los comportamientos que se
trata de predecir en un nivel profesional dado (clarificando lo que implican las distintas competencias) y, segundo, determinado el mejor modo de evaluarlos para buscar después “qué variables pueden predecir el comportamiento X”. Lo primero no es una tarea fácil, pues no hay un consenso claro ni sobre qué es una competencia, ni sobre cuáles son las competencias más importantes para cada trabajo –esto es, si el modelo de competencias adoptado por una empresa es vá- lido– , ni sobre cuál es el mejor modo de evaluarlas, hechos que parecen estar a la base de la carencia de estudios sobre el grado en que el uso de modelos de com- petencias mejoran la efectividad de los procesos de selección. (Markus, Cooper- Thomas y Allpress, 2005). Los hechos anteriores, sin embargo, no han impedido que se hayan intentado identificar las principales competencias para diferentes tipos de trabajos. Por ejemplo, en relación con los trabajos de tipo directivo, Kurz y Bartram (2002) han desarrollado el modelo de las “ocho grandes competencias”, modelo jerárquico que incluye las 8 grandes dimensiones, 20 subdimensiones y 112 componentes. Las ocho grandes dimensiones son: 1) Liderar y decidir, 2) apoyar y cooperar, 3) interactuar y persuadir, 4) analizar e interpretar, 5) crear y conceptualizar, 6) organizar y ejecutar, 7) adaptarse al cambio y a la presión, y 8) emprender y ejecutar. Se ha comprobado que cuando se diferencian los criterios, aunque sólo sea separando el desempeño de la conducta cívica, pero más aún si se distinguen las ocho dimensiones seleccionadas, la precisión de las prediccio- nes aumenta, tanto por lo que se refiere a la identificación de las variables que predicen cada competencia como por la cuantía de los índices de validez predic- tiva. (Bartram, 2005). El modelo señalado no es el único, pero ofrece una pers- pectiva sobre cómo trabajar a la hora de delimitar los criterios que sirva de base para establecer modelos predictivos que puedan guiar al psicólogo evaluador en procesos de selección–.
Otro aspecto del criterio que afecta a las conclusiones sobre la validez de los predictores para apoyar las decisiones de selección es su distancia temporal del momento en que se recoge la información sobre éstos. Si se evalúa el rendi- miento poco tiempo después de recogida la información de los predictores, la capacidad predictiva de éstos suele ser mayor, aunque algunas veces ocurre lo contrario (Roe, 1963, citado por Cronbach, 1990). El aspecto temporal, por otra parte, se manifiesta en el hecho de que no es lo mismo evaluar el rendimiento tras el período de prueba o aprendizaje que cuando se lleva ya un tiempo desem- peñando el trabajo. La conducta criterio cambia (Sturman y otros, 2005), cambio que no parece deberse al error de medida, y los predictores del éxito en uno y otro caso son distintos.
El evaluador debe considerar, pues, los aspectos señalados relativos al tipo de criterio a escoger a fin de optimizar la información relativa a la validez de los predictores en los que han de basar sus decisiones de selección o clasificación. Sin embargo, esto no es todo. Una cosa es el criterio y otra el modo en que se ob-
tiene la información en que se hace operativo. Por ejemplo, a menudo el criterio es el grado de aprendizaje logrado tras uno o varios cursos o tras un programa o fase de entrenamiento. En estos casos, no es lo mismo operativizar el aprendizaje mediante el juicio o calificación del profesor o del supervisor que mediante tests de logro. Ambos tipos de criterios apenas correlacionan entre sí (Frederiksen, 1984), siendo mejores por lo general los segundos, aunque un entrenamiento adecuado puede mejorar el juicio realizado por los supervisores. No obstante, aunque se indique a los evaluadores la necesidad de tener en cuenta distintas fa- cetas del criterio, aquéllos tienden a actuar como si sólo hubiera una dimensión o faceta, hecho que, al parecer, no se debe al efecto “halo” (Viswesvaran y otros, 2005).
Furnham (1992) menciona diferentes criterios y formas de evaluarlos se- gún que se trate de períodos de formación o del rendimiento en el puesto real. Las formas de operativizarlos más utilizadas son las valoraciones de los super- visores, las muestras o indicadores objetivos de eficiencia en trabajo y el cono- cimiento laboral. Las calificaciones de los supervisores constituyen el método más utilizado, dado que pueden referirse a distintas las facetas del criterio ante- riormente mencionadas. Sin embargo, son poco fiables, si bien pueden mejorar- se mediante entrenamiento, lo que hace aumentar la validez de los predictores utilizados (Woehr y Huffcut, 1994). En cuanto a las muestras de trabajo, no es lo mismo tomar como criterio indicadores del “rendimiento máximo” en un trabajo que indicadores del “rendimiento típico” o rendimiento promedio. Dependiendo del criterio utilizado, varía el tipo de predictores que resultan válidos (Sackett y col. 1988). Finalmente, por lo que se refiere al conocimiento laboral, no es lo mismo utilizar como criterio conocimientos de tipo declarativo –contar lo que se sabe sobre algo– que evaluar directamente la destreza en la aplicación de este conocimiento a la solución de problemas: la validez de los predictores cambia (McCloy y otros, 1994).
Un problema adicional en relación con el criterio radica en que, a menudo, el proceso de selección se realiza en función de más de un criterio de éxito. Para resolver este problema históricamente se ha utilizado lo que se conoce como “criterio último”, que suponía hacer una estimación global del “éxito” en función de múltiples criterios (James, 1973). Sin embargo, se ha comprobado mediante la aplicación del análisis factorial que medidas de diferentes criterios raramente saturan en un mismo factor, lo que pone de manifiesto que el éxito en un trabajo es multidimensional (Bartram, 2005; James, 1973, Smith, 1976). En consecuen- cia, de acuerdo con Messick (1989), más que hacer una estimación global del criterio, parece conveniente medir por separado los diferentes componentes del criterio y ponderarlos después en base a la importancia relativa que se considere que cada uno de ellos tiene de acuerdo con las metas o valores de quien ha de tomar la decisión.
En cualquier caso, determinar y operativizar los criterios a utilizar contribu- ye a facilitar la decisión de escoger qué predictores evaluar. Tomar esta decisión, sin embargo, implica además considerar los problemas relacionados con las va- riables predictoras a evaluar, punto que pasamos a examinar.