WPOM
Working Papers on
Operations Management
J
anuary / June 2018
https://polipapers.upv.es/index.php/WPOM/
Volume
9. Num. 1
Editors
Juan A. Marín-García
Universitat Politècnica de València, España
Editorial Board
Daniel Jurburg Melnik
Universidad de Montevideo, Uruguay Rafaela Alfalla Luque
Universidad de Sevilla, España Cristobal Miralles
Universitat Politècnica de València, España Manuela Pardo de Val
Universitat de València, España Lourdes Canós Darós
Universitat Politècnica de València, España Jose Luis Gascó
Universidad de Alicante, España Carmen Medina López
Universidad de Sevilla, España Reyes González
Universidad de Alicante, España Tomás Bonavia
Universitat de València, España Jose P. García-Sabater
Universitat Politècnica de València, España
Published
Editorial Universitat Politècnica de València ISSN: 1989-9068
Support Contact
Camino de Vera s/n. 46022. Valencia. España
Authors Guidelines
https://polipapers.upv.es/index.php/WPOM/about/submissions#authorGuidelines
Open Access
http://polipapers.upv.es/index.php/wpom
This journal is licensed under a Creative Commons Attribution 4.0 International License Universitat Politècnica de València
WPOM
Working Papers on Operations Management Vol. 9, Nº 1 ISSN: 1989-9068Index
Protocol: action planning for action research about kaizen in public
organizations. The case of higher education..………... 1-13
Juan A. Marin-Garcia, Julio J. Garcia-Sabater, Julien Maheut
Protocol: Literature review on the psychometric properties of the short versions of the scales of social desirability in the answers to
competency self-assessment questionnaires ………. 14-29
Juan A. Marin-Garcia, Estefania Betancour, Martha Giraldo-O'Meara
Triple Bottom-line Business Model. Case study on the organic food
retailing ..………. 30-52
Ana Galeano Revert, Jose P. Garcia-Sabater, Cristóbal Miralles Insa
Protocol: Is there agreement or disagreement between the absolute and relative impact indices obtained from the Web of Science and
Scopus data? ………. 53-80
Juan A. Marin-Garcia, Rafaela Alfalla-Luque
Relationship between the use of an app and grades in Operations
Management in Bachelor Degree ……….……….. 80-87
Antonio Rodríguez-Duarte, Marta Fossas-Olalla, José Ignacio López-Sánchez, Elena Giménez-Fernández
Working Papers on Operations Management. Vol. 9, Nº1 (1-13) ISSN: 1989-9068 http://dx.doi.org/10.4995/wpom.v9i1.8990 1
WPOM
Working Papers on
Operations
Management
Protocol: action planning for action research about kaizen in public
organizations. The case of higher education
Protocolo: plan de acción para investigación-acción sobre mejora continua en
servicios públicos. Aplicación a educación universitaria
Juan A. Marin-Garciaa, Julio J. Garcia-Sabaterb, Julien Maheutc
a ROGLE. Dpto. de Organización de Empresas. Universitat Politècnica de València. Camino de Vera S/N 46021 Valencia. [email protected]; b [email protected]; c [email protected]
Recibido: 2017-11-23 Aceptado: 2018-01-29 Abstract
In this protocol we complete the first three stages of action research to analyze possibilities for continuous improvement of processes in public universities. We define the problem or area of improvement in the organization; we identify the relevance of the topic to generate an academic contribution and propose an action plan or work protocol. Although we have focused on a public higher education organization, this protocol can be applicable without requiring too many adaptations, to any public service (at least in the Spanish context). Keywords: Protocol; action-research; kaizen; continuous improvement; higher education; process improvement; public services
Resumen
En este protocolo completamos las tres primeras etapas de la investigación acción para analizar posibilidades de mejora continua de procesos en universidades públicas. Definimos el problema o área de mejora en la organización; identificamos la relevancia del tema para generar una contribución académica y proponemos un plan de acción o protocolo de trabajo. Aunque nos hayamos centrado en una organización de educación superior pública, este protocolo puede ser aplicable sin precisar demasiadas adaptaciones, a cualquier servicio público (al menos en el contexto español).
Palabras clave: Investigación-acción; mejora continua; universidad; mejora procesos; servicios públicos
Antecedentes para la investigación acción
Existe poca investigación que se centre específicamente en medir los resultados que se obtienen de eventos de mejora continua en general (Erdogan et al., 2017). Por ello, no es de extrañar que exista poca evidencia empírica de qué condiciones deben cumplir y en qué modo se debe trabajar para que la mejora continua tenga éxito (Farris et al., 2009). Esta laguna es especialmente mayor en empresas de servicios,
Marin-Garcia, J.A.; Garcia-Sabater, J.J.; Maheut, J.
WPOM, Vol 9 Nº1 (1-13) 2
puesto que podemos considerar que la mejora continua está mucho más desarrollada en el sector industrial y, sin embargo, puede considerarse un tema apenas en desarrollo en empresas de servicios (Agmoni, 2016). En el caso de las instituciones de educación superior (universidades), existen algunos ejemplos de uso de herramientas de mejora continua. Sin embargo, apenas hay publicaciones científicas sobre historias de éxito (o de fracaso) o los factores que hacer que la mejora continua tenga éxito en los procesos internos de las universidades (Sunder, 2016)
Por otra parte, hace años que se reclamaba una aplicación de la mejora continua en las partes de los procesos organizativos que cruzan a través de diferentes áreas de responsabilidad o departamentos (Middel et al., 2006). El motivo es que las principales pérdidas se dan en la inter-fase entre áreas de responsabilidad. Puesto que este es una “tierra de nadie”, que casi nunca entra en las prioridades de los mandos, porque no está claro quién es el responsable de la mejora de estas actividades ni, probablemente, haya indicadores específicos que permitan manifestar explícitamente los resultados logrados. También es frecuente encontrar, en esta inter-fase entre departamentos, posturas encontradas debidas al desconocimiento de lo que hace “la otra parte” y de las limitaciones contextuales a las que se enfrentan. Por ello es habitual que ambas partes del proceso consideren que, la otra, le hace la vida imposible sin razón alguna, solo por fastidiar.
En el sector público español y, especialmente, en entidades de educación superior, es muy raro que la estructura organizativa se haya configurado por procesos. Por ello, es muy habitual que las tareas necesarias para completar un servicio tengan muchos momentos donde la responsabilidad de las tareas pasa de un área a otra. Siendo esto una continua fuente de problemas e ineficiencias. De modo que, en el desarrollo de los procesos del día a día de las universidades públicas españolas, es posible que exista un enorme potencial de mejora para hacer a estas instituciones más eficientes. Por eso consideramos que la investigación acción (Action Research -AR-) puede ser una buena metodología para, por un lado, identificar los problemas y establecer pautas de actuación que hagan más eficientes a la universidad caso de estudio; y, por otra parte, contribuir al conocimiento científico (Middel et al., 2006).
Descripción del contexto: mejora continua en educación superior
La mejora continua consiste en cambios incrementales, que requieren poca inversión y la implicación de los empleados, para modificar los procesos, productos o servicios para convertirlos en más eficientes y/o eficaces (Marin-Garcia et al., 2014; Marin-Garcia et al., 2010; Sanchez & Blanco, 2014, 2016).
La mejora continua se puede articular en las organizaciones a través de diferentes programas formales. En esta investigación nos vamos a centrar en los grupos de mejora, que son uno de los sistemas paralelos para la mejora continua (off-line suggestion systems) (Marin-Garcia et al., 2012). Otra alternativa de estructura paralela son los sistemas de sugerencias individuales, que normalmente se concretan en sistemas de buzones de sugerencias donde los empleados depositan, física o electrónicamente, sus ideas (Marin-Garcia et al., 2008). Sin embargo, los sistemas de sugerencias en grupo (Group Suggestion Systems), que son los que vamos a abordar en esta investigación, son estructuras que se añaden a los grupos naturales de trabajo y permiten a los empleados, en pequeños grupos, identificar, analizar, proponer y, a veces implantar, mejoras relacionadas con su trabajo diario (Marin-Garcia et al., 2008). Por otra parte, las instituciones públicas de educación superior son organizaciones que imparten títulos oficiales de grado, cuyo coste de matrícula está subvencionado por el estado. Además, tienen como otras
Marin-Garcia, J.A.; Garcia-Sabater, J.J.; Maheut, J.
WPOM, Vol 9 Nº1 (1-13) 3
funciones la investigación científica, la preparación de futuros investigadores y el desarrollo y transmisión de la cultura (Ortega y Gasset, 2015 (1a ed 1930)). Su carácter de organización pública significa, en España, que su personal (docente, administrativo y técnico laboral o de investigación) es, en su mayoría funcionario. Es decir, que el acceso a la plaza es mediante un concurso público y oposición (Pujol-Cols, 2016).
Publicaciones anteriores sobre el tema
Se ha realizado una búsqueda de literatura con el objetivo de esclarecer si existen preguntas de investigación todavía no resueltas acerca de los sistemas de sugerencias paralelos. Es interesante resaltar que las organizaciones públicas y, más concretamente, las instituciones de educación superior son muy diferentes de un país a otro. No sólo en las funciones que se les asignan, sino también en el modo en que son gestionadas, o las figuras contractuales, o los procedimientos de incorporación y cese en los puestos de trabajo. Por ello, nos interesa identificar si existe investigación realizada en organizaciones públicas españolas y, más concretamente, qué grado de éxito se ha obtenido con el uso de sistema de sugerencias paralelos en universidades públicas españolas.
Los criterios de inclusión para la búsqueda bibliográfica han sido:
Estar publicado en una revista indexada en SCOPUS o Clarivate-WOS En inglés, castellano, alemán, frances o italiano
En cualquier fecha
Relacionado con Mejora continua, Kaizen o sistemas de sugerencia paralelos Áreas científicas de ingeniería o empresa
Los criterios de exclusión:
Menos de 4 páginas de longitud del articulo
No se haya investigado una organización real, sino trabajo con niños, experimentos de laboratorios, etc.
Desarrollo de nuevos productos o proyectos de innovación de larga duración Equipos de trabajo o rediseño de puestos de trabajo (no estructuras paralelas)
En la Tabla 1 se resumen los resultados de las búsquedas en SCOPUS y en la Tabla 2 los correspondientes a Clarivate-WOS. No se ha utilizado la palabra clave “parallel group” porque éste es un término acuñado en diseño de experimento de modo que da muchos falsos positivos (la mayoría de ellos relacionados con experimentos en el área de medicina).
Marin-Garcia, J.A.; Garcia-Sabater, J.J.; Maheut, J.
WPOM, Vol 9 Nº1 (1-13) 4
Tabla 1.- Resultados de las búsquedas en SCOPUS. Id: identificador de la búsqueda; Resultados: total de referencias tras las búsqueda automática en Junio 2017
Id Estrategia de búsqueda utilizada Resultados
S1
(
TITLE-ABS-KEY ( suggestion W/3 box OR suggestion W/3 team OR suggestion W/3 group ) AND TI TLE-ABS-KEY ( improvement OR innovation ) ) AND ( LIMIT-TO ( DOCTYPE , "ar " ) OR LIMIT-TO ( DOCTYPE , "cp " ) OR LIMIT-TO ( DOCTYPE , "re " ) ) AND ( LIMIT-TO ( SUBJAREA , "ENGI " ) OR LIMIT-TO ( SUBJAREA , "BUSI " ) OR EXCLUDE ( SUBJAREA , "COMP " ) OR EXCLUDE ( SUBJAREA , "DECI " ) OR EXCLUDE ( SUBJAREA , "MEDI " ) OR EXCLUDE ( SUBJAREA , "ENVI " ) OR EXCLUDE ( SUBJAREA , "MATH " ) OR EXCLUDE ( SUBJAREA , "MATE " ) OR EXCLUDE ( SUBJAREA , "ENER " ) OR EXCLUDE ( SUBJAREA , "ARTS " ) OR EXCLUDE ( SUBJAREA , "PHYS " ) OR EXCLUDE ( SUBJAREA , "EART " ) OR EXCLUDE ( SUBJAREA , "CENG " ) OR EXCLUDE ( SUBJAREA , "AGRI " ) OR EXCLUDE ( SUBJAREA , "CHEM " ) OR EXCLUDE ( SUBJAREA , "HEAL " ) OR EXCLUDE ( SUBJAREA , "NURS " ) OR EXCLUDE ( SUBJAREA , "BIOC " ) OR EXCLUDE ( SUBJAREA , "DENT " ) )
26
S2 ( TITLE-ABS-KEY ( off-line AND suggestion ) AND TITLE-ABS-KEY ( ( team OR group ) )
AND TITLE-ABS-KEY ( improvement OR innovation ) ) 0
Tabla 2.- Resultados de las búsquedas en Clarivate-WOS. TS: titulo, resumen o palaras clave; Id: identificador de la búsqueda; Resultados: total de referencias tras las búsqueda automática en Junio 2017
Id Estrategia de búsqueda utilizada Resultados
W1
TS= (suggestion near/3 box*) OR TS= (suggestion near/3 group*) OR TS= (suggestion near/3 team*)
Índices=SCI-EXPANDED, SSCI, ESCI Período de tiempo=Todos los años
706
W2 TS: (kaizen) All WOS-Clarivate databases 562
W3 W2 AND TS= ("action research") 6
W4 W2 AND W1 0
W5 W1 AND TS= ("action research") 1
W6 W1 AND TS= ("continuous improvement" OR "continuous innovation")
Índices=SCI-EXPANDED, SSCI, ESCI Período de tiempo=Todos los años 4
W7 W2 AND TS=“higher Education” 15
Estos 1320 resultados han sido filtrados aplicando los criterios de inclusión y exclusión al título y resumen. El primer autor actuó como único codificador en esta fase de selección. Las estrategias W3 a W7 se utilizaron como comprobación de que en el filtrado no se había perdido ninguna de las referencias clave para este proyecto. Todas las referencias filtradas de W3 a W7 ya estaban presentes en el filtro realizado en los conjuntos W1 y W2.
Después del filtrado han quedado un total de 57 referencias no repetidas. De las cuales 23 han sido publicadas en 2016 o 2017; 12 entre 2010 y 2015 y el resto antes de 2010 (siendo la más antigua de 1973). De modo que parece que el tema de “kaizen” sigue siendo un tema actual que genera debate académico (Gonzalez Aleu & Van Aken, 2016; Sanchez & Blanco, 2014, 2016).
Marin-Garcia, J.A.; Garcia-Sabater, J.J.; Maheut, J.
WPOM, Vol 9 Nº1 (1-13) 5
Entre estos artículos destacan varias revisiones de literatura (Gonzalez Aleu & Van Aken, 2016; Iwao, 2017; Lasrado et al., 2016; Sanchez & Blanco, 2016) que nos ayudarán a establecer si todavía hay preguntas de investigación abiertas para los sistemas de sugerencias en grupo.
En la literatura parece haber consenso sobre el retorno de la inversión que produce la mejora continua. Especialmente a partir de los ahorros en costes (Pinto & Mendes, 2017). Por otra parte, tanto en empresas del sector privado (industriales y de servicios) en países latinoamericanos, España o Portugal, se ha constatado una preferencia por el uso de técnicas sencillas para la mejora continua, que no obstante no está exenta de barreras para su sostenibilidad a largo plazo (Ramírez & Álvaro, 2017).
Probablemente uno de los factores de éxito para la sostenibilidad de la mejora contina es conseguir que los empleados se impliquen en ella. Pero no parece ser una cosa sencilla y la investigación reciente sigue incidiendo en identificar los motivos que dificultan la participación de los empleados o les disuade a participar más en las iniciativas de mejora continua (García et al., 2010; Jaca et al., 2011; Jurburg et al., 2016a; Jurburg et al., 2016b).
Por desgracia los artículos centrados en servicios son escasos (Agmoni, 2016; Audretsch et al., 2011; Baril et al., 2016; Gohary et al., 2016; Gurung et al., 2017; Karel et al., 2017; Schwarz et al., 2017). Quizás uno de los motivos sea que se viene aplicando e investigando durante más de 50 años en el sector industrial (Jaca et al., 2011) y se haya considerado que las organizaciones de servicios no presentan unas características que las diferencien de las empresas industriales en lo que respecta a las variables a afectan a la implantación, desarrollo y mantenimiento de la mejora continua. Lo curioso del caso es que apenas se ha investigado si esta suposición es cierta.
Incluso asumiendo que las organizaciones del sector industrial y de servicios sean similares de cara a la mejora continua, quedaría por demostrar que no hay diferencia entre las empresas privadas y los servicios públicos. Dado que la investigación sobre grupos de sugerencias en servicios en general es escasa, mucho más lo es la específica en organizaciones de servicio públicas. Esta investigación es aún más insuficiente en un servicio público concreto como la educación superior (Clayton, 1995; Sunder, 2016). Por todo ello, parece poco probable que exista investigación realizada en organizaciones que compartan las características de los servicios públicos españoles y, del mismo modo, no es previsible encontrar datos acerca de si los sistemas de sugerencias en grupo son, o pueden ser, beneficiosos para las universidades públicas españolas. Este es un hecho bastante llamativo pues uno de los problemas que afrontan las universidades en la actualidad es cómo afrontar el reto de la mejorar continuamente y ser más eficientes (de los Ríos-Carmenado et al., 2016; Sunder, 2016).
En los escasos artículos localizados sobre mejora continua y educación superior, se aborda el tema desde el punto de vista de profesores y alumnos o procesos de aprendizaje (Clayton, 1995; Gast et al., 2017; Suarez-Barraza & Rodriguez-Gonzalez, 2015; Sunder, 2016; Yermakova, 2016). Sin embargo, no hemos localizado ningún trabajo que se centre en los procesos administrativos que dan soporte al funcionamiento de las universidades. Un tema que parece totalmente ignorado en la literatura.
Preguntas de investigación
En esta investigación nos planteamos identificar si el uso de sistemas de sugerencias en grupo es viable en el caso de una universidad pública española y, para ello, nos planteamos las siguientes preguntas de investigación:
Marin-Garcia, J.A.; Garcia-Sabater, J.J.; Maheut, J.
WPOM, Vol 9 Nº1 (1-13) 6
1. ¿Qué barreras y facilitadores podemos identificar para el despliegue de la mejora continua con personal de administración y servicios funcionario?
a. ¿Existe una cultura de mejora continua en la organización? ¿Están identificados los procesos clave?
b. ¿El personal de administración y servicio (PAS), participando en un taller de mejora continua de 20 horas de duración, es capaz de identificar áreas de mejora y proponer e implantar soluciones que mejoren la eficiencia o eficacia de la organización?
c. ¿Cómo perciben los participantes la utilidad de este tipo de intervenciones?
Por qué es importante hacer esta investigación
Contribución para la empresaIdentificar los principales procesos en los que intervienen el PAS de los departamentos en la Universidad y dónde sería necesario crear interacciones beneficiosas entre diferentes servicios.
Tener un listado priorizado de los principales problemas/oportunidades de mejora desde el punto de vista de los empleados de base y, a ser posible, alguna vía de solución.
Comprobar si los talleres de formación sobre mejora continua organizados como grupos de sugerencias constituyen un sistema válido para conseguir mejoras y desarrollar la cultura de mejora continua en la universidad. Así como cuáles son las principales barreras desde el punto de vista de este personal.
Contribución para académicos
Aportamos una investigación sobre kaizen para mejora de la calidad de los servicios administrativos en una institución de educación superior (Sunder, 2016), algo sobre lo que apenas existe literatura (Suarez-Barraza & Rodriguez-Gonzalez, 2015). De modo que viene a paliar la escasez de ejemplos concretos de kaizen en servicios públicos, cosa que llama la atención en un país como España donde un porcentaje muy elevado de la fuerza laboral trabaja en servicios y para la administración pública y sin embargo la mayoría de los casos publicados son de manufactura o servicios de empresas privadas (Sanchez & Blanco, 2016).
Desarrollar, aplicar y comprobar los resultados de una herramienta de formación-acción en el puesto de trabajo, cuyo objetivo es el desarrollo de la mejora continua en un contexto de servicio público. En ella, los empleados exploran oportunidades de mejora para sus puestos de trabajo actuales.
Aportar un estudio empírico, identificando qué se obtiene con implantaciones de grupos de sugerencias en contextos de servicios públicos (Wooddell, 2009). Al contrario que en otros contextos, donde parece que hay una contradicción entre las propuestas teóricas y las implantaciones prácticas (Young, 2011), en servicios públicos no hay material sobre el que construir el debate, simplemente no podemos afirmar con seguridad cómo funciona la mejora continua en ellos.
Analiza el potencial de la mejora continua emergente como alternativa a la mejora continua enfocada (mucho más extendida, y con éxito notable, en el sector de manufactura) (Wooddell, 2009) y reflexionar sobre las condiciones en las que puede ser válida.
Marin-Garcia, J.A.; Garcia-Sabater, J.J.; Maheut, J.
WPOM, Vol 9 Nº1 (1-13) 7
Metodología
En esta investigación hemos seguido las recomendaciones generales para protocolos científicos (Marin-Garcia, 2015; Miles et al., 2013; Naslund et al., 2010) y el marco de trabajo de investigación-acción donde los investigadores y personas de la empresa participan en todos las etapas de la investigación (Alfaro et al., 2016; Dick, 2009; White, 1991):
1. Definir el problema o área de mejora en la organización
2. Identificar la relevancia del tema para generar una contribución académica 3. Plan de acción o protocolo de trabajo
4. Obtener información 5. Analizar la información 6. Evaluar los resultados 7. Difundir en la organización 8. Difundir en ámbito académico
Este protocolo completa las tres primeras fases y en el artículo posterior se dará respuesta a las otras cinco fases.
Descripción de la intervención:
En esta investigación-acción presentaremos los resultados de una investigación empírica realizada en una única organización que presenta las siguientes características: universidad pública española con menos de 50 años de historia, de tamaño mediano grande (presupuesto anual cercano a 400M€; 6.000 trabajadores; 40.000 alumnos de formación reglada) y considerada una de las universidades punteras en educación tecnológica (ingenierías) a nivel mundial, estando entre las 50 mejores universidades jóvenes del mundo según las edición 2018 del ranking QS Top 50 Under 50 y entre las 500 mejores, de más de 20.000 universidades, en la edición 2017 de QS World University Ranking.
Se trata de una action research de dos iteraciones tal como se muestra en la Tabla 3. En estos momentos estamos completando la segunda iteración.
Tabla 3.- datos de las dos iteraciones
Fecha Sesiones Participantes
Enero 2016 Solicitud de la actividad por
parte del representante de directores de departamento.
Directora de RRHH,
responsable de formación interna, Representante de directores de departamento.
Mayo 2016 Reunión de lanzamiento y
especificación de objetivos
Responsable de formación interna. Responsable de aplicaciones informáticas, Representante de directores de departamento, primer autor del articulo
Septiembre 2016 a diciembre
2017 Intervención. 1ª edición. 1 sesión de trabajo cada mes durante 4 meses
14 PAS (asistencia a las sesiones entre 10 y 14)
Marin-Garcia, J.A.; Garcia-Sabater, J.J.; Maheut, J.
WPOM, Vol 9 Nº1 (1-13) 8
Diciembre 2016 Reunión de cierre 14 PAS, Directora de RRHH,
Director del área de calidad, responsable de la formación interna, investigadores Representante de directores de departamento, 4 directores de departamento
Diciembre 2016 Encuesta de satisfacción de
participantes primera edición Investigadores y participantes 1ª edición
Mayo 2017 Indicadores de satisfacción de
servicio grupos control para los años 2014 a 2016
Investigadores
Septiembre 2017 a diciembre 2018
Intervención, 2ª edición. 1 sesión de trabajo cada mes durante 4 meses
29 PAS (asistencia a las sesiones entre 26 y 29)
Diciembre 2017 Encuesta de seguimiento de
participantes primera edición Investigadores y participantes 1ª edición
Diciembre 2017 Encuesta de satisfacción de
participantes segunda edición Investigadores y participantes 2ª edición
Enero 2018 Reunión de cierre Directora de RRHH, Director
de área de calidad, Responsable de la formación interna, investigadores
Mayo 2018 Indicadores de satisfacción de
servicio año 2017 para grupos de control y primera edición
Investigadores
Diciembre 2018 Encuesta de seguimiento de
participantes segunda edición Investigadores y participantes 2ª edición
Mayo 2019 Indicadores de satisfacción de
servicio año 2016 para grupos de control y segunda edición
Investigadores, responsable de servicio de calidad, responsable de formación interna
En esta investigación-acción los participantes son personal de administración y servicios (PAS) cuyo puesto de trabajo actual está vinculado a servicios administrativos de departamentos. En la Universidad objeto de estudio hay otros colectivos (personal docente e investigador, técnicos, auxiliares de servicio) que pueden estar adscritos a centros, departamentos, institutos de investigación o servicios universitarios. Además el servicio de formación interna y el servicio de promoción de la calidad interna han actuado como promotores de esta investigación y colaborarán con los investigadores en el análisis de los resultados obtenidos y la difusión interna dentro de la universidad.
Para la identificación de los clientes internos y sus expectativas se desarrolló una dinámica de grupo de 40 minutos de duración, con 4-6 participantes por grupo, basada en Scholtes et al.(Scholtes et al., 2003/d :2-13 & 2-14) para responder a las siguientes:
Marin-Garcia, J.A.; Garcia-Sabater, J.J.; Maheut, J.
WPOM, Vol 9 Nº1 (1-13) 9
¿Quiénes son vuestros clientes internos y externos?
¿Qué es importante para los clientes internos del producto, procesos o servicios que prestamos? ¿Qué problemas tiene el cliente interno con el producto o servicio?
¿Qué cosas no funcionan bien? ¿Qué problemas identifica el grupo?
¿Cómo afectaría a los clientes externos o a los empleados XXXXX si redujéramos esos problemas?
¿Es el momento adecuado para resolverlos? ¿Por qué?
Para la identificación del tipo de mejora continua en la organización se creó un cuestionario para responder individualmente, basado en una selección de ítems adaptados de Chiarini & Bracci (Chiarini & Bracci, 2013/d) y Dahlgaard et al. (Dahlgaard et al., 2011/d):
1.¿Qué herramienta para mejora continua conoces: tormenta de ideas (BS), diagrama de afinidad (AD), pareto (Prt), diagrama causa-efecto (C&ED), gráficos de control(CC), histograma (Hist), gráficos de dispersión (Sct), hoja de toma de datos (DS)?
2.¿Usas alguna de esas herramientas en tu trabajo diario?¿Cuál? ¿Con qué frecuencia?
3. ¿Has participado en algún proyecto de mejora en la XXXXX?¿Participas actualmente en algún grupo formal de mejora?
4. ¿Conoces y has usado el PDCA o DMAIC?
5. ¿La XXXXX se esfuerza continuamente en reducir el tiempo de espera de los “clientes” de sus servicios?
6. ¿La XXXXX detecta y estandariza las mejores prácticas para ser más eficientes?
7. ¿Los empleados/funcionarios de la XXXXX contribuyen con sus sugerencias a mejorar los procedimientos estándar?
8. ¿Antes de resolver un problema, se analizan las causas raíz y se toman personalmente datos para verificar la situación?
9. ¿Hay indicadores de rendimiento de todos los procesos importantes?
También se usó otra dinámica de grupos (4-6 participantes por grupo y 30 minutos de actividad) para identificar las barreras y facilitadores para el despliegue de la mejora continua utilizando el enfoque de Force field analysis (Burnes & Cooke, 2013; Cronshaw & McCulloch, 2008; Swanson & Creed, 2014). Para la identificación del mapa de procesos para los departamentos y para la identificación de áreas potenciales de mejora en ellos se enlazaron varias dinámicas de grupo a lo largo del taller para:
1. Vincular las áreas potenciales de mejora a los procesos principales del departamento 2. Identificar áreas de mejora interna y externa (sólo en la segunda iteración)
3. Priorizar las áreas de mejora
4. Plan de acción para las áreas de mejora prioritarias
Una vez finalizado el evento de mejora continua se evaluó su impacto por medio de tres fuentes de datos. Los dos primeros son encuestas oficiales del sistema de garantía de calidad de la organización: la
Marin-Garcia, J.A.; Garcia-Sabater, J.J.; Maheut, J.
WPOM, Vol 9 Nº1 (1-13) 10
encuestas de satisfacción de los participantes al finalizar la intervención (El contenido impartido será útil para su puesto de trabajo; Considera conveniente la futura impartición de este módulo ;En general estoy satisfecho/a con el curso); y los datos de calidad de servicio (recogidos en mayo de cada año evaluando la calidad de todos los servicios de la universidad, encuestando a los usuarios directos de cada servicio. Concretamente para cada departamento se recogen la satisfacción general, información recibida, sencillez de los mecanismos, adecuación de los plazos, trato recibido y profesionalidad del PAS del departamento en 5 dimensiones: Apoyo administrativo del Departamento en la solicitud y tramitación de ayudas; Gestión económico-administrativa de la actividad I+D+I realizada por PAS de Departamento; Apoyo administrativo del Departamento en los títulos de máster oficial y los programas de doctorado; Apoyo al equipo de dirección del Departamento (órganos colegiados, agenda, viajes y eventos, informe); Gestión económica realizada por el PAS Departamento del cual es miembro directivo. Los informantes son estudiantes matriculados en títulos adscritos a departamentos y doctorado; personal docente e investigador de la universidad; equipo directivo de departamentos.
La tercera fuente de datos fueron los propios participantes valorando la utilidad del evento de mejora continua un año después. Para ello se creó un cuestionario ad-hoc con una pregunta cerrada “¿Has aplicado los conocimientos/habilidades del curso 2016 Organización del trabajo y planificación del tiempo en los departamentos para mejorar algo en tu departamento o la universidad?” (Branco et al., 2017; Young, 2011, ítems 7,10, 12, 24 y 25) y una pregunta abierta “Si has contestado "nada" a la pregunta anterior, indica por qué. Si has contestado alguna de las otras opciones, describe en qué cosas lo has aplicado y en qué te ayudado el curso que hiciste”. Además, se les consultó el interés por incorporarse activamente a una de las propuestas de implantación de la segunda edición “En la edición 2017 de este curso hemos puesto en marcha una WIKI para la colaboración entre PAS del departamento donde podáis recoger y resolver preguntas frecuentes de PAS departamental e identificar áreas de mejora en los departamentos XXXXX. Este espacio es de acceso libre para lectura, ¿Te interesaría que te diera acceso para poder hacer aportaciones (permisos de escritura)?”
Acknowledgments
We thank to anonymous reviewers for highly constructive and helpful feedback that allowed us to improve our manuscript substantially.
Declaration of conflicting interests
The author(s) declared no potential conflicts of interest with respect to the research, authorship, and/or publication of this article.
The first and second authors contributed equally to this research. Third author acts as a blind coder (without intervene in the workshops to guarantee independent thought and generalizability of data interpretation) and contributes in the theoretical framework, design and analysis of data.
Funding
Marin-Garcia, J.A.; Garcia-Sabater, J.J.; Maheut, J.
WPOM, Vol 9 Nº1 (1-13) 11
Referencias
Agmoni, E. (2016). The role of kaizen in creating radical performance results in a logistics service provider. Logforum, 12(3), 225-245. doi:10.17270/j.log.2016.3.4
Alfaro, J. A., Avella, L., & Mejía-Villa, A. (2016). Concerning the increasing relevance of action research methodology in improving collaboration between researchers and industry in the field of operations management. Paper presented at the 23rd EurOMA conference. TRondheim. Norway.
Audretsch, D. B., Martinez-Fuentes, C., & Pardo-del-Val, M. (2011). Incremental innovation in services through continuous improvement. Service Industries Journal, 31(12), 1921-1930. doi:10.1080/02642069.2011.552977
Baril, C., Gascon, V., Miller, J., & Cote, N. (2016). Use of a discrete-event simulation in a kaizen event: A case study in healthcare. European Journal of Operational Research, 249(1), 327-339. doi:10.1016/j.ejor.2015.08.036
Branco, D., Wicks, A. M., & Visich, J. K. (2017). Using quality tools and methodologies to improve a hospital's quality position. Hospital topics, 95(1), 10-17. doi:10.1080/00185868.2017.1279514 Burnes, B., & Cooke, B. (2013). Kurt lewin's field theory: A review and re-evaluation. International
Journal of Management Reviews, 15(4), 408-425. doi:10.1111/j.1468-2370.2012.00348.x Clayton, M. (1995). Encouraging the kaizen approach to quality in a university. Total Quality
Management, 6(5-6), 593-601.
Cronshaw, S. F., & McCulloch, A. N. A. (2008). Reinstating the lewinian vision: From force field analysis to organization field assessment. Organization Development Journal, 26(4), 89-103. Chiarini, A., & Bracci, E. (2013). Implementing lean six sigma in healthcare: Issues from italy. Public
Money & Management, 33(5), 361-368. doi:doi: 10.1080/09540962.2013.817126
Dahlgaard, J. J., Pettersen, J., & Dahlgaard-Park, S. M. (2011). Quality and lean health care: A system for assessing and improving the health of healthcare organisations. Total Quality Management & Business Excellence, 22(6), 673-689. doi:doi: 10.1080/14783363.2011.580651
de los Ríos-Carmenado, I., Sastre-Merino, S., Jiménez, C. F., Río, M. C. N. D., Pozo, E. R., & Arjona, N. G. (2016). Proposals for improving assessment systems in higher education: An approach from the model 'working with people'. Journal of Technology and Science Education, 6(2), 104-120. doi:10.3926/jotse.192
Dick, B. (2009). Action research literature 2006 2008. Action Research, 7(4), 423-441.
Erdogan, S., Quesada-Pineda, H., & Bond, B. (2017). An empirical tool to measure the effectiveness of kaizen events: A case study in the wood products industries. Forest Products Journal, 67(3-4), 164-178. doi:10.13073/fpj-d-16-00044
Farris, J. A., Van Aken, E. M., Doolen, T. L., & Worley, J. (2009). Critical success factors for human resource outcomes in kaizen events: An empirical study. International Journal of Production Economics, 117(1), 42-65.
García, C. J., Dueñas, R. M., Tanco, R. M., Diez, E. V., & García, J. S. (2010). Sustainability of continuous improvement systems in industry: Survey of bac and navarre. Intangible Capital, 6(1), 51-77. doi:10.3926/ic.2010.v6n1.p51-77
Gast, I., Schildkamp, K., & van der Veen, J. T. (2017). Team-based professional development interventions in higher education: A systematic review. Review of Educational Research, 0034654317704306. doi:10.3102/0034654317704306
Marin-Garcia, J.A.; Garcia-Sabater, J.J.; Maheut, J.
WPOM, Vol 9 Nº1 (1-13) 12
Gohary, A., Alizadeh, H., & Hanzaee, K. H. (2016). How co-creation uplift suggestion systems' performance: Experimental studies in customer and employee sections. Asia-Pacific Journal of Business Administration, 8(2), 197-222. doi:10.1108/APJBA-11-2015-0095
Gonzalez Aleu, F., & Van Aken, E. M. (2016). Systematic literature review of critical success factors for continuous improvement projects. International Journal of Lean Six Sigma, 7(3), 214-232. doi:10.1108/ijlss-06-2015-0025
Gurung, G., Derrett, S., Gauld, R., & Hill, P. C. (2017). Why service users do not complain or have 'voice': A mixed-methods study from nepal's rural primary health care system. Bmc Health Services Research, 17. doi:10.1186/s12913-017-2034-5
Iwao, S. (2017). Revisiting the existing notion of continuous improvement (kaizen): Literature review and field research of toyota from a perspective of innovation. Evolutionary and Institutional Economics Review, 14(1), 29-59. doi:10.1007/s40844-017-0067-4
Jaca, C., Suárez-Barraza, M. F., Viles-Díez, E., Mateo-Dueñas, R., & Santos-Garcia, J. (2011). Encuesta de sostenibilidad de sistemas de mejora continua: Comparativa de dos comunidades industriales de españa y méxico. Intangible Capital, 7(1), 143-169.
Jurburg, D., Viles, E., Tanco, M., & Mateo, M. (2016a). What motivates employees to participate in continuous improvement activities? Total Quality Management & Business Excellence, (advanced on-line). doi:http://dx.doi.org/10.1080/14783363.2016.1150170
Jurburg, D., Viles, E., Tanco, M., Mateo, R., & Lleó, A. (2016b). Measure to succeed: How to improve employee participation in continuous improvement. Journal of Industrial Engineering and Management, 9(5), 1059-1077. doi:10.3926/jiem.2074
Karel, L. I., Delisle, D. R., Anagnostis, E. A., & Wordell, C. J. (2017). Implementation of a formulary management process. American Journal of Health-System Pharmacy, 74(16), 1245-1252. doi:10.2146/ajhp160193
Lasrado, F., Arif, M., Rizvi, A., & Urdzik, C. (2016). Critical success factors for employee suggestion schemes: A literature review. International Journal of Organizational Analysis, 24(2), 315-339. doi:10.1108/IJOA-04-2014-0753
Marin-Garcia, J. A. (2015). Publishing in two phases for focused research by means of "research collaborations". WPOM-Working Papers on Operations Management, 6(2), 76-80. doi:http://dx.doi.org/10.4995/wpom.v6i2.4459
Marin-Garcia, J. A., Bautista Poveda, Y., & Garcia-Sabater, J. J. (2014). Levels in the evolution of continuous improvement: A multiple case study. Intangible Capital, 10(3), 584-618. doi:http://dx.doi.org/10.3926/ic.425
Marin-Garcia, J. A., Bautista Poveda, Y., Garcia-Sabater, J. J., & Vidal Carreas, P. I. (2010). Implantación de la innovación continua en la gestión de operaciones: Una revisión de la literatura. Innovar, 20(38), 77-95.
Marin-Garcia, J. A., Garcia-Sabater, J. J., Maheut, J., Valero-Herrero, M., & Andres-Romano, C. (2012). Gestión de recursos humanos para ingenieros de la rama industrial. Harlow: Pearson Education.
Marin-Garcia, J. A., Pardo del Val, M., & Bonavia, T. (2008). La mejora continua como innovación incremental. El caso de una empresa industrial española. Economia Industrial(368), 155-169. Middel, R., Coghlan, D., Coughlan, P., Brennan, L., & McNichols, T. (2006). Action research in
collaborative improvement. International Journal of Technology Management, 33(1), 67-91. Miles, M. B., Huberman, A. M., & Saldana, J. (2013). Qualitative data analysis: A methods sourcebook:
Marin-Garcia, J.A.; Garcia-Sabater, J.J.; Maheut, J.
WPOM, Vol 9 Nº1 (1-13) 13
Naslund, D., Kale, R., & Paulraj, A. (2010). Action research in supply chain management - a framework for relevant and rigorous research. Journal of Business Logistics, 31(2), 331-355.
Ortega y Gasset, J. (2015 (1a ed 1930)). La misión de la universidad: Cátedra.
Pinto, M. J. A., & Mendes, J. V. (2017). Operational practices of lean manufacturing: Potentiating environmental improvements. Journal of Industrial Engineering and Management, 10(4 Special Issue), 550-580. doi:10.3926/jiem.2268
Pujol-Cols, L. J. (2016). Satisfacción laboral en docentes universitarios: Medición y estudio de variables influyentes. REDU. Revista de Docencia Universitaria, Vol. 14, Núm. 2 (2016). doi:10.4995/redu.2016.5974
Ramírez, K. A., & Álvaro, V. P. (2017). Continuous improvement practices with kaizen approach in companies of the metropolitan district of quito: An exploratory study. Intangible Capital, 13(2), 479-497. doi:10.3926/ic.901
Sanchez, L., & Blanco, B. (2014). Three decades of continuous improvement. Total Quality Management & Business Excellence, 25(9-10), 986-1001. doi:10.1080/14783363.2013.856547
Sanchez, L., & Blanco, B. (2016). Review of professional literature from the hispanic world on the field of continuous improvement: 1990-2011. Revista Espanola De Documentacion Cientifica, 39(1). doi:10.3989/redc.2016.1.1264
Scholtes, P. R., Joiner, B. L., & Streibel, B. J. (2003). The team handbook. Madison: Oriel.
Schwarz, U. v. T., Nielsen, K. M., Stenfors-Hayes, T., & Hasson, H. (2017). Using kaizen to improve employee well-being: Results from two organizational intervention studies. Human relations, 70(8), 966-993. doi:10.1177/0018726716677071
Suarez-Barraza, M. F., & Rodriguez-Gonzalez, F. G. (2015). Bringing kaizen to the classroom: Lessons learned in an operations management course. Total Quality Management & Business Excellence, 26(9-10), 1002-1016. doi:10.1080/14783363.2015.1068594
Sunder, V. M. (2016). Constructs of quality in higher education services. International Journal of Productivity and Performance Management, 65(8), 1091-1111. doi:10.1108/ijppm-05-2015-0079
Swanson, D. J., & Creed, A. S. (2014). Sharpening the focus of force field analysis. Journal of Change Management, 14(1), 28-47. doi:10.1080/14697017.2013.788052
White, W. F. (1991). Participatory action research. New York: SAGE publications.
Wooddell, V. (2009). Employee empowerment, action research and organizational change: A case study. Organization Management Journal, 6(1), 13-20. doi:doi: 10.1057/omj.2009.10
Yermakova, S. (2016). Fundamental aspects of implementing lean production into educational process of higher technical educational institutions. Science and Education(1), 62-66.
Young, M. (2011). The continuous improvement grid: An empirical investigation into the effectiveness of a systems, and action research, based continuous improvement intervention, for 'new' organisation development. Systemic Practice and Action Research, 24(5), 453-478.
Working Papers on Operations Management. Vol. 9, Nº1 (14-29) ISSN: 1989-9068 http://dx.doi.org/10.4995/wpom.v9i1.9172 14
WPOM
Protocol:
Literature review on the psychometric properties of the short
versions of the scales of social desirability in the answers to competency
self-assessment questionnaires
Protocolo: revisión de literatura sobre las propiedades psicométricas de las
versiones cortas de las escalas de deseabilidad social en las respuestas a
cuestionarios de autoevaluación de competencias
Juan A. Marin-Garciaa, Estefanía Betancourb and Martha Girlado-O’Mearac
aROGLE. Dpto. de Organización de Empresas. Universitat Politècnica de València. Camino de Vera S/N 46021
Valencia. [email protected], b Escuela de Ingeniería de Antioquia, Colombia [email protected]
and c Departamento de Personalidad, Evaluación y Tratamientos Psicológicos. Grupo de Investigación y Tratamiento
de las Obsesiones y Compulsiones de la Universitat de València (I’TOC). Facultad de Psicología. Universitat de València (España). [email protected]
Recibido: 2017-01-10 Aceptado: 2018-02-14 Abstract
Research in business organization in general and talent management (in university or professional students) uses in many cases self-administered questionnaires as a source of data to assess people's competencies. In clinical psychology, it has been shown that self-evaluations of behaviors may present a bias of social desirability. However, even in this field of research it is not usual to measure its effect when taking data. Our work proposes a protocol to find a set of scales of social desirability (SD) with less than 20 items that are valid and reliable. We also intend to identify if SD scales are associated with the self-assessments of some transversal competences.
Keywords: Literature review; protocol: social desirability; short version; scales; soft skills
Resumen
La investigación en organización de empresas en general y la gestión del talento (en alumnos universitarios o profesionales) usa en muchos casos los cuestionarios auto-administrados como fuente de datos para evaluar las competencias de las personas. En el área de la psicología clínica se ha demostrado que las auto-evaluaciones de conductas o comportamientos pueden presentar un sesgo de deseabilidad social. Sin embargo, ni siquiera en ése campo de investigación es habitual que se mida su efecto al tomar datos. Nuestro trabajo plantea un protocolo para encontrar un conjunto de escalas de deseabilidad social (SD) con menos de 20 ítems que sean válidas y fiables. Además pretendemos identificar si las escalas de SD están asociadas a las auto-valoraciones de algunas competencias transversales.
Palabras clave: Revisión de literatura; protocolo; deseabilidad social; escalas; cuestionarios; versiones cortas; competencias transversales
Marin-Garcia, J.A.; Betancour, E.; Girlado-O’Meara, M.
WPOM, Vol 9 Nº1 (14-29) 15
Antecedentes para la revisión sistemática
La deseabilidad social (SD) es la tendencia que pueden presentar las personas que responden a un cuestionario a elegir una opción que pueda ser vista más favorablemente (o menos desfavorablemente) por otros o que la persona entrevistada crea que pueda ser socialmente más aceptada que la verdadera respuesta (Lavrakas, 2008; Tracey, 2016).
En caso de existir un patrón de respuestas socialmente deseables, se está introduciendo una varianza sistemática que no se debe a los constructos que se pretenden medir sino a una variable intermedia, que se relaciona con ellos (la SD). De modo que, al analizar las relaciones entre los constructos de interés, estas están afectadas por una variable no controlada y afecta a la validez de las conclusiones que se puedan extraer (Holden, Lambert, D’Agata, & Book, 2017).
Esta tendencia se ha observado que tiene más incidencia cuando se están midiendo variables de personalidad, habilidades, actitudes y conductas por medio de cuestionarios auto-administrados (self-reported) (Fisher & Katz, 2000; King et al., 2000). Por ello se considera una de las fuentes de sesgo cuando la fuente de información sobre habilidades o competencias es la misma persona evaluada (Lavrakas, 2008).
Precisamente, la evaluación de competencias transversales (soft-skills), es un tema actual en docencia universitaria puesto que, por un lado, existe una demanda explícita de la sociedad para tener profesionales formados, además de en competencias específicas, en competencias transversales (Ayhan & Oztemel, 2014; Katou, 2008; Marin-Garcia et al., 2014; Marin-Garcia et al., 2017; Marin-Garcia et al., 2009; Marin-Garcia & Martinez Tomas, 2016; Martínez Gómez et al., 2016; Pujol-Jover et al., 2015; Santandreu-Mascarell et al., 2011; Williams & Figueiredo, 2014). Por otro lado, resulta extremadamente complicado medir las competencias transversales por parte de los profesores o mandos, sobre todo ante grupos numerosos de estudiantes o subordinados (Ayhan & Oztemel, 2014; Halfhill & Nielsen, 2007; Medina-López et al., 2011; Ramirez Bayarri et al., 2016). Por ello, a veces es necesario plantearse la posibilidad de que sean los propios evaluados los que se auto-evalúen esas competencias transversales (Anthony & Garner, 2016; Butter & van Beest, 2017; Marin-Garcia et al., 2016; Marin-Garcia et al., 2017; Marin-Garcia et al., 2015; Ramirez Bayarri et al., 2016; Watts et al., 2012). Sin embargo no hay una respuesta concluyente acerca de si, en general, los alumnos o los profesionales pueden ser unos buenos evaluadores de sus propias competencias o habilidades (De Grez et al., 2012; Diez et al., 2013; García-Ros, 2011; Gopinath, 1999; Jonsson & Svingby, 2007; Leach, 2010; Marin-Garcia & Santandreu-Mascarell, 2015; Stefani, 1994).
Precisamente, la principal causa que se menciona entre profesores y mandos, para no confiar en las auto-evaluaciones de los estudiantes o de los candidatos a puestos de trabajo (respectivamente), es la posible presencia del sesgo de SD que, paradójicamente, se teme pero no se comprueba si existe (no se incluyen escalas específicas para contrastar si se da la SD o no). Una forma fácil de estimar el impacto de la SD en las contestaciones es comprobar la correlación que existe entre una escala de SD y las variables predictoras y de criterio de la investigación que nos interesa (Fisher & Katz, 2000). Si la correlación es significativa y elevada, es lícito pensar que las medidas obtenidas están afectadas por el sesgo de SD y deben tomarse las medidas que se consideren oportunas.
Marin-Garcia, J.A.; Betancour, E.; Girlado-O’Meara, M.
WPOM, Vol 9 Nº1 (14-29) 16
Revisiones o publicaciones anteriores sobre el tema
En general el uso de escalas de SD está relacionados con la psicología clínica (Perinelli & Gremigni, 2016). La mayoría de los estudios que usan la escala de SD, lo hacen para identificar patrones de sesgo en cuestionarios sobre consumo de drogas o sustancias adictivas (Isenhart, 1994; Zemore, 2012; Zemore & Ajzen, 2014) o sobre comportamientos o actitudes indeseables (DiLillo et al., 2010; Karakurt, Erguner-Tekinalp, Terzi, Ergüner-Erguner-Tekinalp, & Terzi, 2009; Voller, Long, & Aosved, 2009). Pocas veces se ha usado en los procesos de validación de escalas o modelos relacionados con el área de gestión de empresas (King et al., 2000).
Entre las escalas más utilizadas para medir la SD podemos considerar la de Marlowe y Crowne (1960), que se compone de 33 ítems (Beretvas, Meyers, & Leite, 2002; Crowne & Marlowe, 1960; Holden et al., 2017). Esta escala cuenta con versiones en castellano (Ferrando & Chico Librán, 2000; Ferrando & Anguiano-Carrasco, 2010;Gutiérrez, Sanz, Espinosa, Gesteira, & García-Vera, 2016) y versiones cortas con menos ítems (Andrews & Meyer, 2003). Además, ha sido empleada en el contexto de organización de empresas (Thompson & Phua, 2005).
No obstante, existen otras propuestas de escalas de SD, que no solo pretenden ser más modernas que la de Marlowe y Crowne (1960), sino que incluyen sub-dimensiones (Paulhus & Reid, 1991). Aunque no queda del todo claro que, en las propuestas de sub-dimensiones de la SD, esas dimensiones (impression management, self-deception, level of involvement, perceived benefits and social norms) sean siempre las mismas(Lee & Woodliffe, 2010). También existen versiones reducidas de la escala de Paulhus y Reid (1991) (Bobbio & Manganelli, 2011) o escalas generadas como versiones cortas como la SDS-17 (Stöber & Stober, 1999) o la sub-escala de sinceridad en el cuestionario de personalidad de Eysenck (Ferrando & Anguiano-Carrasco, 2010; Francis et al., 1992; Sandin et al., 2002).
En algunos estudios no se han obtenido validaciones adecuadas de algunas de las escalas y se propone que se revisen las propiedades psicométricas de las mismas (Beretvas et al., 2002). En otros, se han validado versiones cortas de los cuestionarios clásicos (Greenberg & Weiss, 2012) pero, probablemente, sería necesaria una replicación de esos trabajos puesto que usan muestras muy específicas (centradas en algunos colectivos o muestras de países anglosajones).
Hemos localizado dos revisiones de literatura relativamente recientes. Una de ellas (Tracey, 2016) define qué es SD, cómo se manifiesta y qué sesgos produce en el ámbito de counseling psychology research. La otra (van de Mortel, 2008) se centra en cuantificar el número de investigaciones del área de salud que usan escalas de SD para controlar sus posibles efectos. Los autores encuentran que solo un 0,2% de los artículos usan escalas de SD y, en esos pocos (N=31), la mitad de ellos consideran que la SD influye en los resultados.
Además, parece que la adecuación de las escalas de SD puede depender de la población a la que se encuesta. Por ejemplo, es posible que las escalas usadas en estudios de salud mental no sean adecuadas cuando los constructos principales de la investigación se analizan en contextos de empresas sin ánimo de lucro u organizaciones no gubernamentales (Lee & Woodliffe, 2010). Esto podría extenderse a contextos específicos como evaluación de competencias en educación superior o evaluación del talento en las organizaciones.
Marin-Garcia, J.A.; Betancour, E.; Girlado-O’Meara, M.
WPOM, Vol 9 Nº1 (14-29) 17
¿Por qué es importante hacer esta revisión y preguntas de investigación?
Tal como se ha presentado en las secciones anteriores, existen diferentes versiones de escalas, algunas creadas hace muchos años y quizás tengan preguntas que no encajen en contextos modernos. Por otra parte, existen escalas largas (en torno a los 30-40 ítems) y escalas cortas (entre 10-17 ítems). Además, el hecho de trabajar con sub-dimensiones de la SD puede tener efectos en la longitud de las escalas (y por lo tanto en el esfuerzo de contestación de las personas que responden al cuestionario). Por último, no queda claro si las escalas cortas pueden ser suficientes para detectar con validez y fiabilidad la SD en entornos de evaluación de competencias en el contexto de educación superior o gestión de recursos humanos de las empresas. Precisamente parece haber escasez de trabajos que analicen la SD fuera del ámbito de la salud y más concretamente fuera del estudio de comportamientos patológicos. ¿Es posible que las escalas desarrolladas en esos contextos no sean adecuadas en entornos de población general o cuando lo que se evalúa con los cuestionarios son competencias? ¿Cuál sería la escala más adecuada y breve que se podría usar en este contexto?
Por ello consideramos necesaria hacer esta revisión para responder a las siguientes preguntas:
1. Analizar cuáles de los cuestionarios de SD es más citado (desde la fecha en que ha sido propuesto y en los últimos 5 años). Confirmar si el cuestionario de Marlowe y Crowne (1960) sigue siendo el más reutilizado o si ha sido sustituido por otros más modernos
2. ¿Qué versiones de escalas cortas (menos de 20 ítems) existen para medir la SD? ¿Presentan buenas propiedades psicométricas?
3. ¿En qué contextos se han usado las escalas detectadas en los objetivos 1 y 2?
a. Muestra (país, edad, evaluación de competencias/habilidades, tipo de participante -estudiantes o profesionales-)
b. ¿Existen versiones validadas en castellano? ¿Propiedades psicométricas de la versión castellana comparada con la inglesa?
c. Qué papel juega el constructo SD en los modelos de estructura de las investigaciones (antecedente, consecuencia, moderador, mediador, ajuste/control)
4. Entre las versiones cortas, ¿cuáles se han usado en investigaciones donde también se han evaluado las competencias/habilidades (y no de salud mental o enfermedad o comportamientos patológicos)?
a. Para cada una de las competencias, ¿cuál es la correlación entre valor de SD y las competencias/capacidades/habilidades?
5. ¿Qué preguntas de investigación sobre cuestionarios de SD quedan abiertas en 2017 y sería interesante investigar en el futuro?
6. Identificar revistas potenciales que publiquen sobre SD y evaluación de competencias (tanto revisiones de literatura narrativas, como empíricos de validación de cuestionarios SD)
Uno de los principales resultados que pretendemos obtener es un "censo" de las escalas de SD en castellano, con menos de 20 ítems y saber si son válidas y fiables.
Adicionalmente, como objetivo colateral, nos gustaría identificar si las escalas de SD están asociadas a auto-valoraciones de liderazgo o competencias como creatividad, pensamiento crítico, innovación, iniciativa o trabajo en equipo. Es decir, si al contestar a escalas de estas competencias la gente tiende tener puntuaciones elevadas cuando tienen puntos elevados en las escalas de SD.
Marin-Garcia, J.A.; Betancour, E.; Girlado-O’Meara, M.
WPOM, Vol 9 Nº1 (14-29) 18
Metodología
En esta revisión buscamos artículos que desarrollen o analicen escalas de SD de "pocos" ítems y, sobre todo, nos interesan aquellos que comparen la fiabilidad u otras propiedades psicométricas de las escalas cortas respecto a escalas largas.
Para ello seguiremos las recomendaciones de protocolo sugeridas por varios autores (Marin-Garcia, 2015; Marin-Garcia et al., 2015; Medina-López et al., 2011; Medina-López et al., 2010; Saunders et al., 2016) y que pasamos a detallar a continuación.
Criterios de inclusión
1. Artículos científicos publicados en revistas con proceso de revisión por pares, en inglés, castellano, alemán, italiano o francés.
2. Indexados en Scopus o Web Of Science en las categoria de Social science
3. Estudios teóricos, revisiones de literatura o estudios de campo/experimentos/cuasi-experimentos que definan las características de las escalas de SD o que proporcionen evidencias del grado de uso o las ventajas o inconvenientes de cada una de las versiones de escalas de SD, cuando se aplican a evaluar la competencias de las personas que trabajan en una organización o de estudiantes universitarios
4. Publicados en revistas del área de Bussiness Management o psychology, especialmente en el campo de gestión de recursos humanos (HRM) en empresas (reclutamiento, evaluación del desempeño o formación)
5. Trabajos cuyos cuestionarios hayan sido respondidos por las propias personas evaluadas y centrados en competencias transversales
Criterios de exclusión
1. Observación de comportamientos patológicos o enfermedades psicológicas o educación especial (trastornos del espectro autista, trastorno bipolar y trastornos relacionados, esquizofrenia, etc.) 2. Áreas diferentes de Social Science (por ejemplo: psiquiatría, educación especial…)
3. Competencias agregadas a nivel de grupo de personas o de una organización 4. Muestra compuesta por personas menores de 18 años o mayores de 65 años
5. La construcción o validación de una escala de SD no es una de las principales contribuciones del artículo
6. Escalas de SD específicas para estudios de salud o de enfermedad.
Estrategias de búsqueda automáticas para la identificación de estudios relevantes (búsquedas realizadas en marzo 2017)
Scopus Resultados
(TITLE-ABS-KEY("Social Desirability" and (questionnaire or scale)) AND TITLE-ABS-KEY(short)) AND
SUBJAREA(MULT OR ARTS OR BUSI OR DECI OR ECON OR PSYC OR SOCI) 152
WOS Resultados
Marin-Garcia, J.A.; Betancour, E.; Girlado-O’Meara, M.
WPOM, Vol 9 Nº1 (14-29) 19
Método para filtrar los estudios
Todas las referencias se volcarán a un gestor de bibliografía (EndNote o Mendeley) y se eliminarán los duplicados. Posteriormente el primer autor y la segunda autora harán, de manera independiente, una selección de las referencias a incluir en el trabajo. Las referencias se etiquetarán como incluida, o dudosa, siendo todas las demás descartadas (ver Tabla 1). Una vez concluida la clasificación independiente, los dos primeros autores compartirán sus resultados y resolverán las divergencias o referencias dudosas. La tercera autora actuará como árbitro en caso de que los dos primeros no consigan resolver sus diferencias respecto a alguna de las referencias. En la Figura 1 (Moher et al., 2009) representamos el resultado del filtrado independiente del primer autor antes de consensuar resultados con la segunda autora.
Tabla 1.- libro de códigos para la fase de screening
Código Descripción
Dudoso 1. Definición: referencias que no está claro si cumplen los criterios de inclusión o si se ven afectados por los criterios de exclusión
2. Cuándo usar: cuando se carece de resumen del artículo y en el título no queda claro si encajan en el objetivo de la revisión. Siempre que dudemos mantendremos la referencia y la analizaremos con el texto completo
3. Cuándo no usar: si está claro que se cumple alguno de los criterios de exclusión
4. Ejemplo: Dicken, C., & Wiggins, J. S. (1964). The social desirability scale is not a short form of the mmpi - a reply to edwards and walker. Psychological Reports, 14(3), 711–714.
Seleccionado, estudio individual
1. Definición: referencias que en el título y resumen queda claro que interesan para la revisión y se trata de una investigación de campo
2. Cuándo usar: cuando se cumplan los criterios de inclusión y no afecten los de exclusión 3. Cuándo no usar: si se trata de una revisión o meta-análisis
4. Ejemplo: Vésteinsdóttir, V., Reips, U. D., Joinson, A., & Thorsdottir, F. (2015). Psychometric properties of measurements obtained with the marlowe-crowne social desirability scale in an icelandic probability based internet sample. Computers in Human Behavior, 49, 608-614. doi:10.1016/j.chb.2015.03.044
Seleccionado, revisión o meta-análisis
1. Definición: referencias que en el título y resumen queda claro que interesan para la revisión y se trata de una revisión o meta-análisis
2. Cuándo usar: cuando se indica que el objetivo de la investigación es resumir los resultados de varios estudios y para analizar alguna de las variables clave de nuestra revisión
3. Cuándo no usar: cuando no está claro si es una revisión de literatura (en este caso se etiquetarían como estudio individual)
4. Ejemplo: Tracey, T. J. G. (2016). A note on socially desirable responding. Journal of Counseling Psychology, 63(2), 224-232. doi:10.1037/cou0000135
No seleccionado (todos los que no estén marcados con los otros códigos)
1. Cuándo usar: cuando no se cumplen los criterios de inclusión
2. Ejemplo: Wong, Y. J., Horn, A. J., Gomory, A. M. G., & Ramos, E. (2013). Measure of men's perceived inexpressiveness norms (m2pin): Scale development and psychometric properties. Psychology of Men & Masculinity, 14(3), 288-299. doi:10.1037/a0029244
Marin-Garcia, J.A.; Betancour, E.; Girlado-O’Meara, M.
WPOM, Vol 9 Nº1 (14-29) 20
Figura 1.- Diagrama QUOROM/PRISMA del primer autor
Codificación
Una vez acordado el conjunto de artículos incluidos en la revisión se procederá a codificar y extraer la información con la ayuda del programa Atlas.ti (Friese, 2012). La segunda autora se encargará de la extracción inicial de datos que será contrastada por los otros dos autores. El libro de códigos a utilizar se muestra en la Tabla 2.
Tabla 2.- códigos para extracción de la información (ver ejemplo en anexo)
Id Código Descripción y sub categorías del código SCL Scale Escala de SD (autor y versión)
EXT Scale-long/short Tipo de escalas (corta si tiene menos de 18 items, larga en los demás casos).Número de ítems de la escala de SD
SAM Sample-size Tamaño de la muestra
COU Sample-country País o países de donde provienen las personas que contestan al cuestionario LAN Scale-Language Idioma/idiomas del cuestionario empleado
AGE Age Rango de edad de las personas que contestan al cuestionario
SFSK Soft Skills Yes/No si los participantes se auto-evalúan competencias transversales (en caso de Yes indicar cuál: liderazgo/iniciativa, creatividad, pensamiento crítico, trabajo en equipo, networking, otras) y correlación con valores de la escala de SD
STD Sample-students Yes/no. Si la muestra es de estudiantes universitarios. En caso de Yes, indicar titulación (ingeniería, humanidades, ciencias, salud) o si es general de varias titulaciones y si presenta datos estadísticos desglosados para estudiantes universitarios
ORG Sample-professionals
Yes/no si la muestra es de profesionales de organizaciones. En caso de Yes, indicar el tipo de organización (publico, privada, industria, servicios, otras) y si presenta datos estadísticos desglosados para profesionales
Marin-Garcia, J.A.; Betancour, E.; Girlado-O’Meara, M.
WPOM, Vol 9 Nº1 (14-29) 21
VAL scale validation Yes/no si el trabajo valida psicométricamente la escala de SD. En caso de Yes se codifican las propiedades psicométricas de la escala. Nos centramos sólo en consistencia interna (alpha de Cronbach, rho, fiabilidad compuesta), la varianza extraída de una dimensión (o de las dimensiones que hayan validado) y la bondad de ajuste del confirmatorio (RMSEA, AGFI, GFI…)
Además, anotamos el baremo si lo presentan (media, desviación estándar y percentiles para estratos de población)
ROLE SD role in the research
Qué papel juega el constructo SD en los modelos de estructura de las investigaciones (antecedente, consecuencia, moderador, mediador, ajuste/control)
GAP Future Research Posibles temas de investigación futura sobre escalas de SD
PREV Previous Research Aspectos relevantes de investigación previa que puedes justificar o negar el nicho de investigación futura o 1. Analizar cuáles de los cuestionarios de SD es más citado VVAR Validation
variables
Contexto u otras variables a tener en cuenta en el proceso de validación de escalas de SD. Pueden justificar la investigación futura si no se han contemplado en la investigación precedente
Mientras se codifica el conjunto de artículos incluidos, se revisarán las referencias citadas para extraer nuevas referencias seleccionadas con el procedimiento “bola de nieve” (Bryman & Bell, 2011).
Procedimiento de análisis cualitativo de los resultados
Se seguirá el procedimiento de codificación por etapas (Initial, Focused, Theoretical) (Charmaz, 2006). Una vez extraídos los datos se resumirán en forma de tabla para comodidad de interpretación. La Figura
2 y la Figura 3 presentan un ejemplo de los resultados de codificar Gutiérrez et al. (2016).
Figura 2. Plantilla para tabulación de datos de los diferentes estudios
Figura 3. Plantilla para tabulación de datos de effect size (normalmente correlación) entre competencias transversales (o rasgos de personalidad) y SD
Marin-Garcia, J.A.; Betancour, E.; Girlado-O’Meara, M.
WPOM, Vol 9 Nº1 (14-29) 22
Plan de trabajo
Literature search March 2017
Filtering and retrieval of studies July-September 2017
Pilot testing of study codes January 2018
Extraction of data from studies and double coding January - March 2018
Analysis April 2018
Preparation of report April – May 2018
Submission of final report June 2018
Response to review comments Upon receipt
Declaration of conflicting interests
The author(s) declared no potential conflicts of interest with respect to the research, authorship, and/or publication of this article.
The first and second authors contributed equally to this paper. Third author acts as a blind coder and contributes in the theoretical framework, design and analysis of data.
Funding
The author(s) received no financial support for the research, authorship, and/or publication of this article.
Anexo
Ejemplo recortado de codificación del trabajo: Gutiérrez, S., Sanz, J., Espinosa, R., Gesteira, C., & García-Vera, M. P. (2016). La Escala de Deseabilidad Social de Marlowe-Crowne: baremos para la población general española y desarrollo de una versión breve. Anales de Psicología, 32(1), 206–217. http://doi.org/10.6018/analesps.32.1.185471
Quotation Report ‒ Grouped by: Codes ○ Future research
Comment:
Posibles temas de investigación futura sobre escalas de SD
Active: 5 Quotations:
1:6 diferencias estandarizadas en sus puntuaciones entre adultos volunta…… (1:1200 [1:1478]) - D 1: Gutiérrez et al. - 2016 - La Escala de Deseabilidad Social de Marlowe-Crowne baremos para la población general española y desarrollo de
diferencias estandarizadas en sus puntuaciones entre adultos voluntarios y estudiantes universitarios o adultos de
selección/promoción alcanzaron tamaños del efecto medianos (d = 0.46 y 0.70), lo que justifica la creación de baremos específicos para adultos voluntarios.
1:55 En el presente estudio se han elaborado tales baremos de forma globa…… (10:1424 [10:2818]) - D 1: Gutiérrez et al. - 2016 - La Escala de Deseabilidad Social de Marlowe-Crowne baremos para la población general española y desarrollo de