Universidad de Concepción Dirección de Postgrado
Facultad de Ciencias Sociales - Programa de Doctorado en Psicología
Teoría de la Conducta Planificada e Intención de
Publicar Replicaciones en Psicología
Tesis para optar al grado al grado de Doctor en Psicología
CLAUDIO ENRIQUE BUSTOS NAVARRETE
CONCEPCIÓN-CHILE
2018
Profesor Guía: Dr. Alejandro Díaz Mujica Profesor Co-guía: Dr. Pedro Salcedo Lagos Departamento de Psicología, Facultad de Ciencias Sociales Universidad de Concepción
© 2018 Claudio Enrique Bustos Navarrete.
Para fines académicos, se autoriza la reproducción total o parcial por cualquier medio o procedimiento, incluyendo la cita bibliográfica del documento.
Esta tesis fue financiada por la Comisión Nacional de Investigación Científica y Tecnológica, Chile, Beca Doctorado Nacional Nº21151499.
A todos aquellos investigadores en psicología
quienes tratan de equilibrar la rigurosidad y la creatividad
Agradecimientos
A los más de mil investigadores en psicología que brindaron generosamente su valioso tiempo para responder las encuestas de esta investigación. Sin ellos, este estudio no habría sido posible.
A mis profesores guías, Dr. Alejandro Díaz y Dr. Pedro Salcedo, por su apoyo durante el proceso de elaboración de la tesis.
A mi familia, mi madre y mi hijo, por su constante apoyo, buen humor y comprensión por todo el tiempo dedicado a la tesis.
A Natalia Zañartu por su rol como coinvestigadora en la etapa de identificación de creencias y el gran apoyo entregado en la etapa de escritura del texto final. Fundamental en lo personal también ha sido su compañía, así como el de su hija, Martina.
A mis compañeros y compañeras del doctorado en todas sus etapas, Marco Valenzuela, Fabiola Sáez, Nancy Lepe, Karla Lobos, Carolina Inostroza, Astrid Sarmiento y Carlos Ramos, quienes han participado y apoyado en diversas etapas de la investigación.
A los jueces del instrumento, Dra. Pamela Grandón, Dra. María Vergara, Dr. Javier Bassi, Dr. Fernando Reyes, Dra. María Consuelo Sáiz Manzanares y
Dr. David González-Cutre, por su participación, vital para lograr un instrumento de calidad.
A Félix Cova y Daniela Bruna por su buena disposición y rigurosidad en la revisión del manuscrito final.
A Jaime Bravo, Bonnie Banks y Patricia González, por el constante apoyo en todo el proceso, y en particular en el periodo de escritura de los artículos relacionados a esta tesis.
A Lina Villota, por su apoyo en las etapas iniciales del proyecto y su participación en la ardua labor de revisión de la muestra.
A Daniel Lermanda, por su participación en la elaboración de las plataformas informáticas utilizadas en la investigación.
A Liz Medina, por su cuidadoso trabajo de traducción al inglés de los artículos y materiales relacionados a la presente investigación.
Al equipo de integración de Scopus, por su disposición para apoyar en todos los aspectos relativos al uso de dicha plataforma.
Tabla de contenido
Índice de tablas... x
Índice de ilustraciones... xiii
Resumen... xiv
1.Introducción... 1
2.Marco conceptual... 9
2.1.Replicación... 9
2.1.1.Definición de la replicación...9
2.1.2.Tipos de replicaciones...12
2.1.2.1.Taxonomía de Schmidt (2009)...12
2.1.2.2.Taxonomía de Hüffmeier, Mazei, & Schultze (2016)...17
2.1.3.Replicabilidad... 19
2.1.4.Estudios empíricos relacionados a la replicación y replicabilidad en psicología...25
2.1.4.1.Estudios sobre la frecuencia de realización de replicaciones antes del 2010. .25 2.1.4.2.Estudios sobre la replicabilidad en psicología...26
2.1.5.Formas de investigación en psicología relacionadas a la replicación...32
2.1.5.1.Replicaciones sistemáticas y críticas...33
2.1.5.2.Psicometría y adaptación de instrumentos...34
2.1.5.3.Reporte Registrado de Replicación...38
2.2.La crisis de replicabilidad...40
2.2.1.Breve desarrollo histórico de la crisis de la replicabilidad...40
2.2.2.Causas de la crisis de la replicabilidad...46
2.2.2.1.Pruebas estadísticas como forma de validación del conocimiento científico....47
2.2.2.2.Despreocupación por el poder estadístico y el tamaño de los efectos...54
2.2.2.3.Preferencia por investigaciones exitosas y novedosas...58
2.2.2.4.Sistema de incentivos en la carrera académica basada en la publicación...61
2.2.2.5.Prácticas de Investigación Cuestionables...63
2.2.2.6.Sesgo contra las replicaciones...68
2.2.2.7.Resistencia al cambio metodológico...71
2.2.3.Soluciones inefectivas a la crisis de la replicabilidad...73
2.2.4.Soluciones propuestas a la crisis de la replicabilidad...76
2.2.4.1.Recomendaciones para los investigadores...77
2.2.4.2.Recomendaciones para el proceso de publicación...81
2.2.4.3.Recomendaciones para las instituciones académicas...83
2.3.El estudio de la conducta científica por parte de la psicología...85
2.4.La Teoría de la Conducta Planificada...90
2.4.1.Características principales de la Teoría de la Conducta Planificada...90
2.4.2.Eficacia de la Teoría de la Conducta Planificada para predecir la conducta...98
2.4.3.La medición de las variables relacionadas con la Teoría de la Acción Planificada. 101 3.Problematización... 108
3.1.Preguntas de investigación...115
3.2.Hipótesis de investigación...116
3.3.Objetivos de investigación...118
4.Método... 120
4.1.Población... 122
4.2.Etapa 1: Construcción e identificación de indicadores de validez de instrumento...124
4.2.1.1.Participantes...126
4.2.1.2.Protocolo de muestreo, reclutamiento y recolección de información...128
4.2.1.3.Procedimiento...131
4.2.1.4.Análisis de datos de la identificación de creencias...134
4.2.2.Validación de contenido por expertos...134
4.2.3.Entrevista cognitiva...136
4.2.4.Prueba piloto... 137
4.3.Etapa 2: Estudio Creencias relacionadas con la replicación de estudios...140
4.3.1.Diseño... 140
4.3.2.Participantes... 140
4.3.3.Variables... 146
4.3.3.1.Administración del sistema...146
4.3.3.2.Demográficos de investigadores...147
4.3.3.3.Creencias... 150
4.3.3.4.Variables principales del modelo TCP...151
4.3.4.Instrumento de medida...152
4.3.5.Procedimiento... 164
4.3.6.Análisis de datos... 165
5.Resultados... 173
5.1.Creencias salientes relacionadas a la replicación...173
5.2.Actitud, norma subjetiva, control conductual percibido e intención conductual...181
5.3.Relación entre las variables principales del modelo TCP y creencias conductuales, normativas y de control... 184
5.3.1.Creencias conductuales...184
5.3.2.Creencias normativas...193
5.3.3.Creencias de control...200
5.4.Predicción de la intención conductual en función de la actitud, norma subjetiva, control conductual percibido... 209
5.4.1.Relación entre actitud e intención conductual...210
5.4.2.Relación entre norma subjetiva e intención conductual...213
5.4.3.Relación entre control conductual percibido e intención conductual...215
5.4.4.Modelo multivariado de regresión de actitud, norma subjetiva y control conductual percibido en intención conductual...218
6.Discusión... 223
6.1.Diferencias en actitud, norma subjetiva y control conductual percibido por tipo de replicación... 224
6.2.Creencias asociadas a la publicación de replicaciones...225
6.3.Explicación de la intención conductual por la actitud, norma subjetiva y control conductual ... 233
6.4.Mediación de las creencias en la relación entre tipo de replicación y actitud, norma subjetiva y control conductual percibido...234
6.5.Análisis de la varianza de los modelos de regresión sobre la intención conductual...236
6.6.Fortalezas y limitaciones...238
7.Conclusión... 244
8.Referencias... 252
9.Anexos... 280
Anexo A. Desarrollo histórico del concepto de replicación en psicología...281
Anexo B. Descripción de etapas protocolo de muestreo, reclutamiento y recolección de información... 286
Anexo C. Mensaje de invitación por e-mail para estudio final...291
Anexo D. Análisis temático de la identificación de creencias relacionadas con la replicación de estudios... 293
D.1.Metodología del análisis temático...293
D.2.Resultados del análisis temático...295
D.2.1.Beneficio de las replicaciones...296
D.2.2.Rechazo hacia las replicaciones...300
D.2.3.Beneficios de la adaptación de instrumentos...303
D.2.4.Actores y factores relevantes para la publicación de adaptaciones de instrumentos y replicaciones... 304
D.2.5.Tensiones metodológicas y epistemológicas relacionadas a las diferencias culturales... 308
Anexo E. Consentimiento informado encuesta identificación de creencias relacionadas con la replicación de estudios... 310
Anexo F. Consentimiento informado entrevista cognitiva...314
Anexo G. Evaluación de validez de contenido por jueces expertos...317
G.1.Instrumento de evaluación...317
G.1.1.Presentación... 317
G.1.2.Antecedentes... 318
G.1.3.Evaluación de viñetas...319
G.1.4.Evaluación de ítems pertinentes a variables del modelo TCP...319
G.1.5.Experiencia con estudios de replicación y la teoría de la conducta planificada...322
G.2.Resultados de la evaluación...322
Anexo H. Consentimiento informado encuesta creencias relacionadas con la replicación de estudios... 325
Anexo I. Cuestionario ‘Identificación de creencias relacionadas con la replicación de estudios’. ... 329
Anexo J. Cuestionario ‘Creencias relacionadas con la replicación de estudios’...336
Anexo K. Viñetas de descripción de tipo de replicación...352
Anexo L. Análisis psicométrico de escalas principales del modelo TCP...355
L.1.Análisis oblicuo de múltiples grupos...355
L.2.Análisis factorial exploratorio...358
L.3.Análisis factorial confirmatorio...362
L.4.Análisis de invarianza por tipo de replicación...363
L.5.Análisis de confiabilidad...364
L.6.Creencias de control, por tipo de replicación...366
Anexo M. Relación entre las variables principales TCP, demográficos de los participantes y su experiencia con replicaciones...371
M.1.Edad... 371
M.2.Sexo... 372
M.3.Nacionalidad... 373
M.4.Disciplina... 374
M.5.Estudios relacionados a la psicología...377
M.6.Trabajo... 379
M.7.Contexto en el que aprendió el concepto de replicación...381
M.8.Experiencia previa con la replicación...382
M.8.1.Leer artículos empíricos sobre replicación...382
M.8.3.Participar como investigador principal de una replicación...387
M.8.4.Supervisar la replicación de un alumno...389
M.8.5.Participar como co-investigador de una replicación...391
Índice de tablas
Tabla 4.1 Estratos para realización de muestreos, de acuerdo a información de Scopus...124
Tabla 4.2 Funciones de software específicos dentro del protocolo...129
Tabla 4.3 Nacionalidad y Residencia de participantes estudio Creencias relacionadas con la replicación de estudios...142
Tabla 4.4 Tipo de replicación y momento en que se aprendió el concepto...144
Tabla 4.5 Porcentaje de investigadores que ha realizado una vez o más distintas actividades de investigación, por tipo de replicación...145
Tabla 4.6 Variables relacionadas a la administración del sistema...146
Tabla 4.7 Variables sociodemográficos de los investigadores...147
Tabla 4.8 Variables relacionadas a la experiencia previa con replicaciones...149
Tabla 4.9 Variables relacionadas a creencias del modelo TCP...150
Tabla 4.10 Variables del modelo de TCP para replicaciones directas y conceptuales...151
Tabla 4.11 Ítems del diferencial semántico de Actitud...155
Tabla 4.12 Ítems de Norma Subjetiva...156
Tabla 4.13 Ítems de Control Conductual Percibido...157
Tabla 4.14 Ítems de Intención Conductual...158
Tabla 4.15 Consecuencias de realizar replicaciones, utilizadas para medir fuerza y evaluación de las creencias conductuales...160
Tabla 4.16 Referentes relevantes, utilizados para medir motivación a cumplir y fuerza de la creencia normativa... 161
Tabla 4.17 Factores que facilitan o dificultan la realización de replicaciones, utilizados para la medición de fuerza y valor de creencias de control...163
Tabla 5.1 Creencias conductuales salientes observadas en la identificación de creencias...175
Tabla 5.2 Creencias normativas observadas en la identificación de creencias...178
Tabla 5.3 Creencias de control observadas en la identificación de creencias...179
Tabla 5.4 Variables principales del modelo TCP, por tipo de replicación...182
Tabla 5.5 Resultados de los ANOVA para factores demográficos y de experiencia en las variables principales de TCP...184
Tabla 5.6 Creencias conductuales: Evaluación de resultado, fuerza de la creencia conductual y relación del producto eibi con la actitud...192
Tabla 5.7 Creencias normativas: Motivación a cumplir, fuerza de la creencia normativa y relación del producto mini con la norma subjetiva...198
Tabla 5.8 Creencias de control: Fuerza de la creencia de control (c), poder de la creencia (p) y relación del producto cipi con el control conductual percibido...206
Tabla 5.9 Regresión lineal de intención por actitud, comparación modelo homocedástico y heterocedástico...211
Tabla 5.10 Regresión lineal de intención por norma subjetiva, comparación modelo homocedástico y heterocedástico...214
Tabla 5.11 Regresión lineal de intención por control conductual percibido, comparación modelo homocedástico y heterocedástico...216
Tabla 5.12: Regresión de predicción de la intención conductual por tipo de replicación, actitud, norma subjetiva y control conductual percibido, para modelo homocedástico y
heterocedástico... 220
Tabla 9.1 Definiciones utilizadas en la evaluación de ítems por jueves...320
Tabla 9.2 Evaluación de la claridad y suficiencia de las viñetas introductorias...323
Tabla 9.3: Evaluación de la claridad, pertinencia y suficiencia de los ítems, por variable...324
Tabla 9.4 Resultado análisis OMG para variables principales del modelo TCP...356
Tabla 9.5 Análisis Factorial Exploratorio ítems de Control Conductual Percibido...360
Tabla 9.6 Análisis de invarianza por tipo de replicación, Modelo 2...363
Tabla 9.7 Consistencia interna de las escalas y subescalas principales del modelo TCP...365
Tabla 9.8 Creencias de control: Fuerza de la creencia de control, por tipo de replicación...366
Tabla 9.9 Creencias de control: Poder de la creencia de control, por tipo de replicación...367
Tabla 9.10 Creencias de control: Producto de fuerza de creencia de control y poder de la creencia de control, por tipo de replicación...369
Tabla 9.11 Regresión de la edad y el tipo de replicación en las variables de la TCP...372
Tabla 9.12 ANOVA Sexo X Tipo replicación, para las variables principales TCP...373
Tabla 9.13 ANOVA Nacionalidad X Tipo replicación, para las variables principales TCP...373
Tabla 9.14 Medias de control conductual percibido por país de nacionalidad...374
Tabla 9.15 Medias de intención conductual por país y tipo de replicación...375
Tabla 9.16 ANOVA Disciplina X Tipo replicación, para las variables principales TCP...375
Tabla 9.17 Medias de norma subjetiva por disciplina y tipo de replicación...376
Tabla 9.18 Medias de intención conductual por disciplina y tipo de replicación...377
Tabla 9.19 ANOVA Estudios en psicología X Tipo replicación, para las variables principales TCP. ... 377
Tabla 9.20 Medias de norma subjetiva por estudios y tipo de replicación...378
Tabla 9.21 Medias de intención conductual por estudios y tipo de replicación...379
Tabla 9.22 ANOVA tipo de trabajo X Tipo replicación, para las variables principales TCP...379
Tabla 9.23 Medias de control conductual percibido por tipo de trabajo...380
Tabla 9.24 Medias de intención conductual por tipo de trabajo...380
Tabla 9.25 ANOVA primer contacto con el concepto de replicación X Tipo replicación, para las variables principales TCP...381
Tabla 9.26 Medias de actitud, norma subjetiva, control conductual percibido e intención conductual por forma de primer contacto con el concepto de replicación...382
Tabla 9.27 ANOVA lectura artículos empíricos sobre replicación X Tipo replicación, para las variables principales TCP...383
Tabla 9.28 Medias de actitud, norma subjetiva e intención conductual de acuerdo a las veces que ha leído artículos empíricos sobre replicación...383
Tabla 9.29: Medias de control conductual percibido por tipo de replicación, de acuerdo a las veces que ha leído artículos empíricos sobre replicación...384
Tabla 9.30 ANOVA lectura artículos teóricos o metodológicos X Tipo replicación, para las variables principales TCP...385 Tabla 9.31: Medias de actitud y norma subjetiva de acuerdo a las veces que ha leído artículos
teóricos o metodológicos como replicación...385 Tabla 9.32: Medias de control conductual percibido por tipo de replicación, de acuerdo a las
veces que ha leído artículos teóricos o metodológicos sobre replicación...386 Tabla 9.33: Medias de intención conductual por tipo de replicación, de acuerdo a las veces que
ha leído artículos teóricos o metodológicos sobre replicación...387 Tabla 9.34 ANOVA participar como investigador principal X Tipo replicación, para las variables
principales TCP... 387 Tabla 9.35: Medias de actitud, norma subjetiva e intención conductual por veces que ha
participado como investigador principal en replicaciones...388 Tabla 9.36: Medias de control conductual percibido por tipo de replicación, de acuerdo a las
veces que ha participado como investigador principal...389 Tabla 9.37 ANOVA Supervisar la replicación de un alumno X Tipo replicación, para las variables
principales TCP... 389 Tabla 9.38: Medias de actitud, norma subjetiva e intención conductual por veces que ha
participado como supervisor de la replicación de un alumno...390 Tabla 9.39: Medias de control conductual percibido por tipo de replicación, de acuerdo a las
veces que ha supervisado la replicación de un alumno...391 Tabla 9.40 ANOVA participación como co-investigador de una replicación X Tipo replicación,
para las variables principales TCP...391 Tabla 9.41: Medias de actitud, norma subjetiva e intención conductual por veces que ha
participado como co-investigador de una replicación...392 Tabla 9.42: Medias de control conductual percibido por tipo de replicación, de acuerdo a las
veces que ha participado como co-investigador de una replicación...393 Tabla 9.43 AIC para distintos modelos de regresión de intención, usando intención, norma
subjetiva y control conductual percibido por separado...395 Tabla 9.44 AIC para efectos de interacción en modelo multivariado de regresión de intención.
Índice de ilustraciones
Figura 1. Diagrama explicativo de la Teoría de la Conducta Planificada...91
Figura 2: Secuencia de procedimientos realizados en la investigación...121
Figura 3. Valoración de cada consecuencia, por tipo de replicación...186
Figura 4. Fuerza de la creencia para cada consecuencia, por tipo de replicación...187
Figura 5. Producto eibi para cada consecuencia, por tipo de replicación...189
Figura 6. Motivación a cumplir respecto a cada referente, por tipo de replicación...195
Figura 7. Fuerza de la creencia normativa de cada referente, por tipo de replicación...196
Figura 8. Producto nimi para cada referente, por tipo de replicación...197
Figura 9. Fuerza de la creencia de control por factor, para cada tipo de replicación...202
Figura 10: Poder de la creencia de control por factor, para cada tipo de replicación...204
Figura 11. Producto cipi por factor, para cada tipo de replicación...205
Figura 12. Regresión de intención conductual por actitud...212
Figura 13. Regresión de intención conductual por norma subjetiva...215
Figura 14. Regresión de intención conductual por control conductual percibido...217
Figura 15. Efecto de la actitud en la media de intención conductual, de acuerdo al nivel de norma subjetiva y de control conductual percibido...222
Resumen
La denominada crisis de la replicabilidad en psicología ha mostrado la importancia de replicar los estudios para obtener resultados confiables. Se debe comprender cuales son los factores involucrados en el sesgo negativo hacia las replicaciones en psicología. El objetivo general de esta investigación es conocer de qué modo influyen las creencias, las actitudes, la norma percibida y el control conductual percibido en la intención de publicar estudios de replicación directa, replicación conceptual y adaptación de instrumentos.
La investigación se realizó en dos etapas, la primera de tipo instrumental y la segunda, de tipo descriptivo-correlacional de temporalidad transversal. Se consideró como población de estudio para ambas etapas a los autores de publicaciones entre el 2014 y 2016 en revistas indexadas en Scopus relacionadas a la psicología, con filiación institucional en Hispanoamérica o España. El muestreo para el estudio instrumental (n=74) y principal (n=959) fue aleatorio estratificado por países. Toda la investigación, excepto parte del estudio instrumental, se realizó en línea mediante plataforma web, mediante un protocolo estandarizado.
Se logró identificar un conjunto de creencias respecto de las consecuencias, actores y factores relevantes para la replicación, que predicen la actitud, norma subjetiva y control conductual percibido frente a la replicación. Estas variables presentan mayores valores para la adaptación de instrumentos, que para los otros dos tipos de replicación, y logran predecir en conjunto un 39% de la varianza de la intención conductual de publicar replicaciones.
1. Introducción
A partir del año 2012, se declara en la psicología social la llamada crisis de la replicabilidad, caracterizada por el escepticismo frente a las metodologías y formas de publicación de la psicología (Pashler & Wagenmakers, 2012). Este desconfianza nace frente a: (1) las dificultades para replicar ciertos estudios emblemáticos (Yong, 2012), particularmente los de priming (Santos, 2013); (2) la publicación de estudios con hipótesis que desafían las leyes de la causalidad (Bem, 2011): y (3) las evidencias de fraudes no detectados mediante los procedimientos usuales de publicación (Stroebe, Postmes, & Spears, 2012). La crisis se extendió al resto de la disciplina al conocerse los resultados de un estudio que intentó estimar la tasa replicabilidad en psicología, que mostró que solo era posible replicar un 36% de 100 estudios publicados en revistas de alto impacto (Open Science Collaboration, 2015).
Las reseñas sobre la crisis de la replicabilidad concuerdan en que su origen es multifactorial, ya que responde a formas típicas de publicación y de investigación en psicología, que aumentan de forma excesiva los falsos positivos presentes en la literatura (Shrout & Rodgers, 2018; Świątkowski & Dompnier, 2017). Entre las causas principales, destacan las prácticas cuestionables de investigación, definidas como los procedimientos destinados a
aumentar de forma artificial la cantidad de resultados estadísticamente significativos (Fiedler & Schwarz, 2016; John, Loewenstein, & Prelec, 2012; Sijtsma, 2016; Ware & Munafò, 2015; Wigboldus & Dotsch, 2016), y el sesgo de publicación correspondiente a la ausencia de resultados negativos en la literatura (Fanelli, 2010, 2012), asociado a la tendencia de editores y revisores a privilegiar la publicación de resultados positivos (Begley & Ioannidis, 2015; Chavalarias, Wallach, Li, & JA, 2016; Franco, Malhotra, & Simonovits, 2015; Greenland et al., 2016) y novedosos (Giner-Sorolla, 2012).
Se han propuesto distintas soluciones para la crisis de la replicabilidad. Entre ellas, destaca incentivar la realización de replicaciones, ya que es la manera principal para reconocer en qué medida los resultados o teorías son generalizables, permitiendo en el caso de las replicaciones directas un cálculo más preciso del efecto específico involucrado (Brandt et al., 2014; Chopik, Bremner, Defever, & Keller, 2018; Fabrigar & Wegener, 2016; Francis, 2012; Makel & Plucker, 2014; Robinson & Levin, 1997; Simons, 2014).
Si se desea fomentar el desarrollo de replicaciones, es necesario conocer cuáles son los factores cognitivos-motivacionales que pueden motivar una mayor o menor intención de publicar este tipo de investigaciones (Sharpe, 2013). Existen escasos estudios de este tipo, los cuales están centrados en las
conductas y creencias relacionadas a las replicaciones con resultados negativos, es decir, aquellas que no obtienen resultados similares a los originales. Específicamente, se han estudiado las condiciones bajo las cuales se modifica la creencia en una investigación cuando una replicación falla (Eriksson & Simpson, 2013) y las creencias sobre las habilidades y ética de un investigador frente a su reacción a una replicación negativa (Ebersole, Axt, & Nosek, 2016). Por tanto, es necesaria mayor información sobre los factores cognitivo-motivacionales asociados a la publicación de replicaciones.
Para estudiar los factores asociados a la conducta de publicar estudios de replicación, se utilizó como referencia la Teoría de la Conducta Planificada (Ajzen, 2002, 2012a, 2012b; Fishbein & Ajzen, 2010),la cual se ha mostrado exitosa en explicar la conducta humana en distintos ámbitos, tanto en estudios correlacionales (Armitage & Conner, 2001; McEachan, Conner, Taylor, & Lawton, 2011) como experimentales (Sheeran et al., 2016). Esta teoría considera que las conductas voluntarias, como publicar una replicación, son causadas principalmente por la intención que tiene el sujeto de realizarlas. Esta intención está determinada por tres factores: (1) la actitud, relacionada con la valoración más o menos positiva de la conducta; (2) la norma subjetiva, correspondiente a presión social percibida para realizar la conducta; y (3) el
control conductual percibido, asociado a la capacidad percibida para realizar el comportamiento. A su vez, la actitud, la norma subjetiva y el control conductual percibido están influenciados por las creencias que posee el sujeto.
Para aumentar la capacidad explicativa del modelo de la Teoría de la Conducta Planificada, se debe especificar lo más posible la conducta objetivo (Fishbein & Ajzen, 2010). En esta investigación, se consultó la intención de publicar tres tipos de replicaciones distintas, dentro del plazo de cinco años. Los dos primeros tipos, la replicación directa y la replicación conceptual (Schmidt, 2009), son las más nombradas en la literatura. En este estudio se hipotetizó que la intención de realizar publicaciones de estos dos tipos de investigación sería baja, debido a que existe un sesgo negativo en psicología hacia este tipo de investigaciones (Martin & Clarke, 2017). Por esta razón, se buscó un tipo de replicación que tuviese una mayor aceptación como punto de referencia. Se optó finalmente por la adaptación de instrumentos, un tipo de investigación con alto prestigio (Muñiz, Elosua, & Hambleton, 2013) que en términos teóricos puede ser considerara un tipo particular de replicación directa, específicamente de tipo constructiva o sistemática.
De este modo, el objetivo general de la investigación es conocer de qué modo influyen las creencias, las actitudes, la norma percibida y el control
conductual percibido en la intención de publicar estudios de replicación directa, replicación conceptual y adaptación de instrumentos. Para responder a este objetivo, se realizó un estudio de tipo descriptivo-correlacional de temporalidad transversal. El instrumento utilizado en este estudio fue creado usando las indicaciones de Fishbein y Ajzen (2010) para investigaciones basadas en la Teoría de la Conducta Planificada. Para ello, se realizó previo al estudio principal un estudio de tipo instrumental, que constó de las siguientes subetapas: (1) identificación de creencias, (2) validación de contenido por expertos, (3) entrevista cognitiva y (4) prueba piloto.
Tanto el estudio descriptivo-correlacional como el estudio previo de tipo instrumental, consideraron como población de estudio a los autores de publicaciones entre el 2014 y 2016 en revistas indexadas en Scopus relacionadas a la psicología, con filiación institucional en Hispanoamérica o España. Se utilizó un muestreo aleatorio estratificado por países, respondiendo de forma completa las encuestas un total de 959 participantes en el estudio descriptivo-correlacional y 74 participantes en la subetapa de identificación de creencias. Tanto el estudio descriptivo-correlacional y la identificación de creencias se realizó mediante una plataforma web, usando un protocolo estandarizado basado en las recomendaciones presentes en la literatura sobre
estudios en línea (Cope, 2014; Mcpeake, Bateson, & O’Neill, 2014; Saleh & Bista, 2017), el cual fue optimizado de forma iterativa en los 4 pilotos realizados antes del estudio principal.
En términos del apoyo al desarrollo de la disciplina, esta investigación entrega antecedentes útiles para comprender cuales son los principales factores cognitivo-motivacionales que influyen en la intención de publicar replicaciones en Hispanoamérica como España. Se espera que los resultados de esta investigación favorezcan iniciativas de promoción y formación en replicación, que respondan a las necesidades de los/as investigadores/as y de sus instituciones.
El interés por estudiar los factores que promueven la realización de replicaciones surge de la experiencia del investigador en el Departamento de Psicología de la Universidad de Concepción, relacionada a los lineamientos metodológicos necesarios para entregar un soporte empírico robusto a las líneas de investigación desarrolladas. Surge la inquietud de cómo apoyar la realización de investigaciones que, por una parte, repliquen los efectos encontrados en estudios previos, y que por otra sean publicables en revista de alto impacto. Considerando que la adaptación de instrumentos es una actividad exitosa en términos de publicación para el Departamento de Psicología (Cova
et al., 2016b, 2016a, 2017; Grandón, Saldivia, Cova, Bustos, & Turra, 2016; Ossa-Cornejo, Díaz-Mujica, Aedo-Saravia, Merino-Escobar, & Bustos-Navarrete, 2017; Sáez et al., 2018), se consideró apropiada tomarla como referencia de un tipo de replicación valorada.
En particular, se puede destacar la continuidad de la línea de investigación sobre entrenamiento en prácticas parentales para la prevención de problemas y trastornos de conducta en niños y niñas preescolares, en el cual a partir del programa de intervención creado en el proyecto FONDECYT 1120716 del año 2013, se desarrolló una versión optimizada en el Fondef-Ideas ID14I10058. Desde una perspectiva teórica, se puede asumir que la segunda versión del programa es una replicación constructiva, que busca obtener los mismos o mejores efectos que la versión original.
El texto se inicia con la presentación del marco conceptual, el cual se encuentra dividido en 4 secciones. En la primera, se definen los conceptos de replicación y replicabilidad, se identifican las taxonomías más usadas de replicación, y se entregan antecedentes empíricos más relevantes sobre la realización de replicaciones y la replicabilidad de la psicología. En la segunda sección, se describe el desarrollo histórico de la crisis de la replicabilidad, se analizan las principales causas propuestas por la literatura para este fenómeno
y se presentan las soluciones sugeridas, destacando el rol de la replicación dentro de ellas. En la tercera sección, se realiza un breve análisis de las formas de investigación de la conducta científica desde la psicología, como explicación del uso de la Teoría de la Conducta Planificada, que aparece descrita en la cuarta sección.
Tras el marco conceptual, se realiza una problematización del objeto de estudio de esta tesis, que justifica el objetivo general de la investigación, así como los objetivos específicos e hipótesis planteadas. Se presenta luego el método del estudio, el cual se inicia con una descripción del diseño general metodológico y de la población de estudio, para luego describir la etapa de construcción del instrumento y el estudio principal, de tipo correlacional-descriptivo. Tras el método, se presentan los resultados de la investigación.
Finalmente, se discuten los resultados de acuerdo a los objetivos e hipótesis planteadas para la investigación, para concluir con el aporte que realiza esta investigación y sugerencias para fomentar el desarrollo de replicaciones.
2. Marco conceptual 2.1. Replicación
2.1.1. Definición de la replicación
Replicar, la confirmación de resultados y conclusiones de un estudio de forma independiente por otra investigación, se considera el estándar de oro de la investigación (Jasny, Chin, Chong, & Vignieri, 2011). Tradicionalmente, se entiende como el método de verificación de un hallazgo empírico por la repetición de un procedimiento específico; sin embargo, es posible ampliar este concepto para dar cuenta de la reproducibilidad de una teoría o resultado experimental con métodos distintos (Schmidt, 2009).
La replicación cumple con dos funciones principales: dar estabilidad a los conocimientos del mundo y entregar una norma para definir lo científico. La primera función, de estabilidad, permite distinguir entre afirmaciones con suficiente soporte empírico de aquellos que no, ya estas últimas al ser producto del azar o del fraude no resisten la replicación. La repetición de un procedimiento específico permite generalizar un efecto a poblaciones y contextos distintos, así como controlar la variedad atribuible al muestreo. Por otra parte, variar el método de una investigación para una misma hipótesis teórica permite corroborar la validez de una teoría específica. La segunda función, de tipo normativa, señala que un hecho sólo puede ser considerado
científico si es potencialmente replicable (Schmidt, 2009).
La replicación es una práctica eminentemente social. Lo que se entiende por replicación, las razones de su relevancia y las condiciones de una replicación exitosa varían de comunidad en comunidad científica a lo largo del tiempo (Dazinger & Shermer, 1994; Schmidt, 2009). El hecho que la replicación sea considerada una norma definitoria de lo científico puede ser puesto en discusión (Schmidt, 2009). Por ejemplo, en el caso de la ciencia social cualitativa, se considera que la interpretación de los datos está asociada indisolublemente a la comprensión que tiene el investigador del fenómeno, por lo que es muy difícil, sino imposible, que dos investigadores lleguen a las mismas conclusiones a partir de los mismos datos (Freese & Peterson, 2017). Además, la replicación de un fenómeno nunca es exacta, ya que involucra no sólo la realización de un procedimiento establecido, sino el acuerdo entre científicos sobre la relevancia e importancia de múltiples factores teóricos y metodológicos. De este modo, una replicación será aceptable en tanto tenga un grado aceptable de similitud con la investigación original. La evaluación del grado de similitud puede ser aceptado o no por un grupo de investigadores, por lo que no se pueden definir reglas abstractas ni absolutas de lo que corresponde a una replicación apropiada (Dazinger & Shermer, 1994). En el
Anexo A se realiza un análisis histórico de los cambios en el concepto de replicación dentro de la psicología, asociados a los cambios en las metodologías predominantes usadas para validar los resultados en la disciplina.
El grado de similitud de la replicación con respecto al estudio original puede ser analizado en función de las cuatro dimensiones propuestas por Schmidt (2009) para describir un experimento:
1. Foco primario de información, correspondiente a la información inmaterial que se desea conocer – constructo -, así como su a realización material directa
2. Antecedentes contextuales del experimento. Considera las características propias de cada participante, la historia de cada uno de ellos, el contexto cultural e histórico en el que se realiza la actividad, las características físicas dentro de las cuales se realiza el experimento, el agente de control – quien dirige la actividad - y las variables accesorias específicas de la tarea.
3. Procedimientos de selección y asignación de participantes
incluyendo aparatos físicos y procedimientos realizados durante el experimento.
Se asume qué, hasta cierto grado, los cambios en las variables contextuales, de participantes y procedimientos no deberían afectar al foco primario de atención. Por tanto, de acuerdo a las funciones que se pretenda cumpla la replicación, se pueden describir distintos tipos de acuerdo al grado en que se alteran estas dimensiones.
2.1.2. Tipos de replicaciones
2.1.2.1. Taxonomía de Schmidt (2009)
Schmidt (2009) distingue dos tipos de replicaciones, la directa y conceptual. En la replicación directa, basada en el concepto tradicional de replicación, se repite el procedimiento experimental de la manera más fiel posible. En la replicación conceptual, correspondiente a una definición más amplia de lo que es replicar, se repite la prueba de una hipótesis o el resultado de una investigación previa, mediante métodos distintos. En términos de las cuatro dimensiones propuestas por este autor, todas aquellas replicaciones donde se mantiene la realización material directa del foco de información, constituyen replicaciones más o menos directas del original. En cambio, si se
modifica la realización material, pero se mantiene foco primario material, tendríamos una replicación conceptual.
En el caso de las replicaciones directas, se intenta que los aspectos más importantes de la replicación sea iguales al original – métodos de muestreo, diseño y medidas de los resultados. Permite confirmar hechos y extender el conocimiento, al generalizar resultados si se aplica a contextos distintos (Kline, 2004). El replicar los aspectos principales de un estudio en un laboratorio independiente disminuye el efecto de variables moderadores relacionadas a las características de cada laboratorio en particular (Martin & Clarke, 2017).
Se debe considerar que por muy similar que sea el procedimiento aplicado en una aplicación posterior del experimento original, es imposible realizar una duplicación exacta. La presencia de unidades irreversibles –
sistemas complejos que no son invariantes en el tiempo – impide que se puedan restablecer las condiciones originales. El caso más conocido es el efecto que tiene la aplicación de pruebas sobre las personas en subsecuentes aplicaciones. De este modo, se debe considerar que todas las replicaciones en ciencias sociales son relativas (Kline, 2004).
estudio ideal de este tipo debería realizarse explicándole al investigador nada más que los resultados principales de la investigación original. De esta manera, en la replicación se debe desarrollar de forma autónoma el diseño, las mediciones, y el análisis de datos. Esto permitirá generalizar los aspectos teóricos más allá de las especificaciones de la situación concreta, entregando una comprensión mayor del fenómeno estudiado. En este tipo de replicación, el foco primario de información se mantiene solo a nivel inmaterial, siendo posible por ejemplo usar otra operacionalización del constructo de interés (Schmidt, 2009).
Existen autores que consideran particularmente relevantes las replicaciones directas (Cousineau, 2014; Nosek & Lakens, 2014; Simons, 2014), otros señalan que las replicaciones conceptuales son más valiosas para la psicología (Crandall & Sherman, 2016; Stroebe & Strack, 2014), en tanto que un tercer grupo propone que ambos tienen sus funciones en la investigación psicológica (Shrout & Rodgers, 2018).
Entre las ventajas de las replicaciones directas, se encontrarían:
1. Permiten establecer con precisión el tamaño del efecto, mediante meta-análisis. La variación sistemática del efecto producto de las
circunstancias específicas de aplicación por otros investigadores independientes, permitiría aumentar la precisión de los resultados al auto-corregirse los resultados producto del azar. En el caso de la replicación directa es posible, incluso, establecer que un efecto real es 0 o cercano a este valor; esto implica la posibilidad de declarar ciertos efectos como falsos. Las replicaciones conceptuales no son útiles para este propósito, porque agregan variabilidad al modificar el diseño y el rechazo de la hipótesis puede ser atribuido siempre a los cambios metodológicos realizados (Brandt et al., 2014; Cousineau, 2014; Nosek & Lakens, 2014).
2. Permiten generalizar los efectos. Si la investigación se repite por investigadores independientes bajo condiciones distintas y se logra replicar un efecto, se puede afirmar que la variabilidad típica en las condiciones de muestra, procedimientos y contexto entre laboratorios son de menor importancia, asegurando así lo generalizable de los resultados (Makel & Plucker, 2014; Nosek & Lakens, 2014a; Shaver & Norton, 1980)
3. Permiten establecer los límites de aplicación del efecto. Si bajo ciertas condiciones se espera una replicación en un estudio con alto poder y el
resultado es negativo, se puede afirmar que una variable que hasta el momento era considerada irrelevante es una variable moduladora (Nosek & Lakens, 2014).
De acuerdo a Crandall & Sherman (2016),la replicación conceptual es superior a la replicación directa para las ciencias sociales. Aunque la replicación directa nos permite aumentar la confianza en un resultado, esto solo se realiza para la operacionalización específica bajo la cual obtuvo. La replicación directa perpetuaría los sesgos de un diseño con fallos, si no se detecta la variable metodológica que estaría moderando el efecto. En cambio, la replicación conceptual aumenta la confianza en la hipótesis teórica, independiente de la operacionalización específica. La pregunta es si una teoría se puede mantener en vista de múltiples y variables pruebas de la hipótesis. A diferencia de ciencias como biología o física, la medida de los constructos en ciencias sociales es muy ambigua, y cambia en el tiempo, población y contexto. Por tanto, la replicación directa basada en una operacionalización específica es de menor valor que la replicación conceptual, centrada en la teoría.
Es razonable considerar que la replicación conceptual se debe realizar solo tras una o más replicaciones directas exitosas. Primero, no vale la pena probar la generalidad de un efecto si se tiene duda sobre su existencia.
Segundo, mientras más replicaciones directas se realicen, se tiene una estimación más precisa del tamaño del efecto. Si se realizan las replicaciones conceptuales antes de tiempo, contribuye a mantener falsos positivos no identificados (Hüffmeier, Mazei, & Schultze, 2016).
2.1.2.2. Taxonomía de Hüffmeier, Mazei, & Schultze (2016)
Hüffmeier, Mazei, & Schultze (2016) proponen una taxonomía de 5 tipos de replicaciones, que se ubican en un continuo, desde las replicaciones exactas hasta las conceptuales. Ellos proponen que una línea de investigación debería avanzar a través de los distintos tipos de estudios de replicación propuestos en su clasificación, ya que entregan una progresión lógica que permite validar tanto los resultados como las teorías que los sustentan. La secuencia propuesta es:
1. Replicación exacta: Es la replicación que se realiza por el mismo autor en el mismo laboratorio. Tiene como función proteger de los falsos positivos desde el inicio del estudio. Suelen presentarse como estudios consecutivos en el mismo artículo. En la literatura se le suele dar el nombre de replicación interna (Giner-Sorolla, 2012; Jarvis & Williams, 2016; Kunert, 2016; Robinson & Levin, 1997; Simons, 2014).
independiente, siguiendo los procedimientos del original. Correspondería a la replicación directa de Schmidt (2009) o la replicación cercana de Brandt et al. (2014). Tiene como función detectar falsos positivos, excluir los efectos del experimentador y el conocimiento tácito como precondiciones para la aparición del efecto, y contribuye información para el cálculo del tamaño del efecto poblacional.
3. Replicación constructiva: Son estudios de seguimiento que incluyen una replicación exacta o cercana, que agregan nuevos elementos. Por lo tanto, no solo proveen evidencia para apoyar o rechazar los resultados originales, sino que refina o extiende los resultados. Permite mostrar que un efecto no es producto solo de condiciones particulares del estudio original si es que el efecto es estable entre las aplicaciones.
4. Replicaciones conceptuales de laboratorio: Es una replicación conceptual, en que la comparabilidad de los estudios es solo necesaria teóricamente. La mayoría o incluso todos los aspectos metodológicos pueden diferir, mientras el proceso teórico estudiado o al menos invocado sea el mismo. Si se replica, se demuestra que resultado no es dependiente de aspectos metodológicos, que son irrelevantes desde el punto de vista teórico.
5. Replicaciones conceptuales en el campo: al igual que la replicación conceptual en el laboratorio, la comparabilidad de la replicación con respecto al estudio original solo debe ser teórica. Si se pretende generalizar la teoría al ámbito del mundo real, es necesario descartar la presencia de artefactos o efectos que sean muy débiles fuera del contexto controlado del laboratorio.
2.1.3. Replicabilidad
Se entiende por replicabilidad el grado en el cual se obtienen resultados consistentes cuando se repite un estudio. Refiere a la habilidad de otros de reproducir los hallazgos, dados los datos originales, y generar nuevos datos que apoyen la misma conclusión (Open Science Collaboration, 2012).
No existe una manera única de evaluar la replicabilidad, por lo que se pueden usar distintos criterios para hacer esta evaluación. Se identifican dos grandes formas de realizar esta evaluación, de manera dicotómica, o de manera cuantitativa.
Una primera forma de evaluar la replicabilidad considera de manera dicotómica el resultado de cada replicación, como un éxito o un fracaso, usando generalmente las pruebas de hipótesis estadísticas. El porcentaje de éxitos nos
indicaría el grado en que el resultado es consistente. El éxito se puede considerar de una manera estricta, como un efecto estadísticamente significativo igual al original, o de manera amplia, como un efecto en el mismo sentido, aunque no sea estadísticamente significativo (Open Science Collaboration, 2012). Anderson & Maxwell (2017) señalan que el uso de pruebas estadísticas para definir el éxito de una replicación es adecuado, por tres motivos: (1) es un criterio transparente y de uso común ya que usa el mismo concepto, el valor-p, para definir que el estudio original y la réplica apoyan la hipótesis de investigación, (2) permite definir condiciones claras para definir el tamaño de muestras para estudios de replicación posteriores, ya que el concepto de poder depende de las pruebas de hipótesis y (3) las hipótesis direccionales, en las que sólo importa si un grupo es mayor que otro o si una correlación es positiva o negativa, son importantes en la investigación de temas nuevos en psicología.
Una segunda forma de evaluar la replicabilidad, de manera cuantitativa, involucra evaluar en qué medida el tamaño de efecto original es semejante en las repeticiones del experimento. Para ello, se pueden usar estimadores meta-analíticos, técnicas de comparación de efectos o métodos bayesianos (Open Science Collaboration, 2012).
La falla al replicar un estudio no implica automáticamente que el estudio original es falso. Si se considera un criterio dicotómico para evaluar el éxito de la replicación, una replicación negativa puede tener las siguientes causas: (1) efecto original es falso; (2) el tamaño del efecto real es menor que el reportado en el estudio original; (3) el diseño, implementación o análisis del estudio original o la replicación tiene algún error y; (4) la metodología de replicación difiere de la original en algún factor crítico. Esta última razón es la más importante, ya que entrega información teórica sobre un moderador relevante del fenómeno (Open Science Collaboration, 2012). Es importante considerar que la falla en replicar no es un hecho negativo en sí, ya que puede incrementar la innovación al promover la investigación sobre qué factores explican este hecho (Open Science Collaboration, 2015).
En primer lugar, es posible que el efecto original no sea real o confiable y la replicación permite controlar el error cometido inicialmente (Eriksson & Simpson, 2013). En segundo lugar, el efecto es real, pero el valor reportado en el estudio original está sobrestimado; al replicar, por error de muestreo es perfectamente posible que se obtenga un valor menor y que no logré rechazar la hipótesis nula de la prueba de significación (Brandt et al., 2014).
incrementados por la presencia del llamado sesgo de publicación, correspondiente a la menor probabilidad que tienen de ser publicados los resultados no significativos por decisiones editoriales. Este patrón se ha encontrado en muchos campos, siendo mayor en las ciencias sociales, y es estable desde los años 50 hasta los 90. Existe sesgo de publicación en un 15% de los meta-análisis en psicoterapia y en un 20% a 40% en meta-análisis de psicología (Nuijten, Van Assen, Veldkamp, & Wicherts, 2015). El sesgo de publicación provoca que los tamaños de los efectos observados sean mayores a los reales, ya que los efectos que no resultan significativos son omitidos de la literatura (Tryon, 2016).
En tercer lugar, es posible que el efecto sea real, pero que en las replicaciones falte un aspecto importante no considerado, o que no se obtenga el resultado esperado por simple azar (Eriksson & Simpson, 2013). El factor más importante es el poder de la replicación: si los experimentos realizados son de bajo o moderado poder, es probable que las replicaciones fallen en encontrar resultados utilizando las pruebas de hipótesis estadísticas (Kline, 2004). De esta manera, las replicaciones con muestras pequeñas entregan poca información, ya que el estimador será consistente con el estudio original, pese a que cambie el signo o sea distinto del original (Patil, Peng, & Leek, 2016). Si la
muestra de la replicación es menor, es factible que incluso se obtenga el mismo tamaño del efecto y la prueba estadística no sea significativa por la disminución del poder.
Es necesario considerar que la evaluación de la replicabilidad debería considerar tanto la variabilidad del estudio original como de la replicación. Cuando se calcula el intervalo de predicción de una replicación, es decir, el rango de valores del efecto que se espera que se produzca al realizar múltiples replicaciones, se pueden producir resultados no intuitivos. Por ejemplo, si la muestra original y de replicación es pequeña, se producirá una gran variabilidad en los resultados esperados de la replicación, por lo que es estadísticamente consistente que la replicación tenga un efecto de signo contrario al efecto original. De esta manera, si un estudio de replicación está mal diseñado, no nos entrega información válida sobre la replicabilidad del efecto original (Patil et al., 2016).
Una cuarta alternativa frente a la falla en replicar, es que el efecto sea real y que no existan fallas metodológicas en la replicación, pero que exista una variable moderadora no conocida. De acuerdo al principio de parsimonia en la ciencia, es adecuado creer que un fenómeno se generalizará a distintos individuos y contextos en ausencia de evidencia contraria. Por tanto, la falla en
replicar nos puede entregar información valiosa, al indicarnos los límites de generalización de un efecto. En las ciencias del comportamiento, muchos efectos han sido observados en algunos contextos culturales, pero no en otros. Si no se conocen moderadores y condiciones límites para una teoría, se puede generalizar excesivamente un resultado a situaciones o grupos no pertinentes. La sobregeneralización puede llevar a extender de mala manera los resultados del laboratorio al campo. Por tanto, una réplica fallida nos indica la presencia de posibles moderadores que deben ser estudiados en futuras investigaciones (Klein et al., 2014).
La evaluación de la replicabilidad, que ya es compleja para las replicaciones directas, resulta más difícil aun en las replicaciones conceptuales. Si se obtiene un resultado positivo en una replicación conceptual, se puede afirmar que la teoría que subyace ha sido corroborada. Sin embargo, si se obtiene un resultado no esperado, no es posible afirmar que la teoría no es válida, ya que siempre se puede justificar que el resultado no esperado es atribuible a las diferencias en las medidas, procedimientos o contextos (Shrout & Rodgers, 2018; Yong, 2012).
2.1.4. Estudios empíricos relacionados a la replicación y replicabilidad en psicología
Se presenta en primer lugar los estudios, previos al 2010, que dan cuenta de la frecuencia con la cual se realizaban replicaciones en psicología. Posteriormente, se muestran los principales estudios que han investigado el grado de replicabilidad de los resultados en la disciplina a partir del año 2010, tras el inicio de la crisis de la replicabilidad.
2.1.4.1. Estudios sobre la frecuencia de realización de
replicaciones antes del 2010
Pese a que se considera que las replicaciones son positivas, en psicología previo al 2010, se habían realizado con poca frecuencia. En la década de los 80, (Rosnow & Rosenthal, 1989; Shaver & Norton, 1980) en un estudio de 6 años de publicaciones de la American Educational Research Journal entre los años 1968 y 1977, encontraron que sólo un 14% de los estudios eran replicaciones, 7% de ellos sistemáticas y 7% directas.
Makel, Plucker, & Hegarty (2012), en su análisis de la historia de 100 revistas de primera línea encontró que cerca de un 1,57% de los artículos publicados antes del 2010 poseía el término 'replicat*'. En una muestra aleatoria de 500 de estos artículos, se encontró que el porcentaje real era de 1,07% (CI
95%: 1,04%; 1,10%). Con respecto a la autoría de las replicaciones, 52.9% fueron conducidas por el mismo equipo. La autoría de la replicación influye sobre la tasa de éxito, ya que ésta es de un 91.7% si la realiza el equipo original, versus un 64.6% si la realiza otro equipo. La mayoría de las replicaciones realizadas son conceptuales (81.9%), siendo el 14% replicaciones directas y el 4.1% restante de tipo mixto. La mediana de citas a los estudios es 17, mayor al índice de impacto de las revistas donde están publicadas, ya que solo 3 de las 100 revistas seleccionadas presentaba un índice de impacto mayor a 17.
2.1.4.2. Estudios sobre la replicabilidad en psicología
A partir de la segunda década del siglo XXI, destaca la labor de la Open Science Collaboration (OSC), una comunidad de investigadores en psicología que mediante los protocolos y recomendaciones presentes en la plataforma web Open Science Framework (Open Science Collaboration, 2018) han investigado la replicabilidad en psicología a partir del 2010. Se cuenta con tres investigaciones publicadas, la más importante relacionada con la estimación de reproducibilidad en la ciencia psicológica (Open Science Collaboration, 2015), la segunda destinada a conocer el grado de variabilidad en la replicabilidad (Klein et al., 2014) y la tercera, cuyo objetivo era determinar la variación a lo largo del
semestre de los efectos en estudiantes universitarios (Ebersole, Atherton, et al., 2016).
En el estudio de la Open Science Collaboration (2015) destinado a estimar la reproducibilidad de la psicología, denominado ‘Reproducibility Project: Psychology’ (RP:P), se replicaron 100 estudios observacionales y experimentales de 3 revistas de punta en psicología, usando diseños de alto poder y los materiales originales. Se utilizaron diversos criterios para evaluar la replicabilidad: (1) presencia o ausencia de significación estadística, (2) valores-p, (3) tamaños del efecto, (4) evaluación subjetiva de los resultados y (e) meta-análisis de los tamaños de los efectos. Usando como criterio la significación estadística, un 97% de los efectos originales eran significativos y solo un 36% lo fue en los estudios replicados. Esta cifra aumenta a un 47.4% si se utilizan los intervalos de confianza. La media de los efectos originales, TE=0.4, bajó a menos de la mitad, TE=0.197. La evidencia disponible indica que el éxito en replicar se ve predicha por la fuerza de los efectos, más que por las características de la replicación.
Usando las bases de datos disponible del estudio RP:P, se han realizado análisis secundarios específicos para determinar la replicabilidad de los estudios originales, usando definiciones alternativas de lo que es replicabilidad
(Johnson, Payne, Wang, Asher, & Mandal, 2016; Patil et al., 2016). También se ha estudiado en qué medida las características de los investigadores (Bench, Rivera, Schlegel, Hicks, & Lench, 2017), así como la realización de replicaciones internas previas (Kunert, 2016) afectaron en el éxito de la replicación posterior.
Patil, Peng, & Leek (2016) estudiaron en qué medida los efectos de las replicaciones del estudio RP:P se inscribían dentro del intervalo de predicción del estudio original. Un intervalo de predicción con confianza del 95% nos indicaría que si una investigación se replica 100 veces, en 95 ocasiones la replicación observada debería caer dentro del intervalo. Se encontró que un 77% de los estudios se encontraba dentro del intervalo de predicción del efecto original; la tasa de cobertura real menor a la nominal, así como el hecho que las replicaciones fuera de intervalo ocurriesen casi en su totalidad por su límite inferior, dan cuenta de un sesgo de publicación importante, que genera que los valores observados del efecto en los estudios originales sean mayores a los reales. Patil et al. concluyen que la presencia de sesgo de publicación y el bajo poder de los estudios originales impide establecer evaluaciones razonables sobre la replicabilidad en muchos de los estudios analizados.
análisis de los datos del estudio RP:P, que consideró el sesgo de publicación, estimando la distribución de tamaños del efecto para aquellos estudios para los que se rechazó la hipótesis nula. Sus resultados sugieren que se realizaron cerca de 700 pruebas para llegar a los 73 efectos posibles de comparar, de los cuales 93% deberían ser hipótesis nulas para lograr los resultados observados en la replicación. Esto implicaría un importante sesgo de publicación, ya que de acuerdo a lo planteado menos de un 10% de los estudios realizados por los equipos de los estudios originales serían efectivamente publicados, ya que el resto, al ser en su mayoría negativos, son descartados o no logran ser aceptados por las revistas científicas.
Bench et al. (2017) estudiaron el grado en que la experiencia de los investigadores que realizaron replicaciones en el estudio RP:P influía en el éxito de la replicación. Aunque en el artículo original del estudio se encontró que la experiencia autoinformada no predecía el tamaño de los efectos en las replicaciones, al usar una medida objetiva – el número de publicaciones – sí se encontró una relación estadísticamente significativa. Posteriormente, se observó una relación significativa entre los efectos originales y los indicadores de experiencia del equipo; al controlar el tamaño del efecto original en la relación entre experiencia y tamaño del efecto de la replicación, no se mantiene
la relación antes encontrada. Esto indica que la diferencia radica en que los expertos eligen investigaciones con mayores tamaños del efecto para replicar. Además, se observó que escogían efectos más generalizables, menos sensibles al contexto .
Kunert (2016) estudió si la realización de replicaciones internas en los estudios originales influía en el éxito de las replicaciones independientes del estudio RP:P. En esta investigación, 44 efectos fueron replicados internamente, 20 en una ocasión, 10 en dos, 9 en tres y 5 más de 3 ocasiones; la replicación interna fue más común en estudios de psicología social, comparados con los estudios de psicología cognitiva. Se encontró que no había una diferencia en la proporción de replicación exitosas entre los estudios que replicaron internamente comparados con los que no.
En el estudio destinado a medir la variabilidad en la replicabilidad, denominado informalmente “Many Labs 1” (Klein et al., 2014), se consideraron de 13 experimentos clásicos y modernos en psicología social. Se obtuvieron 36 muestras, 25 de EEUU y 11 de otros países, reuniendo un total de 6344 participantes. Se replicaron 10 de los 13 experimentos, usando el valor-p como criterio. La media de los efectos originales, de TE=0.74, subió a TE=0.85. Con respecto a la variabilidad en los efectos, se encontró que en algunos existía
amplia variación, particularmente en aquellos que eran muy grandes originalmente. La correlación intra-clase muestra que la variabilidad no se puede atribuir a las muestras (ICC=.05), sino a los efectos en sí (ICC=.75). De las 32 moderaciones estudiadas de condición X país y locación, 10 fueron significativos. Todo indica que el país y el contexto experimental no influyen tanto como las características del efecto en sí. La principal limitación del estudio es que las muestras utilizadas no son representativas y que corresponden a países occidentales e industrializados.
En el estudio “Many Labs 3”, destinado a medir la estabilidad de los efectos durante el semestre en estudiantes universitarios (Ebersole, Atherton, et al., 2016), se investigó en qué medida 13 efectos psicológicos y variables individuales variaban a través del semestre académico, en 20 grupos de instituciones en EEUU y Canadá. Se utilizaron laboratorios que tuvieran en total 80 personas, al menos 40 del primer semestre y 40 de la segunda mitad del semestre. La muestra promedio fue 135.4 personas por laboratorio, con un rango entre 45 y 321 por laboratorio. Como en 7 de los 10 experimentos no se obtuvieron replicaciones exitosas, se agregaron 3 efectos más con efectos grandes. El resultado principal para los 13 efectos estudiados es que no existe variabilidad atribuible al tiempo del semestre en que se realiza la medición.
Una crítica importante a los estudios basados en el paradigma del OSF es que se limitan a ciertas áreas de la psicología, principalmente la psicologías social y cognitiva, usando metodologías muy específicas, basadas en encuestas de autoinforme por computador, con muestras de universitarios o de Internet de conveniencia. Por tanto, es aventurado extrapolar sus resultados a otras áreas de la psicología, como la clínica o la educacional (Coyne, 2016).
2.1.5. Formas de investigación en psicología relacionadas a la replicación
De las múltiples formas en que la replicación se utiliza en psicología, se han elegido tres por su relevancia para la disciplina. En primer lugar, se presentan las replicaciones sistemáticas y críticas, formas derivadas de la replicación directa que resultan útiles para determinar qué aspectos específicos de la situación de réplica genera diferencias con respecto a la situación original. En segundo lugar, se destaca la relevancia de la replicación en la psicometría y se conceptualiza a la adaptación de instrumentos como una forma de replicación. En tercer lugar, se presenta un nuevo modelo investigación denominado Reporte Registrado de Replicación, que fomenta la realización de replicaciones evitando el sesgo de publicación.
2.1.5.1. Replicaciones sistemáticas y críticas
Las replicaciones sistemáticas y críticas son replicaciones similares a las replicaciones directas, que buscan determinar en qué medida circunstancias particulares del estudio particular, determinaron los resultados del estudio original.
La replicación sistemática busca mantener la mayor cantidad de aspectos de manera idéntica al estudio original, pero solo se modifican algunas características secundarias, como el orden de presentación de los estímulos (Shrout & Rodgers, 2018).
Larzelere, Cox, & Swindle (2015) señalan que las replicaciones directas son útiles para corregir el sesgo del estudio original, pero solo bajo ciertas condiciones. En particular, en los estudios donde se pruebas métodos correctivos sobre sujetos con problemáticas específicas, la falta de grupos de control y de prueba de hipótesis alternativas podría generar que se repitieran los sesgos, particularmente de selección. Por tanto, es necesario realizar modificaciones específicas al procedimiento que permitan eliminar el sesgo, sin alterar de manera importante el resto de la metodología original.
explicaciones alternativas al repetir el tratamiento para evitar duplicar los sesgos ocultos. El objetivo, entonces, es mostrar que los resultados son similares a los originales, modificando sistemáticamente aquellos aspectos específicos que dan cuenta de hipótesis alternativas, para asegurar que el efecto original es real (Larzelere et al., 2015).
De esta manera, las replicaciones críticas contribuyen más que las replicaciones conceptuales. La replicación conceptual asume la validez del hallazgo original; como ya se señaló, es necesario realizar al menos una replicación directa previa para que tenga sentido realizar una replicación conceptual (Hüffmeier, Mazei, & Schultze, 2016). A diferencia de la replicación conceptual, la replicación crítica intenta probar al menos dos posibles explicaciones del hallazgo original, modificando lo menos posible el experimento original. Si la alternativa es que el resultado fue producto del mero azar, sería suficiente una replicación directa; bajo otras alternativas, la replicación crítica es mejor, ya que entrega evidencia contra las explicaciones alternativas más plausibles (Larzelere et al., 2015).
2.1.5.2. Psicometría y adaptación de instrumentos
