Universidad de los Andes
Facultad de Ciencias Sociales
Departamento de Psicología
Laboratorio Virtual Vs. Laboratorio Tradicional: Diferencias en Respuesta del STROOP
Trabajo de grado para optar por el título de
PSICÓLOGO
Alejandro Reinel Tarazona
Bajo la dirección de Julio Eduardo Cruz Vásquez, PhD.
Resumen
El Internet se ha convertido en una manera de conectar al mundo entero; ha evolucionado hasta
convertirse en una de las herramientas más versátiles a disposición del investigador. Se ha
indagado sobre las ventajas y las desventajas que implicaría cambiar el laboratorio tradicional
por uno virtual, e inclusive se afirma que sus beneficios sobrepasan los posibles problemas
(Birnbaum, 2001; Gamberini & Valentini, 2003), pero esta área de la investigación aún está en
desarrollo, por lo cual es necesario hacer un esfuerzo para comprobar la viabilidad de este tipo de
experimentación en diversos contextos. Para indagar sobre este fenómeno se implementó un
STROOP en dos grupos, uno presencial y otro a través de internet. La población fue un grupo de
estudiantes de pregrado en Bogotá, Colombia. Se encontró que en ambos grupos experimentales
se cumplía el efecto de interferencia que mide el STROOP y, más aún, que no existían
diferencias significativas entre los resultados de los dos grupos.
Palabras clave: stroop, internet, psicología, laboratorio virtual
Abstract
The internet has become a way to connect to the entire world; it has evolved to the point where it
is one of the most versatile tools available to researchers. It is clear that there are many
advantages and disadvantages of the implications that could bring changing from a traditional
laboratory to a virtual laboratory. One finding that many authors agree with, states that the
advantages of this change outweigh the disadvantages (Birnbaum, 2001; Gamberini & Valentini,
2003). Even if this is true there is a clear lack of proof on this subject. In order to further increase
knoledge on the topic, a STROOP test was created in traditional (controled conditions laboratory
in the Universidad de los Andes) and virtual conditons (trough the internet). This experiment
demostrated the interference model mesured by the STROOP was evidenced in both
TABLA DE CONTENIDO
Tabla de contenido
RESUMEN ……….... 2
ÍNDICE DE TABLAS Y FIGURAS……….. 4
INTRODUCCIÓN ………. 5
MARCO TEÓRICO ……….. 9
HERRAMIENTAS PARA LA INVESTIGACIÓN POR INTERNET …………...…… 11
ANTECEDENTES DE COMPARACIONES ………. 13
VARIABLES CATEGÓRICAS ……….. 14
VARIABLES CONTINUAS ………...……… 15
HIPÓTESIS Y VARIABLES ……….. 19
METODOLOGÍA ……… 20
PARTICIPANTES ………...……… 20
MATERIALES ……….20
CONSIDERACIONES ÉTICAS ………. 21
PROCEDIMIENTO ………. 22
LISTA DE TABLAS Y FIGURAS Listado de Tablas
Tabla 1 Diferencias entre un laboratorio tradicional y uno virtual ……... 5
Tabla 2 ventajas y desventajas de la investigación por Internet ………..………….10
Tabla 3 Resumen de investigaciones que utilizan preguntas cerradas ……… 16
Tabla 4 Resumen de investigaciones que utilizan pruebas interactivas ……….. 19
Tabla 5 Estadísticos descriptivos por grupo y tipo de estímulo ………... 27
Listado de Figuras Figura 1 Demostración de la prueba en ejecución ………... 24
Laboratorio Virtual Vs. Laboratorio Tradicional: Diferencias en Respuesta del STROOP
Con el término laboratorio tradicional, se hará referencia a un espacio físico con
características específicas que permiten controlar factores y variables que pueden afectar los
resultados de protocolos llevados a cabo en dicho lugar, el objetivo final es recopilar datos de los
participantes para ser utilizados en una investigación. El espacio así referido es inmóvil,
invariable y su localización es específica y predeterminada; los invitados a participar en un
experimento deben llegar al laboratorio para llevar a cabo un protocolo determinado. Otra
característica importante que se observa en este espacio, es que siempre se presenta una
interacción cara a cara entre el participante y un miembro del equipo que realiza la investigación.
Las investigaciones realizadas en laboratorios tradicionales difieren de las realizadas en
laboratorios virtuales principalmente porque estas últimas no requieren un espacio físico sino
uno intangible el cual es accesible, únicamente, desde un dispositivo conectado a la Internet. Por
lo tanto, no hay manera de controlar ciertos factores que puedan afectar los resultados como en la
experimentación tradicional, como lo son la falta de supervisión y la incertidumbre del ambiente
inmediato del participante, donde se lleva a cabo el experimento.
Tabla 1. Diferencias entre un laboratorio tradicional y uno virtual (Reips, 2001).
Laboratorio tradicional Laboratorio virtual Espacio físico determinado. Espacio virtual que varía entre usuarios.
Supervisión durante los procedimientos. No hay supervisión.
acceso a internet.
En páginas web especializadas como Social Psychology Network1 se pueden encontrar
listados un gran número de experimentos virtuales disponibles para el público (en el momento de
la revisión se encontraron 249). Sin embargo, sigue existiendo una tendencia a buscar espacios
físicos para hacer la experimentación en psicología (Gamberini & Valentini, 2003). Esto es
especialmente notorio en el caso de las revistas indexadas; en ellas se observa que los
investigadores optan por ejecutar su búsqueda de datos a través del laboratorio tradicional.
Existen dos grandes razones por las cuales la transición hacia la experimentación virtual
se ha dificultado (Galimberti, Ignazi, Vercesi, & Riva, 2003). La primera de estas es una falta de
conocimiento o entrenamiento en lenguajes de programación, los cuales son necesarios para
lograr ejecutar pruebas a la WWW. La segunda razón es que no se ha indagado lo suficiente
sobre el comportamiento y los resultados de los sujetos que llevan a cabo pruebas mediante el
Internet.
La falta de conocimiento en el área de programación y scripting, se ve agravada por la
escasez de software especializado para la creación completa de procedimientos experimentales
en la red (en la búsqueda de herramientas que se realizó para este estudio, no se encontró
ninguno). De hecho, en la revisión de documentos realizada para este trabajo, solamente se
encontraron dos guías especializadas en enseñar habilidades técnicas para desarrollar este tipo de
experimentación, las cuales no asumen ningún conocimiento adicional (Birnbaum, 2000, Fraley,
2004) y de las cuales solo una está escrita desde el ámbito de la psicología experimental.
Adicional al hallazgo anterior, se encontró otro documento, que contiene una compilación de
varios artículos elaborados por distintos autores y cuya recolección está hecha por Samuel D.
Gosling, y John A. Johnson (2010), esta compilación está dirigida a usuarios más avanzados. Es
fundamental anotar que los procesos avanzados que describe esta guía, requieren de
conocimiento previo de scripting en Java o JavaScript, además de entendimiento de servidores y
páginas HTML. Es importante señalar que, no obstante la falta de conocimiento de programación
para software en la internet, existen herramientas que facilitan la creación de pruebas.
Los desarrollos de software encontrados cumplen la función de creación de scripts
creados con el fin de producir investigación por Web. Software como SurveyWiz y Wextor
facilitan la creación de documentos HTML y cuestionarios (Hewson, 2003) sin embargo no
permiten incluir variables que midan una reacción programada por parte del software como
resultante de una acción que realice el sujeto participante. Tampoco permite incluir opciones de
configuración avanzada para experimentos como, por ejemplo, la inclusión de estímulos
visuales. Aún más, estas herramientas requieren de conocimiento de los lenguajes de
programación y algún trabajo de codificación (creación de código escrito en algún lenguaje de
programación) por parte del experimentador, lo cual hace más compleja la tarea si se parte de la
base de que la mayoría de psicólogos no tienen entrenamiento específico en este tema. Esto es
porque dichas aplicaciones únicamente generan una parte del código necesario, el cual se debe
insertar en el código final de la página que se pretende como producto final.
Otro factor que intenta explicar por qué los psicólogos se encuentran tentados a usar
experimentación tradicional antes que experimentación virtual es que, aunque autores como
Buchanan (2002) y Musch & Reips (2001) han discutido a fondo las virtudes de estos protocolos,
sigue existiendo mucho escepticismo sobre la validez y confiabilidad de este tipo de
de esta nueva tendencia, se ha llevado a cabo procedimientos experimentales en los cuales el
objetivo final es comparar los resultados de un mismo proceso, usando por un lado investigación
tradicional y por otro lado su aplicación a través de Internet. Dentro de la bibliografía encontrada
sobre el tema, cuatro de seis estudios de este carácter se limitan a emplear formularios (preguntas
abiertas, cerradas y de selección múltiple) y respuestas en escala (Krantz & Scher, 1997; Riva,
Teruzzi, & Anolli, 2003; Linnman, Carlbring, Ahman, Andersson, & Andersson., 2006; Miller et
al., 2002).
En el campo de la psicología hay experimentos que no se limitan a leer preguntas y
responder categóricamente ante estímulos. Un buen ejemplo de estos son las investigaciones que
trabajan con conceptos de percepción, procesamiento y respuesta ante estímulos visuales
(Linnman et al, 2008). Este tipo de procedimientos necesitan de una interfaz más interactiva y
configurable, ya que miden tiempos tanto de la respuesta del participante como los intervalos de
la exposición del estímulo.
Dada la complejidad técnica y requerimientos de ciertos tipos de investigaciones de la
psicología experimental, actualmente se utiliza software especializado para facilitar la creación
de protocolos (como Superlab, Pebel, Labpsi y E-Prime). De igual forma existen algunas
entidades que han trabajado con este tipo de experimentos en el ámbito de Internet, como el
Project Implicit de Harvard y Social Psychology Network2.
La experimentación en Internet tiene un potencial que ha sido poco estudiado, pero es
claro que en la última década se ha incrementado el interés por esta área (Birnbaum, 2001;
Gosling & Johnson, 2010) , por lo tanto, es necesario buscar información sobre las diferencias
entre esta y la experimentación tradicional, en especial en cuanto a los resultados obtenidos. El
2 Los URL de los distintos proyectos son https://implicit.harvard.edu/implicit/ y
cambio hacia este tipo de procedimientos puede llegar a brindar condiciones que serían
imposibles de lograr en un laboratorio físico (por ejemplo, población multicultural y
multinacional) (Buchanan, 2002), simplificando al mismo tiempo la aplicación de los
experimentos tanto para los investigadores como para los participantes (Birnbaum, 2000).
En consonancia con lo discutido, el propósito final de este trabajo de grado es hacer una
comparación entre datos obtenidos a través de la web y de aquéllos recolectados en un
laboratorio tradicional. Este procedimiento tendrá el objetivo de comprobar que no hay
diferencias significativas entre los dos tipos de laboratorios. Se utilizará un experimento que
midió variables continuas (como, por ejemplo, el tiempo) y no solamente respuestas cerradas
(categóricas).
Marco Teórico
La posibilidad de llevar a cabo investigación por Internet ha crecido a medida que se han
desarrollado las nuevas tecnologías, permitiendo realizar procedimientos que antes se
consideraban imposibles o facilitando procesos que anteriormente causaban dificultades o errores
en las investigaciones. A continuación se hará una revisión de la documentación encontrada
sobre este tipo de investigación y se analizarán los resultados de los procesos experimentales que
buscan validarla.
Desde 1970 se ha visto un cambio en la manera en que los psicólogos implementan
experimentos, puesto que se comenzó a usar el computador como herramienta. Este sirvió para
incrementar la validez de los estudios (disminuyendo el número de errores por imprecisión
humana y sesgos por parte del investigador), y facilitó la manera en la que se recogen, organizan
investigación dio los pasos iniciales para la inclusión de la tecnología con la psicología
experimental.
Más de 30 años después Musch & Reips afirmaron en 1997 que Krnatz, Ballard y Scher
fueron pioneros al publicar un estudio sobre el atractivo femenino en la web. Esto dio paso a una
nueva revolución, una tendencia hacia la investigación a través de la WWW (World Wide Web
[la red mundial]) (Musch & Reips, 2001).
Desde entonces distintos autores han investigado sobre la validez, las ventajas y las
dificultades que presenta acogerse a este cambio de tecnologías (Birnbaum, 2001; Buchanan,
2002; Cruz, 2005; Gaggioli, 2003; Hewson, 2003). Reips (2001) hizo un estudio sobre este tema,
y encontró 18 ventajas y 7 desventajas de la investigación por Internet, las cuales se agrupan en
las siguientes categorías para efectos del presente trabajo:
Tabla 2. Categorías de las ventajas y desventajas de la investigación por Internet, basadas en las encontradas por Reips (2001).
Ventajas Desventajas
Acceso a poblaciones con alta varianza o
difíciles de obtener.
Múltiples Ensayos; es decir, que una persona
intente múltiples veces el mismo experimento.
Mayor justificación en la generalización de
resultados y validad externa por altos números
de participantes.
Falta de control de situación experimental y
reducción de interacción
sujeto-experimentador.
Facilitación de aspectos organizacionales
(tiempo, espacio, lugar de acceso, etc.), tanto
para el investigador como para los
participantes.
Pruebas no terminadas.
Participación completamente voluntaria /
control público de estándares éticos.
Bajo número de estudios en la web complica la
Reducción de efectos causados por el
investigador.
Limitación de recursos; experimentos que no se
pueden hacer en la web.
Información sobre pruebas incompletas o
sujetos que decidieron no llevar acabo el
experimento.
Alta reducción de costos.
Buchanan (2002) también coincide en términos generales con las afirmaciones de Reips
(2001), añadiendo que en la mayoría de procesos experimentales por Internet, las ventajas
normalmente sobrepasan las limitaciones que puede traer este tipo de investigación. Aun así, por
la naturaleza de la investigación por Internet existen algunas desventajas que difícilmente se
podrán superar.
La más clara de todas estas es el control del espacio experimental. Un ejemplo de este
caso es discutido por Musch & Reips (2001), quienes declaran que no se puede garantizar que un
programa funcione de la misma manera en todos los computadores debido a diferencias en
hardware y software. Las diferencias entre estos componentes pueden llegar a causar
incongruencias en la recolección de datos, la cual puede causar interferencia en los registros.
Uno de los contrastes mas resaltados entre estos tipos de experimentacion son las
diferencias entre los posibles participantes. La población accequible desde la investigacion por
Internet es considerada tanto ventajosa como desventajosa (Smith & Leigh, 1997). Se puede
afirmar que los estudios por Internet permiten un ambiente donde es más fácil obtener grandes
cantidades de participantes con una amplia variabilidad de datos demográficos, lo que conlleva la
posibilidad de realizar investigaciones cuyos resultados sean de más amplia generalización. Se
debe tener presente que también existen autores que reportan un sesgo en el tipo de personas que
usuarios de Internet son caucásicos de clase media-alta, quienes tienen mayor acceso a la red por
cuestiones de conectividad y disponibilidad de dispositivos.
Estas ventajas y desventajas están altamente correlacionadas con los avances en
tecnología y es importante resaltar que estos cambios no son necesariamente positivos ni
negativos. Esto se afirma puesto que de la misma manera en que los investigadores disponen de
nuevas herramientas tecnológicas de trabajo, los sujetos también cuentan con más recursos
generados también por la tecnología que les permite, por ejemplo, falsificar, cometer fraude o
crear errores de forma conciente en los datos. Por lo tanto, es importante conocer siempre el
funcionamiento de las nuevas herramietas que permiten hacer investigacion por internet, para de
esta manera anticipar y prevenir las posibles variaciones en los resultados (Fraley, 2004).
Herramientas Para La Investigación Por Internet
No es común encontrar a una persona quien realice investigación experimental en
ciencias sociales, entre otras, que tenga conocimiento de programación para internet y, mucho
menos, entrenamiento formal en el área de creación de aplicaciones web. Esto limita a los
investigadores a utilizar métodos tradicionales para realizar sus estudios. Por lo tanto es
importante hacer una introducción a algunos de los métodos y recursos disponibles para
desarrollar un procedimiento por Internet.
Uno de los autores más reconocidos en el área de la investigación en la WWW es, sin
duda alguna, Birnbaum, ya que este autor está citado en casi todas las referencias que se
encontraron sobre este tema. Él escribió la única guía especializada para los psicólogos sobre
investigación por Internet que no asume ningún tipo de conocimiento previo que se encontró en
la búsqueda de documentación: Introduction to Behavioral Research on the Internet (2000). Este
crecimiento exponencial de la tecnología computacional y las herramientas para las páginas web,
no sería difícil concluir que estas han cambiado drásticamente desde la publicación del libro.
Esto demuestra la necesidad inevitable de una valoración de la utilidad de las viejas herramientas
y una búsqueda de algunas nuevas.
Haciendo una revisión basada en los conceptos básicos de experimentación en línea que
propone Birnbaum (2000), e incluyendo nuevas herramientas, se plantea una posible secuencia
de experimentación virtual, la cual fue usada para el desarrollo de este trabajo de grado. En
seguida, se encontrará la batería de lenguajes de programación y las funciones que estos cumplen
en relación con el proceso y las necesidades de una investigación experimental virtual:
1. Mostrar contenido en pantalla del participante.
HTML, lenguaje de programación que permite organizar y exponer información
en un navegador. Para darle estilo a este se usara el lenguaje CSS, que fue
específicamente creado para modificar el HTML.
2. Permitir que el participante interactúe con este contenido.
Para esto es necesario utilizar otro tipo de codificación: Javascript. Este es un
script que se puede correr dentro de un código HTML sin requerir la instalación
de ningún otro programa. También se utilizará JQuery, un lenguaje que compila
una biblioteca de scripts en Javascript, la cual economiza y simplifica la cantidad
de código necesario para realizar distintos procesos.
3. Recoger las respuestas del participante.
Esta tarea requiere de otro tipo de lenguaje, que nos permita interacción entre el
de bases de datos). En cuanto a manejos de bases de datos se usara MySQL, ya
que es un lenguaje diseñado para trabajar con PHP.
Herramientas como Flash, Java y Pebel se descartan automáticamente ya que disminuirían el
número de usuarios porque requieren más procesamiento por parte del computador, además de
demandar un archivo ejecutable o un programa instalado previamente. Estas herramientas
requieren más capacidad de procesamiento y cambiarían los tiempos de carga significativamente
dependiendo de la velocidad del Internet y el hardware disponible, lo cual podría afectar
significativamente los resultados.
Esta es solo una de las posibles combinaciones de lenguajes de programación que pueden ser
utilizadas para lograr que un experimento funcione de manera correcta a través de Internet. Las
que fueron descritas anteriormente, fueron seleccionadas porque están diseñadas para funcionar
en conjunto; están estandarizadas para funcionar igual en cualquier explorador y no requieren de
instalación de software adicional para su funcionamiento.
Antecedentes De Comparaciones
Dejando de lado las ventajas, desventajas y aspectos técnicos que se han expuesto en la
historia de la investigacion por Internet, es importante comprobar cómo se comportan estas
cuando son expuestas a procesos experimentales. Para esto se reseñarán las investigaciones y los
resultados de investigaciones cuyo objetivo era explorar el funcionamiento de la
experimentacion por internet.
Durante la revisión bibliográfica de este trabajo de grado se encontraron seis casos de
investigaciones en las que se comparaban los resultados de pruebas virtuales contra pruebas
tradicionales. En seguida se expondrán estos casos, haciendo énfasis en los resultados que se
que únicamente utilizaron variables categóricas para hacer sus comparaciones y el segundo
grupo reseñará estudios que incluyan variables continuas.
Variables categóricas.
Cuatro de los seis estudios analizados en este trabajo de grado se llevaron a cabo usando
variables categóricas. Esto quiere decir que las opciones que se les presentaban a los
participantes eran limitadas de modo pregunta-respuestas o escalas de Likert. A continuación se
analizarán los resultados de estos estudios y las implicaciones que tienen sobre la validez y
confiabilidad de la investigación virtual. La tabla 3 contiene un resumen comparativo de estas
investigaciones.
El estudio sobre percepción de atracción hacia mujeres (primer artículo publicado con
experimentación en web según Musch & Reips, 2001), compara resultados de laboratorio
tradicional con los que se encontraron usando la WWW. Esta investigación fue la única de las
seis revisadas que utiliza estímulos visuales (imágenes) y no únicamente un modelo
pregunta-respuesta (Krantz, Ballard, & Scher, 1997). La hipótesis formulada por los autores era que los
resultados se podrían ver afectados por diferencias en hardware. Aunque este trabajo comprobó
que existía una alta correlación entre los datos encontrados, la preocupación de Krantz, Ballard,
y Scher es importante para el desarrollo de pruebas en la web. Las diferencias en hardware hacen
referencia a los equipos que los sujetos tenían disponibles cuando se les hizo la prueba, ya que
era imposible garantizar que todos tuvieran las mismas capacidades de procesamiento y, en
consecuencia, los resultados de la prueba se podrían ver perjudicados por varianzas en la manera
de exponer los estímulos (tanto estética como temporalmente). Hoy en día esto no es un
En un estudio hecho por Riva, Teruzzi, & Anolli (2003), se compararon las respuestas de
un formulario enviado por Internet con las de uno realizado de manera presencial. Este estudio
buscaba indagar sobre las actitudes ante la web y el Internet. Los autores encontraron que,
aunque los resultados de las pruebas no eran significativamente correlacionadas, “no había
diferencias relevantes en las características psicométricas de la prueba” (Riva, Teruzzi, & Anolli,
2003).
En otro experimento similar, Miller (2002) usó una muestra de universitarios para hacer
una investigación sobre los problemas causados por el consumo de alcohol. El autor reporta que
las respuestas por Internet disminuyeron de manera significativa los efectos generados por la
deseabilidad social, por lo tanto obtuvieron respuestas más precisas. La deseabilidad social, tal
como lo definen Coq y Asian, se presenta de manera evidente cuando “existe una fuerte presión
social a la hora de actuar en una cierta dirección” causando que “los resultados obtenidos a partir
de estas investigaciones no sean siempre los más correctos” (Coq & Asian, 2002). Una prueba
virtual, al ser a distancia, elimina los efectos de un investigador presente que puedan causar esta
interferencia.
En el último estudio que se encontró de este estilo, el cual se encarga de investigar sobre
el comportamiento sexual, uso de drogas y la agresividad en adolescentes (Turner et al, 1998),
también se compararon los resultados de experimentos tradicionales e investigación en la web.
En el experimento se utilizaron archivos de audio en donde el participante escuchaba las
preguntas a través de audífonos. Dado el tabú que rodea estos temas, los autores predijeron que
las personas no responderían honestamente a las preguntas realizadas en un laboratorio
tradicional y en efecto encontraron que estaban en lo cierto: se observó un cambio significativo
deseabilidad social tiene un efecto significativo al igual que en el experimento de Miller, ante la
presencia de un investigador.
Sherman (2003) también discute que la investigación por Internet crea un fenómeno de
disminución de la deseabilidad social por la falta de supervisión: “puede que las personas
acierten menos en cómo son juzgadas por los otros cuando se encuentran en interacciones cara a
cara” (Sherman, 2003).
Esto nos indica que existe una diferencia significativa en los resultados cuando se hace
experimentación en la web en comparación a cuando se hace por medio tradicional, en instancias
donde se tratan variables relacionadas con contenido por el cual el sujeto puede sentirse juzgado.
No obstante, el instrumento usado en estas comparaciones es de tipo categórico de escalas fijas,
el cual puede ser manipulado con facilidad por parte del participante bien sea de manera
consciente o de manera inconsciente. ¿En el caso de variables continuas, donde no hay unas
pocas posibilidades de respuestas predeterminadas, serían consistentes los resultados de una
prueba en web contra una en físico?
Tabla 3. Investigaciones que utilizan preguntas cerradas
Tema Autores Tipo de Prueba Resultados
Actitudes ante la web
y uso del internet
Riva, Teruzzi, &
Anolli, (2003)
Formulario Inconvenientes acerca del
control de población y
validez de la muestra.
Resultados
significativamente similares
y con alta correlación.
Problemas y el uso de
alcohol
Miller et al.,
(2002)
Formulario Disminuyeron a un nivel
pruebas por internet. Percepción de atracción hacia mujeres Krantz & Scher(1997)
Formulario Resultados
significativamente similares
y con alta correlación.
Comportamiento
sexual, uso de drogas
y agresividad en
adolescentes
Turner, L Ku,
Lindberg, Pleck,
& Sonenstein
(1998)
Formulario Internet disminuye la
deseabilidad social.
Variables continuas.
En los artículos consultados durante la revisión bibliográfica, se encontró solo dos
investigaciones que utilizaban variables continuas. Ambas pruebas usaron diferentes modelos de
la prueba STROOP. Se hará una breve explicación de la historia de esta prueba, pasando después
a describir los hallazgos de los experimentos. La tabla 4 contiene un resumen comparativo de
estas investigaciones.
El test de STROOP, al tener una variable continua como dependiente, se diferencia de las
pruebas y protocolos que se revisaron en los estudios anteriores. Esta fue una prueba creada en
1935 por J.R. Stroop, la cual mide atención e interferencia. Desde entonces ha sido una de las
pruebas más reconocidas y usadas en la psicología. Cuando MacLeod (1991) escribió su artículo,
el STROOP había sido utilizado en más de 700 trabajos académicos, lo cual demuestra su
importancia y relevancia en la psicología experimental. La prueba ha sido modificada y
cambiada para medir distintos tipos de interferencia, como por ejemplo el STROOP emocional
(Linnman, Carlbring, Ahman, Andersson, & Andersson, 2008). La prueba original presenta un
estímulo de un color, escrito con tinta de otro color, y el sujeto tiene que reconocer y señalar en
estímulo presentado, y como dependiente el tiempo de reacción ante dicho estímulo (variable
continua).
En un estudio hecho por Linnman et al. (2008), se llevó a cabo un STROOP emocional a
una población anoréxica y bulímica. Los resultados de este mostraron diferentes interferencias
para cada una de las categorías que se evaluaron, incrementando la interferencia con palabras
relacionadas a la patología de cada participante. Al ver resultados significativamente
diferenciables entre los dos grupos, y que los resultados de cada grupo eran congruentes con la
patología, se encuentra que el STROOP por medios virtuales sí puede arrojar resultados
confiables.
Unos años antes, los mismos autores hicieron un estudio de comparación entre
investigación en la WWW y laboratorio tradicional, contrastando los resultados con los de un
STROOP tradicional (Linnman, Carlbring, Ahman, Andersson, & Andersson, 2006). Los autores
encontraron que la prueba STROOP mantiene una baja variabilidad en los datos cuando es
conducida por Internet, incluso si esta se lleva a cabo en un espacio de bajo control experimental.
Si se hace una búsqueda por pruebas de STROOP por Internet, se encontrarían varios
ejemplos de estas funcionando en línea. Un ejemplo se puede observar en la página de la
universidad de Washington3, donde utilizan la prueba como un medio educativo para demostrar
este fenómeno psicológico. Es importante anotar que en esta búsqueda, aunque se encontraron
varios ejemplos de la prueba, no se encontró ninguno que estuviera directamente ligado a una
investigación ni que expresara explícitamente que los datos estaban siendo almacenados para
luego ser analizados.
Tema Autores Tipo de Prueba Resultados STROOP Linnman, Carlbring,
Ahman, Andersson, &
Andersson (2005)
STROOP Esta prueba tiene
validez en ambos
ámbitos.
Palabras con
significado emocional
para mujeres con
desórdenes
alimenticios.
Linnman, Carlbring,
Ahman, Andersson, &
Andersson (2006)
STROOP
Emocional
Resultados coherentes
con la literatura.
Hipótesis y Variables
Se formularon las siguientes hipótesis teniendo en cuenta lo descrito en el marco teórico:
1. Si se lleva a cabo un STROOP en un ambiente de laboratorio tradicional y otro
idéntico usando la experimentación por Internet, se encontrará que no hay una
diferencia significativa entre los resultados (tiempo de respuesta medido en
milisegundos) de la prueba.
2. Al presentar la prueba utilizando las metodologías de un laboratorio virtual contra
las de un laboratorio tradicional, se encontrará que en cada uno se cumple el
efecto de interferencia que mide la prueba STROOP. Este efecto dicta que cada
sujeto se tomará más tiempo (medido en milisegundos) identificando estímulos
incongruentes, cuando se compara con su tiempo de reacción ante estímulos
congruentes (MacLeod, 1991).
La prueba que se usará para comprobar estas hipótesis será un STROOP tradicional de
colores (Linnman et al., 2006). Las variables dependientes serán el tiempo de respuesta (variable
de intervalo) y si la respuesta del participante es correcta o no (variable nominal). Las variables
nominal) y si el estímulo que le fue presentado es congruente o incongruente (variable
dicotómica). Las respuestas erradas serán descartadas para normalizar la distribución de las
respuestas, y además no se tendrán en cuenta ya que no se puede descartar si el error fue causado
por una desconcentración. Esto es especialmente importante en la experimentación virtual
porque no se tiene control del ambiente donde se está realizando la prueba. Los errores de cada
participante fueron eliminados para lograr una normalización de la distribución de los datos.
Metodología
Participantes
Los participantes de esta investigación fueron estudiantes de pregrado en Bogotá,
Colombia (29 mujeres y 40 hombres). La muestra total fue de 69 estudiantes reclutados de
manera voluntaria, los cuales tuvieron una edad media de 21.81 (SD=.206, rango= 18-25 años).
Estos mismos fueron asignados aleatoriamente a uno de los dos grupos experimentales (virtual o
presencial). Estos fueron reclutados en las clases de pregrado que ofrece el departamento de
Psicología de la Universidad de los Andes, con la colaboración de algunos profesores que
ofrecieron una bonificación en las calificaciones de estas clases, de igual forma algunos
estudiantes tomaron la decisión de participar en esta investigación por cuenta propia y sin ningún
incentivo.
Materiales
Se desarrolló todo el código necesario para crear una versión de la prueba STROOP,
usando como estímulos los tres colores primarios (rojo, amarillo y azul) y tres colores
ambos grupos, de esta manera garantizando una igualdad en las mediciones de la prueba. Los
datos de tiempo de respuesta se grabaron por medio de cookies que posteriormente se
organizaron automáticamente en una base de datos manejada por MySQL, intentando eliminar el
impacto que pudiera causar diferencias de hardware o distintas velocidades de conexiones a
internet. Los tiempos se midieron en milisegundos usando el lenguaje de scripting JavaScript. Se
utilizaron códigos indexados, generados aleatoriamente, para identificar en cuál de las dos
condiciones se llevó acabo la prueba.
Los participantes interactuaban con la prueba por medio del mouse, debiendo seleccionar
la respuesta correcta. Si esta era correcta el browser presentaba una alerta que confirmaba la
respuesta. Los participantes debían hacer click en esta alerta para continuar al siguiente estímulo,
lo cual garantizó que el mouse siempre iniciara del mismo lugar en la pantalla para cada ensayo.
Si la respuesta era incorrecta, se presentaba una “X” roja que no permitía avanzar hasta que se
eligiera la respuesta correcta.
La investigación se dividió en dos partes iguales. La diferencia entre los dos módulos fue
que uno se llevó a cabo en los laboratorios de psicología experimental en la Universidad de los
Andes, siguiendo todas las condiciones y requerimientos de un laboratorio tradicional. La
segunda parte del grupo tuvo acceso a la prueba por internet, la cual se podía completar
utilizando cualquier computador con conexión a internet en tiempos regulados por los
participantes. El total de los participantes se dividió de la siguiente manera: 33 estudiantes
participaron en la versión virtual del procedimiento y 36 completaron el STROOP de manera
presencial. Para la parte presencial del estudio se utilizó un HP ENVY y un DELL INSPIRON;
ambos usaban el explorador Google Chrome.
Teniendo en cuenta que no se conoce de ningún riesgo que pueda devenir de la
presentación de un STROOP, no fue necesario considerar medidas adicionales para asegurar el
bienestar del sujeto experimental. De igual manera, por las características de la versión virtual
del experimento, sí se tomaron medidas para garantizar la privacidad de los sujetos y asegurar
que estos firmaran digitalmente el consentimiento informado.
Para garantizar que el participante hubiera leído el consentimiento informado y fuera
mayor de 18 años, se realizaron “trap doors” con los cuales, según respuestas del sujeto, se
finalizaría la prueba anticipadamente. Un ejemplo de esto sería que, si el participante introdujera
una edad de 16 años, la prueba lo sacaría de la rutina normal y lo enviaría a una página
agradeciendo su interés y explicando las razones por las cuales no puede completar la prueba. De
la misma manera, se grabó un “cookie” en el ordenador del sujeto experimental para asegurarse
de que esta persona no tomara la prueba múltiples veces, adicionalmente garantizando que los
resultados de un participante no fueran incluidos por no aceptar las condiciones del
consentimiento o por ser menor de edad. Un cookie es un archivo inofensivo, que se graba en los
computadores cuando se está navegando por Internet. Este archivo únicamente contiene
caracteres y no es ejecutable, por lo que este no presenta ningún tipo de riesgo ni invasión en las
computadoras.
Por otro lado, al ser una investigación por Internet, era de suma importancia asegurar que
los datos de los participantes fueran confidenciales, por lo que se empleó un sistema de
codificación para cifrar los datos. Esto garantizó que aunque los datos estuvieran en un servidor
que pueda llegar a ser infiltrado, a pesar de contar con seguridad primaria, los datos de los
Procedimiento
Para garantizar que los participantes fueran aleatoriamente escogidos para cada uno de los
experimentos, se les pidió a las personas que se mostraron interesadas que escogieran un folleto,
de un paquete que se les presentaba. Este contenía indicaciones que informaban si la persona
había sido seleccionada para la versión virtual o presencial de la investigación. Dependiendo del
resultado, se le daban las instrucciones necesarias a la persona para que llevara a cabo la prueba
en su propio tiempo o, si escogía un papel que indicaba que había sido seleccionado para el
modulo presencial, era invitado a pasar al laboratorio donde completaría el procedimiento. Cada
folleto también incluía el código único que debía ingresar cuando lo solicitara la aplicación.
Las fases del experimento una vez el participante ingrese a la página web serán descritas
en seguida:
1. El inicio de la prueba mostró una pantalla de agradecimiento y bienvenida al proceso.
2. Después de esto se expuso el consentimiento informado, en el cual era necesario leer y
firmar de manera digital.
3. A continuación debían llenar un formulario con sus datos demográficos básicos (edad y
género).
4. Posterior a esto se les pidió que ingresaran el código que se les había entregado
anteriormente.
5. Cuando los datos ya estaban ingresados se avanzó a una etapa de ensayo. Aquí se les dio
las instrucciones necesarias para completar la prueba, y se les introdujo a la tarea
haciendo una serie de ejercicios de práctica. Se les explico que la tarea consistía en
6. Después de esto, los participantes continuaron con la fase principal del experimento,
donde se les presentaron 27 estímulos (12 congruentes y 15 incongruentes) diferentes.
Todos los sujetos fueron expuestos a las mismas combinaciones de estímulos, pero estos
fueron ordenados aleatoriamente.
7. Finalmente, se les informó a los participantes el promedio que obtuvieron en el
procedimiento junto con una breve explicación del experimento.
La única diferencia entre las dos condiciones es que en la tradicional un supervisor
recibió a los participantes y les acompaño durante todo el proceso.
Resultados
Teniendo en cuenta que la primera hipótesis que se planteó hace referencia a encontrar
que no hay diferencia en tiempos de respuesta (considerando las variables intragrupales; las
palabras congruentes e incongruentes) entre los dos grupos experimentales (virtual y presencial),
se está buscando un puntaje p mayor a 0.05 (en otras palabras la hipótesis nula). Por otro lado, la
segunda hipótesis requiere el rechazo de la hipótesis nula, ya que esta dicta que sí se encontrará
el efecto de interferencia que mide el STROOP en las dos condiciones experimentales (tiempo de
respuesta en palabras congruentes es menor al de las incongruentes).
Se excluyeron algunos de los datos usando dos criterios diferentes con la intención de
disminuir interferencia en los estadísticos. Primero, se eliminaron todos los valores atípicos,
descartando datos que sobrepasaban tres desviaciones estándar en ambos lados de la distribución.
Segundo, las respuestas incorrectas no fueron incluidas en el estudio; estas fueron 3.6% (30 de
828 estímulos) en congruentes y 3.7% (38 de 1035 estímulos) en incongruentes. De la misma
manera, se encontró que no existían diferencias significativas en cuanto a cantidad de errores
entre los dos grupos experimentales (virtual y presencial), ni entre las diferentes condiciones de
estímulos.
Los datos fueron analizados usando una ANOVA 2x2 de medidas repetidas (el factor
intra-sujeto fue tipo de estímulo y el factor inter-sujetos fue el grupo). Para complementar este
método estadístico se utilizó el PostHoc de Bonferroni. Esta prueba estadística nos permitió
rechazar o aceptar las hipótesis planteadas inicialmente de acuerdo a los valores especificados
anteriormente... Los resultados de esta ANOVA están presentados en la figura 2.
Figura 1. Demostración de la prueba en ejecución. Presentación del estímulo (imagen superior), respuesta incorrecta (imagen inferior izquierda) y respuesta adecuada (imagen inferior derecha).
Figura 2
.
En cuanto a las diferencias entre los grupos experimentales, se encontró que no existían
diferencias significativas entre los grupos F (1,67)=1832 P=0.500 ηp2=.007, y de la misma
forma no se evidenciaron diferencias significativas dadas por el cruce entre las variables
GRUPOS*ESTÍMULOS; F (1,67)=1.125 P=0.293 ηp2=.017. Bajo estos estándares podemos
definir que no existe una diferencia significativa entre la comparación de resultados de la prueba
de STROOP (Virtual vs. Tradicional), concordando con lo previsto anteriormente en la primera
hipótesis.
Por otro lado, los resultados de este análisis demostraron que sí hay una diferencia
significativa entre el tiempo de respuesta de los estímulos congruentes contra los incongruentes
en ambos grupos F (1,67)=155 P<0.001 ηp2=.699, y que este efecto fue grande. Estos resultados
nos permiten rechazar la hipótesis nula. Por lo tanto, se cumplen las condiciones y se tiene
confirmar que se produjo el efecto de interferencia en los dos grupos experimentales. Se puede
ver en la tabla 5 las medias y desviaciones estándar para cada uno de los grupos en las diferentes
condiciones.
Tabla 5. Estadísticas descriptivas por grupo y tipo de estímulo. (Media, Desviación Estándar).
ESTADÍSTICAS DESCRIPTIVAS GRUPO
VIRTUAL PRESENCIAL TOTAL TIPO DE
ESTÍMULO
CONGRUENTES 3200, 704 3288, 599 3246, 648 INCONGRUENTES 3390, 684 3514, 626 3455, 652
Es claro que ambas de las hipótesis planteadas se cumplieron, por lo tanto se podría
asumir que la tarea se cumplió debido a lo esperado. De igual manera, ya que es necesario, se
hará una evaluación de este hecho más profunda y se analizara con la información encontrada en
el marco teórico de esa tesis.
Discusión
Recapitulando la pregunta inicial de investigación se puede finalmente afirmar que, según
los datos recolectados en este procedimiento experimental, sí se produce el efecto STROOP tanto
en la web como de manera presencial. Aún más, se encontró que aunque las medias de los dos
grupos eran diferentes, estas no fueron estadísticamente distintas. Viendo que los datos
concordaron con las hipótesis planteadas, se indagará más detalladamente en los resultados
usando los antecedentes teóricos que fueron analizados anteriormente. De igual forma se
analizará si la metodología utilizada fue la correcta para poder llegar a conclusiones.
Reflexionando sobre la metodología utilizada para realizar este proceso, no se vieron
dificultades específicas ni se identificaron posibles factores que alteraran de manera importante
corriera exactamente igual en ambos ambientes. Por otro lado, es importante tener en cuenta que
hay factores de metodología en la experimentación virtual que no podrán ser controlados, como
la concentración de los participantes y la combinación especifica de hardware y software que
están usando. Igualmente, se debe tener en cuenta que el programa fue creado por un psicólogo
sin experiencia en programación; por lo tanto, existe la posibilidad de que una persona con el
entrenamiento adecuado podría modificar el código de tal manera que la aplicación controlara
más efectivamente las variables de carga en el proceso computacional.
Explorando por fuera del enfoque estadístico, es importante también reportar la
experiencia de trabajar en un ámbito de experimentación por web. Aunque gracias a la revisión
teórica sobre el tema se tenía una idea general sobre las posibles ventajas y desventajas de llevar
a cabo procesos de manera virtual, la experiencia mostró el valor real de estas. La facilidad y
flexibilidad que permite la investigación en la WWW, fue impactante en comparación con la
tradicional. Una vez estaba disponible la página en la web, solo era necesario reclutar personas
para participar. En la parte presencial, un supervisor tenía que estar acompañando a los
participantes individualmente mientras completaban la prueba, además de organizar
logísticamente las reservas del laboratorio y horarios de los participantes. Esto implicó una gran
inversión de tiempo y recursos, para llevar a cabo la misma tarea. Por la naturaleza de este
trabajo, la facilidad con la que se llevó acabo la tarea fue la ventaja más notoria para la parte
virtual de este estudio y no se evidenciaron desventajas específicas a los dos grupos
experimentales. Esto concuerda con las virtudes que menciona la literatura analizada en el marco
teórico de este trabajo, de tal manera que se puede concluir que esta versión apoya lo que se ha
Es importante resaltar que, por las variables y características puntuales de un STROOP,
algunas de las ventajas y desventajas de la experimentación por la WWW no fueron evidenciadas
(ej. deseabilidad social). Por esta razón, sería de gran importancia hacer procedimientos de
comparación directa, que involucren una batería distinta de variables, comprobando de esta
manera el comportamiento de otros fenómenos en Internet. Incluso, sería interesante indagar
sobre el funcionamiento de investigaciones cualitativas por este medio.
Retomando los seis casos de comparación directa que se analizaron anteriormente, es
claro que se llegó a resultados similares, ya que en todas estas investigaciones se encontró
evidencia estadística que comprueba que no existen diferencias significativas entre la
investigación tradicional y virtual. Entendiendo esto, se podría concluir que los datos
encontrados incrementan la credibilidad que se le puede otorgar a este tipo de investigación.
En cuanto a la generalización de los resultados de esta investigación, se podría decir que
el efecto de interferencia que mide el STROOP, sí se produce a través de medios virtuales. Este
hecho es apoyado por los resultados de Linnman et al (2005, 2006) quienes realizaron el mismo
proceso bajo condiciones similares. En cuanto a la confiabilidad de la experimentación por
Internet, otros autores han comprobado que otros fenómenos psicológicos se presentan de la
misma manera en las dos condiciones. Por lo tanto, se puede afirmar con más certeza que los
métodos virtuales de investigación son válidos para producir fenómenos psicológicos.
Igualmente, es importante continuar buscando información sobre procedimientos
similares al que se llevó a cabo en este trabajo, ya que esto le daría más credibilidad a las
investigaciones por internet.
De la misma manera, entendiendo las tendencias mundiales hacia la computación, se
además de promover un vínculo de trabajo entre programadores profesionales y psicólogos. Esto
podría llegar a crear una estandarización de la investigación en la WWW, de tal manera que los
resultados obtenidos de esta manera sean aún más confiables.
Finalmente, se deberían hacer estudios buscando entender la distribución de población
cuando se publica en Internet libremente. Todos los estudios de comparación directa que se
revisaron en este trabajo utilizaron poblaciones controladas. La literatura es clara en que esta
sería una gran ventaja de la investigación por Internet, pero sería importante crear un
procedimiento para indagar específicamente sobre los efectos que puede causar la falta de
control sobre la población que se va a estudiar.
Uno de los objetivos secundarios de este trabajo de grado es demostrar y alentar a otros
investigadores a llevar acabo protocolos con estas metodologías. Las implicaciones que tiene la
experimentación por Internet son innumerables. Una de las más importantes sería, como se ha
mencionado anteriormente, la posibilidad de acceder a poblaciones con un alto índice de
diversidad y, por lo tanto, permitiendo concluir resultados más generalizables. Por otro lado, la
alta reducción de costos y esfuerzos tanto por parte de los investigadores como por parte de los
voluntarios, permitirá hacer más investigaciones sin necesidad de buscar altas sumas de apoyo
económico.
Este trabajo aporta a la nueva tendencia de investigación por Internet, comprobando que
en el contexto estudiado se produce el efecto STROOP de la misma manera en laboratorios
tradicionales como en ambientes virtuales, además de que no se diferencian significativamente
los resultados entre los grupos. De igual forma, estos resultados contribuyen a la búsqueda global
de formalizar y validar la investigación por Internet, la cual es apoyada por otros autores que
se siga haciendo investigación de modo comparativo para ampliar el conocimiento de otros
fenómenos y características específicas, las cuales se vieron limitadas por las condiciones de este
Referencias
Batinic, B., Reips, U.D., Bosnjak, M., & Werner, A. (2000). Online Social Sciences. Toronto: Hogrefe Publishing.
Birnbaum, M. (1999). Testing Critical Properties of Decision Making on the Internet.
Psychological Science, 10, 399-407.
Birnbaum, M. (2000). Introduction to Behavioral Research on the Internet . New Jersey: Prentice Hall.
Birnbaum, M. (2001). Behavioral Research on the Internet. New Jersey: Prentice Hall.
Buchanan, T. (2002). Online Assessment: Desirable or Dangerous? Professional Psychology: Research and Practice, 2, 148-154.
Coq, D., & Asian, R. (2002). Estudio de la "deseabilidad social" en una investigacion mediante encuestas a empresarios andaluces. Metodologia de encuestas, 2, 211-225.
Cruz, J. E. (2005). Laboratorios virtuales. En J. E. Cruz (Eds.), Avances en ciencias del comportamiento (pp. 33-51). Bogotá: Editorial.
Fraley, C. (2004). How to Conduct Behavioral Research over the Internet: A Beginner's Guide to HTML and CGI/Perl (Methodology in the Social Sciences). New York: Guilford Press.
Gaggioli, A. (2003). Using Virtual Reality in Experimental Psychology. En G. Riva, & C. Galimberti (Eds.), Towards CyberPsychology: Mind, Cognitions and Society in the Internet Age (pp. 157-174). Amsterdam: IOS Press.
Galimberti, C., Ignazi, S., Vercesi, P., & Riva, G. (2003). Towards CyberPsychology: Mind, Cognitions and Society in the Internet Age. En G. Riva, & C. Galimberti (Eds.),
Characteristics of Interaction and Cooperation in Immersive and Non-immersive Virtual Enviorments (pp. 129-156). Amsterdam: IOS Press.
Gamberini, L., & Valentini, E. (2003). Web Usability Today: Theories, Approach and Methods. En G. Riva, & C. Galimberti (Eds.), Towards CyberPsychology: Mind, Cognitions and Society in the Internet Age (pp. 110-122). Amsterdam: IOS Press.
Gosling, S. D., & Johnson, J. A. (2010). Advanced Methods for Conducting Online Behavioral Research. Washington DC: American Psychological Association.
Hewson, C. (2003). Conducting Research on the Internet. The Psychologist, 6, 290-293.
Hewson, C., Laurent, D., & Vogel, C. (1996). Proper Methodologies for Psychological and Sociological Studies Conducted Via the Internet. Behavior Research Methods,
Krantz, J., Ballard, J., & Scher, J. (1997). Comparing the Results of Laboratory and World-Wide Web Samples on the Determinants of Female Attractiveness. Behavior Research
Methods, Instruments, & Computers, 2, 264–269.
Linnman, C., Carlbring, P., Ahman, A., Andersson, H., & Andersson, G. (2006). The Stroop Effect on the Internet. Computers in Human Behavior, 3, 448-455.
Linnman, C., Carlbring, P., Ahman, A., Andersson, H., & Andersson, G. (2008). Emotional Stroop via Internet among individuals with eating disorders. Scandinavian Journal of Psychology, 22, 69–76.
MacLeod, C. M. (1991). Half Century of Research on the Stroop Effect: An Integrative Review.
Psychological Bulletin, 2, 164-203.
Miller, E., Neal, D., Roberts, L., Baer, J., Cressler, S., Metrik, J., & Marlat, A. (2002). Test-retest reliability of alcohol measures: is there a difference between internet-based assessment and traditional methods? Psychol Addict Behaviors, 1, 56-63.
Musch, J., & Reips, U. D. (2001). A Brief History of Web Experimenting. San Diego: Academic Press.
Reips, U. D. (2001). The Web Experiment Method: Advantages, Disadvantages, and Solutions.
San Diego: Academic Press.
Riva, G. (2001). The Mind Over the Web: The Quest for the Definition of a Method for Internet Research. Cyberpsychology & Behaviour, 1, 7-16.
Riva, G., & Galimbert, C. (2001). The Mind in the Web: Psychology in the Internet Age.
Cyberpsychology & Behaviour, 2, 1-5.
Riva, G., & Galimberti, C. (2003). Complementary Explorative Multilevel Data Analysis – CEMDA: A socio-cognitive model of data analysis for Internet research. En G. Riva, & C. Galimberti (Eds.), Towards CyberPsychology: Mind, Cognitions and Society in the Internet Age (pp. 19-35). Amsterdam: IOS Press.
Riva, G., Teruzzi, T., & Anolli, L. (2003). The Use of the Internet in Psychological Research: Comparison of Online and Offline Questionnaires. Cyberpsychology & Behaviour, 1, 73-80.
Sherman, R. (2003). Towards CyberPsychology: Mind, Cognitions and Society in the Internet Age. En G. Riva, & C. Galimberti (Eds.), The Mind’s Eye in Cyberspace: Online
Smith, M., & Leigh, B. (1997). Virtual Subjects: Using the Internet as an Alternative Source of Subjects and Research Environment. Behavior Research Methods, Instruments, & Computers, 3, 496-505.
Turner, C. F., Ku, L., Rogers, S. M., Lindberg, L. D., Pleck, J. H., & Sonenstein, F. L. (1998). Adolescent Sexual Behavior, Drug Use, and Violence: Increased Reporting with Computer Survey Technology. Science, 2, 867-873.
Wiederhold, B., Jang, D., Kaneda, M., Cabral, I., Lurie, Y., May, T., Kim, S. (2003). An Investigation into Physiological Responses in Virtual Environments: An Objective Measurement of Presence. En G. Riva, & C. Galimberti (Eds.), Towards
CyberPsychology: Mind, Cognitions and Society in the Internet Age (pp. 175-184). Amsterdam: IOS Press.
The British Psychological Society. (2006). Guidelines for Ethical Practice in Psychological Research Online. London: The British Psycological Society.
