LOS EQUIPOS DE ENTRENAMIENTO: UNA MUESTRA PARA EL ESTUDIO DE LOS SESGOS EN LA FIABILIDAD

(1)

LOS EQUIPOS DE ENTRENAMIENTO: UNA MUESTRA PARA EL ESTUDIO DE LOS SESGOS EN LA FIABILIDAD ENTRE PAREJAS DE OBSERVADORES

María Cadenas Borges, Manuela Rodríguez Dorta, Matilde Díaz Hernández Facultad de Psicología, Universidad de La Laguna

Aceptado 1 diciembre 2012. Revisado 22 diciembre 2012. Publicado 31 diciembre 2012

RESUMEN

La metodología observacional constituye un procedimiento de registro sistemático y objetivo de una conducta espontánea que se da en un contexto natural y a lo largo de un continuo. La figura del observador es imprescindible en el uso de instrumentos de observación, debido a que la fiabilidad del instrumento depende, en buena parte, de su destreza y, por tanto, del proceso de formación que siga. Durante el entrenamiento de observadores se debe prestar atención a diversos aspectos, incluyendo factores contextuales. Una posible fuente de variación puede estar en los patrones de entrenamiento en observación. En este estudio se plantea el análisis del efecto del tipo de entrenamiento en la fiabilidad entre observadores que se entrenan juntos y por separado. El objetivo es evaluar la influencia de los cambios en el patrón de entrenamiento en el índice de acuerdo entre observadores. Los participantes son tres parejas de observadoras que se entrenan para la codificación con el instrumento de observación denominado Protocolo de Observación de las Funciones Docentes en Universidad (PROFUNDO-UNIV). Existen dos turnos de entrenamiento, mañana y tarde. Dos de las parejas se entrenarán conjuntamente y una tercera se entrenará en turnos distintos. El análisis de fiabilidad se realiza en dos momentos, al finalizar el entrenamiento y tres semanas después del mismo. La prueba de fiabilidad se hace mediante del índice de Kappa de Cohen (1960) y la Teoría de la Generalizabilidad (TG) (Cronbach, Gleser, Nanda y Rajaratnam, 1972).

Palabras clave: metodología observacional, observadores, entrenamiento, fiabilidad, TG.

TRAINING EQUIPMENT: A SAMPLE FOR THE STUDY OF BIAS IN THE OBSERVER RELIABILITY DATING

Observational methodology is a method of systematic and objective record of a spontaneous behavior in its natural context and along a continuum. The figure of the observer is essential in the use of observational instruments, because the reliability of the instrument depends, in large part, on its ability and, therefore, the training process. During training of observers should pay attention to various aspects, including contextual factors. One possible source of variation may be in the training of observers. This study presents an analysis of the effect of the sort of training on reliability between observers who train together and separately. The objective is to evaluate the influence of changes in the observers training in the agreement between observers. The participants are three couples who are trained for use the Observational Protocol for Teaching Duties in University. There are two training shifts, morning and afternoon. Two couples will be trained together and a third will be trained in different shifts. The reliability analysis is calculated in two stages, at the end of training and three weeks afterwards. The reliability test is done by Kappa Coefficient of Cohen (1960) and Generalizability Theory (TG) (Cronbach, Gleser, Nanda, and Rajaratnam, 1972).

Key words: observational methodology, observers, training, reability, GT.

En los últimos años, el sistema universitario europeo ha incorporado multitud de cambios a nivel organizacional y pedagógico, fruto de los esfuerzos por crear un sistema convergente y común a todos los países integrantes de la Unión Europea (EU). La EU mantiene, como uno de sus objetivos principales, acreditar unos parámetros de calidad en la educación que reciben sus jóvenes, con el fin de asegurar el bienestar individualy colectivo de una sociedad. En el desarrollo de dicho objetivo emerge el Espacio Europeo de Educación Superior, que supone una reforma en la estructura de las enseñanzas impartidas por las universidades.

En España, la Ley Orgánica 6/2001 de Universidades (BOE nº 307, del 24 de diciembre de 2001) establece procesos de evaluación para algunas de las funciones fundamentales de la universidad, creándose en 2002 una agencia independiente de evaluación, la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) a tal efecto. La misión de la ANECA es asegurar, desde un punto de vista externo, la calidad del sistema universitario y contribuir a su mejora (www.aneca.es), llevando a cabo su labor a través de diferentes programas, entre ellos el DOCENTIA, que colabora con las distintas universidades españolas en la creación de sistemas para evaluar a su profesorado.

Pero este interés evaluativo no es nuevo, ya que se han sucedido múltiples investigaciones en torno a la figura del profesor universitario y el desempeño de su labor. La evaluación educativa, tiene como fin

último valorar los procesos que intervienen en el escenario educativo (Anguera, 1988). En este sentido, la figura del profesor cobra especial relevancia, siendo los principales puntos de interés las funciones que desempeñan y las habilidades y estrategias que despliegan.

Esta evaluación se ha llevado a cabo a través de autoinformes, pero cuando se trata de evaluar la conducta del docente, la metodología adecuada es la observacional. Esta metodología es un procedimiento científico idóneo para el estudio de la conducta humana, muy válido para el estudio de comportamientos espontáneos en contextos naturales (Anguera, 2010). Esta flexibilidad y capacidad de adaptación a todo tipo de escenarios, y el nulo o escaso control interno de la situación por parte del investigador, la convierten en una herramienta extraordinaria para la evaluación dentro del aula (Anguera, 1990).

No obstante, la metodología observacional no queda exenta de limitaciones y se ve afectada por sesgos que es necesario controlar en el desarrollo de la evaluación y que se pueden agrupar en tres bloques: sesgos procedentes del observado, en el que destaca la reactividad del observado al percibirse como tal; sesgos derivados del propio procedimiento de observación, como son lossesgos técnicos o de categorización; y sesgos del observador (Ibáñez, 1993).

(2)

que la fiabilidad del instrumento depende, en buena parte, de su competencia, por lo que es especialmente relevante atender a los sesgos que pueda producir. Se han identificado distintas fuentes de sesgos: historia personal y las características personales del sujeto, tales como sexo, edad o ideología (Behar y Riba, 1993; Quera y Behar, 1997), la percepción del observador, ya que puede generar una serie de errores perceptivos conocidos como efecto de centración, de halo, anclaje o asimilación (Anguera, 1988; 1990), la interpretación del sistema de categorías por parte del observador, que constituyen una fuente importante de sesgo, dado que el observador puede desarrollar la tendencia a elaborar definiciones propias a partir de las originales de las categorías de conducta, fenómeno conocido como deriva del observador (Kazdin, 1977; citado en Behar y Riba, 1993). Igualmente, el conocimiento previo que el observador tenga sobre estudio, así como las expectativas del observador acerca de la investigación, pueden distorsionar la codificación del observador (Anguera, 1990; Behar y Riba, 1993; Quera y Behar, 1997; Anguera, Blanco, Losada y Sánchez Algarra, 1999).

Para prevenir estas posibles fuentes de error es imprescindible contar con un procedimiento de entrenamiento riguroso. La formación del observador se entiende como un proceso en el que se adquiere mayor manejo conceptual, empírico y tecnológico para desempeñar la tarea del observador en un estudio (Anguera, 2003). Este proceso persigue hacer al observador competente en su tarea, lo que implica una correcta interpretación de lo observado, acorde con la teoría de referencia, eliminando o minimizando posible los sesgos, además de obtener un registro preciso (Anguera, Blanco, Losada, Sánchez Algarra, 1999). Este fin se puede conseguir a través de pertinentes procesos de formación. Reid (1982, citado en Behar y Riba, 1993) señala que un adecuado programa de formación debe constar de de cuatro etapas generales: a)adiestramiento en el sistema de observación, b) adiestramiento en el contexto de observación, c) performance del observador tras el adiestramiento inicial y d) conservación de la performance del observador tras el entrenamiento.

Por su parte, Heyns y Zander (1959, citado en Anguera, 1978) señalan siete fases en el proceso de formación: a)explicación de los fundamentos teóricos y los objetivos del estudio, b) ensayo de las observaciones sin seguir un protocolo, c) pruebas con el protocolo de observación y explicación de las distintas partes del instrumento, d) ensayo en grupo de las observaciones, e) conocer las características del grupo a observar, y f) evaluación del trabajo realizado por los observadores.

Anguera (2003) distingue dos etapas básicas en el proceso de formación del observador: una primera etapa de entrenamiento, en el que el observador conoce los aspectos básicos y funcionamiento del proceso y la etapa de adiestramiento, que supone una

formación específica sobre las fases y elementos básicos del proceso de observación seguido en la investigación llevada a cabo. A estas dos etapas, le sigue otra, de evaluación, en la que se realizan análisis de fiabilidad intra e interobservadores.

La finalidad de las propuestas descritas es conseguir observadores que garanticen la calidad del dato, lo que implica prestar atención a diversos factores, incluidas las características del procedimiento de entrenamiento.

La Teoría de la Generalizabilidad (TG) (Cronbach, Gleser, Nanda y Rajaratnam, 1972) constituye uno de los procedimientos más valorados para la determinación de la bondad del dato en metodología observacional. Dicha teoría asume que existen múltiples fuentes de variación (denominadas facetas) que provienen de diferentes agentes (individuos, observadores, sesiones, días, técnicas...) y las integra en una estructura global (Blanco, Castellano y Hernández-Mendo, 2000). Uno de sus objetivos es identificar los componentes de varianza que explican el error para entonces implementar estrategias que reduzcan su influencia en el proceso de medida (Blanco, 2001). El proceso descrito se lleva a cabo a través de cuatro fases o planes (Blanco, 1993; 2001):

-‐ Plan de Observación: identificación, selección y organización de los datos.

-‐ Plan de Estimación: elección del modelo de estimación adecuado (efectos aleatorios o mixtos) determinado por el muestreo elegido para los niveles de cada faceta.

-‐ Plan de Medida: se precisa que faceta o facetas constituyen interés de estudio. En esta fase se distingue entre facetas de diferenciación (objetos de medida) y de generalización (instrumentos de medida o condiciones de observación según Cronbach). Siguiendo el principio de simetría, toda faceta puede ser atribuida a una u otra condición.

-‐ Plan de Optimización: en función de los análisis previos se decide la mejor adecuación en los procedimientos de medida.

La TG trata esencialmente la descomposición de la varianza observada en diferentes componentes y adquiere información a partir de los análisis de dichos componentes, focalizando en las fuentes de error en un determinado diseño (Blanco, 2001). Esto permite estimar de forma precisa qué objeto de medida aporta mayor porcentaje de error al estudio. Por ello se perfila como una herramienta idónea en el análisis de las potenciales fuentes de error derivadas del observador o de los modelos de entrenamiento seguidos.

El objetivo general de este estudio es evaluar la influencia de la variación del patrón de entrenamiento en el índice de acuerdo entre observadores que se entrenan juntos y por separado, para el dominio en la codificación con el instrumento de observación denominado Protocolo de Observación de las Funciones Docentes en Universidad (PROFUNDO-Tabla 1: Planificación de las sesiones del entrenamiento PROFUNDO-UNIV.

ETAPAS ENTRENAMIENTO OBSERVADORAS

SESIÓN 1 SESIÓN 2 SESIÓN 3 SESIÓN 4

BLOQUE A BLOQUE B BLOQUE C BLOQUE D BLOQUE E BLOQUE F BLOQUE G BLOQUE H

Explicación

de la

planificación

del proceso

de formación.

Marco teórico del estudio y detalles de la investigación.

Explicación del Protocolo de

Observación de Funciones Docentes en Universidad (PROFUNDO-UNIV).

Explicación de cada uno de

los códigos

mediante capturas visuales de los vídeos.

Explicación de la sintaxis y codificación a lápiz y papel

con el

instrumento de observación.

Sesión

colectiva de

prueba con el instrumento de observación.

Explicación del instrumento de registro.

Sesión

individual de

(3)

UNIV). Se pretende así poner a prueba el modelo de entrenamiento propuesto y mejorar la competencia de los observadores.

MÉTODO Participantes

Los participantes observados son dos profesores universitarios pertenecientes a diferentes ramas de conocimiento: Ciencias Sociales y Jurídicas y Ciencias de la Salud.

Las observadoras son seis voluntarias estudiantes y licenciadas en Psicología y Pedagogía que completaron satisfactoriamente el proceso de entrenamiento para Protocolo de Observación de las Funciones Docentes en Universidad (PROFUNDO-UNIV), con edades comprendidas entre 23 y 36 años. Metodología y diseño

La metodología aplicada para este estudio es observacional. El diseño planteado, de acuerdo con los ejes dimensionalidad y temporalidad, es nomotético-puntual-multidimensional (Anguera, Blanco y Losada, 2001):

-‐ Nomotético: se analizan los comportamientos de dos profesores universitarios.

-‐ Puntual: cada observadora registra una única vez a cada profesor participante.

Multidimensional: el instrumento elaborado es jerárquico y consta, en orden descendente, de macrocategorías, criterios y códigos.

Instrumentos

Protocolos de Observación

El instrumento empleado en este estudio, Protocolo de Observación de Funciones Docentes en Universidad (PROFUNDO-UNIV), adaptado a partir un protocolo elaborado previamente en base al Modelo de Funciones Docentes de Hernández-Jorge (2005) Protocolo de Observación de Funciones Docentes (PROFUNDO) (Rodríguez-Naveiras, 2011) para la evaluación de conductas en un contexto educativo no formal. En su diseño se han combinado dos estrategias, los sistemas de categorías y los formatos de campo (Anguera, 1979). Los formatos de campo garantizan la recogida de distintos aspectos de un evento siguiendo un conjunto de criterios relevantes (Anguera 1979). El sistema de categorías se corresponde con un sistema exhaustivo y mutuamente excluyente entre las categorías que lo forman (Castellano y Hernández-Mendo, 2000). En la tabla 2 se expone la estructura del protocolo de observación utilizado en el estudio.

Instrumento de registro y codificación:

El registro de las sesiones de observación se ha realizado con dos cámaras de video SONY. La conversión de los videos a un formato mpg se llevó a cabo por medio del software Format Factory.

Para la codificación de los comportamientos de los participantes se ha utilizado, como instrumento de registro, el software AUGEN v. β (elaborado por Montero, J., Montero, J. Computer Business Solutions, sin publicar).

Procedimiento

Entrenamiento observadoras:

A partir de las propuestas de Heyns y Zander (1959, citado en Anguera, 1978) y Anguera (2003), una vez depurado el instrumento de observación y previo al registro de las conductas, se llevó a cabo el programa de entrenamiento de observadoras para Protocolo de Observación de las Funciones Docentes en Universidad (PROFUNDO-UNIV). El conjunto de observadoras se distribuyó en dos grupos entrenamiento, con los que se siguió un procedimiento idéntico, recibiendo el entrenamiento el primer grupo en horario de mañana y el segundo en horario de tarde. La asignación de los observadoras a un grupo u otro se hizo en base a la disponibilidad de las mismas, siendo la distribución de tres observadoras por grupo.

La formación de las observadoras se realizó en una semana. Se llevaron a cabo cuatro sesiones de cuatro horas cada una, así como una quinta, de evaluación, tres semanas después de la finalización de la etapa de formación. La primera prueba de fiabilidad se realiza en la sesión cuatro del entrenamiento y la segunda en la etapa de evaluación. Siguiendo las indicaciones de Bijou y Peterson (1960) y Reid (1982), (citados en Behar y Riba, 1993) las primeras pruebas de fiabilidad de los observadoras se hizo a partir de la codificación de dos vídeos seleccionados a partir de las grabaciones recogidas previamente para el estudio. En la tabla número 1 se detalla la planificación de los contenidos y actividades llevadas a cabo en el entrenamiento.

Selección de parejas:

La selección de las parejas se ha hecho al azar, tomando para la primera pareja dos observadoras del grupo de mañana, para la pareja dos, dos observadoras del grupo de tarde, y para la pareja tres, una observadora del grupo de mañana y otra del grupo de tarde.

Análisis de datos

El estudio de la fiabilidad se ha realizado a través de dos procedimientos: El índice de Kappa de Cohen (1960), llevado a cabo con el SPSS v.15 y a través de la Teoría de la Generalizabilidad (TG) (Cronbach, Tabla 2: Protocolo de Observación de Funciones Docentes en Universidad (PROFUNDO-UNIV.)

MACROCATEGORÍAS Funciones

CRITERIOS CÓDIGOS

1. Organización Organización externa

Organización del contexto Didáctico.

Organización del Alumnado. OD

OA

Organización interna Planificación académica. PA

2. Comunicabilida

d Docente

Conductas de dirección de las actividades.

Explicación del Profesor. Respuesta al alumno.

EP RA

3. Motivadora Refuerzo. Refuerzo.

Fomento de la Participación.

RF FP

4. Control

Comportamental Contingencias negativas. Contingencia Negativa. CN

5. Orientación y

Asesoramiento

Guía, asesoría y

retroalimentación. Guía. GU

Revisión no verbal de la tarea. Revisión No Verbal. RN

6. Interacción

Intervención de los alumnos.

Participación del Estudiantado. Responde al Profesor. Disrupciones de los Alumnos.

PE RP DA Intervención de los alumnos y

profesores. Interacciones Generales. IG

Categorías Instrumentales

Otros comportamientos. Inobservable.

El profesor sale del aula.

(4)

Gleser, Nanda y Rajaratnam, 1972) mediante el programa GT (Ysewijn, 1996).

RESULTADOS

Antes de iniciar la descripción de los resultados obtenidos en este estudio se comenta brevemente el procedimiento general llevado a cabo en el estudio de fiabilidad.

En primer lugar se han hallado los índices de acuerdo entre observadoras en cada prueba de fiabilidad, para las tres parejas seleccionadas mediante el índice de Kappa de Cohen (1960).

Para el estudio de generalizabilidad se ha seguido un Plan de Observación de cuatro facetas: grupo de entrenamiento (G) con dos niveles (mañana y tarde), observadoras (O) con seis niveles (O1, O2, O3,

O4, O5, O6), prueba de fiabilidad (F) con dos niveles,

primera y segunda, y códigos del instrumento (C), con diecisiete niveles (17 códigos). Los Planes de Estimación llevados a cabo son:

-‐ Para el análisis de la fiabilidad de las parejas 1 y 2 se ha seguido un Plan de Estimación de efectos aleatorios con un diseño multifaceta cruzado OxC, donde la faceta de diferenciación son los códigos y la faceta a generalizar los observadoras, siguiendo el Plan de Medida C/O. Las facetas prueba de fiabilidad (F) y grupo de entrenamiento (G) no se incluyen por tomarse como facetas fijas para cada uno de los análisis de fiabilidad en las parejas 1 y 2.

-‐ Para el análisis de la fiabilidad de la pareja 3 se ha seguido un Plan de Estimación de efectos aleatorios diseño multifaceta mixto anidado-cruzado, (O:G)xC, donde la faceta de diferenciación son los códigos y las facetas a generalizar son observadoras anidados en grupo de entrenamiento, siguiendo el Plan de Medida C/OG. La faceta prueba de fiabilidad no se incluye por tomarse como una faceta fija para cada uno de los análisis de fiabilidad de la pareja 3.

A continuación se detallan los resultados obtenidos a partir de los procedimientos de análisis de fiabilidad especificados.

Tal y como se observa en la Tabla 3 los índices de Kappa para la primera prueba de fiabilidad sólo supera el valor de .80 en el caso de la pareja 2, entrenada en el turno de tarde.

En la prueba de fiabilidad 2, la pareja 3, entrenada por separado, supera el valor .80, siendo inferior en las parejas entrenadas conjuntamente. Tabla 3. Coeficiente Kappa 1ª y 2ª prueba de fiabilidad entrenamiento por parejas

Pareja Observadoras Grupo de

entrenamiento

Kappa 1ª fiabilidad

Kappa 2ª fiabilidad

1 1

2 Mañana .731 .798

2 4

5 Tarde .859 .715

3 3

6

Mañana

Tarde .577 .820

El estudio de generalizabilidad arroja los siguientes resultados. Para la pareja 1, turno de mañana, en los Planes de estimación y medida por observadoras y códigos, el coeficiente G supera el valor de 0.80 en la primera prueba de fiabilidad, y de 0.90 en la segunda (ver Tablas 4. y 5.).

Tabla 4. Plan de Estimación OxC para la pareja 1 en la 1ª prueba de fiabilidad. Plan de medida C/O

FV GL CM CVA % VT EE

O 1 36,03 1,49 2,8 1,74

C 16 93,46 41,44 77,4 15,68

OC 16 10,59 10,59 19,8 3,53

Coeficiente G relativo= 0,89; Coeficiente G absoluto= 0,87 FV: fuentes de variación; GL: grados de libertad, CVA: componente de varianza aleatorio; %VT: porcentaje de variabilidad total; EE: error estándar

O 1 1,06 0,01 0,1 0,05

C 16 22,12 10,62 92,3 3,69

OC 16 0,87 0,87 7,6 0,29

En el caso de la pareja 2, turno de tarde, en los Planes de estimación y medida por observadoras y códigos, tal y como se indica en las Tablas 6 y 7. El coeficiente G supera valores de .90 en ambas pruebas de fiabilidad.

O 1 1,88 0,00 0,00 0,09

C 16 54,09 26,11 93,3 9,02

OC 16 1,88 1,88 6,7 0,63

O 1 0,12 -0,02 0,00 0,01

C 16 11,40 5,45 91,7 1,90

OC 16 0,49 0,49 8,3 0,16

Por último, la pareja 3, entrenada en grupos distintos, en el caso de la primera prueba de fiabilidad, los Planes de estimación y medida por observadoras anidados en grupos de entrenamiento por códigos, el coeficiente G no superan el valor de .80.

Tabla 8. Plan de Estimación (O:G)x C para la pareja 3en la 1ª prueba de fiabilidad. Plan de medida C/OG.

G 1 76,50 3,41 7,7 3,69

O:G … … … … …

C 16 63,32 22,38 50,5 10,99

GC 16 18,56 18,56 41,9 6,19

OC:G … … … … …

(5)

Tabla 9. Plan de Estimación (O:G)x C para la pareja 3en la 2ª prueba de fiabilidad. Plan de medida C/OG.

G 1 4,97 0,18 1,2 0,24

O:G … … … … …

C 16 27,94 13,04 86,5 4,66

GC 16 1,84 1,84 12,2 0,61

OC:G … … … … …

DISCUSIÓN

Este estudio se ha desarrollado con el objetivo de evaluar la influencia de la variación del patrón de entrenamiento en la fiabilidad de las observadoras.

Analizados los resultados obtenidos a partir de ambos procedimientos del estudio de la fiabilidad, se puede observar que los índices de Kappa no arrojan resultados concluyentes en relación al objetivo propuesto. Los índices obtenidos no muestran un patrón estable en las dos pruebas de fiabilidad realizadas por las tres parejas de observadoras.

Sin embargo, en el estudio de generalizabilildad llevado a cabo sí se obtienen resultados más clarificadores. Si comparamos los coeficientes G de las tres parejas en ambas pruebas de fiabilidad, se observa que los índices más bajos pertenecen a la pareja que ha sido entrenada en distintos turnos. Es necesario atender al hecho de que las integrantes de la pareja 3, en contraste con las observadoras de las parejas 1 y 2, no han alcanzado el grado de licenciatura. Si bien, en los planes de estudio de Psicología en la Universidad de La Laguna y la UNED no existe una asignatura obligatoria específica de Metodología Observacional, no se puede

obviar, que la formación y conocimiento previo de la observadora, constituye una fuente de sesgo, y por tanto puede estar afectando a la fiabilidad interobservador en el caso de la pareja 3.

Otro aspecto importante a considerar es que los valores de fiabilidad más bajos se dan en la primera prueba de fiabilidad, lo que lleva a valorar que puede haber un grado de mayor dificultad en el primer video a codificar que en el segundo, o la existencia de problemas técnicos en la grabación.

Por todo lo expuesto, y a la luz de los datos obtenidos, se considera necesario ahondar en este aspecto con una mayor muestra de participantes, para evaluar el posible efecto del entrenamiento conjunto de los observadores como un sesgo de cara a la fiabilidad interobservador. En tal caso, sería necesario realizar grupos de entrenamiento por separado y estudiar la fiabilidad con observadores pertenecientes a grupos de formación distintos para así eliminar la posible fuente de sesgo.

REFERENCIAS

Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA). Disponible en: www.aneca.es

Anguera, M.T. (1978). Metodología de la observación en las ciencias humanas. Madrid: CATEDRA. Anguera, M. T. (1979). Observación en la conducta

espacial. VI Congreso Nacional de Psicología. Pamplona.

Anguera, M.T. (1988). Observación en la escuela. Barcelona: Editorial Graó.

Anguera, M.T. (1990). Metodología Observacional. Murcia: Universidad de Murcia. COMPOBELL, S.A. En, Arnau, J., Anguera, M.T. y Gómez Benito, J. (1990). Metodología de la

investigación en ciencias del comportamiento. Murcia: Universidad de Murcia. COMPOBELL, S.A.

Anguera, M.T., Blanco, A., Losada, J.L. y Sánchez Algarra, P. (1999). Análisis de la competencia en la selección de observadores. Metodología de las Ciencias del Comportamiento, 1(1), 95-114.

Anguera, M. T., Blanco, A., Losada, J. L. (2001). Diseños observacionales, cuestión clave en el proceso de la Metodología Observacional. Metodología de las Ciencias del Comportamiento, 3(2), 135-160.

Anguera, M. T. (2003). La observación. En C. Moreno Rosset (ed.) (2003). Evaluación psicológica. Concepto, proceso y aplicación en las áreas del desarrollo y de la inteligencia (pp. 271-308). Madrid: Sanz y Torres.

Anguera, M.T. (2010). Posibilidades y relevancia de la observación sistemática por el profesional de la psicología. Papeles del Psicólogo, 31(1),

122-130. Disponible en:

http://www.cop.es/papeles

Blanco, A. (1993). Fiabilidad, precision, validez y

generalización de los diseños

observacionales. En, Anguera, M.T. (Ed.) (1993), Metodología observacional en la investigación psicológica, vol. 2 Fundamentación (2) (pp. 151-261). Barcelona: PPU, Promociones y Publicaciones Universitarias, S.A.

Blanco, A., Castellano, J. y Hernández Mendo, A. (2000). Generalizabilidad de las observaciones de la acción del juego en el fútbol. Psicothema, 12(1), 81-86.

Blanco, A. (2001). Generalizabilidad de observaciones uni y multifaceta: estimadores LS y ML. Metodología de las Ciencias del Comportamiento, 3(2), 161-193.

Behar, J. y Riba, C. (1993). Sesgos del observador y de la observación. En M.T. Anguera (Ed.), Metodología Observacional en la investigación psicológica (Vol. 2 Fundamentación (2) (pp. 11-148). Barcelona: PPU, S.A.

Castellano, P. y Hernández-Mendo, A. (2000). Análisis secuencial en el fútbol de rendimiento. Psicothema, 2 (12), 117-121.

Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and

Psychological Measurement, 20, 37-46.

Cronbach, L.J., Gleser, G.C., Nanda, H y Rajaratnam, N. (1972). The dependability of behavioral measurements: theory of generalizability for scores and profiles. Nueva York: John Wiley and Sons.

Hernández-Jorge, C. (2005). Habilidades de comunicación para profesionales. Tenerife: ARTE: Comunicación visual.

Ibáñez, I. (1993). La observación. En W. Peñate, P. Matud, I. Ibáñez (Eds.), Evaluación Psicológica: conceptos y técnicas de análisis (pp. 225-260). Valencia: PROMOLIBRO (Promoción del Libro Universitario).

Ley Orgánica 6/2001 de Universidades, BOE nº 307, del 24 de diciembre de 2001.

(6)

Quera, V. y Behar, J. (1997). La observación. Madrid: Siglo Veintiuno de España Editores, S.A. En, Buela-Casal, G. y Sierra, J.C. (dirs). (1997). Manual de evaluación psicológica.

Fundamentos, técnicas y aplicaciones. Madrid: Siglo Veintiuno de España Editores, S.A. Ysewjin, P. (1996). Software for generalizability