Criterios de rigor científico: construcción de validez en el

“Toda investigación depende de la interpretación”. R. Stake.

Los criterios de validez de la investigación social, y en particular de la investigación cualitativa, han estado y siguen estando en constante revisión (Sandín, 2003:186). Esto tiene que ver con la idea de que los investigadores cualitativos estudian fundamentalmente cuestiones relacionadas con acciones y no con actos. Y las acciones deben ser interpretadas en tanto en cuanto son acciones humanas y sociales. La palabra “interpretación” es la que, para algunos, aleja a la investigación cualitativa del concepto de validez según el enfoque positivista.

En los estudios cuantitativos, la validez se refiere a rigor científico, fiabilidad, veracidad, confiabilidad, adecuación metodológica, credibilidad, congruencia,… En el ámbito de la investigación cualitativa este concepto ha sido reformulado en términos de validación, en lugar de validez. La validación es el proceso a través del cual realizamos afirmaciones y evaluamos la credibilidad de observaciones, interpretaciones y generalizaciones (Mishler 1990:419)42. Así, la validez, en el sentido de validación debe aplicarse a la descripción exhaustiva de los datos recogidos, a la fase interpretativa (comprender los significados) de los objetos, fenómenos o acontecimientos, y a la construcción teórica que el investigador desarrolla durante el estudio. En esta misma línea, González Martínez (2002)43 afirma que la validez de una investigación cualitativa está en función del grado de exactitud en la

42

Citado por M.P. Sandín (2003:187)

descripción de la perspectiva de los sujetos estudiados, la honestidad en el logro de la finalidad para la que se llevó a cabo, la adecuación de las herramientas y procedimientos utilizados durante todas las fases del estudio, y la capacidad de demostrar con evidencias las conclusiones, que deben ser creíbles para los beneficiarios de la investigación.

Según Creswell (2007), cada tradición o método en la investigación cualitativa requiere la aplicación de criterios de calidad específicos y acordes con el método, dentro de la gran variedad de estos. Y a partir del estudio de los principales criterios de verificación (validez) en la investigación cualitativa que existen en la literatura, Creswell identifica los más acordes con las características de cada tradición (véase Tabla 3.7). Uno de los procedimientos que más fuerza está apareciendo e inundando los discursos sobre la validación de los estudios cualitativos es la reflexividad (Sandín, 2003:197).

Tabla 3.7 Perspectivas, términos, procedimientos y estándares en las tradiciones de investigación cualitativa

Tradición Autor(es) Perspectiva Términos Procedimientos Estándares Estudio de casos Stake (2007) Términos paralelos Validez Triangulación (múltiples formas) Confirmación de participantes Véase Stake (2007)

Extraído de Tabla 8.3 Validación en las distintas tradiciones de investigación cualitativa. Fuente: Creswell (1998:216), en Sandín (2003:198)

La validez y el rigor en los estudios de casos: El método de estudio de caso ha sido cuestionado por algunos autores

(Stoeker, 1991; Venkatraman y Grant 1986, Rouse y Daellenbach, 1999; Bower y Wiersema, 1999)44, quienes consideran que no es una buena estrategia para realizar investigación científica, y que el método de estudio de caso presenta problemas de fiabilidad y validez (Martinez Carazo, 2006). Sin embargo en el método de estudio de caso los datos pueden ser obtenidos desde una variedad de fuentes, tanto cualitativas como cuantitativas; esto es, documentos,

registros de archivos, entrevistas directas, observación directa, observación de los participantes e instalaciones u objetos físicos (Chetty, 1996).

Por otra parte, Yin (1994) argumenta que el método de estudio de caso es una forma esencial de investigación en las ciencias sociales y en la dirección de empresas, así como en las áreas de educación, políticas de la juventud y desarrollo de la niñez, estudios de familias, negocios internacionales, desarrollo tecnológico e investigaciones sobre problemas sociales.

44

Es responsabilidad del investigador asegurarse de la validez de la interpretación de sus mediciones, de sus observaciones (ver Tabla 3.8). Esto exige mucho rigor en todo tipo de investigaciones, y por supuesto en el estudio de casos, reduciendo al mínimo las falsas representaciones e interpretaciones (Stake, 2007:95). Es necesario para eso combinar determinadas estrategias o procedimientos para estudiar el mismo fenómeno. La triangulación es un concepto estrechamente relacionado con la credibilidad y la transferibilidad de los resultados (Guba, 1981)45; y se muestra como un proceso múltiple con múltiples aplicaciones (Vázquez y Angulo, 2003:44) (ver Tabla 3.9).

Tabla 3.9 Definiciones de “Triangulación” según autores consultados

Autor: Definición:

Denzin (1978) Combinación de metodologías en el estudio del mismo fenómeno.

Goetz y LeCompte (1988)

“Al igual que un topógrafo localiza los puntos de un mapa realizando triangulaciones con las diversas miras de sus instrumentos, el etnógrafo determina la exactitud de sus conclusiones efectuando triangulaciones con varias fuentes de datos”.

Coller (2000) Asentar las conclusiones del estudio en el mayor número posible de pruebas, para ayudar a construir explicaciones convincentes.

Hammersley y Atkinson (2008)

Comparación de la información referente a un mismo fenómeno pero obtenida en diferentes fases del trabajo de campo, en distintos puntos de los ciclos temporales existentes en aquel lugar o comparando relatos de diversos participantes (incluido el investigador) implicados en el campo.

Velasco y Diaz de Rada (2003)

Contrastación y localización de la información obtenida en diversas fuentes, cuando se analizan e interpretan los datos. Stake (2007) Proceso en el que desde múltiples perspectivas se clarifican

45

los significados y se verifica la repetitividad de una observación y una interpretación.

Taylor y Bogdan (2009)

Combinación en un estudio único de distintos métodos o fuentes de datos, con el fin de protegerse de las tendencias del investigador y de confrontar y someter a control recíproco los relatos de diferentes informantes, obteniendo una comprensión más profunda y clara del escenario y de las personas estudiadas.

Elaboración propia a partir de diversas fuentes primarias y secundarias

Figura 3.10 Formas de “triangulación” en el estudio de casos sobre la tutoría en la universidad.

Elaboración propia, a partir de Hammersley y Atkinson (2008), Vázquez y Angulo (2003) y Stake (2007).

Triangulación entre diferentes estrategias o técnicas de recogida de datos:

Los estudios de casos múltiples, en los cuales se realiza un análisis intercasos y se utilizan varios métodos dentro de varios escenarios, permite extender la

TRIANGULACIÓN

Entre diferentes fuentes de datos

Con los sujetos de estudio Entre diferentes estrategías o técnicas Con otras investigaciones

validez interna, así como refinar y asentar conceptos y proposiciones de naturaleza teórica (Amezcua, 2002:432).

Durante la investigación he contrastado los datos obtenidos a través de técnicas complementarias:

- Observación en el campo (lugares públicos y semipúblicos, despachos de los profesores).

- Entrevistas cualitativas individuales de orientación etnográfica y semiestructuradas, entrevistas informales.

- Utilización de diario de investigación en cada uno de los escenarios de los casos de estudio; con el fin de asegurar la credibilidad de los resultados.

- Los documentos del contexto de investigación también han formado parte de la estrategia de triangulación, puesto que es una táctica que se suele seguir en los estudios de casos, para darle coherencia, fiabilidad y solidez a los datos (Coller, 2000:80)

Entre diferentes fuentes de datos:

Los profesores participantes, fueron seleccionados mediante “muestreo teórico” en la universidad privada, de forma que me proporcionaran patrones de comparación (Yin, 1994). Cada uno de ellos constituye una fuente individualizada de información, analizadas por separado y luego contrastadas hasta llegar a la identificación y diferenciación de significados en cada escenario-universidad. El muestreo teórico también se aplica en la elección de instituciones educativas diferentes entre sí, para construir el caso de universidad pública. Y por último, al constituir este, un estudio de casos múltiples, concretamente dos macro-casos de estudio se produce la lógica de réplicas (ver Fig. 3.10).

Este fragmento de mi diario, de fecha 6 de agosto de 2011 intenta captar el proceso de la triangulación de estrategias y fuentes de datos en la actividad interpretativa (difícil de describir) que realiza el investigador.

6 de agosto, 2011. Descubriendo significados que antes no veía.

Están apareciendo piezas que se ajustan y antes no distinguía. Las piezas son significados o sentidos que estaban recogidos en observaciones de este diario, en los textos de las grabaciones de las entrevistas y en estudios de investigación que he ido revisando y que me proporcionan claves para relacionar. Es muy difícil de describir este fenómeno. Lo primero y de pronto es una idea en forma de recuerdo… ¿dónde he visto u observado esto? ¿Quién dijo algo que tenía que ver con esto o refleja fielmente esta idea que se me ha ocurrido? ¡Ah, si….! Y acudo a la fuente.

Con los sujetos de estudio:

La devolución de los datos a los participantes en el estudio responde según Guba (1981)46 a un principio de “humildad metodológica” en un sentido epistemológico, porque no existe un acceso privilegiado a la realidad ya que el mundo social y educativo está formado por múltiples puntos de vista, entre ellas la del investigador; en un sentido técnico, para evitar preconcepciones extrañas y adaptar el procedimiento de investigación a las características de la realidad estudiada; y en un sentido ideológico porque es necesario que una investigación potencie y desarrolle el aprendizaje de los participantes, en este caso, los profesores implicados en sus propias prácticas. Esto último

proporciona a los profesores entrevistados una oportunidad para revisar su propio discurso y hacer emerger sus propias teorías sobre el ejercicio profesional (ver Fig. 3.10).

10 de diciembre, 2010: Los profesores reflexionan sobre sus formas de expresarse.

Tras la transcripción de cada entrevista he ido enviando el documento por correo electrónico a cada participante, aprovechando la ocasión para agradecerle de nuevo su tiempo de dedicación y su amabilidad. En tres casos he recibido la devolución del texto con correcciones y/o aclaraciones. Más de la mitad hacen comentarios sobre su forma de expresarse. El efecto de “leerse a sí mismo”, y ser conscientes del discurso literal que se manifiesta en la transcripción genera opiniones de autocrítica: no era consciente de hablar así, de dejar frases sin terminar tan a menudo, de usar tantas “muletillas” o ser tan reiterativo. Los sentimientos que reflejan estos comentarios van desde el auto- enojo hasta la perplejidad, y provoca en algunos profesores un proceso reflexivo sobre su lenguaje entre colegas, sobre su forma de comunicarse con los estudiantes, sobre su capacidad de hacerse entender,…

Con otras investigaciones:

La descripción, comparación, conclusiones y posición teórica expuesta en otros estudios de investigación cuantitativa y cualitativa de temática similar es otra forma de triangulación que he utilizado en este estudio, con el fin de establecer patrones de comparación respecto a mis propios resultados y conclusiones. Este tipo de triangulación asegura la comprensión más profunda del fenómeno “tutoría”. Para ello, la búsqueda bibliográfica más específica y reciente, especialmente sobre estudios realizados con muestras de las propias

universidades investigadas, la llevé a cabo durante la fase de análisis y escritura de los resultados (ver Fig. 3.10).

Algunas reflexiones al respecto, recogidas en mi diario de investigación: 12 de diciembre, 2010.

Por otra parte, la revisión de los textos del estudio sobre el perfil del tutor universitario, desde la opinión de los profesores y de los estudiantes que realizamos un grupo de docentes en el año 2008 en la UEM, es una fuente de interés que debo volver a revisar. Así como fuentes bibliográficas que reflejan estudios de percepción respecto a la tutoría cuya muestra son exclusivamente alumnos universitarios (es el tipo de estudio de investigación que más abunda en tema tutoría a nivel nacional) y que expresan qué es para ellos la tutoría, que debe ofrecerles, que necesitan del tutor, etc.

Otros aspectos que potencian el rigor y la validez de este estudio.- Relacionados con la confiabilidad:

- Formación de la investigadora en metodología de la investigación cualitativa en el contexto del Titulo Superior de Investigación (Título Propio de la Universidad Europea de Madrid) y en el Máster de Educación y Gestión de Servicios en Enfermería. Actualmente y desde 2010 imparto la materia

Investigación Cualitativa en el Grado en Enfermería. Formación específica en

análisis de datos cualitativos con los programas Nudist-Vivo (en 2007) y Atlas- ti 5.0 (en 2008), con los profesores Enrique Rivera de la Universidad de

Granada y Mª Paz Sandín Esteban de la Universidad de Barcelona47, respectivamente.

- La utilización de software como apoyo logístico para el procesamiento de los significados encontrados le ha aportado mayor rigurosidad al procedimiento de microanálisis y ha facilitado el establecimiento de las relaciones entre códigos, memorandos y categorías. A su vez, la utilización del programa ha producido la emisión de informes (consultas) periódicos a partir de la base de datos creada con el fin de documentar cada fase de trabajo, los avances en la reformulación y explicaciones de conceptos. - Recopilación y clasificación de correspondencia relacionada con las

diferentes fases de la investigación: cartas, solicitudes y permisos, y contactos en general con responsables de las instituciones, informantes clave y participantes, con el fin de definir los tiempos del estudio, las fases del protocolo de los casos y documentar los aspectos de rigor científico y éticos de la investigación.

- Utilización de la “descripción densa” como estrategia, en las notas de campo y el diario de investigación.

El procedimiento de la Reflexividad como criterio de validez:

La reflexividad como criterio de validez en los estudios cualitativos, está relacionada con las dimensiones éticas, políticas, sociales y personales de la

47

La profesora Sandín me ha asesorado a través de correo electrónico en dos ocasiones. La primera (2 febr. 2011) sobre la gestión correcta de las copias de seguridad del fichero de entrevistas y su localización en el hardware. La segunda (5 junio 2011), respecto a la conveniencia de uniformizar los enunciados de los códigos de 2º nivel, además de proporcionarme aclaraciones sobre el procedimiento para realizarlo en el programa Atlas-ti.

investigación, y concretamente, se refiere a la conciencia y autocrítica reflexiva que el investigador realiza sobre sí mismo en relación a sus predisposiciones, y los posibles sesgos que puedan afectar al proceso de investigación y a los resultados (Sandín, 2003:199). Creswell (2007), se refiere a ello en términos de “clarificación de los sesgos del investigador”, como uno de los criterios a tener en cuenta para establecer la calidad de los estudios cualitativos.

Aporto algunos fragmentos de mi propio discurso, como instrumento de indagación que soy en el presente estudio, referido a la reflexividad; con el fin de clarificar riesgos o posibles sesgos, motivados por formar parte del escenario de la universidad privada y por mi actividad de gestión de la acción tutorial en dicho escenario. Tras cada fragmento iré clarificando las acciones y métodos que procuré aplicar para contrarrestar estos posibles sesgos.

27 de sept. 2010: (…) tal y como he ido leyendo en textos sobre metodología de investigación cualitativa y estoy comprobando por mi misma: investigar en un escenario al que pertenezco no es una ventaja. Por eso he tomado medidas que “me alejen”, seleccionando participantes desconocidos y en lugares donde no me reconozcan y presentándome siempre como una estudiante de doctorado.

La conciencia desde los inicios del estudio de mi excesiva familiaridad con el entorno y los profesores (especialmente los del área de Ciencias de la Salud) me hizo tomar precauciones respecto a la forma de presentarme, cuidar la elección de participantes muy poco o nada conocidos y elegir lugares poco frecuentados por mí dentro de la universidad.

5 de noviembre, 2010: (…) Realmente ha sido un impacto este primer contacto una universidad pública y el contraste que ofrece frente a una universidad privada. Todo lo observado y oído me parece de interés. La grabadora ha sido crucial para no olvidar detalles y conservar la frescura del momento vivido. Me propongo presentarme como estudiante de doctorado únicamente, cuando hable con estudiantes. Necesito acercarme de igual a igual. Me resulta más difícil hablar con alumnos que con profesores.

Transformarme únicamente en una estudiante de doctorado en las universidades públicas y favorecer la aparición del “extrañamiento” ante los lugares y opiniones de otros profesores, facilitó considerablemente un alejamiento respecto al tema de investigación.

8 de noviembre, 2010: (…) En estos instantes de entrevista, en los que soy ignorada (en sentido figurado), aprovecho para retomar mentalmente comentarios o palabras clave, y transformarlas en devoluciones que inviten a profundizar aspectos que me parecen significativos en su discurso, porque no lo había oído en participantes anteriores o porque percibo que es el área que más le interesa al profesor. Y creo que es así porque lo acompañan de mayor énfasis en los aspectos paraverbales y no verbales de la comunicación: percibo como adelantan el cuerpo, mueven más las manos, sonríen y solicitan signos de comprensión y asentimiento por mi parte. Procuro en estos momentos dar esos signos de escucha activa, de interés genuino, sin llegar a mostrar acuerdo o desacuerdo, aprobación o rechazo.

El aprendizaje como entrevistadora propició el mantenimiento de un rol de observador, que evitaba a toda costa influenciar con actitud o palabras sobre los conceptos expresados por los profesores.

8 de noviembre, 2010: Aunque parezca una obviedad, me parece importante reseñar en este diario que las interpretaciones sobre lo observado pueden ser sumamente engañosas, si no se contrastan por otros medios o con la insistencia en la observación. He ahí la importancia de la triangulación de métodos para investigar,(…)

Estaba presente con cierta frecuencia la desconfianza hacia lo observado o escuchado, y la consiguiente pregunta ¿es correcto lo que he entendido o lo que he visto? Esta actitud derivaba en la búsqueda de corroboración mediante la petición de feedback durante los diálogos, mediante la comprobación con otros informantes distintos formulando preguntas similares o elaboradas ad hoc, mediante la utilización de otros procedimientos de recogida de datos, por ejemplo la lectura de informes o publicaciones internas sobre la tutoría, la orientación a estudiantes, etc. o literatura científica relacionada.

22 de diciembre, 2010: (...) Ahora mismo todo son dudas, porque percibo que los caminos se bifurcan y hay que elegir los más adecuados en función de los hallazgos que voy encontrando. El camino más directo y despejado en estos momentos es el de avanzar el análisis preliminar de las entrevistas realizadas, donde ya redundan algunos significados y otros siguen apareciendo verdaderamente novedosos.

En las diferentes mesas de trabajo donde he estado avanzando este estudio he ido pegando un papel con la frase: “deja que te hablen los datos”. Esta premisa ha sido el principio que ha guiado la flexibilización del diseño del estudio, y que ha propiciado un ejercicio reflexivo con mi “yo investigador”, para tomar decisiones que me acercaran a la realidad de los demás actores y suspendiera mi juicio sobre el tema todo lo posible. Esto me posicionaba en situación de apertura hacia todo tipo de argumentos y la extraordinaria sensación de descubrimiento de conocimiento nuevo. Creo haber conseguido un grado suficiente de “suspensión del juicio” para no restar validez en cuanto a la “reflexividad” argumentada en este estudio.