RETROALIMENTACIÓN CONTROLADA: Circula una síntesis de los resultados, sin

presiones para la conformidad.

2.3. Retroalimentación sobre los resultados devueltos- análisis- retroalimentación. 3. Fase final. Análisis y presentación de la información.

En la elaboración del cuestionario se ha seleccionado un modelo de preguntas abiertas para señalar, según Konow y Pérez (1990), justificaciones de una estimación y mencionar factores que pueden influir en el comportamiento de una determinada cuestión. También se emplearon preguntas de control haciendo dos veces la misma pregunta de forma distinta así como la devolución de resultados (Bravo y Arrieta, 1998). Se intentó presentar el cuestionario reduciendo al máximo el número de hojas (para mantener el interés de los panelistas). Sin embargo se reconoce como una limitación de la investigación la formulación de las preguntas ya que hubo aspectos que se han sobre-simplificado (debido a los comentarios de determinados expertos/as) mientras que otros se deberían haber planteado en menor grado de profundidad.

Los conceptos técnicos que aborda el cuestionario se relacionan con aquellas áreas que comprenden el aprendizaje derivado de los procesos de participación:

En la elección de esta técnica hay que considerar limitaciones y potencialidades en relación a su diseño y su aplicación (Villasante, Montañés & Martín, 2001; López et al, 2005; Konow & Pérez 1990; Hampton ,1999):

Puntos fuertes

La elaboración de ideas aisladas genera gran cantidad y variedad de ellas.

La elaboración por escrito requiere de una reflexión que da una alta calidad a las aportaciones.

El anonimato y aislamiento de los entrevistados ayuda a evitar las presiones a favor de la conformidad y favorece la participación de un grupo más heterogéneo.

El agrupamiento de ideas y juicios independientes facilita la igualdad de los participantes.

Poder emplearse sin necesidad de reunir en un mismo tiempo y espacio a las personas participantes. Cuando no existe información disponible o la información con que se cuenta es insuficiente, con este método se puede extraer la información que posea cada participante.

Permite recoger y decantar el conocimiento colectivo del grupo de expertos sobre el tema escogido. Es un método sistemático para analizar la diversidad de opiniones y preferencias sobre el tema.

¿Se mejoran competencias cuando se participa?

¿Qué se aprende? ¿Cuándo?

¿Cómo?

¿Quiénes se capacitan?

Figura 5.5.: Aspectos vinculados a la adquisición de competencias sobre los que profundiza el cuestionario ¿Qué aspectos potencian estas

competencias?

¿Qué aspectos dificultan la capacitación?

Puntos débiles

El abandono de los participantes puede poner en peligro la validez de la investigación.

El aislamiento hace que no existan oportunidades de comentar y aclarar verbalmente las dudas. Además los más eminentes especialistas pueden equivocarse o no estar lo suficientemente capacitados (pueden tener sesgos identificados en la literatura científica como el sesgo dogmático, optimista-pesimista o político).

Las ideas conflictivas o incompatibles del informe, si se tratan mediante la votación o la ordenación de prioridades, no resuelven los conflictos (a no ser que se agrupe el consenso y se deje el desacuerdo a un lado).

La introducción de sesgos en la composición del panel por falta de rigurosidad de las reglas para formarlo. Son claros errores el recargar la participación de individuos claramente posicionados en ciertas ideas, forzando el consenso hacia esa idea; o bien la inclusión de panelistas dogmáticos dificultará la obtención de consenso.

Deficiente formulación del cuestionario: preguntas vagas, muy largas, separadas, con exceso o falta de información, inducirán a interpretaciones erróneas de parte de los panelistas, por lo tanto, la desviación de las respuestas con respecto a la media será mayor que en aquellas preguntas correctamente formuladas. Inadecuada dinamización y desarrollo de la técnica por diversos motivos como la existencia de prejuicios desde el personal coordinador, plantear preguntas dirigidas o bien restringidas, la deficiente evaluación de los cuestionarios, introduciendo distorsiones en la presentación del feedback, y por tanto en los resultados finales. Necesita una considerable coordinación.

Una de las sobre-simplificaciones más comunes en el campo de las ciencias sociales, es creer que un sistema se compone de la simple suma de cada una de las partes que lo integran. Además hay que tener precaución con la posible incapacidad de conceptualizar diferentes estructuras que permitan examinar el mismo problema.

Deficiencias en la primera etapa de planificación (fase de contacto con grupo de expertos, es un proceso lento aunque esté programado al detalle) son cruciales para su buen desarrollo.

5.3.2.2. Muestra

Aunque es posible clasificar a los panelistas según Konow y Pérez (1990) en cinco tipos principales (expertas/os, afectadas/os, representantes de instituciones, facilitadores y colaboradores) en esta investigación se han seleccionado bajo el criterio de que sean personas con un alto grado de conocimientos sobre el tema de estudio, ya sea por que se han dedicado a la investigación y estudio de aspectos relacionados con el tema, o bien porque en su experiencia profesional, el tema ha constituido parte importante de su trabajo.

El número óptimo de panelistas depende de factores como el tipo de tema, los objetivos del estudio y recursos con los que se cuentan (Konow y Perez, 1990). En este caso se seleccionaron cinco expertos/as en participación ambiental (desde diversas perspectivas: la investigación, la gestión, la dinamización de la participación etc.) que además han formado parte de forma activa en la elaboración de las estrategias de educación ambiental de los territorios en los que trabajan y en algunos casos también participaron en la elaboración del Libro Blanco de la Educación Ambiental en España.

Tabla 5.1.: Limitaciones y fortalezas en el uso del método Delphi según Villasante, Montañés & Martín (2001), López et al.(2005), Konow & Pérez (1990) y Bravo y Arrieta (1998).

Se trata de un muestreo intencional no probabilística ya que el cuestionario fue enviado a cinco personas según los criterios anteriormente mencionados (experiencia en la dinamización e investigación de procesos de participación así como haber formado parte de alguno de los procesos emprendidos). Dicho grupo son profesionales de carácter interdisciplinar, consolidados en el sector y heterogénea procedencia en función de las autonomías a las que pertenecen.

5.3.2.3. Tratamiento de datos

Respecto al análisis de datos aunque en muchos estudios se aboga por un tratamiento estadístico de los datos (promedios y grados de dispersión), en el presente trabajo se ha realizado mayoritariamente un tratamiento cualitativo con un breve análisis desde la estadística descriptiva de algunas de las preguntas y la justificación de respuestas (discrepancias/consenso).

Al ser el primer cuestionario un instrumento con preguntas abiertas, los datos recogidos se configuran en un discurso que fue estudiado a través de un análisis de categorías emergentes. Posteriormente se resumieron y sintetizaron dichos resultados haciendo especial hincapié en los acuerdos y desacuerdos. Dicha síntesis fue devuelta y consensuada por el propio grupo de expertos/as y sobre ella se elaboró el cuestionario que fue completado por los participantes.

5.3.3. Aplicación del cuestionario a participantes

5.3.3.1. Diseño de instrumento de recogida de datos

El objetivo de la presente fase ha sido recoger la percepción de los participantes de las diversas estrategias sobre la calidad de los procesos y la adquisición de aprendizajes por su participación en los mismos. Una vez definido el objetivo tal como recomienda Alvira (1997) se han formulado las preguntas, se han ordenado y dado formato para posteriormente testarlas. Para ello, se ha elaborado un cuestionario estructurado (Anexo 8.7.) como instrumento de recogida de datos con 49 preguntas de respuesta múltiple, abierta y cerrada (éstas últimas dentro de una escala Likert). Es de carácter anónimo y no registraba datos demográficos ya que no estaba entre los objetivos recoger este tipo de información. Éste cuenta de cuatro partes diferenciadas y se estructura de la siguiente forma:

1º Parte: Instrucciones para rellenar el cuestionario.

2º Parte: Proceso de elaboración. Recoge información descriptiva del proceso. 3º Parte: Calidad del proceso de participación. En ella se valora la calidad de los

procesos de participación como procesos educativos (siguiendo los criterios recogidos en la publicación Calidad en educación ambiental: una propuesta de

trabajo para mejorar la calidad de los programas y actividades de educación ambiental en Navarra elaborada desde el CRANA (García y Sampedro, 2006). 4º Parte: Competencias adquiridas en el proceso de participación. Valora la

adquisición de capacidades por el hecho de participar (siguiendo la clasificación obtenida a partir del panel DELPHI de expertos/as).

Una vez realizado su diseño, fue revisado por el Equipo de investigación en educación ambiental y enviado al panel de expertos para que agregaran sugerencias y cambios. Posteriormente se realizó una pequeña prueba con cinco participantes en EEAs para valorar si se entendían las instrucciones, el contenido de las preguntas, si el lenguaje estaba adaptado al público objetivo así como para comprobar el tiempo necesario de respuesta. Luego el objetivo de esta etapa ha sido verificar (Alvira, 1997; López Ruiz y Schmelkes, 2002):

o La validez de contenido (el instrumento produce la información que se quiere recoger).

o La fiabilidad de respuesta (todos entienden lo mismo sobre las preguntas y todos saben qué deben contestar).

Tras incorporar las modificaciones se envió la encuesta de auto-aplicación, donde las personas de la muestra lo recibieron por correo electrónico y lo re-enviaron por el mismo canal siempre que fue posible (en dos casos también se utilizó el re-envío por fax y correo ordinario).

En la Tabla 5.2. se expone un breve resumen de todas las variables recogidas (también aparece en el Anexo 8.12. para facilitar su consulta en la exposición de resultados).