Técnicas de Evaluación
El sentido de la evaluación...
Dimensiones del Impacto Social
Actividades
• Reacción
• Aprendizaje
• Aplicación
• Resultados
Temporalidad: Corto, mediano y largo plazo...
Amplitud: Directos Indirectos Sistema social
“Por un lado la razón moderna parece estar
fundada de hecho, prácticamente, en el éxito de
la ciencia, por otro lado, a la hora de la teoría, no
puede dar cuenta de ese éxito de la ciencia. Esto
debería ser traumático, al menos en un sentido
teórico.”
Carlos Pérez Soto
“Preguntemonos por el sentido de las cosas, o lo que es lo mismo, hagamos de cada cosa el centro virtual del mundo.
Pero ¿no es eso lo que hace el amor? Decir de un objeto que lo amamos y decir que es para nosotros centro del universo, lugar donde se anudan los hilos todos cuya trama es nuestra vida, nuestro mundo ¿no son expresiones equivalentes? ¡Ah! Sin duda, sin duda. La doctrina es vieja y venerable: Platón ve en el “eros” un ímpetu que lleva a enlazar las cosas entre sí; es - dice – una fuerza unitiva y es la pasión de la síntesis. Por eso, en su opinión, la filosofía, que busca el sentido de las cosas, va inducida por el “eros”. La meditación es ejercicio erótico. El concepto, rito amoroso.”
Ortega y Gasset
La ciencia, es en cualquier caso, un intento de
superación de la angustia del investigador, quien se hace cada vez menos objetivo en la medida que se aproxima a descubrimientos que
Diseño de Investigación/Intervención
1. ¿Cuál es el problema?
2. ¿Cuáles son las relaciones entre fenómenos?
3. ¿Cómo puedo observar estas relaciones y construir un conjunto de hipótesis?
4. ¿Cómo puedo comprobar mis hipótesis?
¿Cuáles son las relaciones entre fenómenos?
¿Causales, covarianza o indeterminada?
¿Directa o mediatizada?
¿Simple o compleja?
¿influencia lineal o por cambio cualitativo?
¿Continua, temporal o cíclica?
¿Efectiva o irrelevante?
¿Voluntaria o involuntaria?
¿Volición o automatismo?
¿Cuantitativo o cualitativo?
Depende de la manera en que podamos conceptualizar las variables:
Nominales
Ordinales
Intervalares
De razón o con límites
Las capacidades (Toma de decisiones complejas, aprendizajes procedurales y habilidades sociales) no son variables continuas y que los desempeños son continuos sólo al evaluarlos en una escala de resultados.
1) Acepta invitación
2) Saluda y manetiene conversiación casual, se retira a tiempo
3) Se rie ante chistes simpaticos
4) Manifiesta interes ante conversaciones aburridas y se rie con chistes fomes
5) Maneja situaciones conflcitivas, como amigos con trago o escenas de conflicto
6) Recuerda nombres y datos relevantes incluso de conocidos que encuestra en los cumpleaños de los amigos... Perc ep ción ilus or ia d el c ontin uo
Técnicas de Recolección de Datos
•
Cuestionarios y
entrevistas
•
Técnicas de clasificación
(Ej. Tarjetas)
•
Técnicas de asociación
•
Escalas (diferencial
semántico)
Técnicas de Análisis de Datos
•
Multivariadas descriptivas e
inferenciales
¿Para quién es la información?
• Se requiere racionalidad institucional y por lo tanto el informe debe ser cuantificable y sustentado en autoridades académicas...
• Se requiere racionalidad instrumental y se requiere una lógica argumental que oriente la acción...
• Se requiere el inicio de un vínculo y por lo tanto es
necesario incluir en el proceso de informe la posibilidad de incluir la percepción e intereses de la contraparte...
Participación de la comunidad
El uso de técnicas no directivas en la descripción, diagnóstico y desarrollo de
planes de acción posibilita la sustentabilidad del cambio deseado.
Algunos ejemplos de técnicas son:
Estructuración de criterios
Generación de grupos contrapartes
Asambleas
Fases Cualitativas de Investigación
Las técnicas generadas para la comprensión compleja del
Principales técnicas cualitativas
• Entrevistas (exploratorias, semi estructuradas, rating scales...)
• Grupos focales • Reportes escritos
• Análisis del discurso y documentos • Observación participante
• Técnicas de observación de la apercepción • Técnicas expresivas (dibujos, collages, role
¿Cómo construir una entrevista?
Antes que nada: Pregunte sobre los conceptos y categorías asociadas al fenómeno...
Identifique las dimensiones o conceptos más amplios que están implicados
Prepare preguntas que no activen ni la deseabilidad social ni los deseos de
colaborar o obstruir de sus entrevistados...
Tips para entrevistar...
Evite la guía en la respuesta. Use cara de pocker y evite las preguntas del tipo “no le parece que..”
No use ¿Por qué...?, use ¿Cómo?
No se conforme con la estructura superficial, ya que va a rellenar la información implícita con sus propios prejuicios.
Considere que el rol en el cual entrevista incluye al setting, utilice espacios neutrales.
Deje las preguntas que pueden producir ansiedad, enojo o vergüenza para el final de la entrevista.
Analice no sólo lo que se dice, si no que por sobre todo lo que NO se dice...
Fase cuantitativa de la investigación
Modelar el problema
Operacionalizar
variables
Construir
instrumentos
Análisis estadístico
Análisis teórico
Las técnicas cuantitativas están diseñadas para
comprobar la extensión de un fenómeno, ya sea en relación a una relación o distribución espacial,
temporal o sociocultural. Por su misma naturaleza
implican una abierta comprobación de los
Modelar implica no sólo de identificar la
superposición entre las ideas...
Autónomo
Proactivo
Innovador
Si no que también, sus relaciones...
- Capacitado -
Informado - Orientado
Operacionalizar es el proceso de asignación
de parámetros a cada constructo...
Ejemplo:
¿Cómo uno se da cuenta de que existe una dimensión...?
¿Cómo construir un cuestionario?
Modelar el problema
Escoger un modelo de análisis
Determinar el tipo de pregunta que se debe
utilizar (operacionalizar)
-
Abierta
-
Cerrada excluyente y no excluyente
Redacción de los ítem
Tipos de escalas más usados
Tipo Thurstone (alternativas previamente evaluadas)
Tipo Likert (grado de acuerdo con una afirmación)
Mi opinión respecto a los incendios es que: a) Son nefastos
b) Son dañinos c) Son molestos
d) Son intracendentes
Análisis:
¿Parametrico v/s no paramétrico?
La elección del tipo de análisis cuantitativo depende tanto de los supuestos sobre las variables como de la calidad de la muestra.
En variables que se supone “naturales” y con muestras representativas, se puede utilizar estadística paramétrica, en caso contrario se utilizan técnicas no paramétricas para la representación de las relaciones.
•
Reacción
•
Aprendizaje
•
Aplicación
•
Resultados
Modelos Participativos de Evaluación
Nirenberg, O., Brawerman, J. & Ruiz, V. (2003) Evaluar para la transformación. Buenos Aires: Paidós.
La evaluación, al igual que el diagnóstico es un proceso de
traspaso del tema a la comunidad. Esto implica generar un modelo de evaluación en el cual se establezcan los elementos estructurales,
•
La población afectada por el programa
•
Los técnicos intervinientes, en tanto comunidad
•
Los ejecutivos de organizaciones estatales y
privadas involucradas en el programa y/o tema
•
Los creadores de políticas estatales
•
Funcionarios de organismos nacionales o
internacionales de financiamiento
Si bien las técnicas de evaluación son, obviamente, las mismas que las de investigación, es importante recordar algunos puntos...
• Considerar que los juicios evaluativos de la comunidad son tanto un reflejo ético como una conocimiento pragmático... Así que de vez en cuando uno puede dejar pasar saludos a la bandera... • Cuidarse de las reificaciones en la redacción. Ejemplo: “hay
rotación por mala renta”, “se generan conflictos por falta de
comunicación...” Recuerde que las cosas no pasan solas, alguien las decide.
• Las dimensiones de la evaluación son múltiples, así que pueden haber aprendizajes contradictorios que sin embargo no sean
