1º Metodología de Evaluación de Programas
Curso: 2010-11 Ciclo: 1º Código: 5315 Grupos: 1
Tipo: Optativa
Duración: Cuatrimestral
Créditos LRU: 3 Cr. Totales (1,5 Cr. Teóricos; 1,5 Cr. Prácticos) Estimación de volumen de trabajo del alumno (ECTS): 3 Página web de la asignatura: en SUMA
1. Identificación
1.1. Identificación de la asignatura Metodología de Evaluación de Programas 1.2. Identificación del Profesorado
Profesor: Dr. Julio Sánchez Meca
Departamento: Psicología Básica y Metodología
Área: Metodología de las Ciencias del Comportamiento Formas de Contacto: Despacho: 2.05 (en horario de tutorías)
Teléfono: 868884114 (en horario de tutorías)
e-mail: [email protected]
Horario de atención presencial a alumnos:
Adaptaciones para estudiantes extranjeros y con necesidades educativas especiales Las adaptaciones docentes, caso de que sean necesarias, se resolverán a demanda.
2. Presentación
La asignatura Metodología de la Evaluación de Programas es una asignatura instrumental que tiene por objeto dotar al alumno de las habilidades básicas para saber analizar críticamente estudios evaluativos sobre los efectos de programas de prevención, de intervención y de tratamiento para prevenir o resolver problemas psicológicos, clínicos y de salud. Por otra parte, la asignatura pretende iniciar al alumno en el enfoque de la Práctica Basada en la Evidencia, como una herramienta muy útil para integrar la investigación con la práctica profesional, facilitando que los profesionales sean capaces de disponer de las mejores pruebas o evidencias sobre cómo mejor tratar, o prevenir, un determinado trastorno, problema psicológico o de salud.
3. Conocimientos Previos
3.1. Asignaturas que deben haber superado
No se contempla la necesidad de que se hayan superado ciertas asignaturas.
3.2. Conocimientos esenciales
Para abordar con garantías los contenidos de este curso, el alumno debe tener conocimientos de estadística y de metodología de investigación con nivel de Pregrado.
4. Competencias
Con esta asignatura se persiguen los siguientes objetivos:
(1) Conocer los fundamentos de la metodología de la evaluación de programas en el ámbito de las ciencias sociales y del comportamiento.
(2) Conocer los diversos tipos y modelos de evaluación de programas.
(3) Dominar las etapas que han de seguirse para llevar a cabo la evaluación de un programa.
(4) Aprender a diseñar evaluaciones de programas.
(5) Aprender a elaborar informes de evaluaciones de programas.
(6) Aprender a analizar críticamente los resultados de evaluaciones de programas.
4.1. Competencias transversales
* Capacidad de análisis y síntesis.
* Capacidad de resolución de problemas.
4.2. Competencias de asignatura
* Saber planificar la evaluación de los programas y las intervenciones.
* Ser capaz de seleccionar y construir indicadores y técnicas de medición para evaluar los programas y las intervenciones.
* Ser capaz de medir y obtener datos relevantes para la evaluación de las intervenciones.
* Saber analizar e interpretar los resultados de la evaluación.
5. Contenidos
Los contenidos teóricos y prácticos de la asignatura quedan integrados a lo largo de estas 5 Unidades Didácticas:
1. Fundamentos de evaluación de programas 2. Concepto y tipos en evaluación de programas
3. Fases en evaluación de programas e instrumentos de recogida de información 4. Diseños y técnicas de análisis en evaluación de programas
5. Elaboración y lectura crítica de informes de evaluación
6. Metodología y estimación del volumen del trabajo 6.1. Metodología docente
El curso se impartirá desde una metodología docente eminentemente práctica, activa y participativa.
Teniendo en cuenta que los 3 créditos ECTS suponen un total de 75 horas de trabajo del alumno, de las cuales 25 serán presenciales y las 50 restantes no presenciales, los recursos docentes que se pondrán en práctica son los siguientes:
(1) Trabajo presencial:
(a) Clases magistrales. Parte de las clases presenciales se utilizarán por el profesor para presentar de forma magistral los contenidos teórico-prácticos más relevantes.
(b) Resolución de casos prácticos. Las clases presenciales combinarán la exposición magistral de los contenidos con la resolución de casos prácticos. Para ello, los alumnos trabajarán en las horas de clase en grupos reducidos (tres como máximo) durante un tiempo limitado y, a continuación, se discutirán en el grupo grande los resultados obtenidos por los grupos pequeños.
(c) Tutorías dirigidas. Junto con las clases magistrales, la docencia presencial se completará con la celebración de tutorías personalizadas en grupos reducidos (tres alumnos como máximo), en las que se orientará a los alumnos en la resolución de los casos prácticos presentados durante las clases presenciales.
(2) Trabajo no presencial:
(a) Realización de Actividades Prácticas. El alumno tendrá que realizar 10 Actividades Prácticas en grupos de tres como máximo y presentarlas al profesor para que sean tenidas en cuenta en la calificación final.
(b) Realización de un Trabajo Práctico. Antes de la finalización del curso, el alumno deberá entregar al profesor un Trabajo Práctico, en grupos de tres como máximo, consistente en el análisis crítico de un estudio evaluativo, publicado en alguna revista del ámbito de la psicología clínica y de la salud, o similar, y que deberán elegir ellos mismos bajo la supervisión del profesor. Este trabajo puede hacerse de forma individual o en grupos de tres como máximo. Dicho trabajo también será tenido en cuenta en la calificación final.
6.2. Estimación del volumen del trabajo del estudiante (ECTS)
En el siguiente cuadro se resume la distribución de la carga de trabajo del alumno, distinguiendo entre trabajo presencial y no presencial:
Recurso Docente Nº horas (1) Trabajo Presencial del Alumno:
- Clase magistral - Casos prácticos - Tutorías dirigidas
13 10 2
Subtotal 25 (2) Trabajo no Presencial del Alumno:
- Actividades Prácticas - Trabajo Práctico - Preparación examen
25 20 5
Subtotal 50
TOTAL 75
7. Cronograma
En el siguiente cuadro se detalla para cada módulo del programa de contenidos las horas de clase magistral, de casos prácticos, tutorías dirigidas, actividades prácticas, trabajo práctico y tiempo de dedicación a la preparación del examen final, contabilizando un total de 75 horas de carga de trabajo del alumno (25 horas presenciales + 50 horas no presenciales).
Trabajo Presencial Trabajo no Presencial
Actividad Clase
Magistral
Casos Práctico
s
Tutorías Actividades Prácticas
1. Fundamentos de evaluación de programas 1 - - -
2. Concepto y tipos en evaluación de programas
4 2 1 5
3. Fases en evaluación de programas e instrumentos de recogida de información
3 2 - 5
4. Diseños y técnicas de análisis en evaluación de programas
3 2 - 5
5. Elaboración y lectura crítica de informes de evaluación
2 2 1 5
Trabajo Práctico - 2 - 15
Evaluación - - - 15
Totales 13 10 2 50
8. Evaluación
8.1. Evaluación del aprendizaje
La evaluación de los conocimientos, las destrezas y las habilidades adquiridas por el alumno se llevará a cabo desde varios frentes:
Trabajo Práctico. Los alumnos tendrán que elaborar un trabajo práctico, consistente en el análisis crítico de un estudio evaluativo, para lo cual formarán grupos de tres alumnos como máximo. Los alumnos seleccionarán, bajo la supervisión del profesor, el estudio evaluativo a analizar, el cual deberá versar sobre un tema relativo al objetivo del master. El trabajo será evaluado de 0 a 10 puntos y su peso específico en la calificación final de cada alumno será del 20%.
Actividades Prácticas. Durante las clases en el aula el profesor propondrá la realización de actividades prácticas, consistentes en la resolución de casos prácticos, que los alumnos tendrán que realizar en grupos de tres como máximo. Estas actividades prácticas serán evaluadas por el profesor y su peso específico en la calificación final será de un 20%. El número total de Actividades Prácticas será de 10.
Examen final. La evaluación de los alumnos se completará con la realización de una prueba final, de carácter eminentemente práctico, en la que se presentará un caso práctico, consistente en un resumen (elaborado por el profesor) de un estudio evaluativo del ámbito de la psicología clínica y de la salud. El examen constará de 5 preguntas de respuesta corta sobre dicho caso práctico. Los alumnos podrán utilizar todo tipo de materiales para su consulta durante la realización del examen final. La duración del examen será de dos horas. El examen será valorado de 0 a 10 puntos y el peso específico del mismo en la calificación final será del 60%.
La fórmula para obtener la calificación final en la asignatura es la siguiente:
Calificación = 0.6xNota Examen + 0.2xA.P. + 0.2xT.P.
Nota Examen: Calificación obtenida en el Examen Final (en una escala de 0 a 10).
A.P.: Número de Actividades Prácticas individuales entregadas al profesor en las fechas previstas durante el cuatrimestre (valoradas en una escala de 0 a 10). Por ejemplo, un alumno que haya entregado correctamente las 10 A.P. le corresponde un 10; el que haya entregado 5 A.P., le corresponde un 5, etc.
T.P.: Valoración del Trabajo Práctico (en grupos de tres alumnos como máximo) entregado al profesor en las fechas previstas. Por ejemplo, el alumno que haya entregado el Trabajo Práctico y haya obtenido la máxima calificación le corresponde un 10.
Para aprobar la asignatura sólo es obligatoria la realización del examen final, ya que éste supone más del 50% de la calificación final. En la siguiente tabla se muestran algunos ejemplos de cómo obtener la calificación final en la asignatura. Por ejemplo, el Alumno 1 de la tabla no ha realizado las actividades prácticas pero sí el trabajo práctico (valorado con un 10), por lo que sólo necesitaría obtener un 5 en el examen final para aprobar la asignatura (5x0.6 + 0x0.2 + 10x0.2 = 3 + 0 + 2 = 5.0). Por el contrario, el Alumno 4 decide no hacer el trabajo práctico ni las actividades prácticas, por lo que tendría que obtener al menos un 8.4 en el examen final para aprobar la asignatura (8.4x0.6 + 0x0.2 + 0x0.2 = 5.04 + 0 + 0 = 5.0).
Alumno Nota Examen A.P. T.P. Calificación
1 5 0 10 5.0
2 5 10 10 7.0
3 5 5 5 5.0
4 8.4 0 0 5.0
8.3 Evaluación de la docencia
El Sistema de Garantía Interna de Calidad de la Facultad de Psicología, junto con la Unidad para la Calidad de la Universidad, se encargan de llevar a cabo el proceso de evaluación de la docencia de todas las asignaturas y materias.
9. Bibliografía Bibliografía básica
Para cada Unidad Didáctica el profesor pondrá a disposición del alumno de la documentación pertinente para asimilar los contenidos. Esta documentación estará formada, por regla general, de un documento de trabajo básico y de algunas lecturas complementarias o materiales específicos para la realización de actividades prácticas. Toda esta documentación se pondrá a disposición del alumno no sólo en fotocopiadora, sino también de forma electrónica mediante la aplicación SUMA.
Bibliografía complementaria
Aguilar, M.J. y Ander-Egg, E. (1992). Evaluación de servicios y programas sociales. Madrid: Siglo XXI.
Álvarez Rojo, V., García Jiménez, E., Gil Flores, J., Martínez Clares, P., Romero Rodríguez, S. y Rodríguez Santero, J. (Coords.) (2002). Diseño y evaluación de programas. Madrid: Ed. Eos.
Alvira, F. (1991). Metodología de la evaluación de programas. Madrid: CIS.
Amezcua, C. y Jiménez, A. (1996). Evaluación de Programas Sociales. Madrid: Díaz de Santos.
Anguera, M.T. (1992). Diseños diacrónicos en programas de intervención. Bordón, 43, 421-429.
Ander-Egg, E. (1984). Evaluación de programas de trabajo social. Buenos Aires: Humanitas.
Anguera, M.T., Arnau, M., Ato, M., Pascual, J. y Vallejo, G. (Eds.) (1995). Métodos de investigación en psicología. Madrid: Síntesis.
Briones, G. (1991). Evaluación de programas sociales. México: Trillas.
Campbell, T.D. y Stanley, J.C. (1979). Diseños experimentales y cuasiexperimentales en investigación.
Buenos Aires: Amorrortu.
Cardenal, V. et al. (1994). Evaluación de programas de reinserción social. Málaga: Miguel Gómez Ediciones.
Chelimsky, E. (1998). The role of experience in formulating theories of evaluation practice. American Journal of Evaluation, 19, 35-55.
Cohen, E. y Franco, R. (1993). Evaluación de proyectos sociales (2ª ed.). Buenos Aires: Humanitas.
Colás, M.P. y Rebollo, M.A. (1993). Evaluación de programas: Una guía práctica. Sevilla: Kronos.
Comité Conjunto de Estándares para la Evaluación Educativa (1998). Estándares para la evaluación de programas. Bilbao: Mensajero.
Cook, T.D. y Reichardt, C.S. (1986). Métodos cualitativos y cuantitativos en investigación evaluativa.
Madrid: Morata.
Cook, T. D. y Shadish, W. R. (1986). Program evaluation: The worldly science. Annual Review of Psychology, 37, 193-232.
Cronbach, J.L. (1982). Designing evaluations of educational and social programs. San Francisco, CA:
Jossey-Bass.
Durlak, J.A. (1998). Why Program Implementation is important. Journal of Prevention in the Community, 17, 5-18.
Espinoza, M. (1993). Evaluación de proyectos sociales. Buenos Aires: Humanitas.
Fernández-Ballesteros, R. (Ed.) (1995). Evaluación de programas: Una guía práctica en ámbitos sociales educativos y de salud. Madrid: Síntesis.
García Ramos, J.M. (1992). Recursos metodológicos en la evaluación de programas. Bordón, 43, 461- 476.
Herman, J. L. (Ed.) (1987). Program evaluation kit (2ª ed.) (9 vols.). Newbury Park, CA: Sage.
Mark, M.M. (2003). Program evaluation. En J.A. Schinka y W.F. Velicer (Eds.), Handbook of psychology.
Vol. 2: Research methods in psychology (pp. 323-347). Hoboken, NJ: Wiley.
Mark, M.M., Henry, G.T. y Julnes, G. (1999). Toward an integrative framework for evaluation practice.
American Journal of Evaluation, 20, 177-198.
Moffitt, R. (1991). Program evaluation with nonexperimental data. Evaluation Review, 15, 291-314.
Morris, M. (1998). The design. American Journal of Evaluation, 19, 383-384.
Patton, M.Q. (1996). A world larger than formative and summative. Evaluation Practice, 17, 131-144.
Pentz, M.A. (1994). Adaptive evaluation strategies for estimating effects of community-based drug abuse prevention programs. Journal of Community Psychology, Special Issue, 26-51.
Pérez-Llantada, M.C. y López de la Llave, A. (1999). Evaluación de programas de salud y servicios sociales: Metodología y ejemplos. Madrid: Dykinson.
Pons, I. (1993). Programación de la investigación social. Madrid: CIS.
Posavac, E.M. y Carey, R.G. (1985). Program evaluation, method and case studies. Englewood Cliffs, NJ:
Prentice-Hall.
Pozo Muñoz, C., Alonso Morillejo y Hernández Plaza, S. (Eds.) (2004). Teoría, modelos y métodos en evaluación de programas. Grupo Editorial Universitario.
Ramos, M.M., Catena, A. y Trujillo, H.M. (2004). Manual de métodos y técnicas de investigación en ciencias del comportamiento. Madrid: Biblioteca Nueva.
Reichardt, C.S. (1994). Summative evaluation, formative evaluation, and tactical research. Evaluation Practice, 15, 275-281.
Rossi, P.H. y Freeman, H.E. (1989). Evaluación: Un enfoque sistemático para programas sociales.
México: Trillas.
Rossi, P.H. y Williams, W. (Eds.) (1972). Evaluating social programs: Theory, practice, and politics. Nueva York: Harcourt Brace Jovanovich.
Scriven, M. (1997). Types of evaluation and types of evaluator. Evaluations & Evaluators, 1-13.
Sechrest, L. y Figueredo, A.J. (1993). Program evaluation. Annual Review of Psychology, 44, 645-674.
Shadish, W.R., Cook, T.D. y Campbell, J.C. (2002). Experimental and quasi-experimental designs for generalized causal inference. Boston, MA: Houghton Mifflin.
Stufflebeam, D.L. (1994). Empowerment evaluation, objectivist evaluation, and evaluation standards:
Where the future of evaluation should not go and where it needs to. Evaluation Practice, 15, 321- 338.
Stufflebeam, D.L. y Shinkfield, A.J. (1987). Evaluación sistemática: Guía teórica y práctica. Barcelona:
Paidós/MEC.
Weiss C.H. (1990). Investigación evaluativa (2ª ed.). México: Trillas.
Wortman, P. (1983). Evaluation research: a methodological perspective. Annual Review of Psychology, 34, 223-240.
Yin, R.K. (1992). The case study method as a tool for doing evaluation. Current Sociology, 40, 122-137.
Yin, R.K. (1994). Discovering the future of the case study method in evaluation research. Evaluation Practice, 15, 283-290.
Zhu, S.-H. (1999). A method to obtain a randomized control group where it seems impossible: A case study in program evaluation. Evaluation Review, 23, 363-377.
