Saville Kushner,1
Universidad de Auckland, Nueva Zelandia
Resumen
El estudio de caso no genera mensajes fáciles para el gobierno, y sus resultados son demasiado impredecibles para que se esté cómodo. Sin lugar a dudas, todo aquello que justo puede explicar el funcionamiento de las cosas, no vienen con sencillas medidas de rendimiento y de resultados. Por supuesto, su información de detalle es ideal para evaluar el impacto y la calidad de un programa. Pero hay una diferencia entre la información que un gobierno quiere y la información que él necesita. Los ensayos aleatorios se centran casi exclusivamente en el primero, ya que a menudo se definen por la agenda oficial. Los estudios de casos de programas de desarrollo, abarcan cuestiones planteadas por todos los grupos y circunscripciones y es mucho más probable descubrir información inesperada –tal vez no deseada– pero productiva y útil. Al final, se trata de una cuestión de equilibrio entre los riesgos y la productividad.
Palabras clave: estudio de caso, estándar metodológico, evaluación
Um ‘Estándar de Ouro’ Metodológico: O estudo de caso
Saville Kushner,
Universidad de Auckland, Nueva Zelandia
Resumo
O estudo de caso não gera mensagens fáceis para o governo, e seus resultados são imprecindíveis para gerar um desconforto. Sem dúvidas, todo aquele que pode explicar o funcionamento das coisas, não gera sensíveis medidas de rendimento e de resultados. Para tanto, sua informação em detalhe é ideal para avaliar o impacto e a qualidade de um programa. No entanto, há uma diferença entre a informacão que um governo quer e a informação que ele necessita. Os ensaios aleatórios centram-se, quase exclusivamente no primeiro, já que, frequentemente, se definem pela agenda oficial. Os estudos de casos de programas de desenvolvimento abarcam questões levantadas por todos os grupos e circunscrições, tornando mais provável a descoberta de uma informacão
inesperada – talvez não desejada– porém produtiva e útil. Ao final, trata-se de uma questão de equilíbrio entre os riscos e a produtividade.
Palavras-chave: estudo de caso, estandarte metodológico, avaliação
Abstract
Case study does not generate easy messages for government, and its results are far too unpredictable to be comfortable. For sure, as much as they can explain just how things work, they don’t come up with easy measures of output and outcome. Of course, their fine-grain detail is ideal for assessing impact and the quality of a program. But there is a difference between information a government wants and information that it needs. Randomised trials focus almost exclusively on the former, since they are most often defined by the official agenda. Case studies develop and agenda, embracing questions raised by all groups and constituencies and is far more likely to discover information that is unexpected –perhaps unwanted– but productive and useful. In the end, it is a question of balancing risks and productivity.
Keywords: Case study, methodological standard, evaluation
Metodologías Oficiales
Que muchos gobiernos hayan descubierto una pasión por la metodología es un motivo de optimismo. Las razones son, a la vez, razonables y urgentes. ‘Razonable’, porque la cuestión de la validez se ha internalizado cada vez más en la maquinaria del sistema administrativo (como parte de una política basada en las evidencias). ‘Urgente’, porque las exigencias del nuevo programa Objetivos del Desarrollo Sustentable (SDG) amenazan con abrumar todos los esfuerzos de desarrollo. De esta manera, actualmente es un requisito que un gobierno esté consciente de los aspectos metodológicos que los programas sociales envuelven.
Uno de los problemas del gobierno, o de su aparato administrativo, de contar con sus propios criterios de validez es el grado de independencia de la investigación. Otro problema, es que es la universidad, y no el gobierno, la que tiene tanto los recursos intelectuales como la garantía social para resolver dilemas metodológicos. Para dar un ejemplo extremo, podríamos citar el caso del Reino Unido, donde la Reyna es la cabeza tanto de la Iglesia Anglicana como del poder judicial, pero esto sería considerada inviable e inaceptable, incluso ridículo, que ella se pronunciara en aspectos litúrgicos o jurídicos. Esto es un aspecto menor, pero de similar relevancia para un funcionario de gobierno el pronunciarse respecto a aquello que debe considerase como un dato o conclusión válidos.
("desnutrición aguda" y "desnutrición crónica"), en la que cada una de ellas daba una cierta ventaja a una población particular (al ajustar medidas de talla, peso y edad); o, el que una sola cifra de enfermedad perinatal basada en tres distintas fuentes de datos; o, la manipulación metodológica del muestreo de la población de mujeres para resaltar la crisis del VIH-SIDA en el África subsahariana; o, la manipulación del denominador para poder escoger entre un análisis local, regional o nacional que ayudara a elegir cualquiera que fuera la trayectoria preferida. Con todo, aquello era un juego honorable, en que hacia lo mejor con las herramientas disponibles y la falta de metodólogos, todo el tiempo mediado por valores respetables. No obstante, uno buscaba en vano metadatos, para ayudar a validar las estadísticas.
Con la internalización del programa de evaluación en el sistema administrativo (Kushner, 2013) hemos transferido la responsabilidad de la validación de los reportes a la burocracia. Ahora es el administrador quien tiene que cumplir con la validez en la rendición de cuentas, ya que con ello defienden a sus gerentes y jefes políticos, en cuanto a la calidad de los datos y de las conclusiones que han promovido. Esta transferencia de responsabilidades, ha favorecido la erosión de la independencia de la evaluación –especialmente en el desarrollo internacional– porque ha reducido lo que, en las sociedades industrializadas, siempre se ha considerado como una distancia prudente entre el gobierno patrocinador y el proveedor de la investigación. Sin embargo, no es sorprendente ver al burócrata buscando desesperadamente cierta certidumbres e instrumentos de control, y que en esa búsqueda descubra con alivio e incluso con shadenfreude2
el concepto de un ‘estándar de oro’ metodológico. Un "estándar" trae la promesa de resolver, de una vez y para siempre, los dilemas sobre la validez de las recomendaciones, pero igual de importante es el hecho que le da la confianza al burócrata en la gestión de las relaciones con la comunidad de investigación y de evaluación que, por lo general, saben más que ellos sobre la materia. Un estándar de oro metodológico parece ofrecerles seguridad y control.
Lo que llama un estándar de oro es un criterio metodológico con el que buscamos la confianza en un mundo de incertidumbres. Como instrumento de investigación evaluativa debería aclarar ambigüedades, debería arbitrar entre las demandas competitivas, y esperaríamos que nos dirigiera ya sea hacia una “correcta” decisión o política. Un estándar de oro debería ser una señal fuerte y consistente, al tiempo que debiera dar la impresión de estabilidad. Además de esto, dicho estándar debería permitir la suposición de una capacidad para neutralizar variables hasta el punto en donde fuera compatible con una “narrativa única,” es decir, la simplificación de una explicación.
Tal cosa no existe, no puede existir. La ambigüedad es una propiedad de cualquier sociedad compleja. La práctica de la evaluación es sobre legitimar el debate y la argumentación (House, 1977, 2010), no se trata de juzgar entre lo "bueno" y lo "malo"; y no existe tal cosa como una decisión o política correcta. Sólo existen aquellas decisiones o políticas que puedan justificarse y que siempre serán contingentes a las circunstancias. El mundo de la experiencia y de la práctica no se da el lujo de separar o unir las variables de forma arbitraria. Es más, el concepto de una narrativa única –una afirmación o explicación indiscutible– va en contra de la naturaleza de la propia democracia. Chantal Mouffe (2000) promueve la idea de la democracia como una "revolución inconclusa," sugiriendo que el consenso es el cierre de la discusión, y, por
2La palabra alemana shadenfreude hace referencia a un sentimiento de alegría o satisfacción con la
lo tanto, de la democracia. El enfoque de la evaluación tiene que estar enfocado en los procesos, no en el cálculo de resultados. La evaluación como una práctica ética (MacDonald, 1974; Kushner, 2016) nutre la democracia con argumentos y con la proliferación de narrativas. De hecho, House (1977) sugiere que la naturaleza de la investigación evaluativa es un argumento en sí mismo.
Habiendo dicho esto, existen modelos o formas de estándares que son no solo compatibles sino saludables al pluralismo propio de la democracia. Stenhouse (1967), por ejemplo, ofrece una definición de un estándar educativo como un acuerdo local que merece atención. Tal definición se basa en la suposición de que los contextos locales no permiten la comparación fácil entre una práctica y otra. Esta idea, esta aproximación a un estándar, ciertamente no resulta amigable cuando lo la práctica es informada por un deseo de control y estabilidad. Aún así, tenemos que vivir pragmáticamente en un mundo en el que anhelamos la seguridad y el control. De alguna manera siempre buscamos la estabilidad (Schon, 1971) en los asuntos relativos a la organización. Tenemos que consentir el concepto de un estándar de oro metodológico, aunque solo sea para sostener la confianza del gobierno en la investigación evaluativa.
Validez y localización de la generalización
En estos tiempos caracterizados por gobiernos frágiles, el control de la información aparece como de la mayor importancia. Debido a esto, en parte, hemos ungido a la investigación con control aleatorio como un ‘estándar de oro’. La promesa ofrecida por este conjunto de métodos es la precisión y la exactitud, aunque hemos visto que ambos son ilusorios. Además, las investigaciones experimentales y comparativas producen información discutible, la cual aún tiene que pasar por procesos evaluativos; esto es, por procesos de negociación y juicio para medir su conveniencia y su factibilidad. Un experimento de control aleatorio no es una evaluación, pero si produce resultados que podrían contribuir a un proceso de evaluación.
Donald Campbell (1999), en su crítica seminal a la experimentación en ciencias sociales, propuso nueve amenazas a la validez de una investigación experimental. La mayoría de estas amenazas están relacionadas con el contexto. Por ejemplo, la inestabilidad de la población experimental, la inestabilidad de medidas comparativas, la intrusión de variables exógenos. Campbell, además de ser quizá, la figura de mayor influencia en el campo de investigación aleatoria, vio lo esencial que era en ciencias sociales la investigación cualitativa localizada. Su juicio resuena de Stenhouse (1967):
ciencias sociales), los rompecabezas causales (es decir, efectos que son confiables, pero que no se comprenden) son el impulso del motor que activa una nueva y productiva teorización. Tenemos que distanciarnos del actual sobre énfasis en una primera teoría. Los científicos básicos dan más importancia a la claridad de la inferencia causal y, por lo tanto, limitan, recortan y cambian los problemas de modo que puedan ser resueltos con precisión científica, dado el actual estado del arte. Otras hipótesis causales se posponen hasta que el desarrollo del estado del arte y la teoría sean precisamente comprobables. Esta estrategia no está disponible para los científicos aplicados. Ellos deben mantenerse dentro del mandato del problema, haciendo lo mejor que puedan para lograr la validez científica. Para quedarse con el problema, sin embargo, puede ser necesario usar métodos que proporcionen una menor precisión de la inferencia causal. (Campbell, p. 115)
Esta declaración es radical y sirve para legitimar los estudios locales cuya generalización está restringida por el contexto, en otros términos, el estudio de caso. De hecho, el estudio de caso, cumple tanto con las exigencias de información de las comunidades políticas, las cuales apunté anteriormente, en la que se revela las palancas de cambio, sus resistencias y facilitadores. Además de cómo se resuelven las amenazas a la validez que apuntó Campbell (1999), en tanto que se revela la relación dinámica entre la acción y el contexto. Lo que sigue es el marco en el que se describen los elementos característicos del estudio de caso, basados en los cuales podríamos proponer el estudio de caso como el más efectivo y confiable ‘estándar de oro’ metodológico. Estos son los siguientes:
Representa un acuerdo vivo, basado en condiciones locales, que sirve para orientar la acción significativa. Esto implica que hay que generar desde dentro del contexto los criterios de calidad, así como que los juicios tendrían que ser incorporados en los parámetros de la acción.
Deja abierta la pregunta de calidad. Cualquier estándar debería servir para enfocar las discusiones y para iluminar los retos de innovación y cambio; y no para cerrar la deliberación o para desplazar juicio.
Ni permite ni persuade al investigador evitar las complejidades y reconoce la diversidad de valores presentes en cualquier situación. Un estándar debería tomar en cuenta el impacto de la retroalimentación, así como que toda acción tiene el potencial de desencadenar una cadena de eventos.
Está consciente y sensible a los contextos que lo rodean. Un estándar no puede proteger del escrutinio, ni a una idea ni a un principio, ni tampoco impedir al practicante de tomar formas alternativas de acción.
La contingencia como una filosofía del estudio de caso
El estudio de caso es el estudio de la contingencia, de cómo los elementos se relacionan entre sí. Ésta es una alternativa al estudio de la causalidad. La causalidad puede ser definida por dos condiciones vinculadas: A da lugar a B y B es el resultado de A. Sin embargo, estas relaciones causalidad raramente se ven en los procesos humanos. No importa cuán elegantes parezcan ser, ellas no alimentan con facilidad el aprendizaje práctico. Juntas, como base para la generalización válida, son extremadamente exigentes, y por consiguiente a menudo poco realistas.
Todas las generalizaciones decaen. Al mismo tiempo, una conclusión describe bien la situación existente, posteriormente representa más bien poca varianza, y en última instancia es válida sólo como historia. La vida-media de una proposición empírica puede ser grande o pequeña. Cuanto más abierto un sistema, es más probable que la vida media de las relaciones dentro de ella sea más corta...Una declaración general puede ser muy exacta sólo si se especifica que se requiere una gran cantidad de datos para precisar más los efectos interactivos. (Cronbach, 1975, pp. 125-126)
En la evaluación de programas estamos hablando de sistemas abiertos. Esto es, sistemas en los que las variables no pueden ser delimitadas o estabilizadas con claridad. La solución de Cronbach (1975), es, de nuevo, acudir a las condiciones locales para efectos de validación.
Retroalimentación y mosaico: Contingencia como una orientación de la investigación.
La razón principal, por la que una generalización necesita precisar tal cantidad de datos es por la retroalimentación. Digamos que A es un profesor y B es un aprendiz. El maestro enseña algo y quizás el alumno aprende algo, pero esto es indeterminado. Con todo, en el proceso el maestro aprende algo sobre el alumno, sobre el contexto, sobre el conocimiento. El maestro ha cambiado. Si hay una verdad aquí, si hay una sola medida de la calidad o explicación, esta es inestable. Esto es así en todas las interacciones humanas y más aún en aquellas en las que estamos interesados: la interacción humana dentro de las organizaciones. Toda la acción profesional y el aprendizaje profesional del equipo cambian con la retroalimentación. Toda la acción profesional se caracteriza por el equilibrio inestable, lo que hace imprescindible comprender los contextos. Los contextos son las fuentes de inestabilidad, debido a que es el contexto la fuente de retroalimentación: la vida del alumno, la política de la escuela, la arquitectura del salón de clase, las provocaciones del material curricular.
Con esto ya tenemos los contornos de una filosofía de la experiencia pura que nos ocupa. Al inicio de mi ensayo, la llamé una filosofía del mosaico. En los mosaicos reales las piezas se mantienen unidas por su base...En el empirismo radical no hay base; es como si las piezas se mantuvieron unidas por sus bordes, las transiciones experimentadas entre ellas forman su cemento. Por supuesto, semejante metáfora es engañosa, ya que en la experiencia real las partes más sustantivas y las más transitivas pasan entre sí de forma continua, en general, no se necesita superar ninguna separación con cemento externo; y no se supera ninguna separación que en realidad experimentaron, ya que se mantiene y cuenta como separación hasta el final. Pero la metáfora sirve para simbolizar el hecho de que la experiencia en sí, tomada en su conjunto, puede crecer por sus bordes. Que un momento de ella prolifera en la siguiente, por transiciones...La vida está en las transiciones tanto como en los términos conectados; a menudo, de hecho, parece estar más enfáticamente ahí, como si nuestros arranques y salidas hacia adelante fueran la verdadera línea de fuego de la batalla, eran como la delgada línea de fuego avanzando a través del campo seco de otoño que el agricultor procede a quemar. En esta línea vivimos tanto prospectivamente como retrospectivamente. Es "del" pasado, en la medida de que se trate expresamente como continuación del pasado; es "del" futuro en tanto que en el futuro, en cuanto proviene de la misma, este continuará (2003, p. 45).
En la forma de pensar del pragmatismo no existe un "cemento" que mantenga unidos a las personas y a los eventos. No hay racionalidad determinada por un principio “general” o “fundamental”, estructura o sistema de creencias, si podemos entender esto, nos permitirá entender la sociedad. No hay suficiente estabilidad en sistema social alguno que nos permite sostener una hipótesis desde el pre-test al post-test, desde la asignación al azar a la medición de resultados. No se perciben fácilmente los "mecanismos" que nos permitan obtener una explicación. Sólo cómo aparecen los elementos sociales uno contra el otro en ese "mosaico". Propiamente dicho, el estudio de casos es el estudio de los "bordes" y las "transiciones", cómo las partes se relacionan contingentemente; lo que hace que esto se conecte a aquello en el aquí y ahora. Las transiciones –lo que ocurre cuando uno de los bordes se acerca a otro– un profesor con los estudiantes o una enfermera con un paciente; un grupo profesional con una política; una mujer con su amante; un indicador de resultados con una particularidad. Lo que necesitamos en cada uno de los casos es una teoría de la contingencia, una teoría de lo que hace significativos los datos, una teoría de la separación.
Sistemas acotados
descubrir el límite a través del análisis de un caso ('empezamos en una escuela, pero este resulta ser un estudio de caso de la gestión del conocimiento'). Lo que se encuentra dentro de los límites debería ser suficiente para entender cómo funcionan las cosas dentro de ellos, cómo se forma la contingencia, cuál es la naturaleza y los efectos de la retroalimentación, cómo las personas hacen un sentido colectivo de un mundo subjetivo. Esto es lo que lo define como un sistema –en sí mismo– explicativo.
Aquí, entonces, tenemos tres elementos clave del estudio de caso: contingencia, retroalimentación, y sistema acotado. El cuarto elemento es el más importante y voy a explorar en detalle. Este es la personalización o individualismo metodológico.
Personalización
El estudio de caso afirma la importancia de las personas. Cuando se trata de una elección entre individuos y grupos, entre los profesionales y la organización; y, entre el ciudadano y el sistema de gobierno, la gente es la que importa. En otras palabras, se aloran como relevantes aquellos cuyas voces no aparecen en los estudios experimentales. Los límites y las transiciones son manejados por individuos, y cualquier sentido de coherencia dentro de un sistema acotado es el resultado de inter-subjetividades. Los bordes de los mosaicos están hechos de relaciones; es decir, el cómo un gerente se refiere a un practicante, una familia se refiere a una organización de servicio social, o una enfermera se refiere al sistema político de un hospital.
La conveniencia de poner a la gente en grupos con el fin de hacer políticas, es justo eso: una conveniencia. Todas las políticas violan, de alguna manera, derechos individuales. Esto es inevitable. Las políticas son más fáciles de hacer cuando podemos difuminar la diferencia entre los individuos, cuando podemos centrarnos en lo que nos hace iguales más que en lo que nos distingue. Lo que siempre está en riesgo es la "diferencia," lo que Chantal Mouffe (2000) intentó sostener acerca del intercambio democrático.
Pero no es el trabajo de la investigación democrática hacer la política más fácil. En todo caso, nuestro trabajo es hacer que sea más difícil revelar y promover la complejidad de la acción humana y el pluralismo de valores. En el momento de escribir este artículo, el Reino Unido acababa de votar para salir de la Comisión Europea, con 16 millones de personas en desacuerdo, y con múltiples y frecuentes razones contradictorias para votar entre los 17 millones que “ganaron.” Justo ahora, la comunidad política está perpleja ante el desafío de que una sola
política sea justa para todos. La información de la votación está insuficientemente desglosada y contextualizada para calcular el menor daño democrático. La idea no es deshabilitar la elaboración de políticas, sino asegurar que es defendible y sensible poniendo a prueba la realidad vivida, pasando por el filtro de la práctica y la experiencia. Esta es la función del estudio de caso en la investigación evaluativa y democrática. Quiero mirar hacia atrás en la historia de algunos de los escritos sociológicos más tempranos en el estudio de caso.
Aquí está el influyente escrito de Emory Bogardus en 1923:
penetrar a las causas primeras, o al buscar los significados de cualquier problema humano. Incluso en la filosofía, al parecer, son necesariamente ‘más o menos biográfica, el refinamiento de la reflexión de los desechos de las experiencias diurnas del hombre’. (p. 22)
Esta suave forma de extremismo es mi ideología. Mi libro, Personalizar la Evaluación (Kushner, 2002) fue un resumen de mi experiencia de estudios de caso y abogó por el individualismo metodológico. Esto es, el que regresemos a la experiencia personal cuando queramos penetrar en las causas primeras. Lo que argumento en este libro es que el desafío no es ver cómo el individualismo "se ajusta en" nuestras iniciativas y políticas, sino ver cómo nuestras políticas encajan en la vida de las personas. La unidad adecuada de estudio no es un comportamiento, es una vida.
Esta es una manera de evaluar directamente la forma en que responde el Estado a las vidas de sus ciudadanos y de las complejidades de la práctica. Por ejemplo, si en la figura (b) anterior se lee 'practicante' en lugar de 'persona', podemos ver de inmediato cómo la política puede dar cuenta de su capacidad para apoyar la práctica.
Estándar de oro y el desarrollo internacional
La importancia de esto se hace evidente si tenemos en cuenta los ODS y lo que podría significar para la acción del gobierno. Hay 17 objetivos. Muchos estados nacionales se esforzaron para satisfacer las demandas de los ocho objetivos en el marco del programa anterior. Hay más de 120 metas para alcanzar varios de estos objetivos. Lo que esto sugiere es la aparición de una industria global súper-masiva de monitoreo de especialistas, muchos de ellos serán ubicados en costosos departamentos nacionales de gobierno que se crearán sólo para administrar este esfuerzo. Esto será cada vez más importante dado que el programa ODS no reporta más a la ONU (previamente PNUD), sino directamente al Consejo Económico y Social de la Organización de la ONU (ECOSOC), donde los embajadores nacionales tendrán la supervisión directa del progreso. La rendición de cuentas se ha fortalecido enormemente.
La tercera principal característica de estos objetivos es que el requisito clave es la
sostenibilidad. Esto significa la incorporación de los logros en los marcos institucionales, jurídicos y fiscales de un país. Esto les da a los organismos internacionales de ayuda una autoridad sin precedentes para interferir en las agendas nacionales de rendición de cuentas. La presencia de la ONU –a menudo desconfiando de los estados nacionales– ahora pasará a ser una interferencia potencialmente directa a los gobiernos.
En virtud de esas presiones, los organismos de ayuda internacional tendrán que enfrentarse a sus propias agendas de rendición de cuentas. Su presencia más fuerte en un estado-nación atraerá a un examen más detallado de lo que experimentan actualmente. Y debemos recordar que una nación pobre será anfitriona de numerosos organismos de la ONU, organizaciones bilaterales y varias ONG internacionales, por lo que la tolerancia gubernamental a los percances o amenazas de datos será baja. El programa ODS bien podría convertirse en lugar de tensión política, tanto como el desarrollo económico. ¿Cómo dichos organismos y las ONG defenderán sus posiciones?
Mi suposición es que no van a hacerlo de manera adecuada sobre la base de datos y los sistemas de gestión. Poco ha cambiado en la calidad de los datos en los últimos cinco o diez años, y esta será una frágil base desde la cual un organismo puede insistir en los criterios de sostenibilidad.
Conclusión
para hacer eso. Su foco en el análisis de contingencia, en explicaciones narrativas, y en negociación de verdades lo convierte en un lugar ideal para la resolución de demandas que surgen de los tres elementos mencionados. El estudio de caso en tanto que estándar de oro para la representación de la vida social nos promete una política moral de lo metodológico.
Referencias
Bogardus, E. S. (1923). Personal experience and social research. Journal of Applied Sociology, 8(2), 94-303.
Campbell, D. T. (1999). An inventory of threats to validity and alternative designs to control them. En D. T. Campbell y M. J. Russo (Eds.), Social experimentation, Thousand Oaks, Estados Unidos de América: Sage.
Cronbach, L. (febrero, 1975). Beyond the two disciplines of scientific psychology. American Psychologist, 30(2), 116-127.
House, E. R. (1977). The logic of evaluation argument (Vol. 7). En E. L. Baker (Ed. de la Serie),
CSE Monograph series in evaluation. Los Angeles, Estados Unidos de América: Centro para los Estudios de Evaluación Universidad de California.
James, W. (2003). Essays in radical empiricism. Mineola, Nueva York: Dover. (Reedición corregida completa de la obra de 1912, Nueva York, Estados Unidos de América: Longmans, Green and Co.)
Jocher, K. (1928). The case method in social research. Social Forces, 7(2), 203-211. Kushner, S. (2002). Personalizar la evaluación, Madrid, España: Morata.
Kushner, S. (2016). Collective autobiography as case study. En D. Williams (Ed.), Seven North American evaluation pioneers, new directions in evaluation (pp. 101-111). Nueva York, Estados Unidos de América: Wiley.
MacDonald, B. (1987). Evaluation and the control of education. En R. Murphy y H. Torrance (Eds.), Evaluating education: Issues and methods (pp. 36-48). Londres, Reino Unido: Harper and Row. (Reimpreso de Innovation, evaluation, research and the problem of control [SAFARI], por B. MacDonald y R. Walker, Eds. 1974, Norwich, Reino Unido: Centre for Applied Research in Education)
Mouffe, C. (2000). The democratic paradox. Londres, Reino Unido: Verso.
Schön, D. (1971). Beyond the Stable State. New York, Estados Unidos de América: Temple Smith.
