Aportación de Michael Scriven. Evaluación con base en valores

Scriven, en su artículo “The metodology of evaluation”, publicado en 1960, se constituye como uno de los teóricos más influyentes en el campo de la evaluación, sentando las bases, aún

14 Klineberg (1955, citado por Salinas, 2002) menciona que “la meta de la investigación evaluativa se extiende más allá de determinar simplemente el éxito o fracaso hacia el conocimiento del porqué ocurrió el éxito o fracaso, y que puede ser hecho a ese respecto. La evaluación en este sentido implica más que juicio; también abarca la comprensión y la redefinición.

15 Para describir el crecimiento en el uso formal de la evaluación, Scriven menciona que en enero de 1999 existían en Estados Unidos ocho organizaciones dedicadas al estudio de la teoría evaluativa y su aplicación; para diciembre de ese mismo año, eran ya veintinueve. Fuente: http://www.sedbogota.edu.co// Revisado el 12 de junio de 2003.

utilizadas, en este campo. Salinas (2002) analiza los aportes de Scriven (1972) a partir del artículo mencionado y destaca que este autor considera que la evaluación es “la determinación del mérito o valor… y los hechos empíricos deberían proveer información en los debates en torno a los valores (asignados o por asignar) y decidir cuáles valores son los preferibles”. Así, Scriven considera que los juicios y valores dentro de la evaluación deben considerarse formalmente y que la investigación científica debería considerarlos válidos¹⁶. Las escalas ordinales de medición constituyen una aproximación a esta necesidad planteada por Scriven (1972)^17. De hecho, este mismo autor considera que una gran tendencia es“reconocer la no existencia de una diferencia, más que su existencia misma, entre los enfoques o aproximaciones cualitativos y cuantitativos de la evaluación. Hoy vemos que hay muy pocos vestigios de esa lucha que ocupó a la evaluación desde un principio, y creo que ya nos llegó la hora de cerrar esa tumba”¹⁸.

La posición epistemológica de Scriven (1972) es considerada como postpositivista, al rechazar la idea positivista de que la realidad se percibe directamente a través de las sensaciones y las percepciones, sin la mediación de teorías y sin la distorsión perceptual, y que los constructos científicos deberían ser operacionalizados en entes observables. En oposición a lo anterior, propone un término alterno para percibir la realidad, el perspectivismo¹⁹. Scriven (1972) define este término: “el perspectivismo intenta acomodar la necesidad de múltiples visiones de la realidad como perspectivas desde las cuales podemos construir una imagen verdadera, no como un conjunto de imágenes verdaderas de realidades diferentes e inconsistentes” (Salinas, 2002).

La posición de Scriven es respaldada en su discusión acerca de las experiencias en la evaluación aplicada en diferentes ámbitos; por un lado existen evaluaciones que consideran los resultados

16 Scriven (citado por Salinas, 2002) considera necesario incrementar el escrutinio empírico de las justificaciones que apoyan ciertas aseveraciones morales y defiende que los valores pueden ser investigados y justificados empíricamente, que la distinción hechos/valores es inexistente. Además, Scriven considera que “los argumentos para mantener a la ciencia libre de valores son, en general, extremadamente malos”.

17 En este sentido, Salasin (citado por Salinas) reporta ya, en 1974, el uso de este tipo de escalas en la valoración de programas públicos.

18 http://www.sedbogota.edu.co/servicios/publicaciones%20evaluacion/ Revisado el 20 de junio de 2003

19 Sin embargo Hopenhayn atribuye este concepto a Nietzsche. Este autor considera que el perspectivismo es “la piedra de toque para de construir el pensamiento metafísico, sobre todo el platónico, y tiene como premisa el que todo es interpretación. Con ello el perspectivismo se instala desde la partida en un pensamiento que conjuga singularidad y pluralidad. El perspectivismo abre a la lógica del descentramiento (no hay una única interpretación) y a la lógica de la diferencia (las interpretaciones no son homologables entre sí). Fuente: www.cholonautas.edu.pe/pdf/

Revisado el 25 de junio de 2003).

como lo más importante, despreciando los procesos que les dieron origen. A esta evaluación se le conoce en Teoría Evaluativa como evaluación por resultados. Por otro lado, existen evaluaciones que consideran los procesos, menospreciando los resultados. Esta segunda evaluación es conocida como evaluación libre de resultados. Aunado a lo anterior, Scriven reconoce que “la evaluación es interdisciplinaria, constituyéndose en una disciplina por si misma”²⁰.

En sus discursos más recientes, Scriven considera que la evaluación por empoderamiento²¹ debe ser reconsiderada, pues la evaluación puede perder utilidad al perder credibilidad. En este sentido, el desarrollo de metodologías externas de evaluación seguirá siendo necesario en tanto

“la sociedad requiere de una ciencia de valoración porque necesita de medios sistemáticos, libres de errores, para saber si sus productos, personal, y programas son buenos” (Salinas, 2002). El uso de metodologías internas de evaluación, llamadas también participativas, debe considerarse solo dentro de un marco de evaluación externa.

En caso de la evaluación de conceptos multidimensionales, como es el concepto de sustentabilidad, la orientación obligada es también múltiple, pues se requiere un enfoque sistémico (orientado al estudio de resultados y procesos), multidisciplinaria (considerando el estudio de aquellos ejes relevantes al sistema) y orientado a la búsqueda de satisfactores para la sociedad involucrada que puedan ser promovidos por los directivos. Es decir, la evaluación deber tener las características de ser formativa y sumativa²². Formativa se refiere a que debe retroalimentar al grupo social objeto de evaluación. El carácter sumativo se presenta cuando la evaluación aporta información para quienes toman decisiones. Así entonces, los diseños metodológicos en la investigación evaluativa deben considerar que los resultados de la evaluación deben aportar elementos por si mismos, tanto a los evaluados, como a los que pueden incidir en su desarrollo, convirtiéndose así en “un asunto de interés público” (Scriven, citado por Salinas, 2002).

20http://www.sedbogota.edu.co/servicios/publicaciones%20evaluacion/ . Revisado el 12 de junio de 2003.

21 La evaluación por empoderamiento consiste en promover el desarrollo de capacidades para lograr, al interior de las propias organizaciones, su propia evaluación.

22 La traducción correcta a esta palabra sería “aditivo”. Sin embargo se respeta la traducción de los autores.

La evaluación de la sustentabilidad de los sistemas de producción agrícola constituye un asunto de interés social; primero, porque la evaluación nos aporta elementos para la búsqueda de satisfactores sociales y para la optimización de los recursos escasos; segundo, porque la sustentabilidad se presenta en el discurso público como una política nacional a seguir²³. Así entonces, la evaluación de sustentabilidad de sistemas agrícolas puede constituirse como un asunto de interés público. Su beneficio será mayor en la medida que su diseño sea metodológicamente correcto, socialmente representativo, y sus resultados presenten utilidad social.

Cronbach (1980; citado por Salinas, 2002) sostiene que la mayor aportación de una evaluación es la revisión de los aspectos en los cuales la revisión es deseable. Es decir, este autor sostiene que la evaluación es solo útil para detectar puntos en los cuales debe incidirse para mejorar un proceso. Esta investigación, contrario a la posición de Cronbach (1980), se basa en la visión de Scriven (1972) quien, como se ha discutido ya, se apega a los principios de evaluación formativa y sumativa como rectores de la evaluación. Dichos principios reconocen, en sentido estricto, que la evaluación debe aportar información tanto a los evaluados como a los evaluadores y a los que usarán la evaluación para la toma de decisiones. En caso de que la información, producto de una evaluación, no presente utilidad para la toma de decisiones, esta carece de sentido práctico y pierde relación con la necesidad social que debiera respaldar.

Scriven (citado por Salinas, 2002) menciona, además, que “se supone que la evaluación sirve para la toma de decisiones, y la toma de decisiones es la elección entre alternativas, y si la evaluación no busca la comparación de los méritos entre alternativas entonces no está sirviendo para la toma de decisiones”. Por su parte, Weiss (1987) respalda la posición de Scriven (1972) al mencionar que el uso de la evaluación en la planeación es el fundamento racional de la primera.

La lógica de la evaluación seguida por Scriven (1972) considera tres etapas centrales. La primera es la determinación de los criterios del mérito, usualmente a partir de una valoración de necesidades. La segunda es la determinación de los estándares del mérito²⁴, frecuentemente

23 Presidencia de la República. Plan Nacional de Desarrollo. 2001-2006. Visión (apartado 4.1). SAGARPA. Programa Sectorial de Agricultura, Ganadería, Desarrollo Rural, Pesca y Alimentación 2001-2006 (Introducción).

24 Merito se define como la condición que da valor a determinada característica. Salinas (2002).

como resultado de la búsqueda de comparaciones apropiadas. Por último, la tercera etapa se refiere a determinar el desempeño del evaluando al compararlo con estos estándares. A lo propuesto por Scriven (1972), esta investigación incorpora dos etapas más al proceso de evaluación. Una cuarta etapa de análisis es el empleo de la explicación y prospección para darle uso práctico a los resultados de la evaluación, justificando así su valor social. La quinta etapa propuesta es la redefinición de criterios y estándares al mérito que corresponden a la naturaleza de la evaluación concebida como proceso. Así entonces, es posible establecer que la evaluación de sistemas agrícolas es un proceso que inicia con la definición de los sistemas a evaluar, continúa con la definición de la estructura de evaluación, y concluye con la valoración de dichos sistemas y la validación de la propia metodología de evaluación.

Salasin (1973) citado por Salinas (2002) considera que “el énfasis en las cuestiones estrictamente evaluativas no requiere una teoría sustantiva acerca del funcionamiento del evaluando. Cuando se evalúan las características de un televisor, no es necesario saber la diferencia entre un condensador o un transistor. Sólo requerimos saber la diferencia entre una mala imagen y una buena imagen”. Por su parte Scriven (1972) considera que la teoría no es necesaria para una evaluación sumativa y además no es el único medio para guiar una evaluación formativa. No obstante, el uso de la teoría en la evaluación es considerada en esta investigación como parte del proceso evaluatorio, pues constituye una herramienta en la búsqueda y definición de criterios, de métodos de análisis, y de esquemas generales de valoración. Las posiciones de Salasin (1973; citado por Salinas, 2002) y Scriven (1972) acerca de la teoría en la evaluación, es posible que se derive de la necesidad de valorar correctamente las características subjetivas. En esta investigación, esta necesidad es cubierta por el uso de escalas ordinales de medición y técnicas como el análisis multivariado descritas en el apartado de metodología.

En el desarrollo de la Teoría Evaluativa, y su aceptación por otros científicos, surgieron nuevas corrientes dentro de la evaluación que no compartieron totalmente la idea de limitar el uso de la teoría al interior de la propia evaluación. Uno de los principales autores que encabezaron esta postura fue Campbell (1988).