Centro Colaborador de la OMS/OPS en Evaluación, Capacitación y Abogacía
en Promoción de la Salud
CEDETES
Centro para el Desarrollo y Evaluación de Políticas y Tecnología en Salud Pública
Escuela de Salud Pública - Facultad de Salud
CEDETES
Centro para el Desarrollo y Evaluación de Políticas y Tecnología en Salud PúblicaEsta publicación ha sido financiada con recursos de los Centers for Disease Control and Prevention, CDC, de los Estados Unidos, a través del Acuerdo de Cooperación CDC-CEDETES-Universidad del Valle 5 U13 DP000618-03/ 3 U13 DP000618-03W1
Efectividad
en
Promoción
de la
Salud
y
Salud Pública
Reflexiones sobre la práctica en
América Latina y propuestas de cambio
Centro Colaborador de la OMS/OPS en Evaluación, Capacitación y Abogacía
en Promoción de la Salud
CEDETES
Centro para el Desarrollo y Evaluación de Políticas y Tecnología en Salud Pública
Escuela de Salud Pública - Facultad de Salud
CEDETES
Centro para el Desarrollo y Evaluación de Políticas y Tecnología en Salud PúblicaEfectividad en Promoción de la Salud y Salud Pública. Reflexiones sobre la práctica en América Latina y propuestas de cambio
Autora: Ligia de Salazar, Ph.D ISBN 978-958-670-763-3
Cali, Colombia, noviembre de 2009
Esta publicación corresponde a un producto de conocimiento del CEDETES-Universidad del Valle, en el marco de la línea de investigación y del grupo de “Evaluación en Salud Pública y Promo-ción de la Salud”. Recopila aprendizajes y desarrollos del CEDETES, por más de diez años, en evaluación de efectividad en salud pública y promoción de la salud, así como las experiencias y lecciones aprendidas de un amplio proceso de construcción de capacidad en evaluación y evi-dencias, a nivel latinoamericano, apoyado también por diversas organizaciones internacionales, especialmente por los Centers for Disease Control and Prevention, CDC, de los Estados Unidos; la Organización Panamericana de la Salud, OPS; y la Unión Internacional de Promoción y Educación para la Salud, UIPES.
CEDETES. Escuela de Salud Pública, Facultad de Salud, Universidad del Valle. cedetes@cedetes.org cedetes@univalle.edu.co www.cedetes.org
Rector de la Universidad del Valle: Iván Enrique Ramos Calderón
Director Programa Editorial: Víctor Hugo Dueñas Rivera
Revisión de estilo: Jenny Andrea Vélez Vidal
Diseño carátula y diagramación: Departamento de Arte y Diseño Impresora Feriva S.A.
Imagen carátula: Guarda aborigen argentina. Cortesía de Portón Artesano www.portonartesano.com.ar
Fotografías: Cortesía archivos proyectos latinoamericanos de salud pública y promoción de la salud
Impresión: Feriva S.A.
@ Universidad del Valle @ Ligia de Salazar
La autora
Ligia de Salazar, Ph.D
Doctorada en Evaluación de McGill University, Canadá. Master in Public Health University of Liverpool, Inglaterra. Magíster en Administración de Salud y Enfermería, de la Universidad del Valle, en Colombia. Crea-dora y directora del Centro para el Desarrollo y Evaluación de Políticas y Tecnología en Salud Pública, CEDETES, y profesora titular de la Es-cuela de Salud Pública, de la Facultad de Salud de la Universidad del Valle, en Cali, Colombia. Es la directora del Programa Latinoamericano de Evaluación en Promoción de la Salud, apoyado por los Centers for
Disease Control and Prevention, CDC, de Estados Unidos, en el marco
de un acuerdo de cooperación entre CDC y CEDETES.Así mismo coor-dinó y fue la líder regional para América Latina del Proyecto Regional de Evidencias de Efectividad en Promoción de la Salud, promovido por
la International Union for Health Promotion and Education, IUHPE.
Ha sido la única latinoamericana designada por la Organización Mundial de la Salud, OMS, como miembro de un panel mundial de expertos en promoción de la salud (2009-2013); es miembro del grupo científico de evaluación y producción de evidencias en promoción de la salud, que impulsa el National Center for Chronic Disease Prevention and Health
Promotion de los CDC, y hasta el 2007, miembro del Comité Asesor
Es reconocida internacionalmente por su trabajo en evaluación, rencista internacional y miembro de comités científicos de las confe-rencias mundiales en torno a temas como la evaluación de efectividad de políticas y programas en salud pública y promoción de la salud y la vigilancia de factores de riesgo de comportamiento. Consultora de varias organizaciones internacionales, ministerios de Salud y organizaciones no gubernamentales de diferentes países del mundo. Ha escrito libros y artículos sobre evaluación y vigilancia en salud pública y promoción de la salud.
Conceptos, posiciones
y controversias en evaluación
en promoción de la salud
y salud pública
Contenido del capítulo
Presentación
Hechos, debates y desarrollos sobre promoción de la salud y salud pública
¿Qué está pasando en América Latina? ¿Hacia dónde giran los debates?
¿Cuáles son los principales desarrollos en la región?
1. Promoción de la salud y salud pública: estrategias y procesos sociales y políticos para producir y mantener la salud de las poblaciones
El poder de la práctica para fortalecer la teoría y el proceso de cambio
Complejidad de las intervenciones en promoción de la salud y salud pública e implicaciones en la evaluación de efecti-vidad
2. Evidencias en promoción de la salud y salud pública Decisiones basadas en evidencias
Evaluación, evidencias y procesos políticos
3. Evaluación de efectividad en promoción de la salud y salud pública
Bases metodológicas de la evaluación de efectividad Premisas generales para la evaluación de intervenciones complejas
Enfoques y paradigmas de la evaluación de efectividad Bibliografía
Revisitando la práctica de la evaluación
Presentación
En este capítulo se presenta un panorama en torno a la teoría, prác-tica y evaluación de intervenciones en promoción de la salud y salud pública y se establecen contrastes entre sus diferentes concepciones. Así mismo, se plantean algunas reflexiones en torno al alcance de la práctica de la evaluación, fundamentadas en hallazgos y expe-riencias alrededor de la evaluación de proceso y de efectividad de estas intervenciones.
La teoría y la práctica de la promoción de la salud y de la salud pública demandan el abordaje de temas que, tradicionalmente, han estado ausentes de los esfuerzos para crear respuestas efectivas a situaciones y problemáticas de salud, en el ámbito comunitario y poblacional. En ese sentido la evaluación de estas intervenciones frecuentemente ignora los principios y valores sobre los cuales se fundamentan las iniciativas y los verdaderos propósitos que las impulsan, por lo que aspectos críticos asociados estrechamente con su alcance y efectividad, son relegados a un segundo plano. Es así como los determinantes sociales de la salud, la equidad, la justi-cia sojusti-cial, el desarrollo local, la sostenibilidad de procesos para la producción social de salud, la autonomía y el empoderamiento de los sujetos y grupos sociales y la gestión de políticas públicas, en no pocas ocasiones se quedan en la retórica de políticos e impulsadores de estas iniciativas.
diná-mico, contextual, sociopolítico, articulador e indivisible de estas iniciativas, las cuales hacen parte de un esfuerzo permanente por atemperar las intervenciones en salud poblacional a las necesidades y situaciones particulares de las comunidades y territorios, a fin de crear, mantener y conservar la salud de las poblaciones.
Salud pública con enfoque de promoción de la salud implica accio-nes en los campos social y político, a fin de abordar las inequidades en salud y los determinantes socioeconómicos que la influencian y que son influenciados por ésta. De allí que la construcción de capacidad para modificarlos, a través de la creación de escenarios promotores de salud y el incremento de la viabilidad de procesos de cambio, desde contextos sociopolíticos específicos, constituyen indicadores para valorar la efectividad de estas intervenciones.
Hechos, debates y desarrollos sobre promoción
de la salud y salud pública
¿Qué está pasando en América Latina?
Aunque la reflexión teórica en torno a la operacionalización de la salud pública y la promoción de la salud en América Latina ha sido poco sistemática, los escenarios que se han generado a través de diferentes iniciativas internacionales y en los focos de pensamiento de organismos académicos e investigativos de diferentes países, nos llevan a identificar hitos claves del desarrollo de estos campos en la región.
A continuación se presentan algunas consideraciones importantes en torno a la salud pública y la promoción de la salud en Latinoamérica, las cuales si bien no constituyen en sí mismas un análisis exhaustivo sobre el tema, son hechos que no pueden desconocerse y que ilustran la ruta de los desarrollos que hemos tenido en estos campos.
• Uso de conceptos “prestados” de países que tienen realidades y contextos diferentes. Uno de los principales hechos que ha generado amplios debates en América Latina es que la promoción de la salud en esta región ha sido instituida con base en modelos foráneos. Por tanto, hay necesidad de identificar los componen-tes esenciales de su definición, teoría y práctica en el contexto de nuestros países, tomando en consideración características culturales, sociales, políticas y económicas propias.
de desarrollo. Hay necesidad de identificar y analizar en forma crítica y propositiva los fundamentos de estos procesos de cambio en la región, sus avances, los factores dinamizadores y limitantes, al igual que las oportunidades de articulación tanto en el campo teórico como en el práctico. Este esfuerzo no sólo repercutirá en la relevancia e integridad de las respuestas a la situación de salud, sino que influenciará la sostenibilidad y efectividad de las iniciativas a largo plazo.
• Mayoría de intervenciones y evaluaciones orientadas a la prevención y control, a través de cambios en el comportamiento individual, ignorando otros factores de la cadena causal, cuya influencia en el comportamiento individual y colectivo al igual que en la efectividad de las intervenciones, es incuestionable. Poco se sabe sobre efectividad de prácticas para aumentar la capacidad para decidir y actuar modificando situaciones adver-sas y promoviendo estructuras institucionales y comunitarias favorecedoras de prácticas saludables. Igualmente es limitado el conocimiento sobre la efectividad de intervenciones que se inscriben y son cobijadas por referentes que abordan iniciativas de desarrollo territorial y bienestar.
• Poco desarrollo de evaluación de intervenciones que incorpo-ren indicadores de desarrollo social y territorial. Como fue mencionado, las intervenciones en salud pública con enfoque de promoción de la salud incorporan varios niveles de acción, que van más allá de las intervenciones para prevención y control, al tiempo que incluyen acciones políticas e intersectoriales dirigi-das a poblaciones y territorios. De allí que los indicadores de evaluación usados tradicionalmente sobre morbilidad, mortalidad y factores de riesgo, no captan en su totalidad elementos del proceso de cambio, al igual que el impacto de éste en la salud de la población.
estrategia se reducen a lo que es factible realizar, según siste-mas políticos específicos, recursos y legislación en salud. Lo anterior hace que la efectividad de la práctica de la promoción de la salud sea altamente dependiente del contexto; de allí que haya que promover, monitorear y evaluar el impacto de los pro-cesos de cambio necesarios para hacer viable y sostenible esta estrategia.
¿Hacia dónde giran los debates?
La revisión de la literatura, la experiencia latinoamericana y la participación en diversos escenarios académicos e investigativos, muestran que los debates y controversias en relación con las concep-ciones y la práctica de la salud pública y la promoción de la salud en América Latina, así como de la evaluación de su desempeño y resultados, giran en relación con las siguientes preguntas proble-matizadoras. Es precisamente la búsqueda de respuesta a estos interrogantes, lo que centra la atención de la presente publicación, por lo que dichas preguntas son consideradas para su reflexión y análisis a lo largo de la misma. Ellas son:
• ¿Cómo se define operacionalmente la promoción de la salud en Amé-rica Latina y cuál es la articulación conceptual y operativa con salud pública?
• ¿Qué se entiende por evidencia de efectividad en promoción de la salud y salud pública?
• ¿Qué enfoques metodológicos son los más apropiados para evaluar la efectividad de intervenciones en promoción de la salud y salud pública?
• ¿Es diferente la definición de evidencia si nos referimos a salud pública y a promoción de la salud?
• ¿Qué influencia tiene en la evaluación el hecho de que la salud pública desde la perspectiva de la promoción de la salud, sea considerada un proceso político y una práctica social?
• ¿Permiten estos enfoques evaluar el proceso de construcción de capacidad para tomar decisiones e intervenir en causas estruc-turales de enfermar y morir?
• ¿Son pertinentes y aplicables los criterios epidemiológicos esta-blecidos para valorar la validez y confiabilidad de la información, producida por evaluaciones de efectividad de intervenciones complejas?
¿Cuáles son los principales desarrollos?
Salud pública centrada en prevención y control
La salud pública ha sido definida como un esfuerzo científico y técni-co, al igual que social y polítitécni-co, para mejorar la salud y el bienestar de comunidades y poblaciones. Así mismo, ha sido considerada como un proceso de movilización y articulación de los recursos locales, estatales, nacionales e internacionales para crear condiciones a fin de que la población esté saludable (Rychetnik et al., 2004).
Para Rychetnik et al., las acciones en salud pública que deben ser hechas son determinadas por la naturaleza y magnitud de los pro-blemas que afectan la salud de la comunidad; mientras que las ac-ciones que pueden ser hechas son determinadas por el conocimiento científico y los recursos disponibles; y finalmente, las que se hacen
son determinadas por la situación social y política existente en un tiempo y lugar específicos al igual que la capacidad de respuesta institucional, colectiva e individual.
y los riesgos que aumentan la probabilidad de enfermar y morir. Así mismo, estas probabilidades se fundamentan en asociaciones causales simples –lineales– que involucran aspectos biológicos y comportamentales individuales y comunitarios, pero desconocen otras variables asociadas al contexto y los territorios en donde estas enfermedades se producen, las cuales son, en últimas, las causas estructurales de las condiciones de salud de la población.
Si las causas de los problemas quedan solamente representadas por asociaciones lineales entre dos o más variables, las soluciones y los indicadores para valorar avances y efectividad serán igualmente dependientes de estas asociaciones y no de aquellas sobre las cuales no se conoce nada o poco se conoce. Si las variables del contexto no son consideradas, las intervenciones pueden parecer menos complejas, pero también en muchas ocasiones menos coherentes o representativas de la realidad.
La tendencia anterior ha incidido para que los enfoques metodoló-gicos para evaluar el éxito de las intervenciones en promoción de la salud y salud pública se ajusten más a diseños de estudios, donde la validez de los resultados está dada, entre otros aspectos, por el tamaño de la muestra, la ubicación aleatoria del grupo intervenido y un grupo control, la capacidad de controlar variables que podrían influenciar los resultados o aplicación de técnicas para reducir los sesgos, propios de estudios epidemiológicos analíticos, como los observacionales y experimentales. Igualmente, se considera la va-lidez externa con la intencionalidad de extrapolar los resultados a otros grupos y poblaciones de interés, que aparentemente tienen situaciones similares.
Promoción de la salud, centrada en creación de capacidad para el cambio
La promoción de la salud fue definida en la Carta de Ottawa como el proceso para proporcionar a los pueblos los medios necesarios para mejorar su salud y ejercer un mayor control sobre la misma (WHO, 1986). La creación de capacidad busca crear condiciones favorables a la salud e influenciar positivamente los aspectos es-tructurales que determinan la posibilidad de individuos y grupos de intervenir en decisiones que afectan su salud y de acceder a oportunidades y servicios. Por ello, los determinantes compor-tamentales y socioeconómicos, al igual que la acción política y social para reducir las inequidades en el acceso a oportunidades y servicios, son temas de análisis en la evaluación en promoción de la salud. Cualquier esfuerzo evaluativo, además de valorar el éxito o resultados finales de las intervenciones, debe valorar el proceso de construcción de capacidad y los resultados intermedios en relación con este proceso.
Cinco áreas operacionales constituyen el quehacer de la promoción de la salud, estando interconectadas de tal forma que los alcances y resultados que se tengan en cada una de ellas, están determinados por lo que suceda en las otras, comportándose como un sistema complejo:
1. Formulación de políticas públicas, que además de orientar la acción en salud poblacional, den cumplimiento a los principios y valores que impulsan la promoción de la salud.
2. Fortalecimiento de las acciones comunitarias y de la partici-pación de los individuos y grupos en las decisiones y acciones relacionadas con su salud –empoderamiento–.
3. Creación de ambientes favorables tanto en sus dimensiones físicas como sociales, y fortalecimiento del sistema de apoyo social de la comunidad.
5. Reordenamiento de los servicios de salud para hacer mayor hincapié en la salud y las posibilidades que ofrecen las institu-ciones de atención sanitaria como escenarios desde donde ésta se promueve.
Estas áreas operacionales articulan los ámbitos institucional, comu-nitario e individual. Su aplicación efectiva implica condiciones y, en ocasiones, requisitos tales como: la intersectorialidad –entendida como la planificación y cooperación entre sectores para crear me-jores oportunidades para la vida saludable que favorezcan la par-ticipación de diversas disciplinas y sectores–; el empoderamiento, como un proceso de acción social que promueve la participación de las personas, organizaciones y comunidades para lograr un mayor control individual y comunitario de su salud, y la eficacia política, orientada al mejoramiento de la calidad de vida y el logro de la justicia social (Wallerstein, 1992). Estrechamente vinculados a es-tos concepes-tos y como aspeces-tos estratégicos de las intervenciones en promoción de la salud se encuentran las alianzas entre diversos actores sociales y la generación de redes sociales.
1.
Promoción de la salud y salud pública
Estrategias y procesos sociales
y políticos para producir y mantener
la salud de las poblaciones
Teóricos de la salud pública y la promoción de la salud han identifica-do las bases epistemológicas que fundamentan conceptualmente estas estrategias. A pesar de esto, en América Latina se encuentra una amplia variedad de expresiones prácticas de éstas, mediadas por la influencia de aspectos socioculturales y políticos del contexto donde se implementan, los cuales incluso, en ocasiones, distorsionan sus significados reales.
El uso de términos como promoción de la salud, medicina social, salud pública, salud colectiva, prevención de enfermedades y protección de la salud, sugieren alcances diferentes en el abordaje de la salud de la población. El esclarecimiento conceptual y el escudriñamiento de las raíces históricas que dan cuenta de las diferencias de estos abordajes son fundamentales para identificar evidencias de efectividad. Es claro que con referentes paradigmáticos distintos, los modelos de intervención no pueden ser sujetos a un mismo mecanismo de evaluación (Castro-Albarrán, 1998).
Ambas promueven la acción social para invertir en condiciones de vida que creen, mantengan y protejan la salud. Lo anterior cubre un amplio rango de intervenciones orientadas a mejorar la salud, que incluyen varios niveles y tipos de acción.
La promoción de la salud expande la visión tradicional de la salud pública, abarcando la complejidad de los cambios sociales y no sólo la actuación en el problema de la desmedicalización y reorientación de servicios y prácticas de salud, sino, sobre todo, en la esfera del desarrollo sostenible y del forta-lecimiento local, en la defensa de políticas públicas y en un desarro-llo nacional más eficaz y justo (De Salazar y Anderson, 2008).
Carvalho, Bodstein, Hartz y Matida (2004) afirman que la promoción de la salud actualiza y extiende el debate sobre los
determinan-tes sociales, culturales, políticos y económicos del proceso de salud-enfermedad, mientras se reafirma la salud como un imperativo ético y un derecho del ciudadano.
La estrategia de promoción de la salud ha recibido gran atención, sobre todo a partir de la década de los setenta, no sólo por parte de quienes se desempeñan en el campo de la teoría y la práctica de la salud pública, sino también por quienes se ocupan de las políticas sociales y de salud. Los centros académicos y de investigación, los gobiernos, los ministe-rios de salud pública y los organismos de colaboración internacional en salud, han dedicado importantes espacios de debate a este tema, en
especial en torno a su significado y alcance, al igual que en relación con las limitaciones de las estrategias y programas para alcanzar los objetivos y propósitos que persigue.
Una de las declaraciones de promoción de la salud más conocidas en el mundo es la Carta de Ottawa (WHO, 1986), de la que se han derivado otros documentos y orientaciones internacionales, los cuales dan espe-cial importancia a aquellas iniciativas que inscriben la salud como parte clave de procesos de desarrollo humano y territorial y, al mismo tiempo, ven la acción sectorial articulada a otros sectores del bienestar.
La Organización Panamericana de la Salud, OPS, y la Organización Mundial de la Salud, OMS, plantearon una definición que explicita los responsables de la promoción de la salud, identificándola como la “suma de las acciones de la población, los servicios de salud, las autori-dades sanitarias y otros sectores sociales y productivos, encaminados al desarrollo de las mejores condiciones de salud individual y colectiva” (OPS/OMS, 1995).
Estas responsabilidades son analizadas por Mittelmark (2001) al afirmar que el vincular salud con derechos humanos y equidad no sólo cambia las fronteras de la responsabilidad del gobierno por la salud, sino que implica cambios en la manera como los problemas de salud pública son conceptualizados y analizados; el proceso para determinar interven-ciones relevantes; el diseño e implementación de las interveninterven-ciones, al igual que en los enfoques e indicadores para monitorear el proceso de cambio y evaluar el éxito de estas intervenciones, introduciendo otros indicadores relacionados, por ejemplo, discriminación, equidad, equilibrio de relaciones de poder y participación de la comunidad en decisiones que afectan su salud y su vida.
ha muerto de cirrosis hepáti-ca, o existe un control social y legal a través de legislación y normas sociales, o todas las ante-riores? Frecuentemente tenemos
limitaciones para averiguar la la
verdadera causa del cambio de comportamiento, o existe una serie de variables que han influido. Sin embargo, lo importante es que la persona ha cambiado un compor-tamiento que la pone en riesgo, y que el proceso o elementos del
proceso que dieron como resultado este logro, pueden ser repetidos en otras circunstancias.
Se reconoce que la promoción de la salud puede desempeñar un papel fundamental en el abordaje de algunas de las crisis sociales y contribuir a la reducción de las desigualdades, a través, entre otras, de estrategias como el empoderamiento de las personas y grupos comunitarios, brin-dando apoyo a la democracia local y constituyéndose en un medio para ayudar a desarrollar comunidades fuertes y unidas.
El poder de la práctica para fortalecer la teoría
y el proceso de cambio
Aunque se puede reconocer una definición conceptual universal de promoción de la salud derivada de la Carta de Ottawa, su definición operacional, refiriéndose con ello a la forma como es implementada y evaluada, obedece a varias perspectivas y enfoques filosóficos, tanto desde su contribución para mejorar las condiciones de salud, como desde su potencial para crear y mantener procesos de cambio social y político, capaces de modificar los determinantes de la salud. De allí
que sea imperioso dar cuenta de la implementación de la intervención y factores que la influencian, a fin de disponer de insumos reales para fortalecer la teoría y la práctica de estas intervenciones.
La promoción de la salud, como proceso social y político, es en sí misma cambiante y está supeditada al contexto y condiciones específicas de cada lugar, las cuales moldean tanto su naturaleza como su alcance, al igual que la implementación y el éxito de la misma. Sin embargo, los elementos del contexto y cómo éstos influencian o determinan el rumbo de las in-tervenciones, no son necesariamente identificados o entendidos al iniciar dichas intervenciones, de allí que sea necesario la observación y análisis permanente de este proceso, utilizando técnicas como la documentación y la sistematización, las cuales serán descritas más adelante.
Los principios y valores que fundamentan las acciones en promoción de la salud no siempre encuentran escenarios propicios para ponerlos en práctica; en especial si nos referimos a los sistemas políticos y la le-gislación vigente en cada país. Un ejemplo de esto son las reformas en salud enfocadas a la provisión de servicios y a la rentabilidad económica institucional, las cuales están operando en varios países.
De otra parte, no debe pasar desapercibida la dificultad para definir y operar intervenciones complejas, ahondado por el hecho de que las cau-sas de los problemas no son propiamente agentes, sino producto de un sistema en el cual ocurre el fenómeno salud-enfermedad en la población, y en donde la población es concebida como grupos organizados, con propiedades relacionales, más que meros agregados de individuos.
y la construcción de infraestructura sanitaria, intervienen sobre los de-terminantes de la salud, más que sobre riesgos y daños específicos.
Se entiende que promoción y prevención son conceptos diferentes pero complementarios, aunque en ocasiones se confunden. De las tres grandes estrategias de la salud pública –promoción, prevención y control–, la promoción de la salud es la más social, la más integral, la que más impacto potencial tiene en las causas estructurales de la problemática de la salud y la que menos depende de la acción de los servicios de salud. También, con alguna frecuencia, se ha asimilado la promoción de la salud a educación para la salud. La educación para la salud es uno de los recursos con que cuenta la promoción de la salud para sus intervenciones, pero esta última es una estrategia mucho más amplia.
Cuando la promoción de la salud es reducida a acciones sobre los estilos de vida individuales, se debe tener en cuenta que éstos están influen-ciados por las condiciones en que viven los grupos. No es lo mismo promover cambios en los estilos de vida en personas con un alto nivel socioeconómico, que en quienes viven en situación de pobreza. De allí que cobre tanta importancia, en promoción de la salud, la modificación de las condiciones estructurales que influyen en la salud y en las condi-ciones de vida. Es así como estrategias orientadas a producir cambios en las condiciones sociales, económicas y del entorno, son parte importante de nuestro accionar y no sólo los servicios sanitarios. Aunque algunos de estos cambios no son responsabilidad directa del sector salud, sí lo son las acciones de abogacía y negociación para comprometer a otros sectores y niveles, y para las cuales la evaluación de las intervenciones es un insumo importante.
Complejidad de las intervenciones en salud pública y promoción
de la salud, e implicaciones en la evaluación de efectividad
claridad sobre cuál es la naturaleza y alcance de la intervención que produce los cambios, cuáles son las características de estos cambios y cuáles son los ingredientes claves de estas intervenciones que hacen que dichos cambios se produzcan en determinados contextos.
Responder a la anterior pregunta no es fácil, porque, como se mencionó antes, las intervenciones que buscan cambios poblacionales en su dimen-sión política, social y cultural, están fuertemente ligadas al contexto en donde se realizan; por tanto, sufren modificaciones durante el ciclo de vida y su definición operativa no necesariamente es estandarizable.
Chapman (1992) citado por Stead, Hasting y Eadie (2002), afirma que, en su mayoría, las intervenciones mencionadas son difíciles de describir en términos de programas y no conducen a afirmaciones precisas sobre las variables independientes cuyos efectos pueden ser medidos y fácilmen-te replicados. Las infácilmen-tervenciones que buscan cambios políticos tienen desafíos adicionales. Clark y McLeroy (1998) citados por Stead, Hasting y Eadie (2002) afirmanque, idealmente, la evaluación debe demostrar que la estrategia de la intervención produjo los cambios políticos, pero hacer esta conexión –atribución–, es casi imposible.
Considerando las controversias sobre los tipos y enfoques de las in-tervenciones, para efectos de la evaluación se plantea que más allá de establecer si se trata de intervenciones de salud pública o de promoción de la salud, hay también que considerar el alcance y la complejidad de las mismas, dada la influencia que esta complejidad tiene en todo el proceso evaluativo –selección de la pregunta de evaluación, de los in-dicadores, del enfoque metodológico y de la estrategia de comunicación
para promover el uso de los resultados–.
término “complejo” para referirse a intervenciones que tienen múltiples componentes. Pero una forma alternativa es ver la complejidad desde la perspectiva del sistema en donde se implementa la intervención.
Así, según Shiell, Hawe y Gold (2008) la complejidad tiene dos con-notaciones: la primera, referida a una propiedad de la intervención y la segunda, como propiedad del sistema en donde la intervención es implementada.La distinción entre estas perspectivas es importante en evaluación. Los autores consideran que una intervención compleja es construida por una serie de componentes, los cuales pueden actuar en forma independiente o interdependiente. Esto es lo que hace difícil definir las características particulares o los “ingredientes activos” que componen la intervención y tener seguridad de cuáles de estos compo-nentes o combinaciones de compocompo-nentes son más importantes. Argu-mentan que cuanta más dificultad
haya para definir concretamente los ingredientes críticos de una intervención y cómo se relacionan entre ellos, es mayor la probabi-lidad de que se esté frente a una intervención compleja.
La segunda perspectiva planteada por Shiell, Hawe y Gold (2008) hace referencia a las explicacio-nes dadas por las ciencias de la complejidad, que sostienen que la complejidad es una propiedad de un sistema y no de una inter-vención. Un sistema complejo es definido por los autores como aquel que se adapta a los cam-bios en el ambiente local, está
¿Qué hace que una intervención sea compleja?
1. El número de componentes que interactúan dentro de la inter-vención
2. Las formas de relacionamiento e interacción de los componentes 3. El número y la dificultad de los
comportamientos requeridos por aquellos que suministran o reciben la intervención
4. El número de grupos o de niveles organizacionales que son blanco de la intervención
5. La cantidad y variabilidad de los resultados
compuesto por otros sistemas complejos y se comporta en forma no lineal. Las intervenciones en estos escenarios pueden ser simples o complejas, pero el enfoque de sistemas complejos hace considerar las ramificaciones de intervenir y estar atentos a las interacciones que ocurren entre componentes de la intervención, al igual que entre la intervención y el contexto.
Para los autores, la distinción entre los dos enfoques –intervenciones complejas y sistemas complejos– es poco clara, porque ambos comparten características comunes; por ejemplo, imposibilidad de estandarización de la práctica y multiplicidad de resultados e interacciones. Más aún, mencio-nan que las intervenciones complejas pueden presentar las características de sistemas complejos, dado que es imposible separar la intervención de las agencias humanas requeridas para su implementación.
Complejidad, en síntesis, es definida como una teoría científica, la cual reconoce que algunos sistemas presentan fenómenos comportamentales que son completamente inexplicables por medio de análisis conven-cionales de cualquiera de las partes que constituyen dichos sistemas; e indicando, además, que el reducir un sistema complejo a la cantidad de componentes que lo integran, sería una pérdida irrecuperable de lo que hace que funcione como sistema, pues la intervención no es la suma de las partes (Hawe, Shiell y Riley, 2004).
Como resultado de la complejidad es frecuente encontrar que al inicio de la intervención no se tenga claridad sobre la racionalidad de la misma, los cambios que se pueden esperar y, menos aún, cómo son alcanza-dos estos cambios. Una propuesta para hacer frente a este problema es desarrollar un entendimiento teórico del probable proceso de cambio, obteniendo evidencia existente y teoría, complementando, si es nece-sario, con investigación primaria (Craig, et al., 2008).
Hawe, Shiell y Riley (2004), proponen un análisis crítico de la lógica de la intervención -marco lógico- para ayudar a construir o reconstruir intervenciones y evaluaciones más fundamentadas y efectivas. El mar-co lógimar-co de la intervención hace referencia a la caracterización de la misma. Éste permite conocer cuáles son los objetivos de la intervención, las actividades que se implementan, sus propósitos y las estrategias a través de las cuales se quieren cumplir.
El marco lógico es la organización de la información sobre la interven-ción, que da una panorámica sobre qué es la intervención y cuáles son, probablemente, sus “ingredientes activos”. Para una aplicación efectiva se debe realizar ejercicios de documentación y sistematización de la intervención, de manera rigurosa y periódica, tomando como insumos fundamentales los reportes y registros, así como las opiniones y per-cepciones de quienes participan en ella. En el capítulo V se ampliará y detallará la metodología de este marco lógico y su utilidad en la eva-luación de las intervenciones.
2.
Evidencias en promoción de la salud
y salud pública
Evidencia ha sido definida por Rychetnik et al. (2004) como hechos o testimonios que soportan una conclusión, afirmación o creencia, y algo que sirve como prueba. Los autores señalan que aunque esta definición es genérica sirve como punto de entrada, aunque en ella no se especifica qué cuenta como evidencia, cuándo y para quién.
Salud pública basada en evidencia, por otro lado, ha sido definida como un esfuerzo mediante el cual se hace un explícito y prudente uso de la evidencia derivada de cualquiera de las diversas formas de ciencia e investigación de las ciencias sociales y métodos de evaluación.
Dada la naturaleza compleja de las intervenciones en promoción de la salud y salud pública, es difícil establecer evidencias de estas in-tervenciones bajo el parámetro de comprobación de causalidad, por-que los criterios para valorar dicha causalidad hacen alusión a la
cien-cia biomédica y a una noción probabilística de una variable que, cuando precede a otra, produce un efecto. De allí que algunos autores señalen que cuando se estudia el comportamiento de individuos, organizaciones o procesos políticos, el poder explicativo de la ciencia es limitado, pues
hay dificultad para encajar las reglas de las ciencias naturales con las de las ciencias sociales (Tang, Ehsani y McQueen, 2003).
Aunque los hallazgos de una intervención pueden no constituir hechos científicos, por lo descrito antes, sí pueden ser piezas de evidencia, debido a que son hechos obtenidos como resultado de una evaluación de proceso y mediante uso de métodos apropiados. Por tanto, se ha argumentado la necesidad de expandir el rango y alcance de lo que consideramos como evidencia válida.
Para Potvin (2007, 11 de julio) la evidencia se construye a través de la relación entre teoría, las observaciones empíricas y la práctica, es sensible al contexto y no es estática. Por eso la autora recomienda la investigación y evaluación permanente, no para sumar experiencias, sino para fortalecer el fundamento teórico, para tener un conocimiento más completo y actualizado de los fenómenos estudiados.
La autora plantea la distinción entre tres tipos de evidencias. En primer lugar, la evidencia empírica que aplica la lógica inductiva, incluye una serie de observaciones que corresponden a unos criterios de disciplina y acepta la premisa de que hay que tener un conocimiento que permita suponer o predecir lo que va a pasar, a través de la disciplina.
En segundo lugar, la evidencia teórica, donde no hay necesidad de una asociación constante entre intervención y efecto, porque hay una inte-racción mayor con las situaciones. La autora plantea que se debe analizar la teoría para desarrollar las intervenciones y convertir la evaluación en un aparato reflexivo para la intervención –como una manera de entender cómo funciona nuestro mundo–.
Este tipo de evidencia no dice cómo se hace la intervención, por lo que nosotros debemos pensar en qué y cómo vamos a intervenir. En los estudios evaluativos la ventaja de la evidencia basada en la práctica es que se soporta en el contexto.
Por otro lado, el énfasis para determinar la fortaleza de la evidencia ha sido puesto en alcanzar tres reglas de la investigación científica, las cuales no siempre se cumplen en intervenciones complejas:
1. Previsible: se dice que es alcanzada cuando una intervención
im-plementada apropiadamente produce los resultados esperados; esto se debe a que los elementos claves de la intervención son conocidos.
2. Replicable: se refiere a la aplicación universal de la intervención,
independiente del tiempo y del lugar. En otras palabras, la inter-vención da iguales resultados donde quiera y cuando quiera que se lleve a cabo, lo cual es poco viable debido a su alta dependencia del contexto.
3. Fiable: La intervención debe ser rechazada como una
interven-ción efectiva, en caso que no sea capaz de demostrar que funcio-na y no hace daño, aplicando métodos rigurosos de evaluación investigativa.
Como ya fue indicado, las interven-ciones en promoción de la salud y salud pública son parte de procesos políticos de acción social, que per-manentemente deben repensarse para hacerlos coincidentes con las necesidades, intereses y expec-tativas de los actores, y para que sean producto de interpretaciones colectivas de la realidad y de una visión común.
La evaluación de estas iniciativas hace parte de procesos sistémicos, permanentes y circulares de investigación, reflexión y acción, mediante los cuales se trata de responder a preguntas de diferente complejidad, aplicando diversos enfoques metodológicos para obtener información sobre procesos y beneficios comparativos de estas intervenciones.
Este tipo de evaluación ha ocupado la atención de muchos teóricos, funcionarios y académicos, quienes han reconocido la investigación evaluativa de intervenciones en promoción de la salud y salud pública, como un desafío político y metodológico. La anterior afirmación se fun-damenta en los debates sobre el tema, la literatura escrita, los esfuerzos realizados y las limitantes identificadas para desarrollar esta actividad (Speller, Learmonth y Harrison, 1997; McDonnal, Veen y Tones, 1996; De Salazar, 2002; WHO, 2001).
En un estudio sobre el estado del arte de evidencias de efectividad en promoción de la salud en América Latina (De Salazar, Vélez y Ortiz; 2003) realizado en el marco de un proyecto promovido por la Unión Internacio-nal para la Educación y Promoción de la Salud, UIPES, se encontró que los temas abordados en la evaluación se han restringido a acciones de prevención; de igual forma, la planificación de los programas y los dise-ños metodológicos para evaluarlos se han caracterizado por la debilidad y poca relevancia en relación con la teoría de la promoción de la salud.
Los resultados del anterior estudio señalan la necesidad de replantearse aspectos de la evaluación relacionados con los sujetos y objetos de eva-luación; el alcance de ésta; los métodos para seleccionar las preguntas; los indicadores para establecer su efectividad; los criterios para definir la validez y confiabilidad de la información; las relaciones entre eva-luadores y tomadores de decisión; y las estrategias para comunicar y promover el uso de los resultados (De Salazar, 2002).
y resultados de las intervenciones, en su dimensión política, social y económica, y en su contribución a la equidad y calidad de vida de las poblaciones. Esta doble intencionalidad de la evaluación está orientada tanto a procesos, como a resultados y consecuencias, y se relaciona con la construcción de capacidad para lograr efectos positivos en el estado de salud y en los determinantes de la salud y bienestar de la población.
De allí que, más allá de explicaciones etiológicas obtenidas ante si-tuaciones ideales o controladas, la evaluación produce información sobre efectividad de intervenciones ante situaciones reales, mediante un proceso en el cual tanto la misma intervención como las variables abordadas, en lugar de ser controladas son identificadas y comprendi-das para explicar los cambios. Igualmente, se debe obtener información para comprender el proceso que produjo los resultados y establecer la asociación entre intervención y resultados.
Decisiones basadas en evidencias
Aunque existe un amplio consenso en el mundo sobre la necesidad de que la promoción de la salud y la salud pública demuestren su efectivi-dad y desempeñen un papel cada vez más importante en el conjunto de las políticas de salud pública, diferentes argumentos se han esbozado alrededor del tema de las evidencias en este campo.
Sin embargo, en el transcurso de los últimos veinte años, diversos in-terrogantes han surgido en torno a la relevancia y éxito de las políticas e intervenciones basadas en evidencias y acerca de las consecuencias económicas, sociales, políticas y culturales que su abordaje plantea.
La necesidad de disponer de información sobre la efectividad y rentabi-lidad social de intervenciones en promoción de la salud y salud pública, ha sido reconocida en diversos escenarios y cada día crecen las demandas para que se tomen decisiones informadas, fundamentadas en evidencias, sobre la efectividad, relevancia y utilidad de las políticas y programas.
A pesar del reconocimiento público y de la importancia, dadas a la articulación entre la evidencia científica y la toma de decisiones en salud, en la práctica existen obstáculos para que esta articulación sea efectiva. Uno de ellos se relaciona con el concepto de evidencia y su aplicación.
Por otro lado, el limitado uso de los resultados de las evaluaciones es en parte consecuencia de la falta de conocimiento y comprensión de los evaluadores sobre la racionalidad detrás de los procesos de toma de decisiones.
Estas últimas frecuentemente se toman respondiendo a valores, in-tereses y prioridades del momen-to, independiente de la evidencia disponible.
Dado que los tomadores de deci-sión generalmente muestran poco interés en estudios que obtengan resultados a largo plazo y tienden más a valorar lo que pueden pre-sentar como producto de su ges-tión, la evaluación debe responder
a esta necesidad, pero además mostrar claramente aquellos beneficios que se podrían conseguir a largo plazo, si determinadas condiciones del contexto se sostienen. Para ello, los estudios y proyecciones basados en asociaciones establecidas por otros investigadores, podrían ser de gran ayuda.
Evaluación, evidencias y procesos políticos
Si bien el término evidencia es, a menudo, restringido a hechos cuanti-tativos derivados de diseños experimentales aleatorizados, que no cap-turan la complejidad inherente a la promoción de la salud (McQueen y Anderson, 2000), algunos autores argumentan que en una amplia noción de evidencias también se incluye la evidencia cualitativa de experien-cias vividas e historias de casos. Este tipo de evidencia es importante porque refuerza la comprensión del comportamiento humano, promueve el pensamiento holístico y ofrece datos cualitativos del contexto que rebasan lo que algunos críticos llaman “meras opiniones” (Madjar y Walton, 2001).
Para los tomadores de decisión existen otros criterios para valorar la evidencia de éxito o efectividad de una intervención, los cuales también deben ser tenidos en cuenta. Simon et al. (1986) en su estudio sobre la se-lección en circunstancias de incertidumbre, inconsistencia e información incompleta, se refieren a un fenómeno aún vigente. Según los autores, cuando a las personas se les da información acerca de la probabilidad de ciertos eventos y luego reciben información adicional relacionada con la ocurrencia del evento, tienden a ignorar las probabilidades previas en favor de información incompleta y muchas veces irrelevante acerca de un evento particular. Este hecho se refleja claramente en la influencia de los medios masivos de comunicación.
le dará a la evaluación, se debe diferenciar entre aquellos que usarán los resultados para reorientar y fortalecer la intervención y los que tienen interés en usar las recomendaciones para tomar decisiones relacionadas con la continuidad y extensión de los programas. En síntesis, los pri-meros toman decisiones más de carácter técnico y los segundos de tipo político. Nutbeam et al. (1990) citados por Potvin, Haddad y Frohlich (2001) brindan información que ayuda a definir el tipo de participación de cada uno de los potenciales involucrados en la evaluación.
Criterios para valorar el éxito o efectividad
de una intervención
Existen diferencias importantes de perspectiva y énfasis con respecto a aquello que representa el éxito de un programa de promoción de la salud, lo cual depende de quién lo valore. Por ejemplo, entre estas perspectivas se encuentran las de los si-guientes actores:
• Los responsables de elaborar las políticas y los gestores de presupuestos, que deben tener la capacidad de juzgar el éxi-to –o posible éxiéxi-to– de los programas, con el fin de adoptar decisiones relativas a cómo asignar recursos y rendir cuentas de sus decisiones. Este éxito suele definirse en términos de la relación que existe entre la inversión y el logro de los re-sultados de salud a corto plazo.
• La población que se beneficiará de la acción de promoción de la salud, que valore el proceso por medio del cual se lleva a cabo un programa, principalmente si éste es participativo o no y si aborda o no prioridades que la propia comunidad haya identificado. Este éxito se podría definir en términos de relevancia con respecto a las necesidades percibidas y de las oportunidades de participación de la comunidad.
• Los investigadores académicos, que identifican el éxito con el fin de mejorar el conocimiento y la comprensión de la asociación entre las intervenciones y los efectos observados, aplicando ‘reglas de evidencia’ científica. Este éxito se podría juzgar en términos de rigor metodológico, mantenimiento de la integridad de los programas y el logro de resultados predeterminados.
Estas perspectivas son diferentes, sin ser mutuamente exclu-yentes. Cada una de ellas puede tener interés en modificar los determinantes de la salud y lograr una mejora de la salud, pero presentan diferencias marcadas en cuanto al énfasis que ponen en el proceso mediante el cual alcanzan sus resultados y la im-portancia que atribuyen a la inversión y a la factibilidad de la implantación.
En consecuencia, existe actualmente un amplio espectro de méto-dos y medidas que se utilizan en la evaluación y establecimiento de la evidencia. Esta variación refleja no solamente las distintas perspectivas mencionadas, sino también las importantes diferen-cias de estructura y punto de partida de las intervenciones.
Algunos autores han afirmado que los resultados de la evidencia y la evaluación son usados en una variedad de formas para orientar, justificar o apoyar el desarrollo de políticas y estudiar la relación en-tre evidencia y política (Nutbeam y Harris, 2004; Weiss, 1999; Milio, 1987) y han explicado las diferentes formas en las cuales la evidencia ha sido usada para guiar el proceso de formulación de políticas (Lin y Gibson, 2003).
Si bien es deseable que las decisiones se fundamenten en información confiable acerca de las relaciones causales entre variables, es reconoci-do que en diversas ocasiones la formulación de políticas se basa en el uso de medidas menos precisas. Por tanto, los evaluadores deben dar cuenta de esas limitaciones y dar a conocer la validez, aplicabilidad y restricciones de la evaluación y las recomendaciones que de ella se deriven (Dowed y Town, 2002).
Según Nutbeam y Harris (2004) la política puede ser influenciada por la evidencia en los siguientes ca-sos: si la evidencia está disponible y es asequible al momento de ser necesitada, si la evidencia encaja dentro de la visión política y si la evidencia se orienta a acciones en donde el poder y los recursos están o pueden estar disponibles, al igual que si existen los siste-mas, estructuras y capacidad para actuar.
Las anteriores consideraciones marcan claramente la necesidad de re-lacionar evidencia con toma de decisiones en determinados contextos; en otras palabras, evaluación y proceso político. También plantean la necesidad de ahondar sobre los requerimientos de información de las
diferentes audiencias y tener en cuenta esta información para seleccionar el enfoque metodológico y diseño evaluativo, al igual que el técnico, siendo cuidadosos de no afectar la validez del estudio.
Lo anterior lleva a entender que, de la misma manera que para los implementadores no será suficiente –y es más bien contraproducente– esperar al final de la intervención para evaluar sus resultados, para los financiadores y planificadores, quizás algunos resultados intermedios –datos cualitativos y percepciones centradas en el proceso político– no constituyan evidencias de éxito y, por tanto, no se pueda influir tan fácilmente en la toma de decisiones.
3.
Evaluación de efectividad en promoción
de la salud y salud pública
La evaluación ha sido definida desde varias perspectivas, en las cuales, por un lado, cumple una función instrumental y, por otro, responde a una función formadora y constructora de capacidad para comprender los procesos de cambio e intervenirlos (Brownson, Baker, Leet y Gille-spie, 2003).
En términos generales, la evalua-ción se ha definido como la com-paración y valoración del cambio de un evento en relación con un patrón de referencia y como con-secuencia de una determinada intervención.
Según Rychetnik et al. (2004) eva-luación es un proceso que intenta determinar, lo más sistemática y objetivamente posible, la rele-vancia, efectividad e impacto de determinadas actividades, a la luz de sus objetivos.
Otros autores definen la evaluación como la “valoración sistemática y objetiva de un proyecto, programa o política que se está desarrollando
o se ha completado el ciclo de diseño, implementación y resultados. La evaluación debe brindar información creíble y útil que posibilite la incorporación de las lecciones aprendidas en el proceso de toma de decisiones” (OECD, 1998).
Según Hawe, Degeling, Hall y Brierley (2003) la evaluación es el juicio alrededor de algo, y añaden que la forma como juzguemos depende de las expectativas, experiencias pasadas, lo que pensamos que es importante o lo que pensamos que no es importante. Lo anterior afecta la forma como se realiza la evaluación, los intereses que ella sirve y los métodos que usamos. Por ello no hay una forma estandarizada de hacer la evaluación, ni de definir los productos que de ella se obtendrán.
De otra parte, de acuerdo con Brownson, Baker, Leet y Gillespie (2003) la evaluación es el proceso de analizar programas y políticas, así como el contexto dentro del cual ellas ocurren, para determinar si en su im-plementación se requiere hacer cambios y valorar las consecuencias intencionales y no intencionales; lo anterior incluye, pero no se limita a determinar si se están alcanzando las metas y objetivos. Mediante la evaluación se puede reorientar el curso de los programas o políticas; ayudar a determinar si el programa o política ha sido efectivo; y ob-tener información para formular y planificar el próximo programa o política.
Bases metodológicas de la evaluación de efectividad
La evaluación de efectividad de intervenciones complejas deberá con-siderar, entre otros aspectos, el hecho de que las iniciativas en estos campos responden a procesos dinámicos los cuales son de naturaleza participativa, multifactorial y multidimensional; la existencia en forma concomitante de diversas intervenciones con objetivos específicos, aun-que complementarios; aun-que son intervenciones en permanente cambio, definidas en un proceso también permanente de reflexión-acción; que están orientadas a grupos comunitarios, en diversas ocasiones con una alta movilidad; que tienen efectos a largo plazo, muchas veces difíciles de medir y costear; que se articulan a planes de desarrollo intersec-toriales, más que a planes sectoriales y que los beneficios pueden ser frecuentemente intangibles para los tomadores de decisión.
Igualmente, la evaluación de estas intervenciones demanda reflexiones y acciones concretas alrededor de la articulación de las ciencias políticas, sociales, económicas y biológicas en el análisis e interpretación de los resultados; la definición en términos medibles de los principales prin-cipios y valores que impulsan estas iniciativas, así como la necesidad potencial y también la dificultad para generalizar y predecir resultados. De la misma forma, debe considerar la influencia del tipo de diseño de evaluación en la credibilidad, oportunidad, relevancia y replicabilidad de los resultados; la diversidad y, en algunos casos, los intereses opues-tos de los grupos de interés o denominados stakeholders –evaluadores, financiadores, usuarios y teóricos–; y la forma en que se conduce la evaluación dada la frecuente escasez de recursos.
¿Qué se considera efectivo?
En los últimos tiempos ha ido ganando creciente aceptación la siguiente distinción entre eficacia y efectividad, según la defi-nición de la Oficina de Evaluación de Tecnología, OTA, de los Estados Unidos:
• Eficacia: La probabilidad de que individuos de una población definida obtengan un beneficio de la aplicación de una tec-nología en salud a un problema determinado en condiciones
ideales de uso –controladas–.
• Efectividad: La probabilidad de que individuos de una po -blación definida obtengan un beneficio de la aplicación de una tecnología en salud a un problema determinado en con-diciones normales de uso –no controladas–.
El concepto de efectividad y la complejidad de intervenciones explican la dificultad de hacer afirmaciones precisas acerca del beneficio real para la salud de una tecnología, y la atribución de los resultados –efectividad–, a una intervención específica. Es frecuente que la efectividad medida durante la etapa de innova-ción de una tecnología se establezca en condiciones ideales de uso; en consecuencia, se produce una estimación de la eficacia más que de la efectividad. Si la evaluación se hace en perio-dos más largos y en condiciones normales de uso, se evalúa la efectividad de la intervención, pero el problema es identificar la interacción e influencia en los resultados de otras variables (Panerai y Mohr, 1990).
El elemento crítico aquí es el referente de comparación –criterios de éxito– que permita determinar que algo funciona o sirve para lo que fue creado. La construcción de este referente de compara-ción no es una simple cuestión técnica, sino que involucra una concepción filosófica sobre la salud, el derecho y la oportunidad de los ciudadanos para obtenerla y la responsabilidad social de los diferentes actores para construirla, lo cual se explicita en los principios que orientan la intervención (Panerai y Mohr, 1990).
Se propone que la evaluación de efectividad de intervenciones complejas se constituya en un proceso sistemático, de sucesivas aproximaciones, por lo que no se trata de un ejercicio en un momento único, sino de una tarea cuya periodicidad se extiende durante el tiempo de la implementa-ción de la intervenimplementa-ción y más allá de su finalizaimplementa-ción. Esto implica integrar la evaluación en la cotidianidad del desarrollo de la intervención y a la gerencia de la misma. El enfoque sistémico de la evaluación demanda la interrelación lógica entre sus componentes, y de éstos con el contexto en el cual se inscribe. La búsqueda permanente de las interrelaciones entre los componentes dará las bases para la obtención de las señales de efectividad de las intervenciones.
Si estamos de acuerdo en que la evaluación hace parte del proceso de implementación de las intervenciones, la propuesta es que ésta se oriente a responder a los diferentes intereses y preguntas según el ciclo de vida de dichas intervenciones, y según los resultados esperados en el momen-to de la evaluación. Desde esta perspectiva se logrará una construcción sistemática de “señales” de efectividad y una reflexión sobre el proceso de implementación de la intervención en diferentes momentos.
importante para entender y explicar el por qué de un determinado resultado o efecto.
El llamado es a evaluar no sólo los resultados e impacto de las inter-venciones, sino el proceso político y social para lograr los objetivos de la intervención y resultados intermedios que nos lleva a ellos. Según Nutbeam y Harris (2004) las intervenciones pueden tener diversos ni-veles de resultado y diferentes efectos en el tiempo, y la evaluación de impacto representa el primer nivel de resultados de un programa.
Niveles de resultado en promoción de la salud
Los resultados de la promoción de la salud representan los facto-res personales, sociales y estructurales que se pueden modificar con el fin de cambiar los determinantes de la salud. Algunos de estos resultados representan también el impacto más inmediato de las actividades planificadas de promoción de la salud.
Éstos se suelen expresar como resultados personales o sociales, tal como calidad de vida, independencia funcional y equidad, o más a menudo, en términos de resultados de salud, expresados como mortalidad, morbilidad, discapacidad o disfuncionalidad.
Existe una relación dinámica entre los diferentes resultados y las tres acciones expuestas (educación, movilización social y abogacía). No hay una relación lineal o estática. La acción de promoción de la salud se puede dirigir al logro de distintos re-sultados en este campo si se modifica la orientación o el énfasis de una intervención. Decidir cuál es el mejor punto de partida y cómo se deben combinar las diversas acciones con el fin de alcanzar los resultados deseados, es esencial para una práctica exitosa de la promoción de la salud.
Se debe considerar que la evaluación de efectividad ha sido concebida como la simultánea medición, descripción y juicio para identificar y valorar cambios, al igual que para establecer la asociación entre varia-bles alrededor de una medida de éxito o fracaso de la intervención. Por tanto, este tipo de evaluación debe responder a un interés por conocer si la intervención funcionó y si alcanzó los objetivos para los que fue creada, así como a qué tanto y cómo se explican los cambios, producto de la intervención.
La parte política y ética de la evaluación de efectividad ha sido abor-dada por Ray y Mayan (2001), cuando preguntan sobre los significados de evidencia, los indicadores y los estándares apropiados. Por ello, no sólo es importante preguntarse por la efectividad de una determinada intervención sino por el proceso que fue capaz de producir esos resul-tados, en el corto, mediano y largo plazo (WHO, 2001).
Las respuestas a preguntas como: qué queremos saber, qué infor-mación esperamos obtener con la evaluación o quiénes son los inte-resados en los resultados, serán de gran utilidad para definir las pre-guntas de evaluación apropiadas, el grado de precisión requerida y el diseño más indicado para dicha evaluación.
Con el fin de establecer una evidencia más convincente del impacto y resultados de las in-tervenciones de promoción de la salud y la salud pública, es nece-sario planificar estas iniciativas en función de una valoración
completa de la evidencia derivada de la investigación epidemiológica, conductual y social, que indique la existencia de relaciones razonables entre el impacto a corto y mediano plazo de las intervenciones y cam-bios posteriores en los determinantes de la salud y en las condiciones de salud (UIPES, 1999).
Para Dobrow, Goel y Upshur (2004) citados por Kemm (2006), la res-puesta a la pregunta si una intervención funcionó debe tener en cuenta no sólo la intervención y los resultados, sino también la asociación en-tre estos dos, al igual que el contexto, algunas veces llamado contexto externo.
En ese sentido, es necesario prestar atención a las condiciones en las que fue creado e implementado el programa y a cuáles favorecieron su éxito. Entre otras, implica conocer si había suficiente conciencia públi-ca y polítipúbli-ca sobre el tema y la necesidad de acción; la públi-capacidad para llevar a cabo el programa, por ejemplo, en términos del nivel de forma-ción del personal sanitario; si se garantizaron los recursos necesarios para implantar y sostener el programa y, finalmente, si el programa de intervención tiene una amplitud, duración y sofisticación suficientes para arrojar cambios y que éstos sean detectables.
Premisas generales para la evaluación de intervenciones complejas
• La evaluación debe dar cuenta tanto de los cambios en los com -ponentes esenciales de la intervención, como de los cambios en el estado de salud y determinantes sociales que influyen en las condiciones de salud y bienestar de la población.
• La evaluación debe ser innovativa para establecer asociaciones causales en torno a la efectividad de intervenciones interdisci-plinarias, multienfoque y producto de ambientes complejos y en continuo cambio.
• La evaluación debe estar fundamentada, en primer lugar, en mo -delos y métodos que den cuenta de la naturaleza cambiante y multiestratégica de las intervenciones; y, en segundo lugar, en aso-ciaciones lógicas dentro del contexto social en que se desenvuelve el programa o intervención y no sólo en asociaciones estadísticas. Por tanto, la evaluación debe aplicar una combinación de métodos y técnicas cualitativas y cuantitativas apoyadas, cuando sea posible, en técnicas de triangulación de información.
• La evaluación debe incorporar en su diseño metodológico formas eficientes y confiables de información, para que pueda ser viable y realizarse con la periodicidad requerida, haciendo uso de las fuentes existentes y creando nuevas opciones en caso necesario. Ejemplos de ello son los sistemas de vigilancia epidemiológica, las estadísticas vitales, los registros municipales, las formas autócto-nas de comunicación, relatos e informes de progreso de proyectos comunitarios, informes de monitoreo y evaluación, observatorios epidemiológicos y sociales, entre otros.
• La evaluación debe tomar en cuenta en el diseño metodológico la naturaleza cambiante de estas intervenciones en salud y, más importante aún, explicitar las razones que inducen a los cambios. Esta actividad se logra si hay un proceso permanente de documen-tación y reflexión sobre la experiencia; o sea si existe un proceso de sistematización de la misma (De Salazar, 2002). La sistematización de las intervenciones suministra información para dar cuenta del proceso de cambio y, como tal, se constituye en el insumo central para comprender las transformaciones y hallazgos. Se debe reco-nocer que es improcedente evaluar efectividad de intervenciones, cuando no hay certeza de qué fue lo que se implementó y del contexto en el cual se desarrollaron dichas intervenciones. La sistematización, incorporada a los programas, se convierte en una herramienta efectiva para aportar la información necesaria para el proceso evaluativo, dada su bondad para generar análisis crítico y reflexivo de las experiencias vividas en un trabajo colectivo-participativo, originado en quienes tomaron parte directamente de las intervenciones.
• La evaluación debe surgir y ser realizada por coaliciones entre los sectores y actores comprometidos en la intervención, a fin de garantizar su activa y permanente participación, recogiendo sus percepciones, intereses, aportes y puntos de encuentro, así como sus puntos de vista para la interpretación de la correlación entre variables o categorías de estudio. Esta participación debe contribuir a la selección de preguntas que se desean responder y a las formas de comunicar y utilizar los resultados.
planes de mejoramiento o para la adopción o creación de nuevos programas. No se debe olvidar que tanto la investigación como la toma de decisiones son procesos; de allí que si deseamos influir en la formulación de una política, es necesario tener en cuenta toda la secuencia investigativa, más que una simple conclusión (Lomas, 2000).
Enfoques y paradigmas de la evaluación de efectividad
Para Hawe, Degeling, Hall y Brierley (2003) la investigación evaluativa tiene diferencias con otros tipos de investigación debido a que involucra dos procesos: observación y medida, al igual que comparación de lo que se observa con algunos criterios o estándares que son indicadores de buen desempeño. Los autores sostienen que no hay una forma correcta o incorrecta de evaluar, sino que depende de las diferentes percepciones y exigencias de los usuarios de la información en relación con lo que es considerado como “evidencia” de que algo funciona, al igual que el momento en que se realiza la evaluación.
Ha habido considerable discusión en la literatura sobre la diversidad de paradigmas empleados en investigación evaluativa. Muchas de las dife-rencias en los paradigmas usados para guiar las preguntas de evaluación son epistemológicas –o sea que reflejan diferentes perspectivas en la relación entre quien establece la pregunta y lo que puede conocerse–, y ontológicas –que reflejan las diferentes perspectivas sobre la naturaleza de la realidad y lo que puede saberse sobre ésta–.
