Evaluación del
sistema de vigilancia
Objetivos de aprendizaje
●
Definir los objetivos de la evaluación de un
sistema de vigilancia
●
Identificar las partes interesadas en un
sistema de vigilancia
●
Usar atributos cualitativos y cuantitativos
para evaluar un sistema de vigilancia
Contenido
●
¿Por qué y cuándo evaluar sistemas de
vigilancia?
●
Mecanismos para evaluar un sistema de
Evaluando un
sistema de vigilancia
¿Por qué evaluar un sistema de
vigilancia?
●
Nuevo sistema
¿El sistema funciona como fue visualizado?
●
Sistema establecido
¿El sistema funciona bien?
¿El sistema es aún relevante?
¿Cuándo conducir una
evaluación?
●
Proceso continuo
En momentos críticos A intervalos regulares
Definir los objetivos de
evaluación
● Se basan en el cuándo y por qué se realiza una evaluación
● Ejemplos de objetivos para un sistema nuevo
¿La definición de caso para vigilancia es adecuada? ¿Captura casos a partir de la población?
¿Es aceptable para los usuarios?
● Sistema establecido
¿Cumple los objetivos del sistema? ¿Está siendo usada la información? ¿Son los métodos efectivos?
Evaluación del
sistema de vigilancia
Partes interesadas del sistema
de vigilancia
● Las partes interesadas aseguran que la evaluación trate preguntas apropiadas y que los hallazgos sean útiles
Profesionales de salud pública
Proveedores de servicios de salud Representantes de las comunidades Gobiernos locales, departamentales
y regionales
Pregunta
¿Cómo pueden las características de una
enfermedad determinar las partes
Evaluación del
sistema de vigilancia
Evidencias del análisis de datos
● Calcular medidas de ocurrencia de enfermedad
● Generar hipótesis sobre las causas y ocurrencia de las enfermedades
Ocurrencia de la enfermedad
● ¿El sistema detecta cambios anticipados en la
ocurrencia de problemas de salud, como cuando se implementan intervenciones o cuándo se acaban los fondos?
● ¿Se detectan epidemias por el sistema o a través de reportes de los medios?
● ¿El sistema provee cálculos de morbilidad y
mortalidad de un problema de salud en poblaciones específicas de importancia?
Generación de hipótesis
●
¿El sistema estimula la investigación
epidemiológica dirigida al control o
prevención?
●
¿Identifica factores de riesgo?
●
¿Permite evaluar los efectos de las
medidas de control?
●
¿Impulsa el mejoramiento de la práctica
clínica, social, política o ambiental?
Ejemplo de medidas de control:
Control de Tripanosomiasis en la
República Democrática del Congo
Evaluación de sistemas
de vigilancia
Calidad de los datos
recolectados
Calidad de los datos
● Integridad y validez de los datos
Examinar respuestas en blanco
Comparar los valores registrados con los valores
“verdaderos”
● La calidad es influenciada por:
Desempeño de tamizajes y pruebas diagnósticas Claridad de los formatos
Calidad del entrenamiento Administración de los datos
Ejemplo de calidad de los datos:
● Objetivo del sistema de vigilancia
Monitorear la efectividad de un programa de vacunación
masiva ● Evaluación
Reportes de varicela al sistemas de vigilancia comparados
con reclamos de seguros nacionales de salud ● Resultados:
4,4% capturados en 2000 5,8% en 2001
8,3% en 2002
Sistema Nacional de Vigilancia de
Enfermedades de Notificación de
Taiwán
Temporalidad
●
Tasa de respuesta
Reporte de casos●
Presentación de indicadores
Registro de datos Pruebas de muestras¿Qué otras preguntas sobre temporalidad sería apropiado evaluar?
Sensibilidad
● Capacidad de detectar la enfermedad en una población
● Capacidad de detectar epidemias
● Es afectada por:
Comportamientos en la búsqueda de atención en
salud
Reporte de casos
Necesidades de investigación Diagnósticos correctos
¿Qué otras preguntas sobre sensibilidad será apropiado evaluar?
Hospitales Clinicas Comunidad Investigacion
Vigilancia de la PFA
Polio PFA PFA No- PolioSensibilidad
A = Verdadero positivo B = Falso positivo C = Falso negativo D = Verdadero negativo Enferm Positiva Enferm Negativa Detectada A B Total Detectadas No Detectada C D Total No Detectadas Total con Enferm Total sin Enferm Sensibilidad = A / (A + C)Sensibilidad
A = Verdadero positivo B = Falso positivo C = Falso negativo D = Verdadero negativo Enferm Positiva Enferm Negativa Det A B Total Detectadas No Det C D Total No Detectadas Total con Enferm Total sin Enferm Sensibilidad = A / (A + C)Un atributo difícil de evaluar ¿por qué?
Realidad
Dete
ctado
po
r
el
sistema
Un atributo difícil de evaluar
¿por qué?
●
Busca comparar
Lo que detecta sistema versus realidad Esta muchas veces no se conoce
●
La opción
Hacer uso de herramientas ya existentes
Otros métodos diagnósticos no usados por el
sistema
Sistemas paralelos, como los servicios de salud
privados, agencias de seguros, registros policíacos (violencia, lesiones)
Un atributo difícil de evaluar
¿por qué?
●
La más confiable de las herramientas para
conocer “la realidad”
Encuestas de base poblacional Encuestas serológicas
●
Datos de vigilancia activa (si es parte
independiente del sistema)
●
Chile
Vigilancia activa con métodos diagnósticos
diferentes es la forma puntual de evaluar sistemas de vigilancia pasiva
Valor predictivo positivo
● Proporción de personas identificadas como casos que en realidad tienen la condición vigilada
● Efecto en los recursos usados:
Investigación de casos individuales Detección de epidemias
● Tiene la misma dificultad que la sensibilidad
● Necesitamos conocer la realidad
¿Qué preguntas podría hacer para aprender sobre el valor predictivo positivo de un
Valor predictivo positivo
Enferm Positiva Enferm Negativa Detectada A B Total Detectada No Detectada C D Total no Detectada Total con enferm Total sin enfermPPV = A / (A + B)
A = Verdadero positivo B = Falso positivo C = Falso negativo D = Verdadero negativoConfirmación de casos de cólera
100 casos de diarreaAplicar la definición de caso de cólera No cumple Cumple Aplicar la prueba de referencia o criterio estándar Negativo Positivo “Verdadero positivo”
Sesgos en vigilancia
Población bajo vigilancia
Pacientes-caso No casos
Presente Presente Ausente
(correcto) (incorrecto)
Presente Presente Ausente
(correcto) (incorrecto) Sesgo de determinación de casos Sesgo de información (datos sobre el caso) Reportado (verdadero positivo) No reportado (falso negativo) Reportado (falso positivo) No reportado (verdadero negativo)
Detección:
● Enfermedad leve o asintomática es más comúnmente detectada en personas con vigilancia médica
frecuente
Pacientes siendo tratados por condiciones crónicas
(diabetes) pueden ser diagnosticados más fácilmente con infecciones leves.
Rechazo (sesgo de no respuesta):
● Sesgo derivado de pacientes que rehúsan participar
● No respuesta o rechazo puede diferir de los que responden a exposiciones importantes
Sesgo de determinación de
casos
●
Examen físico, hallazgos de laboratorio o
memoria de exposiciones pasadas
Reporte de ataques previos del corazón
Autoreporte = 30% falsos positivos
Diagnóstico de cáncer ovárico
CA125 elevado en mujeres premenopáusicas no
enfermas
Circuncisión
84 hombres circuncidados (37 reportes correctos) 108 no circuncidados (89 reportes correctos)
Resumen
● Sistemas de Vigilancia pueden ser evaluados para determinar si se cumplieron las metas para las
cuales fueron creados.
● Evaluación de un sistema de vigilancia
Es un proceso continuo
Involucra identificación y reclutamiento de partes
interesadas
Puede ser conducido simultáneamente cuando se analizan
los datos del sistema
● Sesgos tales como de búsqueda y clasificación de casos pueden afectar la validez de los datos
Recursos y lecturas
● Updated Guidelines for Evaluating Public Health Surveillance Systems.
MMWR July 27, 2001 / 50(RR13);1-35.
http://www.cdc.gov/mmwr/preview/mmwrhtml/rr5013a1.htm
● Tan HF, Chang CK, Tseng HF, Lin W. Evaluation of the National
Notifiable Disease Surveillance System in Taiwan: an example of varicella reporting. Vaccine. 2007 Mar 30;25(14):2630-3. Epub 2006 Dec 26.
● Oliveira SAd, Camacho LAB, Pereira ACdM, Setúbal S, Nogueira RMR,
Siqueira MM. Assessment of the performance of a definition of a suspected measles case: implications for measles surveillance. Rev Panam Salud Publica. 2006;19(4):229-235.
http://journal.paho.org/?a_ID=388
● P. Lutumba et al. Trypanosomiasis Control, Democratic Republic of
Congo, 1993–2003. 2005 Feb [cited 2007 May 12]. Available from
