Resultados y discusión

En esta sección se presentan los resultados de nuestra solución en la forma de matrices de confusión y se ilustran las estrategias utilizadas para mejorar la precisión.

Matrices de confusión por rol

La Tabla XI presenta la matriz de confusión de las actividades ejecutadas por las enfermeras con un porcentaje de error promedio de 27.49%. Los renglones de la matriz corresponden a los valores de la actividad real (la actividad codificada en el reporte de observación), y las columnas representan a los valores estimados por la red. Los valores de la diagonal son las instancias en las que la red neuronal estimó correctamente la actividad ejecutada, mientras que el resto representan las veces en que la red neuronal falló en predecir la actividad –confundiéndola con otra. El porcentaje de error promedio se calcula

Capítulo IV – Estimación de actividades ejecutadas por el personal médico

_________________________________________________________________________________________________________ 80

sumando los valores fuera de la diagonal y dividiendo este resultado en el total de muestras utilizadas para probar la red. La actividad que corresponde a clases y capacitación es la actividad estimada con mejor precisión (100%), seguida por cuidados al paciente con 77.50% y preparación con 75%. Es interesante notar que la actividad de clases y capacitación se estimó correctamente todas las veces, ya que la configuración de las variables que conforman el vector de entrada para esta actividad es diferente a todos los demás vectores de entrada.

Tabla XI. Matriz de confusión para la estimación de actividades ejecutadas por las enfermeras utilizando redes neuronales

Actividad VYD CP C PM MI CC Valoración y diagnóstico (VYD) 66.25 10.00 13.75 3.75 6.25 0.00 Cuidados al paciente (CP) 1.25 77.50 5.00 16.25 0.00 0.00 Coordinación (C) 7.50 13.75 73.75 5.00 0.00 0.00 Preparación de medicamentos (PM) 7.50 2.50 13.75 75.00 1.25 0.00 Manejo de información (MI) 16.67 2.38 0.00 19.05 61.90 0.00 Clases y capacitación (CC) 0.00 0.00 0.00 0.00 0.00 100 Entrenamiento 150, prueba 80, pct. Error. 27.49%

La Tabla XII presenta la matriz de confusión de las actividades ejecutadas por los médicos internos con un porcentaje de error promedio de 33%. La actividad que corresponde a manejo de documentos es la actividad estimada con mejor precisión (73.75%), seguida por clases y capacitación con 72.73% y coordinación con 67.50%.

Tabla XII. Matriz de confusión para la estimación de actividades ejecutadas por los médicos internos utilizando redes neuronales

Actividad VYD CP C MI CC

Valoración y diagnóstico (VYD) 58.75 12.50 15.00 8.75 0.00 Cuidados al paciente (CP) 9.09 67.27 18.18 3.64 0.00 Coordinación (C) 12.50 5.00 67.50 15.00 0.00 Manejo de información (MI) 7.50 2.50 15.00 73.75 0.00 Clases y capacitación (CC) 9.09 0.00 18.18 0.00 72.73 Entrenamiento 150, prueba 80, pct. Error. 33%

La Tabla XIII presenta la matriz de confusión de las actividades ejecutadas por los médicos de base con un porcentaje de error promedio de 28.75%. La actividad que corresponde a

Capítulo IV – Estimación de actividades ejecutadas por el personal médico

_________________________________________________________________________________________________________ 81

cuidados al paciente es la actividad estimada con mejor precisión (78.75%), seguida por coordinación con 72.50% y manejo de información con 70%.

Tabla XIII. Matriz de confusión para la estimación de actividades ejecutadas por los médicos de base utilizando redes neuronales

Actividad VYD CP C MI Valoración y diagnóstico (VYD) 63.75 10.00 12.50 13.75 Cuidados al paciente (CP) 2.50 78.75 13.75 5.00 Coordinación (C) 11.25 5.00 72.50 11.25 Manejo de información (MI) 11.25 7.25 12.50 70.00 Entrenamiento 150, prueba 80, pct. Error. 28.75

Analizando la información por rol, se pueden ver diferencias en la precisión con la que algunas actividades se estiman. Por ejemplo, para la enfermeras, la actividad de cuidados al paciente se estimó correctamente 77.50% de la veces; para internos 67.27% y para médicos de base 78.75%. En ese caso, Se observa que el nivel de fragmentación experimentado por cada rol afecta la manera en que estas actividades se estiman. Por ejemplo, como se muestra en la Tabla XIII, la actividad cuidados al paciente se confundió con coordinación 13.75% de las veces. Esto es por que ambas actividades se ejecutan generalmente en la sala de atención, utilizando los mismos artefactos y colaborando con las mismas personas. Además, es claro que la precisión en la estimación de las actividades de los médicos internos es menor que la precisión obtenida por los médicos de base y a su vez que las enfermeras. Esto es por que las enfermeras utilizan más artefactos que los médicos permitiendo a la red neuronal tener un mejor punto de comparación. Por ejemplo, mientras los médicos e internos generalmente utilizan el expediente médico y resultados de estudios, las enfermeras además de estos artefactos también utilizan hojas de enfermería y material de curación. Por otro lado, las enfermeras generalmente ejecutan sus actividades solas –a excepción de aquéllas actividades cuya naturaleza es colaborativa. Entonces son algunas actividades que presentan estas excepciones a diferencias de los médicos cuyas actividades suelen ser colaborativas. El tener esta amplia gama del uso de artefactos y personas para el rol de las enfermeras mejora la precisión con la que sus actividades se estiman.

Capítulo IV – Estimación de actividades ejecutadas por el personal médico

_________________________________________________________________________________________________________ 82

Es por ello, que las actividades que tienen características similares se estiman con una precisión menor a aquéllas cuya información contextual (i.e., localización, artefactos utilizados, personas involucradas y hora del día) difiere. Por ejemplo, como se ilustra en la Tabla XIII, la red neuronal estimó incorrectamente la actividad de valoración y diagnóstico 36.25% de las veces confundiéndola con manejo de documentos (13.75%) y coordinación (12.50%). Se observa que, por periodos cortos de tiempo, los médicos internos y los médicos de base cambian constantemente entre estas actividades. En estos casos, la red no tiene suficiente evidencia para diferenciarlas, ya que la información contextual (del usuario y del ambiente) no cambia en este periodo. Sin embargo, se pueden diferenciar estas actividades mediante la identificación de atributos particulares de cada actividad –como su duración. Es por ello que se decidió crear estrategias que toman en cuenta estos atributos con el fin de incrementar la precisión en la estimación.

Estrategias para incrementar la precisión

El enfoque utilizado para identificar la actividad estimada consiste en seleccionar aquélla actividad con el valor en su unidad de salida más alto. Algunas veces seleccionar el valor más alto no provee evidencia suficiente para asegurar que la actividad seleccionada es la que se está ejecutando; es decir, se tenía alta incertidumbre en la estimación. Estas actividades estimadas con cierto nivel de incertidumbre las llamamos Actividades Inciertamente Estimadas (AIE).

Con el fin de mejorar la precisión y tomar una decisión cuando se detectará una AIE, analizamos las características de estas actividades para identificar nuevas estrategias que permitieran reducir este grado de incertidumbre en la estimación. Comparando estas AIE con las actividades reales, se encontró que éstas actividades presentan un fenómeno recurrente; es decir, que la probabilidad de seguir ejecutando esta misma actividad es mayor a cambiar a ejecutar otra. Por ejemplo, los médicos ejecutan la actividad de valoración y diagnóstico por 10 o 15 minutos (aproximadamente), entonces es muy probable que después de un tiempo ellos continúen realizando esta misma actividad en lugar de cambiar a otra. Entonces, si la red neuronal estima que después de valorar a un paciente, un médico empieza a documentar información (con un grado de incertidumbre)

Capítulo IV – Estimación de actividades ejecutadas por el personal médico

_________________________________________________________________________________________________________ 83

es muy probable que esta estimación sea inexacta. Esto se puede detectar comparando los valores actuales para cada estimación. Si uno de los valores que corresponde a la actividad de administración de información tiene un valor mayor pero es cercano a la actividad de cuidados al paciente, sería más seguro asumir que la actividad ejecutada no ha cambiado. Tomando en cuentan la duración de una AIE, se tiene una probabilidad mayor de que el personal médico continúe ejecutando esta AIE en lugar de cambiar a ejecutar otra. Llamamos a este fenómeno el principio de recurrencia.

Para enfrentar estos problemas, primero identificamos las AIEs y tomando en cuenta su duración aplicamos el principio de recurrencia. Se utilizaron dos estrategias para identificar estas AIE. La primera estrategia requiere que se identifiquen aquéllas actividades cuyas unidades de salida sean menores a 0.55. Las actividades con estas unidades de salida no proporcionan evidencia contundente que soporte que ésta es la actividad que se está ejecutando –no existe una salida dominante. De la misma manera, existe incertidumbre o confusión cuando dos unidades de salida tienen valores similares o cercanos uno del otro (e.g., dos actividades dominantes con valores de 0.70 y 0.67). En este caso se calculó la diferencia entre estos valores en las unidades de salida y si dicha diferencia es menor a 0.12 la actividad estimada es considerada una AIE.

Una vez que se identificaron las AIE, se seleccionaron aquéllas que representan un fenómeno recurrente calculando para cada actividad el tiempo de duración promedio. Aunque, algunas actividades presentan este fenómeno de recurrencia por su naturaleza (como clases y capacitación o valoración y diagnóstico), el nivel de recurrencia para cada actividad también depende del rol que la ejecuta. Por ejemplo, mientras los internos o médicos ejecutan la actividad de manejo de información por periodos largos de tiempo, las enfermeras generalmente ejecutan esta actividad alternada con cuidados al paciente, reduciendo su duración promedio. Las actividades que presentan un fenómeno recurrente, además de valoración y diagnóstico y clases y capacitación, para enfermeras son coordinación y preparación de medicinas y para internos es manejo de documentos. Una vez aplicado el principio de recurrencia a las AIE identificadas, el error en la estimación se redujo en aproximadamente 5%.

Capítulo IV – Estimación de actividades ejecutadas por el personal médico

_________________________________________________________________________________________________________ 84

En función a este análisis fue claro para nosotros que tomar información pasada y probabilidades de transición de una actividad a otra podría incrementar la precisión en la estimación. Por ello y con el fin de incrementar la precisión en la estimación, se decidió utilizar otros algoritmos de reconocimiento de patrones que toman en cuenta esta información para realizar la inferencia. Los algoritmos de esta clase más conocidos son los modelos ocultos de Markov.