Anexo 6. Pruebas de usabilidad
A continuación se muestra la prueba que se realizó a los tres calificadores seleccionados.
PRUEBA DE USABILIDAD PARA EL SISTEMA DE APOYO PARA IDENTIFICACION Y ESTIMACION DE VOLUMETRIA DE NODULOS PULMONARES.
Esta prueba permite conocer el grado de usabilidad y satisfacción que la aplicación proporciona al usuario. Se darán una serie de instrucciones para que el usuario realice, con el fin de verificar las funciones que posee el sistema.
INSTRUCCIONES:
El sistema es básicamente una aplicación para interactuar con imágenes de TAC (tomografía axial computarizada) de tórax, con el fin de encontrar regiones candidatas que puedan ser nódulos (masa pulmonar menor de 3 cm de diámetro). Las funciones básicas de la aplicación son visualizar e interactuar con las imágenes, visualizar el histograma de la imagen con o sin máscara, realizar el algoritmo paso a paso para encontrar los candidatos, ver un modelo en tres dimensiones de los pulmones, el árbol vascular y los candidatos y finalmente una herramienta para verificar el volumen aproximado de cada candidato junto con su ubicación en la imagen.
Las siguientes son instrucciones para verificar el funcionamiento de la aplicación. 1) Abrir aplicación.
2) Abrir un archivo de imagen DICOM.
3) Cambiar la visualización para ver cada una de las vistas.
4) En cada una de las vistas cambiar el corte y verificar el panel de vista del volumen. De igual forma cambiar el contraste de la imagen en cada uno de los cortes y verificar el cambio en la vista del volumen.
5) Interactuar con la vista de volumen.
6) Realizar el algoritmo paso a paso para encontrar candidatos de nódulos. 7) Verificar los datos de la imagen y el paciente.
8) Visualizar un histograma con y sin máscara.
9) Visualizar e interactuar con el modelo en tres dimensiones. 10) Verificar el volumen y ubicación de cada región candidata. 11) Cerrar la aplicación.
Luego de realizada la prueba se pide la siguiente evaluación a los usuarios.
Calificador: Luis Guillermo Torres.
Seleccione en una escala de 1 a 5 (1: Poco útil, 5: Muy útil).
1 2 3 4 5 Observaciones 1. ¿Es de utilidad la aplicación? X
2. El uso de las opciones de visualización de cada una de las
3 vistas coronal, transversal, sagital. X 3. El uso de la opción de visualización de la combinación de
los tres planos (sagital, coronal, transversal) en una sola
imagen. X
4. Visualización de datos de la imagen DICOM y de paciente en el panel de "Data". X No indica coordenadas y/o número de candidatos o datos relevantes con el paciente. Solamente el nombre, genero, fecha e información sobre las imágenes.
5. La ventana de histograma. X 6. El uso de máscaras en la visualización del histograma. X 7. El uso de controles para visualizar el rango de valores
deseado en la ventana de histograma. X 8. El cambio de tipo de grafico en la venta de histograma. X 9. Poder visualizar las imágenes que ya se han hecho en el
algoritmo. X
10. Pedir el radio de la mediana al usuario. X 11. Recortar la imagen en el procedimiento de obtención de
Seleccione en una escala de 1 a 5 su grado de acuerdo o desacuerdo. (1. Total desacuerdo, 2.En desacuerdo, 3. Indiferente, 4.De acuerdo, 5.Total acuerdo)
1 2 3 4 5 Observaciones
1. El sistema en general es de fácil uso. X
Las opciones “Set Intensity”, “Set Eigenvalues” y “Set Bothat” requieren hacer clic en otros botones similares en todas las ocasiones. Se sugiere que con solo un botón se realice las dos acciones.
Otro comentario es que sería de utilidad colocar números al lado de las opciones para conocer el orden que se debe seguir.
Se sugiere ventana que indique que el proceso se está llevando a cabo y bloquee las acciones del usuario para evitar múltiples inputs. (Ideal si se cuenta con tiempo estimado)
12. El control para seleccionar el umbral de cada una de las
imágenes para encontrar candidatos. X 13. La herramienta de volumetría. X 14. Visualizar la localización en dos dimensiones del
candidato seleccionado. X Es más útil el 3D 15. Visualizar el modelo en tres dimensiones donde se
muestra la ubicación del candidato junto con el pulmón y el
árbol vascular. X
16. Observar las imágenes de pulmones, árbol vascular y
segmentación de candidatos en la herramienta "3D view". X 17. Cambiar la opacidad de cada una de las imágenes en la
2. Los iconos de la barra de herramientas son
intuitivos y le dicen que función cumple cada uno. X
Si bien el tooltip ayuda, no es claro el acceso al algoritmo. 3. El color, tamaño y forma de los iconos es
adecuado. X
3. La visualización de colores (RGB) en el fondo de cada uno de los planos, ayuda a reconocerlos
fácilmente. X
Sin embargo, hay mucho uso de rojos y verdes que pueden perjudicar a alguien con dificultad tipo daltonismo 4. El uso de los controles de cambio de corte en cada
uno de los planos es preciso e intuitivo. X 5. El cambio en el contraste de la imagen usando el
mouse es de fácil uso. X
6. Observar el cambio en la vista de volumen a medida que se cambia uno de los cortes de un plano
lo hace una herramienta de navegación importante. X 7. La organización de las 4 vistas (sagital, coronal,
transversal y volumen) es agradable. X 8. La organización de los botones, cuadros de texto y
etiquetas es agradable en el panel de Algoritmo. X 9. La organización de los botones para observar cada
una de las imágenes es la correcta. X 10. Es intuitivo realizar paso a paso el algoritmo sin
cometer errores. X
Recalcando el comentario del orden de pasos
11. La división de la pantalla principal al momento de seleccionar la herramienta de "Algoritmo", "Datos" y "Volumetría", le ayuda a visualizar las imágenes
mientras realizan cambios. X 12. Al observar la imagen tridimensional en la
herramienta "3D View", se pueden observar colores
agradables y acordes con la imagen que representan. X
13. El uso de la opacidad en la herramienta "3D
View" le ayuda a identificar mejor las estructuras. X
En el caso de solo “vessels” se incluye la columna vertebral. Sin embargo, se entiende la estructura pulmonar
14. La visualización del volumen que ocupa una región candidata y las coordenadas donde se encuentra dicha región, le ayudan a identificarla
fácilmente en la imagen. X 15. El uso de la herramienta de histograma le ayuda
a identificar umbrales para seleccionar en el
desarrollo del algoritmo. X 16. La interacción que tiene con la imagen es
intuitiva. X
Se requiere guía para el cambio de brillo/contraste
17. La interacción que tiene con el modelo en tres
dimensiones es intuitiva. X Responda las siguientes preguntas:
¿Usaría esta aplicación para ver imágenes DICOM y encontrar candidatos de nódulos pulmonares?
¿Por qué? Sí, me parece adecuado el despliegue tanto en 2D como en 3D. Sin embargo, considero que la vista en 3D es más adecuada
¿Qué opina sobre la precisión de los
controles de selección? Los controles son adecuados, en pocos casos es necesario realizar el ingreso de forma manual.
En general, ¿Que opina sobre el sistema?
Es un sistema muy completo y de alto valor para el médico. Sin embargo, puede llegar a necesitar una guía para utilizarlo de
forma correcta. Se recomienda un bue manual de usuario o ayuda dentro de la misma herramienta mediante la indicación
de pasos o mensajes de ayuda. Qué opina de la interacción con las
diferentes imágenes. Me parece adecuada la interacción
¿Qué cambios le haría al sistema?
Adicional a los anteriores, hago énfasis en el cambio de la necesidad de oprimir dos botones para seleccionar los algoritmos de segmentación. Personalmente lo reduciría a solo
uno pues siempre se requiere oprimir los dos (no hay un caso donde sólo se oprima uno) lo que facilita obviar el segundo clic. Si es posible, agregar la pantalla de progreso de procesamiento
Si bien el panel “Data” es interesante desde el punto de vista técnico del análisis de imágenes, personalmente, preferiría que
le diera datos al médico sobre el paciente.
Calificador: Leonardo Florez Valencia.
Seleccione en una escala de 1 a 5 (1: Poco útil, 5: Muy útil).
1 2 3 4 5 Observaciones 1. ¿Es de utilidad la aplicación? X
2. El uso de las opciones de visualización de cada una
de las 3 vistas coronal, transversal, sagital. X 3. El uso de la opción de visualización de la
combinación de los tres planos (sagital, coronal,
transversal) en una sola imagen. X 4. Visualización de datos de la imagen DICOM y de
paciente en el panel de "Data". X 5. La ventana de histograma. X 6. El uso de máscaras en la visualización del
histograma. X
Es mejor el “zoom” sobre el histograma
7. El uso de controles para visualizar el rango de
valores deseado en la ventana de histograma. X 8. El cambio de tipo de grafico en la venta de
histograma. X
9. Poder visualizar las imágenes que ya se han hecho
en el algoritmo. X
10. Pedir el radio de la mediana al usuario.
X
A un usuario clínico se le debería presentar algunos valores y su interpretación “física”
11. Recortar la imagen en el procedimiento de obtención de mediastino.
X
Esto hace parte del algoritmo, en la aplicación final no tiene mucho sentido.
Seleccione en una escala de 1 a 5 su grado de acuerdo o desacuerdo. (1. Total desacuerdo, 2.En desacuerdo, 3. Indiferente, 4.De acuerdo, 5.Total acuerdo)
1 2 3 4 5 Observaciones
1. El sistema en general es de fácil uso. X 2. Los iconos de la barra de herramientas son
intuitivos y le dicen que función cumple cada uno. X 3. El color, tamaño y forma de los iconos es
adecuado. X
3. La visualización de colores (RGB) en el fondo de cada uno de los planos, ayuda a reconocerlos
fácilmente. X
4. El uso de los controles de cambio de corte en cada
uno de los planos es preciso e intuitivo. X 5. El cambio en el contraste de la imagen usando el
mouse es de fácil uso. X
Pero no el gesto no es coherente entre las vistas 2D-3D
6. Observar el cambio en la vista de volumen a medida que se cambia uno de los cortes de un plano
lo hace una herramienta de navegación importante. X 7. La organización de las 4 vistas (sagital, coronal,
transversal y volumen) es agradable. X Es “estándar”, eso es suficiente 12. El control para seleccionar el umbral de cada una
de las imágenes para encontrar candidatos. X Ver observación “10” 13. La herramienta de volumetría. X
14. Visualizar la localización en dos dimensiones del
candidato seleccionado. X
15. Visualizar el modelo en tres dimensiones donde se muestra la ubicación del candidato junto con el
pulmón y el árbol vascular. X 16. Observar las imágenes de pulmones, árbol
vascular y segmentación de candidatos en la
herramienta "3D view". X 17. Cambiar la opacidad de cada una de las imágenes
8. La organización de los botones, cuadros de texto
y etiquetas es agradable en el panel de Algoritmo. X 9. La organización de los botones para observar cada
una de las imágenes es la correcta. X
Un control estilo “combobox” sería más adecuado.
10. Es intuitivo realizar paso a paso el algoritmo sin
cometer errores. X
11. La división de la pantalla principal al momento de seleccionar la herramienta de "Algoritmo", "Datos" y "Volumetría", le ayuda a visualizar las
imágenes mientras realizan cambios. X 12. Al observar la imagen tridimensional en la
herramienta "3D View", se pueden observar colores
agradables y acordes con la imagen que representan. X 13. El uso de la opacidad en la herramienta "3D
View" le ayuda a identificar mejor las estructuras. X 14. La visualización del volumen que ocupa una
región candidata y las coordenadas donde se encuentra dicha región, le ayudan a identificarla
fácilmente en la imagen. X 15. El uso de la herramienta de histograma le ayuda
a identificar umbrales para seleccionar en el
desarrollo del algoritmo. X Están muy “lejos”
16. La interacción que tiene con la imagen es
intuitiva. X
Para quienes tienen experiencia con la visualización de imágenes médicas
17. La interacción que tiene con el modelo en tres
dimensiones es intuitiva. X Responda las siguientes preguntas:
¿Usaría esta aplicación para ver imágenes DICOM y encontrar candidatos de nódulos pulmonares?
¿Por qué? Sí, porque permite una carga y visualización rápida ¿Qué opina sobre la precisión de los
controles de selección? Es adecuada
En general, ¿Que opina sobre el sistema?
Es correcto para realizar una visualización rápida y para entender los pasos del algoritmo de segmentación
Qué opina de la interacción con las
diferentes imágenes. Es estándar
¿Qué cambios le haría al sistema?
Para el seguimiento de algoritmo, es adecuado. Para un uso más genérico, debería ser más orientado a una arquitectura de servicios (de interacción, visualización y procesamiento) que se
adicionen a medida que se necesiten
Calificador: Pablo Alexander Reyes.
Seleccione en una escala de 1 a 5 (1: Poco útil, 5: Muy útil).
1 2 3 4 5 Observaciones 1. ¿Es de utilidad la aplicación? x
2. El uso de las opciones de visualización de cada una
de las 3 vistas coronal, transversal, sagital. x 3. El uso de la opción de visualización de la
combinación de los tres planos (sagital, coronal,
transversal) en una sola imagen. x 4. Visualización de datos de la imagen DICOM y de
paciente en el panel de "Data". x 5. La ventana de histograma.
x
En algunos ambientes médicos no se usa mucho el histograma 6. El uso de máscaras en la visualización del
histograma. x
7. El uso de controles para visualizar el rango de
valores deseado en la ventana de histograma. x 8. El cambio de tipo de grafico en la venta de
histograma. x
9. Poder visualizar las imágenes que ya se han hecho
en el algoritmo. x
10. Pedir el radio de la mediana al usuario.
x
Colocar opciones y una que diga recomendada
11. Recortar la imagen en el procedimiento de
obtención de mediastino. x 12. El control para seleccionar el umbral de cada una
de las imágenes para encontrar candidatos. x
Colocar opciones y una que diga recomendada
13. La herramienta de volumetría. X Colorear 14. Visualizar la localización en dos dimensiones del
candidato seleccionado. X
15. Visualizar el modelo en tres dimensiones donde se muestra la ubicación del candidato junto con el pulmón
y el árbol vascular. X
16. Observar las imágenes de pulmones, árbol vascular y segmentación de candidatos en la herramienta "3D
view". X
17. Cambiar la opacidad de cada una de las imágenes
en la herramienta "3D View". x
Seleccione en una escala de 1 a 5 su grado de acuerdo o desacuerdo. (1. Total desacuerdo, 2.En desacuerdo, 3. Indiferente, 4.De acuerdo, 5.Total acuerdo)
1 2 3 4 5 Observaciones
1. El sistema en general es de fácil uso. x
Colocar ayudas o descripciones sobre los botones
2. Los iconos de la barra de herramientas son
intuitivos y le dicen que función cumple cada uno. X 3. El color, tamaño y forma de los iconos es
adecuado. X
3. La visualización de colores (RGB) en el fondo de cada uno de los planos, ayuda a reconocerlos
fácilmente. X
4. El uso de los controles de cambio de corte en
cada uno de los planos es preciso e intuitivo. X 5. El cambio en el contraste de la imagen usando
el mouse es de fácil uso. X 6. Observar el cambio en la vista de volumen a
medida que se cambia uno de los cortes de un plano lo hace una herramienta de navegación
importante. X
7. La organización de las 4 vistas (sagital, coronal,
8. La organización de los botones, cuadros de texto
y etiquetas es agradable en el panel de Algoritmo. X
Creo que debería haber más de esto en el algoritmo
9. La organización de los botones para observar
cada una de las imágenes es la correcta. X
10. Es intuitivo realizar paso a paso el algoritmo
sin cometer errores. X
Se podría pensar en una opción semiautomática de solo las coordenadas de pulmones y run! 11. La división de la pantalla principal al momento
de seleccionar la herramienta de "Algoritmo", "Datos" y "Volumetría", le ayuda a visualizar las
imágenes mientras realizan cambios. X 12. Al observar la imagen tridimensional en la
herramienta "3D View", se pueden observar colores agradables y acordes con la imagen que
representan. X
13. El uso de la opacidad en la herramienta "3D
View" le ayuda a identificar mejor las estructuras. X 14. La visualización del volumen que ocupa una
región candidata y las coordenadas donde se encuentra dicha región, le ayudan a identificarla
fácilmente en la imagen. X 15. El uso de la herramienta de histograma le
ayuda a identificar umbrales para seleccionar en el
desarrollo del algoritmo. X 16. La interacción que tiene con la imagen es
intuitiva. x
17. La interacción que tiene con el modelo en tres
dimensiones es intuitiva. x Responda las siguientes preguntas:
¿Usaría esta aplicación para ver imágenes DICOM y encontrar candidatos de nódulos pulmonares? ¿Por qué?
Si, si tuviese la oportunidad ¿Qué opina sobre la precisión de los
En general, ¿Que opina sobre el sistema?
Creo que es bueno y tiene opciones de mejora Qué opina de la interacción con las
diferentes imágenes. Es adecuada
¿Qué cambios le haría al sistema? semiautomática, poder colocar la imagen final (candidatos) Dar etiquetas de ayuda en el algoritmo, una opción sobre la original.
