UNIVERSIDAD POLITÉCNICA DE CARTAGENA
Escuela Técnica Superior de Ingeniería Industrial
Sistema de evaluación del riesgo de caídas en mayores usando
Inteligencia Artificial y Cloud Computing
TRABAJO FIN DE MÁSTER
MÁSTER EN INGENIERÍA INDUSTRIAL
Autor: Jesús Damián Blasco García Director: Nieves Pavón Pulido
Codirector: Jorge Juan Feliú Batlle
Resumen
El objetivo de este estudio es desarrollar una aplicaci´on en la Nube que facilite el an´alisis del riesgo de ca´ıdas de personas mayores de forma remota, utilizando una c´amara en el cliente que capture los movimientos del paciente.
Otro cliente favorecer´a que la informaci´on adquirida sea presentada a los terapeutas y posibilitar´a su an´alisis siguiendo un proceso normalizado. Se realizar´an pruebas reales en un entorno de laboratorio y, posteriormente, estas pruebas podr´ıan extenderse a pacientes reales a trav´es de la asociaci´on AFAL Cartagena.
´ Indice general
1. Introducci´on 1
1.1. Presentaci´on . . . 2
1.2. Motivaci´on . . . 2
1.3. Objetivos . . . 3
2. Estado del arte 5 2.1. Metodolog´ıa de evaluaci´on del riesgo de ca´ıdas . . . 6
2.1.1. Escala Tinetti . . . 6
2.1.2. Test Timed get Up and Go . . . 7
2.1.3. Escala de Berg . . . 10
2.1.4. Prueba de alcance funcional . . . 11
2.2. Automatizaci´on del diagn´ostico . . . 13
2.2.1. Evaluaci´on test Tinetti mediante un aceler´ometro . . . 13
2.2.2. Medici´on de equilibrio mediante Microsoft Kinect v2 . 16 2.2.3. Uso de una IMU para evaluaci´on del TUG . . . 17
3. Desarrollo del sistema 21
3.1. Arquitectura software . . . 22
3.1.1. Adquisici´on de la imagen . . . 22
3.1.2. Algoritmo de segmentaci´on . . . 23
3.1.3. C´alculos geom´etricos . . . 23
3.1.4. Servicios integrados en la nube . . . 24
3.1.5. Soluciones Web . . . 24
3.2. MediaPipe Pose . . . 29
3.2.1. Topolog´ıa . . . 29
3.2.2. Modelos . . . 29
3.2.3. Salida . . . 31
3.3. Pruebas evaluadas . . . 32
3.3.1. Separaci´on de los brazos . . . 32
3.3.2. Separaci´on de las piernas . . . 33
3.3.3. Inclinaci´on del tronco . . . 35
3.3.4. Balanceo del tronco . . . 36
3.4. Evaluaci´on autom´atica . . . 38
4. Resultados y discusi´on 40 4.1. Resultados de las pruebas . . . 41
4.1.1. Separaci´on de los brazos . . . 41
´INDICE GENERAL
4.1.2. Separaci´on de las piernas . . . 42
4.1.3. Inclinaci´on del tronco . . . 42
4.1.4. Balanceo del tronco . . . 42
4.2. Discusi´on del sistema . . . 45
5. Conclusi´on 47 A. Aplicaci´on en Google Cloud 49 A.1. Modelo de datos . . . 49
A.2. Endpoint . . . 50
A.3. API REST para utilizar los servicios desde HTTPS . . . 54
2.1. Actividades realizadas en la prueba TUG: 1=de pie, 2=pri- mera caminata, 3=giro de 3m, 4=segunda caminata,5=giro previo al asiento y 6=sentado. . . 10 2.2. Medici´on de la prueba de alcance funcional (FRT) con A: la
posici´on del usuario, B: la posici´on inicial de la mano, y C: la posici´on final de la mano. . . 11 2.3. Ejemplo de se˜nales del aceler´ometro durante la prueba Tinetti
[9]. . . 14 2.4. Diagrama del an´alisis estad´ıstico [9]. . . 16 2.5. Diagrama del an´alisis estad´ıstico [1]. . . 17 2.6. Configuraci´on utilizada para la adquisici´on de datos durante
la prueba TUG [8] . . . 18 2.7. Identificaci´on de eventos de pie / sentado utilizando pitch [8]. 19 2.8. Identificaci´on de giros mediante yaw [8]. . . 19 2.9. Caracter´ısticas medidas tras la segmentaci´on de las activida-
des realizadas en el test TUG [8]. . . 20
3.1. Esquema general de la arquitectura software. . . 22 3.2. Vista web toma de datos (1). Cabecera y panel de control. . . 26
´INDICE DE FIGURAS
3.3. Vista web toma de datos (2). Salida de v´ıdeo. . . 26
3.4. Vista web toma de datos (3). Gr´afica de diagn´ostico. . . 27
3.5. Vista web de consultas (1). Pesta˜na home. . . 27
3.6. Vista web de consultas (2). Pesta˜na pacientes. . . 28
3.7. Vista web de consultas (3). Pesta˜na gr´aficas. . . 28
3.8. Puntos de referencia con BlazePose. . . 30
3.9. Descripci´on de la canalizaci´on de estimaci´on de la pose[2]. . . 30
3.10. Hombre de Vitruvio alineado a trav´es de dos puntos clave virtuales predichos por BlazePose [2]. . . 31
3.11. Puntos involucrados en el c´alculo del ´angulo entre los brazos y el tronco. . . 34
3.12. Puntos involucrados en el c´alculo del ´angulo entre los brazos y el tronco. . . 35
3.13. Puntos involucrados en el c´alculo del ´angulo entre los brazos y el tronco. . . 37
3.14. Puntos involucrados en el c´alculo del ´angulo entre los brazos y el tronco. . . 38
4.1. Ejemplos de segmentaci´on del cuerpo mediante MediaPipe Pose. 41 4.2. Prueba separaci´on brazos. . . 43
4.3. Prueba separaci´on piernas. . . 43
4.4. Prueba inclinaci´on tronco. . . 44
4.5. Prueba balanceo tronco. . . 44
A.1. Modelo de datos. . . 49 A.2. Resumen de los servicios disponibles en el Endpoint desplega-
do en Google Cloud. (a) Servicios disponibles. (b) Objetos que implementan los datos que se almacenan y procesan mediante los servicios del Endpoint. . . 56
´ Indice de tablas
2.1. Evaluaci´on del equilibrio(test de Tinetti) . . . 8
2.2. Evaluaci´on de la marcha (test de Tinetti) . . . 9
2.3. ´Items y valoraciones de la escala de Berg . . . 12
2.4. Tareas seleccionadas para la prueba TInetti [9]. . . 15
3.1. Puntuaciones y valoraciones de las pruebas. . . 39
3.2. Relaci´on entre los par´ametros y las puntuaciones. . . 39
Introducci´ on
En primer lugar, se realizar´a una introducci´on del proyecto y se abordar´an la motivaci´on y objetivos que se persiguen con el mismo.
CAP´ITULO 1. INTRODUCCI ´ON
1.1. Presentaci´ on
Actualmente, el conjunto de los ciudadanos debe hacer frente a desaf´ıos que afectar´an a su futuro como el incremento de la esperanza de vida y, en consecuencia, el envejecimiento de la poblaci´on, especialmente en los pa´ıses m´as avanzados. En el a˜no 2020, el porcentaje de personas por encima de 65 a˜nos en Espa˜na representaba el 22,9 %, mientras que en 1960 esa cifra era del 8,2 %. Adem´as, seg´un las ´ultimas previsiones del INE (Instituto Nacional de Estad´ıstica), se estima que en el a˜no 2050, habr´a en Espa˜na un 31,4 % de habitantes con m´as de 65 a˜nos y un 11,6 % con una edad superior a 80 a˜nos [4].
A este respecto, la Ingenier´ıa se presenta como una alternativa capaz de facilitar las t´ecnicas y herramientas necesarias para solventar esos proble- mas. De esta manera, aporta una mejora considerable en el mundo actual, convirtiendo retos en ocasiones para el progreso. Uno de los aspectos m´as inmediatos que se plantean es la atenci´on m´edica que se debe proveer a esa mayor´ıa de poblaci´on. Este grupo se ve afectado por un diverso n´umero de enfermedades. Sin embargo, cabe destacar un principio determinante: la mo- vilidad y el consiguiente riesgo de ca´ıdas.
Se entiende por ca´ıda aquel suceso involuntario que hace que una persona pierda el equilibrio y d´e con el cuerpo en el suelo o en otra superficie que lo contenga. Seg´un la OMS (Organizaci´on Mundial de la Salud), uno de los principales factores de riesgo de sufrir ca´ıdas es la edad, siendo los mayores de 60 a˜nos quienes corren mayor riesgo de sufrir lesiones graves o fatales.
Actualmente, los m´edicos son los encargados de evaluar el riesgo de ca´ıdas y recomendar estrategias a los pacientes para prevenirlas y reducir posibles lesiones. Se suelen aplicar diagn´osticos fundamentados en entrevistas semi- estructuradas y/o la ejecuci´on de tareas bajo la supervisi´on directa de un especialista.
1.2. Motivaci´ on
Lo anterior pone de manifiesto que, durante los pr´oximos a˜nos, la cantidad de poblaci´on anciana crecer´a progresivamente y, al mismo tiempo, el estudio
de la movilidad se convertir´a en un factor esencial a fin de garantizar la buena salud de las personas de avanzada edad y contribuir´a a asegurar su autonom´ıa. A pesar de ello, ocasionalmente no se dispone de los medios suficientes para que los facultativos puedan ejercer su trabajo de una manera sencilla y eficaz.
Una vez que se ha planteado el problema, es posible cuestionarse si la tecnolog´ıa podr´a aportar alg´un remedio. ´Ultimamente, se ha estado traba- jando en la informatizaci´on y automatizaci´on de la evaluaci´on del riesgo de ca´ıdas, puesto que hasta ahora los diagn´osticos se han basado principalmente en tests f´ısicos que realiza el paciente bajo la observaci´on del m´edico, sin ma- yor herramienta que su propia percepci´on visual para asignar puntuaciones seg´un un baremo.
Concretamente, se est´a avanzado en el uso de sensores que permitan ex- traer datos de inter´es para el especialista y presentarlos de forma que puedan ser aprovechados. Por ejemplo, la generaci´on de gr´aficas de movimiento du- rante la marcha de un paciente, captadas a trav´es de una c´amara, permitir´ıan cuantificar de forma precisa las desviaciones que se producen respecto a un modelo de referencia.
Adem´as, no solo se conseguir´ıa facilitar la diagnosis, sino que se abre la puerta al almacenamiento de esos datos y su tratamiento con posteriori- dad. De esta forma, no se requerir´ıa la presencia del m´edico evaluador en el instante de la toma de datos, optimizando as´ı el uso de recursos.
1.3. Objetivos
Actualmente, debido a la situaci´on de pandemia por COVID-19, la aten- ci´on a la salud se ha vuelto especialmente complicada, sobre todo en escena- rios de confinamiento y/o restricciones de movilidad. El colectivo de personas mayores, muchas de ellas dependientes y con patolog´ıas previas, es, proba- blemente, el m´as vulnerable a todos los efectos.
La atenci´on sanitaria y de rehabilitaci´on se ha visto mermada en este contexto, ya que la asistencia presencial se contrapone, a menudo, con las li- mitaciones de movimiento impuestas y el riesgo a˜nadido de contagio que tiene este colectivo. La atenci´on remota supondr´ıa una excelente soluci´on a estos
CAP´ITULO 1. INTRODUCCI ´ON
problemas, sin embargo, se ha demostrado que a´un no est´a suficientemente desarrollada.
En este trabajo de investigaci´on se pretende contribuir a la mejora de dicha atenci´on mediante el desarrollo de un sistema remoto que facilite la evaluaci´on del riesgo de ca´ıdas en personas mayores utilizando una c´amara.
Normalmente, este proceso de evaluaci´on se lleva a cabo siguiendo pruebas est´andar, donde un especialista puede evaluar el riesgo de ca´ıda mediante la observaci´on de la marcha de la persona examinada.
El sistema que se propone ayudar´a al especialista a realizar este tipo de pruebas de forma remota. El paciente dispondr´a, en su domicilio, de un equipo port´atil de visi´on basado en una c´amara convencional. El especialista podr´a iniciar el proceso de evaluaci´on autom´aticamente y de forma remota, desde su propio ordenador, a trav´es de una aplicaci´on WEB en la Nube (con soporte para videoconferencia), que guardar´a y procesar´a todos los datos relativos al paciente y a la sesi´on, en las condiciones de seguridad y privacidad exigidas.
El paciente realizar´a delante de la c´amara los movimientos especificados por el especialista. El sistema analizar´a dichos movimientos usando t´ecnicas de Visi´on Artificial e Inteligencia Artificial y proporcionar´a al especialista un resumen sobre la evaluaci´on realizada seg´un los resultados obtenidos del an´alisis autom´atico de los movimientos realizados.
Adem´as, el sistema generar´a y guardar´a la secuencia de los movimientos realizados por el paciente, que se enviar´an juntamente con el resumen mencio- nado al especialista. Dicha secuencia mostrar´a los movimientos reales, pero ocultar´a la identidad del paciente, para asegurar que la prueba se realiza en las m´as estrictas condiciones de privacidad.
El sistema dise˜nado ser´a evaluado por profesionales y se colaborar´a con la asociaci´on de Alzheimer Cartagena y Comarca AFAL durante el proceso de dise˜no, implementaci´on e implantaci´on del mismo.
Estado del arte
En segundo lugar, se llevar´a a cabo una revisi´on de la literatura para identificar los diversos m´etodos de evaluaci´on del riesgo de ca´ıdas empleados en la actualidad, as´ı como de los avances en materia de informatizaci´on y automatizaci´on del diagn´ostico.
CAP´ITULO 2. ESTADO DEL ARTE
2.1. Metodolog´ıa de evaluaci´ on del riesgo de ca´ıdas
La evaluaci´on del riesgo de ca´ıda se ha desarrollado por medio de tres m´etodos de recogida de datos: el autoreporte (entrevistas semiestructura- das), las medidas sustentadas en la ejecuci´on de una tarea y las medidas fundamentadas en la ejecuci´on de dos tareas que valoran dos o m´as carac- ter´ısticas de impacto en el riesgo de ca´ıdas, estas por lo com´un incluyen la evaluaci´on de la postura, la marcha y el equilibrio, velocidad de la marcha y cambios de posici´on.
Se pueden extraer unos datos m´as objetivos de la funci´on f´ısica del adulto mayor a trav´es de las evaluaciones fundadas en la ejecuci´on de una o dos ta- reas mediante una observaci´on directa, estructurada y sistematizada. Ello se traslada a la capacidad de realizar aut´onomamente las actividades cotidianas [6].
A continuaci´on, se expondr´an cuatro de los procedimientos m´as reconoci- dos y estudiados en las producciones literarias con objeto de evaluar el riesgo de ca´ıdas. Cabe destacar que numerosos de los avances que posteriormente se abordar´an en este cap´ıtulo para automatizar el diagn´ostico, toman como referencia algunas de estas pruebas que ya han demostrado su validez.
2.1.1. Escala Tinetti
La escala de Tinetti es uno de los estudios epidemiol´ogicos acerca de ca´ıdas m´as notables y utilizados en la actualidad. Este m´etodo de evaluaci´on ofrece una ventaja en comparaci´on con otros, puesto que efect´ua una evalua- ci´on del equilibrio y la marcha. As´ı, aporta datos m´as exactos con relaci´on a la evaluaci´on del riesgo de ca´ıda, la posibilidad de alteraciones en la mar- cha y en el equilibrio que requieran actuaci´on, y la existencia de trastornos potenciales neurol´ogicos o musculoesquel´eticos.
La prueba est´a formada por nueve ´ıtems de equilibrio y siete de marcha.
Las respuestas se califican como 0, es decir, el sujeto no consigue mante- ner la estabilidad en los cambios de posici´on o tiene un patr´on de marcha inapropiado, seg´un los par´ametros indicados en la escala, esto se considera
como anormal; la calificaci´on de 1, significa que logra los cambios de posi- ci´on o patrones de marcha con compensaciones posturales, esta condici´on se denomina como adaptativa; por ´ultimo, la calificaci´on 2, es aquella persona sin dificultades para ejecutar las diferentes tareas de la escala y se considera como normal [6].
La puntuaci´on m´axima del equilibrio es 16 y el de la marcha 12, de la suma de ambos se obtiene un puntaje total de 28, con el cual se determina el riesgo de ca´ıdas, se considera que entre 19-24, el riesgo de ca´ıdas es m´ınimo, mientras que el riesgo de ca´ıdas es alto cuando es inferior a 19.
Equilibrio La escala de Tinetti para evaluar el equilibrio del paciente se realiza utilizando una silla sin brazos apoyada sobre la pared y colocan- do al el m´edico junto a ella en posici´on de pie. En la tabla 2.1 se puede consultar el conjunto de actividades que componen la prueba[10].
Marcha La escala Tinetti para la evaluaci´on de la marcha consiste en hacer caminar al paciente en trayectos de ida y vuelta, siempre acom- pa˜nado por el m´edico. En la tabla 2.1 quedan recogidos todos los puntos de los que se compone esta prueba [10].
2.1.2. Test Timed get Up and Go
El Timed get Up and Go (TUG) es una prueba sencilla que se puede realizar en cualquier lugar, y consiste en que el usuario se levante de una silla desde la posici´on sentada hasta la posici´on b´ıpeda, caminando tres metros, girando y volviendo a sentarse en la silla de nuevo, como se ilustra en la figura 2.1 . La variable medida es el tiempo total que tarda la prueba y luego se observa la puntuaci´on asignada, que se correlaciona con el riesgo de ca´ıdas [8].
Los pacientes capaces de realizar el test en menos de 20 segundos son considerados independientes para las actividades diarias, mientras que los que superan ese valor son dependientes. Asimismo, se ha demostrado que no presentan limitaci´on funcional aquellos ancianos que realizan la prueba en menos 10 segundos, mientras que se consideran fr´agiles los que tardan entre 10 y 20 segundos.
Algunas de las ventajas del test TUG es la sencillez en su aplicaci´on y su
CAP´ITULO 2. ESTADO DEL ARTE
Tabla 2.1: Evaluaci´on del equilibrio(test de Tinetti)
Tabla 2.2: Evaluaci´on de la marcha (test de Tinetti)
CAP´ITULO 2. ESTADO DEL ARTE
Figura 2.1: Actividades realizadas en la prueba TUG: 1=de pie, 2=primera caminata, 3=giro de 3m, 4=segunda caminata,5=giro previo al asiento y 6=sentado.
corta duraci´on. Igualmente, requiere pocos recursos y posibilita que personas con un deterioro funcional puedan realizar la prueba.
2.1.3. Escala de Berg
La escala de Berg fue concebida como una medida cuantitativa del estado funcional del equilibrio en ancianos. Los pacientes deben completar una se- rie de tareas mientras el especialista eval´ua su destreza en cada una de ellas.
Estas tareas son representativas de las actividades diarias que requieren equi- librio, como estar de pie, sentarse, inclinarse o dar un paso.
La escala incluye 14 ´ıtems, como se detalla en la tabla 2.3 , cuyas pun- tuaciones est´an comprendidas entre 0 y 4. Algunas tareas se clasifican de acuerdo con la calidad de la ejecuci´on de la misma, mientras que otras son evaluadas por el tiempo empleado en su realizaci´on. La puntuaci´on total se
calcula como la suma de todas las tareas, por tanto, oscila entre 0 (equilibrio gravemente afectado) y 56 (equilibrio excelente).
Taxativamente, los resultados se interpretan como: alto riesgo de ca´ıdas (puntuaciones entre 0 y 20), moderado riesgo de ca´ıda (entre 21 y 40) y leve riesgo de ca´ıda (entre 41 y 56). En promedio, los pacientes con puntuacio- nes menores de 40 tienen casi doce veces m´as probabilidades de caer que aquellos con puntuaciones superiores a 40. Las puntuaciones inferiores a 45 son generalmente aceptadas como indicadores de alteraci´on del equilibrio. En diversos art´ıculos establecen como punto de corte 45 puntos de 56 para una deambulaci´on independiente segura.
(Informaci´on obtenida de la web del Servicio de Neurorrehabilitaci´on de Hospitales Vithas)
2.1.4. Prueba de alcance funcional
Durante la prueba de alcance funcional (FRT, por sus siglas en ingl´es, Functional Reach Test), se le pide al paciente que se coloque junto a una pared manteniendo una postura erguida y relajada.
Figura 2.2: Medici´on de la prueba de alcance funcional (FRT) con A: la posici´on del usuario, B: la posici´on inicial de la mano, y C: la posici´on final de la mano.
Con el brazo extendido horizontalmente hacia delante, el evaluador regis- tra la posici´on del tercer metacarpiano en una vara de medir situada sobre la
CAP´ITULO 2. ESTADO DEL ARTE
Tabla 2.3: ´Items y valoraciones de la escala de Berg
pared (posici´on inicial B en la figura 2.2). Seguidamente, se le pide al indi- viduo que eche el tronco hacia delante lo m´as c´omodamente posible sin dar un paso o perder el equilibrio. De nuevo, se registra la ubicaci´on del tercer metacarpiano (la posici´on final C en la figura 2.2). La diferencia entre las posiciones final e inicial es el alcance.
El paciente realiza tres ensayos y el evaluador observa el promedio de los dos ´ultimos. En caso de que el sujeto toque la pared o d´e un paso durante la prueba, el ensayo se repite. Una puntuaci´on final de FRT inferior a 25 cm sugiere una limitaci´on de las actividades de la vida diaria y riesgo de ca´ıdas [1].
2.2. Automatizaci´ on del diagn´ ostico
Como ya ha quedado expuesto con anterioridad, la metodolog´ıa que se emplea actualmente para predecir el riesgo de ca´ıdas se basa exclusivamente en la percepci´on visual del examinador. No obstante, existe un gran espa- cio de mejora en cuanto a la sensorizaci´on y automatizaci´on del proceso de diagn´ostico.
En este apartado, se abordar´an diferentes soluciones que pretenden avan- zar en esa materia, tomando siempre como punto de partida algunos de los m´etodos ya descritos.
2.2.1. Evaluaci´ on test Tinetti mediante un aceler´ ome- tro
El objetivo principal de un estudio [9] publicado en la revista “Artificial Intelligence in Medicine”, es investigar la viabilidad de utilizar caracter´ısticas de equilibrio y marcha extra´ıdas de un solo sensor port´atil de bajo costo para obtener la misma estimaci´on del riesgo de ca´ıda que la evaluada por la escala Tinetti. La principal motivaci´on para el uso de la prueba de Tinetti se halla en su propia definici´on, ya que incluye m´ultiples factores (equilibrio de pie, equilibrio durante el movimiento, propiedades del paso, etc.) como ya fue indicado en la secci´on anterior.
CAP´ITULO 2. ESTADO DEL ARTE
Figura 2.3: Ejemplo de se˜nales del aceler´ometro durante la prueba Tinetti [9].
Para ello, setenta y nueve pacientes y once voluntarios fueron reclutados en dos centros de rehabilitaci´on donde experimentaron una prueba completa de Tinetti, cuyas puntuaciones fueron evaluadas por un equipo de m´edicos expertos. Asimismo, durante la prueba se recogieron las se˜nales de un ace- ler´ometro triaxial colocado en el pecho de los sujetos. La figura 2.3 muestra un ejemplo de las se˜nales recogidas, junto con las direcciones del eje de de- tecci´on.
La prueba de Tinetti fue dividida en 8 tareas motoras. Se pidi´o a cada sujeto que: (T1) se sentara firmemente en una silla sin reposabrazos durante al menos 10 s; (T2) se pusiera de pie libremente y mantuviera la posici´on durante al menos 10 s; (T3) cerrara los ojos durante la posici´on ortost´atica durante al menos 5 s; (T4) mantuviera el equilibrio con los ojos cerrados mientras que era empujado por el m´edico; (T5) abriera los ojos y mantuviera la posici´on vertical durante al menos 10 s; (T6) realizara un giro de 360 grados alrededor de s´ı mismo; (T7) se sentara en la silla; y (T8) caminara lo m´as recto posible durante al menos 10 m. Despu´es de la T7, se pidi´o a los pacientes que se prepararan para la fase de caminata movi´endose a un punto de partida cercano ubicado a menos de 2 m de la silla y que esperaran unos segundos para estabilizar el equilibrio y la presi´on arterial. La duraci´on de las tareas variaba dependiendo de la capacidad del sujeto. En la tabla 2.4 se enumeran todas las tareas de la prueba.
Los m´edicos evaluaron a los sujetos acorde a los 17 ´ıtems de la prueba de Tinetti: 9 para el equilibrio y 8 para la marcha. Una puntuaci´on total de Tinetti menor o igual a 18 (de 28) se consider´o como de alto riesgo de ca´ıda.
En la tabla 2.1 y 2.2 se puede consultar de nuevo los ´ıtems y su rango de
Tabla 2.4: Tareas seleccionadas para la prueba TInetti [9].
puntuaci´on.
Para llevar a cabo el estudio, se han realizado los siguientes cuatro expe- rimentos:
1. An´alisis de caracter´ısticas: las caracter´ısticas se compararon para eva- luar las diferencias entre los sujetos de alto riesgo y de bajo riesgo.
2. Selecci´on de caracter´ısticas: se ejecut´o un procedimiento autom´atico de selecci´on de caracter´ısticas para determinar qu´e entidades estaban relacionadas con la puntuaci´on de Tinetti mediante regresi´on lineal.
3. Un modelo lineal (LM; combinaci´on lineal de caracter´ısticas) y una red neuronal artificial (ANN, por sus siglas en ingl´es, Artificial Neuronal Network) se utilizaron para determinar autom´aticamente el riesgo de ca´ıda, es decir, alto o bajo riesgo, aplicando el conjunto de caracter´ısti- cas reducidas.
4. Las puntuaciones de los ´ıtems fueron probadas para determinar qu´e tareas eran m´as sensibles al error de apreciaci´on del riesgo.
Los experimentos 2 y 3 se realizaron dividiendo el conjunto de datos en grupos de entrenamiento y pruebas, respectivamente. Veintis´eis sujetos de cada grupo de riesgo fueron seleccionados aleatoriamente para formar el sistema del entrenamiento, mientras que los treinta y ocho restantes se dedicaron para probar el funcionamiento del LM y del ANN. De esta manera, se destinaba alrededor del 60 % de los datos para el entrenamiento y el 40 %
CAP´ITULO 2. ESTADO DEL ARTE
Figura 2.4: Diagrama del an´alisis estad´ıstico [9].
para las pruebas. Un resumen de los experimentos se muestra en la figura 2.4.
En cuanto a los resultados obtenidos, se consigui´o un error de clasificaci´on del paciente de alto riesgo de 0,21 y 0,11, para LM y ANN, respectivamente.
No obstante, el trabajo podr´ıa fomentar el desarrollo de una nueva generaci´on de aplicaciones destinadas a monitorear la evoluci´on temporal del riesgo de ca´ıdas utilizando dispositivos de bajo costo en el hogar.
2.2.2. Medici´ on de equilibrio mediante Microsoft Ki- nect v2
Como los dispositivos RGBD (Rojo, Verde, Azul, Profundidad) se han empleado progresivamente para la rehabilitaci´on de ancianos en el hogar, tambi´en se podr´ıan usar para evaluar objetivamente la capacidad de equi- librio y determinar la efectividad de una terapia. Ello sirvi´o de motivaci´on para que un equipo de investigadores [1] se propusiera desarrollar un sistema basado en el Microsoft Kinect v2 para medir el FRT.
Realizar la prueba con este sistema sigue la forma est´andar de hacer el FRT. El usuario se sit´ua de lado junto a una pared frente a la c´amara Microsoft Kinect v2 y una pantalla como si fuera a jugar a un videojuego.
Seguidamente, extiende el brazo formando un ´angulo de 90º con el tronco
Figura 2.5: Diagrama del an´alisis estad´ıstico [1].
(posici´on AB en la figura 2.2). Aqu´ı, la posici´on inicial es guardada por el programa. A continuaci´on, se pide al usuario que se estire tan lejos como sea posible sin perder el equilibrio (posici´on AC en la figura 2.2), y la posici´on final es registrada de nuevo cuando se indica. Posteriormente, el software calcula la diferencia y muestra el resultado final de la prueba, tal como refleja la figura 2.5.
Para validar el sistema, se han realizado dos experimentos en los que se ha demostrado que las mediciones obtenidas utilizando el m´etodo est´andar y usando el sistema experimental est´an correlacionadas linealmente. Por lo tanto, se aplic´o un modelo de regresi´on lineal para corregir las mediciones de Microsoft Kinect v2 y se emple´o una prueba t de muestras emparejadas a estos datos corregidos, en los que los resultados indicaron que no hay diferen- cias estad´ısticas entre las mediciones calculadas utilizando ambos m´etodos.
2.2.3. Uso de una IMU para evaluaci´ on del TUG
La prueba TUG ofrece ´unicamente un par´ametro en segundos que repre- senta el equilibrio din´amico. Sin embargo, no se determina en qu´e actividad el sujeto presenta mayores dificultades. Para ello, un estudio [8] propone un m´etodo de segmentaci´on basado en caracter´ısticas que utiliza una ´unica uni- dad de medici´on inercial inal´ambrica (IMU) con el fin de analizar los datos de los sensores inerciales, proporcionando as´ı un informe completo sobre los riesgos de ca´ıdas.
Durante los ensayos, los participantes se colocaron el sensor en la zona lumbar y realizaron la prueba siguiendo las instrucciones est´andar. Al mismo
CAP´ITULO 2. ESTADO DEL ARTE
Figura 2.6: Configuraci´on utilizada para la adquisici´on de datos durante la prueba TUG [8]
tiempo, cada usuario era grabado utilizando una c´amara de v´ıdeo digital de alta resoluci´on, con el objeto de realizar comparaciones posteriores sobre la validez del sistema. La figura 2.6 muestra la configuraci´on utilizada para las mediciones.
Para la segmentaci´on de las actividades de estar de pie, caminar, girar y sentarse, se dise˜n´o un algoritmo que procesaba las se˜nales de inclinaci´on (“pitch”) y rotaci´on (“yaw”) del sensor inercial colocado en la parte posterior.
En cuanto a los acontecimientos de estar de pie y sentado, se utiliz´o la se˜nal “pitch”. Cuando un sujeto est´a de pie o sentado, tiende a hacer una ligera inclinaci´on hacia adelante con respecto a la posici´on de reposo hasta que recupera su inclinaci´on inicial (ver 2.7 ), que incluso se puede observar en sujetos con movilidad reducida.
Para determinar los giros alrededor de la marca de 3 m y antes de sentarse, se utiliza “yaw”, que corresponde a los cambios en la orientaci´on del sensor durante las vueltas. Cuando un sujeto realiza la prueba TUG, se somete a un circuito que le obliga a realizar giros de 180 grados aproximadamente, que pueden ser medidos inequ´ıvocamente por el sensor en la parte posterior, ya que, durante los giros, el sensor tambi´en cambia su orientaci´on junto a ´el (ver figura 2.8 ).
Despu´es de la segmentaci´on, cada acci´on realizada por los sujetos se carac- teriza de forma independiente, y se obtienen las siguientes variables: duraci´on
Figura 2.7: Identificaci´on de eventos de pie / sentado utilizando pitch [8].
Figura 2.8: Identificaci´on de giros mediante yaw [8].
CAP´ITULO 2. ESTADO DEL ARTE
Figura 2.9: Caracter´ısticas medidas tras la segmentaci´on de las actividades realizadas en el test TUG [8].
se (Acc. Sd), velocidad de rotaci´on del giro de 3 m (Vel. T1), velocidad de rotaci´on del giro previo a sentarse (Vel. T2), n´umero de pasos durante la pri- mera caminata (W1), n´umero de pasos durante la segunda caminata (W2), n´umero de pasos durante el giro de 3 m (T1), n´umero de pasos durante el giro previo a la sesi´on (T2), grados de inclinaci´on del tronco levant´andose (pitch Su) y sent´andose (pitch Sd) como se muestra en la figura 2.9.
Tras realizar una validaci´on estad´ıstica con las im´agenes grabadas por la c´amara, se puede concluir que el sistema propuesto basado en IMU, detecta eventos principales de la marcha y factores cinem´aticos espaciotemporales durante la prueba TUG, con excelente correlaci´on con el procedimiento cl´ıni- co visual convencional.
Desarrollo del sistema
En tercer lugar, se llevar´a a cabo una descripci´on del sistema propuesto, incluyendo un esquema general de los diferentes componentes que integran la arquitectura software, as´ı como un an´alisis pormenorizado de aquellas partes que desempe˜nan un papel fundamental.
CAP´ITULO 3. DESARROLLO DEL SISTEMA
3.1. Arquitectura software
La figura 3.1 que aparece a continuaci´on muestra un esquema general de las distintas partes en las que se puede descomponer la arquitectura software del sistema. En los pr´oximos subapartados se analizar´a cada una de ellas.
Figura 3.1: Esquema general de la arquitectura software.
3.1.1. Adquisici´ on de la imagen
La adquisici´on de la imagen se podr´a realizar a trav´es de cualquier simple c´amara RGB. Ciertamente, esas im´agenes deber´an ser transmitidas a un equipo con sistema operativo Windows (preferiblemente versi´on 10) para continuar con el flujo del programa.
El caso m´as sencillo podr´ıa consistir en emplear la webcam instalada en el propio ordenador o una externa. Sin embargo, tambi´en es posible y, quiz´as, m´as conveniente, recurrir a la c´amara de un smartphone. Por un lado, es dif´ıcil imaginar que alguien no disponga hoy en d´ıa de uno de estos dispositivos. Adem´as, la mayor´ıa de estos aparatos cuenta con una calidad de imagen bastante superior a la requerida para esta aplicaci´on. Por otro lado, manejar el m´ovil para buscar un buen enfoque resulta m´as oportuno que desplazar todo el equipo.
Si se opta por esta ´ultima opci´on, existen diversos modos de vincular el tel´efono para que act´ue como una c´amara remota del ordenador. Por ejem- plo, se sugiere la aplicaci´on iVCam, disponible gratuitamente tanto en las tiendas Android como en iOS. La instalaci´on consiste ´unicamente en des- cargar la aplicaci´on en el m´ovil, as´ı como una aplicaci´on de escritorio. Para poder trabajar de forma inal´ambrica, ambos dispositivos, m´ovil y ordenador,
3.1.2. Algoritmo de segmentaci´ on
La segmentaci´on del cuerpo es un elemento clave del proyecto. Una vez capturada la imagen del paciente a trav´es de la c´amara, es necesario identi- ficar con precisi´on las articulaciones y procesar esos datos para generar las gr´aficas de evaluaci´on.
Google propone soluciones de ML (Machine Learning) multiplataforma y personalizables de c´odigo abierto a trav´es de MediaPipe [7] para realizar esta y otras tareas. La principal ventaja de este soporte es que es capaz de convertir una entrada 2D en una salida 3D gracias a sus modelos de inteligencia artificial convenientemente entrenados y listos para usar.
No obstante, la implementaci´on de una soluci´on basada en MediaPipe simplifica en gran medida la toma de datos, ya que por medio de una simple c´amara que captura im´agenes en dos dimensiones, es posible obtener datos en tres dimensiones.
De todas las soluciones que ofrece MediaPipe, resulta especialmente in- teresante((Pose)). En el siguiente apartado se abordar´an en detalle sus carac- ter´ısticas y su encaje en el proyecto.
3.1.3. C´ alculos geom´ etricos
Una vez obtenida la segmentaci´on del cuerpo humano y, por consiguiente, las coordenadas tridimensionales de las articulaciones, se proceder´a al c´alculo geom´etrico de diferentes par´ametros.
Previamente, es necesario definir qu´e par´ametros son susceptibles de ser considerados para evaluar el riesgo de ca´ıda y c´omo se va a proceder a su detecci´on y cuantificaci´on. En el tercer apartado de este cap´ıtulo, ((Pruebas evaluadas)), est´a disponible esa informaci´on de forma ´ıntegra y detallada.
CAP´ITULO 3. DESARROLLO DEL SISTEMA
3.1.4. Servicios integrados en la nube
A fin de cargar datos en la nube y que estos sean accesibles a trav´es de las diferentes p´aginas web que se van a desarrollar, se ha recurrido a Google Cloud, y m´as concretamente a Cloud Endpoints [5]. A continuaci´on, se exponen las caracter´ısticas que hacen de este producto la mejor soluci´on para el desarrollo del ((backend)):
Favorece una sencilla autenticaci´on de usuarios a trav´es de la propia cuenta de Google.
Genera claves de API en la consola de Google Cloud y valida todas las llamadas realizadas.
Con App Engine, el proxy se implementa de forma autom´atica junto con la aplicaci´on.
Facilita la supervisi´on del tr´afico, tasa de errores y la latencia, adem´as de la revisi´on de los registros por medio de Cloud Logging. Tambi´en es posible conocer en detalle el rendimiento y BigQuery usando Cloud Trace.
En el Anejo A se puede consultar en detalle el modelo de datos y las clases y m´etodos implementados para manejar el ((endpoint)). Documentaci´on que ha sido elaborada y desarrollada por la Dra. Nieves Pav´on Pulido.
3.1.5. Soluciones Web
El sistema propuesto se ha desarrollado en forma de aplicaciones web, donde todas las funcionalidades necesarias se han integrado a trav´es del len- guaje JavaScript y una interfaz gr´afica en HTML permite al usuario interac- cionar y realizar las operaciones.
En concreto, es factible clasificar las aplicaciones web en dos grupos de- pendiendo del usuario final a las que est´an dirigidas. Por un lado, existen webs de toma de datos de las diferentes pruebas, a las que se acceder´a del lado del paciente. Por otro lado, se ha confeccionado una p´agina exclusiva
P´agina web de toma de datos
El dise˜no de la p´agina comienza con un panel de control (figura 3.2) desde donde el usuario puede seleccionar la fuente de v´ıdeo, es decir, si desea subir una grabaci´on realizada previamente o si, por el contrario, desea registrarla en vivo a trav´es de su webcam u otro dispositivo. Adem´as, es posible acceder a configuraciones propias del algoritmo de segmentaci´on, tales como el nivel de confianza en la detecci´on o la complejidad del modelo, aunque se recomienda mantenerlas por defecto.
Una vez seleccionada la fuente, se muestra una salida de v´ıdeo (figura 3.3) que incluye la propia grabaci´on que se ha subido a la que se superpone la esqueletizaci´on llevada a cabo por el software de segmentaci´on. Junto a la imagen, un gr´afico tridimensional en movimiento representa los puntos que se est´an infiriendo a partir de esa imagen bidimensional.
Por ´ultimo, un gr´afico (figura 3.4) representa la evoluci´on temporal del par´ametro medido, donde la tasa de muestreo se ha establecido en un segundo y todos los puntos incorporan una etiqueta que aparece al situarse el cursor sobre ellos. Asimismo, a pie de gr´afica se puede consultar la puntuaci´on instant´anea obtenida y la media de toda la prueba.
P´agina web de consulta
El especialista, previa autenticaci´on, acceder´a a una web donde la pesta˜na ((home)) est´a habilitada por defecto (figura 3.5). En esta secci´on encontrar´a una secuencia de im´agenes representativas del sistema, una breve descripci´on acerca del proyecto, enlaces de inter´es y su informaci´on de usuario.
En el apartado de pacientes, una tabla din´amica muestra los datos de los pacientes registrados para este especialista (figura 3.6). La pesta˜na((Gr´aficos)) incluye las gr´aficas de diagn´ostico con las pruebas realizadas a las que se accede a trav´es de una serie de botones (figura 3.7).
CAP´ITULO 3. DESARROLLO DEL SISTEMA
Figura 3.2: Vista web toma de datos (1). Cabecera y panel de control.
Figura 3.3: Vista web toma de datos (2). Salida de v´ıdeo.
Figura 3.4: Vista web toma de datos (3). Gr´afica de diagn´ostico.
Figura 3.5: Vista web de consultas (1). Pesta˜na home.
CAP´ITULO 3. DESARROLLO DEL SISTEMA
Figura 3.6: Vista web de consultas (2). Pesta˜na pacientes.
Figura 3.7: Vista web de consultas (3). Pesta˜na gr´aficas.
3.2. MediaPipe Pose
MediaPipe Pose es una soluci´on de ML para el seguimiento de posturas corporales de alta fidelidad, infiriendo 33 puntos de referencia 3D en todo el cuerpo a partir de fotogramas de v´ıdeo RGB. El algoritmo est´a basado en ((BlazePose)), el mismo que impulsa la API de detecci´on de pose de ((ML Kit)).
3.2.1. Topolog´ıa
El est´andar actual para la pose del cuerpo humano es la topolog´ıa CO- CO[3], que consta de 17 puntos de referencia a trav´es del torso, los brazos, las piernas y la cara. Sin embargo, los puntos clave solo se localizan en las articulaciones de tobillo y mu˜neca, careciendo de informaci´on sobre la escala y orientaci´on de las manos y los pies, que es vital para algunas aplicacio- nes pr´acticas como la monitorizaci´on de actividades deportivas. La inclusi´on de m´as puntos relevantes es crucial para la posterior aplicaci´on de modelos espec´ıficos de dominio para la estimaci´on de posturas m´as complejas.
Con((BlazePose)), se presenta una nueva topolog´ıa de 33 puntos clave del cuerpo humano (v´ease la figura 3.8), que no deja de ser un superconjunto de las topolog´ıas COCO, ((BlazeFace)) y ((BlazePalm)).
3.2.2. Modelos
Para la estimaci´on de la pose, los desarrolladores han implementado una canalizaci´on de ML denominada ((detector-tracker)) de dos etapas. Mediante el uso de un detector, esta canalizaci´on localiza primero la regi´on de inter´es (ROI) de la pose dentro de la imagen. Posteriormente, el((tracker)) predice los 33 puntos clave contenidos en esta ROI. En el caso de un v´ıdeo, el detector se ejecuta solo en el primer fotograma. Para los fotogramas siguientes, se deriva la ROI que contiene los puntos clave obtenidos anteriormente, como se describe en la figura 3.9.
Para el buen rendimiento en tiempo real de la canalizaci´on de ML com- pleta que consta de modelos de detecci´on y seguimiento de la pose, cada
CAP´ITULO 3. DESARROLLO DEL SISTEMA
Figura 3.8: Puntos de referencia con BlazePose.
Figura 3.9: Descripci´on de la canalizaci´on de estimaci´on de la pose[2].
componente debe ser muy r´apido, empleando solo un n´umero reducido de milisegundos por fotograma. Para lograr esto, se observa que la se˜nal m´as fuerte a la red neuronal sobre la posici´on del torso es la cara de la persona (de- bido a sus caracter´ısticas de alto contraste y variaciones comparativamente peque˜nas en apariencia).
En consecuencia, se recurre a ((BlazeFace)) (modelo detector de caras) para que act´ue como proxy para la detecci´on de la pose. Adicionalmente, se calculan dos puntos clave virtuales que describen firmemente el centro, la rotaci´on y la escala del cuerpo humano como un c´ırculo. Inspirados en el hombre de Vitruvio de Leonardo, se predice el punto medio de las caderas de una persona, el radio de un c´ırculo que circunscribe a todo el cuerpo y el
´
angulo de inclinaci´on de la l´ınea que conecta los puntos medios del hombro y la cadera. Esto resulta en un seguimiento consistente incluso para casos muy complicados. La figura 3.10 muestra este enfoque.
Figura 3.10: Hombre de Vitruvio alineado a trav´es de dos puntos clave vir- tuales predichos por BlazePose [2].
3.2.3. Salida
A pesar de que el estilo de nomenclatura puede diferir ligeramente seg´un la plataforma o el lenguaje adoptado, la clase((POSE LANDMARKS)) contiene una lista con los 33 puntos de referencia de la pose. Cada punto consta de lo siguiente:
x: Coordenada del punto normalizada en un rango de 0 a 1 referida al ancho de la imagen.
CAP´ITULO 3. DESARROLLO DEL SISTEMA
y: Coordenada del punto normalizada en un rango de 0 a 1 referida al alto de la imagen.
z: Representa la profundidad del punto, tomando como origen la pro- fundidad del punto medio que une las caderas. Cuanto menor sea el valor, m´as pr´oximo a la c´amara estar´a el punto. La magnitud de la escala es aproximadamente la misma que en ((x)) e ((y)).
Visibilidad: Valor que indica la probabilidad de que el punto sea visible (no ocluido) en la imagen. El rango vuelve a ser de 0 a 1.
Sin embargo, si se desea representar los puntos sobre un gr´afico tridi- mensional o realizar c´alculos geom´etricos, es m´as oportuno recurrir a la clase ((POSE WORLD LANDMARKS)). En este caso, contiene los mismos atribu- tos que en el caso anterior, pero las coordenadas est´an expresadas en metros del mundo real con origen en el centro entre las caderas.
3.3. Pruebas evaluadas
Para evaluar el riesgo de ca´ıda, se han seleccionado cuatro pruebas inspira- das en otros diagn´osticos cl´ınicamente testados y reconocidos por su eficacia, en concreto, los de la escala Tinetti.
En los siguientes subapartados, se describir´a individualmente cada prue- ba, estableciendo cu´al es su relaci´on con los ´ıtems de Tinetti y desarrollando la metodolog´ıa concreta que posibilita la evaluaci´on por parte de un especia- lista de dicha prueba.
3.3.1. Separaci´ on de los brazos
El empleo o no de los brazos, tanto durante la marcha como de forma est´atica, es un buen indicativo para evaluar la capacidad de equilibrio de una persona y as´ı es recogido por la escala Tinetti:
Levantarse (´ıtem 2): Se eval´ua la capacidad de realizar esta tarea sin
Sentarse (´ıtem 9): Mide la seguridad del paciente al acometer la acci´on y si utiliza los brazos.
Tronco (´ıtem 15): Tiene en cuenta la separaci´on de los brazos al cami- nar.
Para llevar a cabo este reconocimiento, se va a monitorizar mediante un gr´afico el ´angulo que forma cada brazo con el tronco. En la figura 3.11 se puede observar cu´ales son los puntos involucrados, siendo las coordenadas de las articulaciones:
A = Hombro D (x12, y12, z12) (3.1) B = Codo D (x14, y14, z14) (3.2) C = Cadera D (x24, y24, z24) (3.3) D = Hombro I (x11, y11, z11) (3.4) E = Codo I (x13, y13, z13) (3.5) F = Cadera I (x23, y23, z23) (3.6) El ´angulo formado se puede calcular aplicando las siguientes expresiones:
α = arc cos |−→
AB ·−→
AC|
|−→
AB||−→
AC|
!
(3.7)
β = arc cos |−→
DE ·−→
DF|
|−→
DE||−→
DF|
!
(3.8)
3.3.2. Separaci´ on de las piernas
La separaci´on de las piernas y, consecuentemente, de los pies, es recogida por la escala Tinetti en sus ´ıtems tanto de evaluaci´on del equilibrio como de la marcha:
Equilibrio en bipedestaci´on (´ıtem 5): Se eval´ua la estabilidad en base a la separaci´on de los talones.
CAP´ITULO 3. DESARROLLO DEL SISTEMA
Figura 3.11: Puntos involucrados en el c´alculo del ´angulo entre los brazos y el tronco.
Postura al caminar (´ıtem 8): Mide la separaci´on de los talones al cami- nar.
Para realizar la evaluaci´on de estas tareas, se monitoriza mediante un gr´afico el ´angulo que forman las piernas, de manera que si el paciente separa los pies, ello repercutir´a en un ´angulo mayor entre las piernas y quedar´a perfectamente identificado.
Cabe se˜nalar que MediaPipe Pose no ofrece la posici´on del punto central de las caderas, por lo que se generar´a manualmente como el punto medio de los extremos. En la figura 3.12 se puede observar cu´ales son los puntos necesarios para el c´omputo del ´angulo, siendo las coordenadas de las articu- laciones:
A = Cadera D (x24, y24, z24) (3.9) B = Cadera I (x23, y23, z23) (3.10) C = A + B
2 = Cadera D (x24, y24, z24) + Cadera I (x23, y23, z23)
2 (3.11)
D = Pie D (x28, y28, z28) (3.12) F = Pie I (x27, y27, z27) (3.13)
Figura 3.12: Puntos involucrados en el c´alculo del ´angulo entre los brazos y el tronco.
El ´angulo formado se puede calcular aplicando las siguiente f´ormula:
α = arc cos |−→
CD ·−→
CF|
|−→
CD||−→
CF|
!
(3.14)
3.3.3. Inclinaci´ on del tronco
Mantener una postura erguida es s´ıntoma de un buen estado de equilibrio.
Por este motivo, resulta conveniente estudiar la inclinaci´on del tronco y as´ı queda recogido en la escala de Tinetti a trav´es del siguiente ´ıtem:
Equilibrio sentado (´ıtem 1): Se inclina en la silla o se mantiene con seguridad.
Para la valoraci´on de esta tarea se seguir´a temporalmente mediante un gr´afico el ´angulo formado entre el tronco y las piernas. En consecuencia, un ´angulo de 90º implica una posici´on erguida del paciente, mientras que la presencia de oscilaciones en torno a ese valor ser´an indicativo de inclinaciones e inestabilidad.
CAP´ITULO 3. DESARROLLO DEL SISTEMA
Como se puede observar en la figura 3.13, se calcular´an dos ´angulos, uno por cada costado, siendo las coordenadas de las articulaciones necesarias:
A = Hombro D (x12, y12, z12) (3.15) B = Cadera D (x24, y24, z24) (3.16) C = Rodilla D (x26, y26, z26) (3.17) D = Hombro I (x11, y11, z11) (3.18) E = Cadera I (x23, y23, z23) (3.19) F = Rodilla I (x25, y25, z25) (3.20)
El ´angulo formado se puede calcular aplicando las siguientes expresiones:
α = arc cos |−→
AB ·−→
AC|
|−→
AB||−→
AC|
!
(3.21)
β = arc cos |−→
DE ·−→
DF|
|−→
DE||−→
DF|
!
(3.22)
3.3.4. Balanceo del tronco
Probablemente, el balanceo del tronco sea uno de los signos tradicional- mente m´as reconocibles de la p´erdida de equilibrio y as´ı queda de manifiesto en varios de los ´ıtems de la escala Tinetti, tanto en equilibrio como en marcha:
Equilibrio en bipedestaci´on inmediata (´ıtem 4): Inestabilidad debida a un marcado balanceo de tronco.
Equilibrio en bipedestaci´on (´ıtem 5): Inestabilidad nuevamente.
Tronco (´ıtem 15): El principal elemento de evaluaci´on es el balanceo.
Despu´es de realizar diferentes ensayos, se ha comprobado que un proce- dimiento eficaz para estudiar el balanceo consiste en medir la diferencia de
Figura 3.13: Puntos involucrados en el c´alculo del ´angulo entre los brazos y el tronco.
altura entre los hombros. No obstante, en esta prueba se graficar´a simple- mente esa diferencia de cotas, cuya evoluci´on temporal ser´a examinada por el especialista. En la figura 3.14 se puede observar cu´ales son los puntos necesa- rios para el c´omputo del ´angulo, siendo las coordenadas de las articulaciones:
A = Hombro D (x12, y12, z12) (3.23) B = Hombro I (x11, y11, z11) (3.24)
El desnivel se calcula como la diferencia de cotas ((y)) de la siguiente manera:
Desnivel = A [y12] − B [y11] (3.25)
CAP´ITULO 3. DESARROLLO DEL SISTEMA
Figura 3.14: Puntos involucrados en el c´alculo del ´angulo entre los brazos y el tronco.
3.4. Evaluaci´ on autom´ atica
A fin de automatizar la evaluaci´on, se ha incluido una serie de puntua- ciones, con sus respectivas valoraciones, sobre las pruebas seleccionadas. La escala de puntuaci´on empleada est´a inspirada en Tinetti, al igual que las pruebas, de esta forma se consigue una mayor facilidad a la hora de inter- pretar los resultados e integrarlos en un diagn´ostico com´un. En la tabla 3.1 se pueden consultar las puntuaciones de cada prueba con su correspondiente valoraci´on.
Por otra parte, en la tabla 3.2 se muestran los criterios de evaluaci´on en los que se ha basado este peritaje. Precisamente, son los par´ametros que se grafican aquellos que establecen la puntuaci´on. Al mismo tiempo que se representa la evoluci´on de los par´ametros, se analiza en cada instante si el valor que est´an tomando pertenece a un rango u otro y, por tanto, se le asigna una calificaci´on. Finalmente, la media de esos valores a lo largo de toda la actividad proyecta la nota final.
Tabla 3.1: Puntuaciones y valoraciones de las pruebas.
Tabla 3.2: Relaci´on entre los par´ametros y las puntuaciones.
Cap´ıtulo 4
Resultados y discusi´ on
En cuarto lugar, se abordar´an los procedimientos realizados para validar el sistema prototipo. Asimismo, se analizar´an las ventajas y desventajas de la soluci´on propuesta, con el objetivo de enumerar las mejoras que podr´ıan llevarse a cabo.
4.1. Resultados de las pruebas
El sistema se apoya sobre dos pilares fundamentales: la correcta segmen- taci´on del cuerpo a partir de la imagen y una adecuada captaci´on de los par´ametros de inter´es para su posterior representaci´on y evaluaci´on.
Respecto a la segmentaci´on, los desarrolladores del algoritmo MediaPipe Pose ofrecen su propio estudio estad´ıstico de validaci´on, el cual arroja una precisi´on excelente probada en diferentes situaciones. Adem´as de disponer de esta informaci´on, se han realizado diferentes ensayos propios usando c´ama- ras y escenarios distintos, obteniendo siempre magn´ıficos resultados como se puede apreciar en la figura 4.1.
Una vez asumida la correcta obtenci´on de los puntos del cuerpo, es nece- sario comprobar que los par´ametros calculados a partir de estos se ajustan fielmente a la realidad. Para ello, se ha analizado individualmente cada prue- ba y se ha comprobado si existe una equivalencia exacta entre el par´ametro medido y la situaci´on capturada.
4.1.1. Separaci´ on de los brazos
La figura 4.2 representa el ´angulo calculado para cada brazo a lo largo del tiempo, donde queda ejemplificado a trav´es de tres instantes diferentes la correspondencia del resultado con la imagen tridimensional. En primer lugar, se se˜nala una situaci´on ideal sin separaci´on de brazos que arroja un
Figura 4.1: Ejemplos de segmentaci´on del cuerpo mediante MediaPipe Pose.
CAP´ITULO 4. RESULTADOS Y DISCUSI ´ON
valor residual de casi 20º. Seguidamente, se levantan los brazos hasta situarlos perpendicularmente con el tronco. Finalmente, el tercer instante ejemplifica c´omo un brazo sigue perpendicular, mientras que el otro desciende hasta los 50º.
4.1.2. Separaci´ on de las piernas
La figura 4.3 representa el ´angulo de separaci´on de las piernas a lo largo del tiempo, donde queda ejemplificado a trav´es de tres instantes diferen- tes la correspondencia del resultado con la imagen tridimensional. El primer instante capturado es realizado con los pies juntos y arroja un valor de apro- ximadamente 10º (hay que tener en cuenta que se toma como v´ertice el punto medio de las caderas). En el segundo caso, existe una gran separaci´on de las piernas con aproximadamente 45º de abertura. Por ´ultimo, se muestra una situaci´on intermedia con un ´angulo que se aproxima a 20º.
4.1.3. Inclinaci´ on del tronco
La figura 4.4 representa el ´angulo calculado para cada lado del tronco a lo largo del tiempo, donde queda ejemplificado a trav´es de tres instantes diferentes la correspondencia del resultado con la imagen tridimensional. La primera situaci´on muestra al sujeto inclinado hacia delante, formando un
´
angulo de 30º. El siguiente caso, es una posici´on erguida de 90º. En el ´ultimo caso, se trata de una posici´on intermedia de 60º aproximadamente.
4.1.4. Balanceo del tronco
La figura 4.5 representa el desnivel de los hombros a lo largo del tiempo, donde queda ejemplificado a trav´es de tres instantes diferentes la correspon- dencia del resultado con la imagen tridimensional. El primer caso representa la situaci´on neutra, sin balanceo, con un desnivel de 0 m. Tanto en el segundo como tercer caso, se ve claramente c´omo el balanceo hacia un lado u otro se identifica con un desnivel de 0.2 m. En funci´on de la intensidad del balanceo, ese valor ser´a mayor o menor.
Figura 4.2: Prueba separaci´on brazos.
Figura 4.3: Prueba separaci´on piernas.
CAP´ITULO 4. RESULTADOS Y DISCUSI ´ON
Figura 4.4: Prueba inclinaci´on tronco.
Figura 4.5: Prueba balanceo tronco.
4.2. Discusi´ on del sistema
Despu´es de validar apropiadamente el sistema propuesto, se puede con- cluir que el resultado obtenido es muy favorable, en tanto que ha sido demos- trada la posibilidad de realizar un diagn´ostico autom´atico, apoyado en datos medidos de forma emp´ırica, el cual solo requiere de la captura de imagen del paciente por medio de cualquier c´amara. Por otra parte, se ha conseguido la integraci´on de diversas tecnolog´ıas para servir a un fin com´un.
Los principales beneficios del sistema planteado se enumeran a continua- ci´on:
Hasta ahora, la evaluaci´on del riesgo de ca´ıda solo estaba basada en la percepci´on visual del examinador. A trav´es de este sistema, es posible obtener datos y monitorizar la actividad del paciente. De esta forma, se logra un diagn´ostico m´as preciso e incluso ser´ıa factible medir su progreso en el transcurso del tiempo.
Disponer de datos num´ericos sobre las pruebas realizadas por los pa- cientes posibilita automatizar el diagn´ostico tal y como se ha propuesto.
As´ı, ser´ıa viable emitir diagn´osticos r´apida y eficazmente.
Se trata de una soluci´on muy sencilla desde el punto de vista de los recursos, ya que se puede emplear cualquier dispositivo con c´amara para capturar la imagen del usuario. Por supuesto, esto no ser´ıa asequible sin la inteligencia artificial, la cual es responsable de obtener informaci´on tridimensional a partir de fotogramas RGB.
El hecho de que el sistema se ejecute en la nube supone en s´ı una gran ventaja, no solo por la comodidad de utilizar una aplicaci´on web, sino por contribuir a avanzar en la telemedicina y el procesamiento de datos a gran escala.
Por otra parte, cabe recordar que el sistema es todav´ıa un prototipo que necesita ser validado con pacientes reales bajo el control de profesionales que permitan evaluar su eficacia para predecir el riesgo de ca´ıda.
Aunque se ha considerado un gran n´umero de ´ıtems de la escala de Ti- netti, otros no han sido abordados por este sistema. No obstante, es impres- cindible determinar a trav´es de un estudio estad´ıstico si las cuatro pruebas
CAP´ITULO 4. RESULTADOS Y DISCUSI ´ON
seleccionadas son suficientes o si, por el contrario, deben complementarlas con otras.
En resumen, a pesar de las limitaciones que todav´ıa existen por tratarse de un prototipo a la espera de una validaci´on m´edica, los resultados ob- tenidos son prometedores y los beneficios del sistema suponen un cambio trascendental en el diagn´ostico.
Conclusi´ on
CAP´ITULO 5. CONCLUSI ´ON
En este trabajo, el principal objetivo consist´ıa en aportar una herramien- ta ´util para asistir al especialista en la evaluaci´on del riesgo de ca´ıda en mayores. Para ello, se han planteado cuatro pruebas diferentes, basadas en la reconocida escala de Tinetti, las cuales permiten obtener datos precisos del estado de una serie de par´ametros del paciente. A trav´es de la representaci´on gr´afica de dichos par´ametros, el m´edico es capaz de emitir eficazmente su diagn´ostico.
Pero el sistema propuesto no solo se ha limitado a aportar un an´alisis gr´afico, sino que es capaz de emitir valoraciones objetivas en base a los da- tos registrados, favoreciendo as´ı la automatizaci´on del diagn´ostico. En un contexto social de envejecimiento progresivo de la poblaci´on y limitaci´on de recursos, se trata de una soluci´on ´optima para garantizar el diagn´ostico pre- coz y reducir los riesgos que puede ocasionar una ca´ıda.
Cabe destacar que este sistema solo requiere de una c´amara para capturar la imagen del paciente e incluso se ha indicado c´omo hacerlo a trav´es de un smartphone, lo cual pone de manifiesto la escasa movilizaci´on de medios ne- cesaria para llevar a cabo el diagn´ostico. Indudablemente, se necesita tambi´en un ordenador para acceder a la web correspondiente y subir la informaci´on, en el caso del paciente, o acceder a ella, si se trata del especialista.
Este trabajo nos permite llegar a la conclusi´on sobre la obtenci´on de una soluci´on pr´actica, lista para ser puesta a disposici´on de los expertos en este ´ambito, as´ı como aquellas personas con riesgo de ca´ıda, en un ambiente real. A la hora de elaborar el diagn´ostico, el actual m´etodo supone una gran innovaci´on, economizando recursos m´edicos, capital y tiempo. Paralelamente, se solventa el problema de la carencia de datos emp´ıricos sobre el paciente durante la realizaci´on de las pruebas.
Por otro lado, el progreso de las redes IoT (Internet of Things) y el 5G demanda una adaptaci´on a nuevos contextos en los que los componentes se interrelacionan e intercambian informaci´on, la cual se puede examinar para un objetivo concreto. Trasladado a este trabajo, la aplicaci´on se ha integrado en la nube para que los datos pueden ser accesibles a trav´es de ella, contribuyendo as´ı a avanzar en la telemedicina. Por ´ultimo, una vez que se aplique el prototipo en un contexto real, se espera un estudio detallado en el que se puedan determinar verdaderamente los beneficios para la salud y su aportaci´on a los diagn´osticos convecionales.
Aplicaci´ on en Google Cloud
A.1. Modelo de datos
El modelo de datos que implementa el sistema se muestra en la figura A.1.
Las entidades del modelo Entidad-Relaci´on utilizado se implementan co- mo entidades del Datastore. Las clases definen los “Kind” y los objetos ins- tanciados son las diversas entidades almacenadas.
Figura A.1: Modelo de datos.
ANEJO A. APLICACI ´ON EN GOOGLE CLOUD
A.2. Endpoint
La clase que define el endpoint es “Endpointtesttinetti”. Implementa tan- to m´etodos p´ublicos como privados.
La anotaci´on es la siguiente:
Los m´etodos p´ublicos accesibles desde el API REST se describen breve- mente, a continuaci´on.
Permite la inserci´on de un usuario de la clase UserData en el Datasto- re. Para ello, se toma el objeto req, utilizado como par´ametro del m´etodo fill data de la clase UserData. As´ı, los atributos del objeto user de dicha cla- se son actualizados con los datos provenientes de la llamada realizada desde el cliente.
Permite la inserci´on de un terapeuta de la clase TherapistData en el Da- tastore. Para ello, se toma el objeto req, utilizado como par´ametro del m´etodo fill data de la clase TherapistData. As´ı, los atributos del objeto therapist de dicha clase son actualizados con los datos provenientes de la llamada reali- zada desde el cliente.
Permite la inserci´on de un test de Tinetti definido mediante la clase TTi- netti. Para ello, se toma el objeto req, utilizado como par´ametro del m´etodo
son actualizados con los datos provenientes de la llamada realizada desde el cliente.
Permite la inserci´on de una muestra de la clase Sample. Para ello, se toma el objeto req, utilizado como par´ametro del m´etodo fill data de la clase Sample. As´ı, los atributos del objeto de dicha clase son actualizados con los datos provenientes de la llamada realizada desde el cliente.
Permite la carga de un conjunto de puntos que definen una posici´on del esqueleto en un instante determinado en el Datastore, mediante el uso de la clase SkeletonPointsEntity. Para ello, se toma el objeto req, que almacena la informaci´on sobre el conjunto de puntos que definen el esqueleto a almacenar, entre otros datos. El identificador se crea a partir de la muestra, el test de Tinetti y el usuario correspondiente, adem´as de la marca de tiempo en la que se grab´o la posici´on definida por el esqueleto. El conjunto de puntos s´olo se almacena si la muestra, el test de Tinetti y el usuario asociados existen en el Datastore y dicho conjunto no se ha almacenado ya previamente.
Permite crear una relaci´on entre dos entidades espec´ıficas que represen- tan al usuario (a trav´es de su identificador id u), y al terapeuta (a trav´es de su identificador id t). Para que se pueda establecer la relaci´on, ambas entidades deben existir en el Datastore. Primero se cargan y, posteriormen- te, se actualiza el atributo de la clase User relation y el atributo de la clase Therapist relation. El m´etodo a˜nade el identificador del usuario a la lista de identificadores de usuario que el terapeuta trata. A su vez, el usuario es modificado para que su lista de terapeutas se actualice con el identificador del terapeuta. Para ello se usan los m´etodos add user y add therapist de las clases User relation y Therapist relation, respectivamente. Posteriormen- te, se actualiza la informaci´on del Datastore con las entidades modificadas adecuadamente.
ANEJO A. APLICACI ´ON EN GOOGLE CLOUD
Permite obtener la informaci´on completa de un terapeuta almacenado en el Datastore, a trav´es de su identificador legible. Si el terapeuta no existe, el m´etodo informa adecuadamente mediante el objeto retornado.
Permite obtener la informaci´on completa de un usuario almacenado en el Datastore, a trav´es de su identificador legible. Si el usuario no existe, el m´etodo informa adecuadamente mediante el objeto retornado.
Permite obtener la informaci´on completa de un test de Tinetti almacenado en el Datastore, a trav´es de su identificador legible. Si el test no existe, el m´etodo informa adecuadamente mediante el objeto retornado.
Permite obtener la informaci´on completa de una muestra que forma parte de un test de Tinetti almacenada en el Datastore, a trav´es de su identificador legible. Si la muestra no existe, el m´etodo informa adecuadamente mediante el objeto retornado.
Permite eliminar una relaci´on entre dos entidades espec´ıficas que repre- sentan al usuario (a trav´es de su identificador id u), y al terapeuta (a trav´es de su identificador id t). Para que se pueda deshacer esta relaci´on, ambas entidades deben existir en el Datastore. Primero se cargan y, posteriormen- te, se realiza un borrado del elemento sobre las listas correspondientes que
exista, la lista de usuarios en el terapeuta debe contener el identificador de usuario y la lista de terapeutas en el usuario debe contener el identificador del terapeuta. Para realizar la eliminaci´on de los identificadores correspon- dientes de las listas se usan los m´etodos delete user y delete therapist de las clases User relation y Therapist relation, respectivamente. Posteriormen- te, se actualiza la informaci´on del Datastore con las entidades modificadas adecuadamente.
Permite obtener la informaci´on completa de una lista de entidades que almacenan el esqueleto seg´un se indique, en el par´ametro req, el tipo de con- sulta a realizar. Una posible consulta es aquella donde se pasa el identificador de una muestra y se retornan todas las posturas asociadas a dicha muestra, resultado de un determinado ejercicio del test de Tinetti correspondiente.
Las posturas est´an implementadas como puntos del esqueleto con la marca de tiempo en la que se tom´o.
Permite crear una relaci´on entre una muestra determinada y el test de Tinetti donde se integra dicha muestra. Para ello, es necesario conocer los identificadores id s, para la muestra, e id tt, para el test de Tinetti corres- pondiente. Ambas entidades tienen que existir en el Datastore para que se pueda realizar la asociaci´on. Adem´as, si la relaci´on ya existe, no se modifica y se informa de ello a trav´es del objeto retornado. La relaci´on es de uno a muchos, ya que, un mismo test de Tinetti puede integrar varias muestras.
Permite crear una relaci´on entre un test de Tinetti y el usuario que debe realizarlo. Para ello, es necesario conocer los identificadores id tt, del test de Tinetti, e id u, del usuario correspondiente. Ambas entidades tienen que existir en el Datastore para que se pueda realizar la asociaci´on. Adem´as, si la relaci´on ya existe, no se modifica y se informa de ello a trav´es del objeto
ANEJO A. APLICACI ´ON EN GOOGLE CLOUD
retornado. La relaci´on es de uno a muchos, ya que un mismo usuario puede realizar diversos tests de Tinetti.
Permite crear una relaci´on entre un test de Tinetti y el terapeuta que lo eval´ua. Para ello, es necesario conocer los identificadores id tt, del test de Tinetti, e id t, del terapeuta correspondiente. Ambas entidades tienen que existir en el Datastore para que se pueda realizar la asociaci´on. Adem´as, si la relaci´on ya existe, no se modifica y se informa de ello a trav´es del objeto retornado. La relaci´on es de uno a muchos, ya que un mismo terapeuta puede evaluar diversos tests de Tinetti.
A.3. API REST para utilizar los servicios des- de HTTPS
Se ha implementado una aplicaci´on web que permite probar los servicios dise˜nados y desplegados en Google Cloud.
El patr´on de dise˜no para llamar a cualquiera de los servicios es similar al que se muestra a continuaci´on:
Se define el objeto que contiene las propiedades a enviar a trav´es del par´ametro “request” correspondiente. Por ejemplo, para crear un paciente, es necesario especificar el conjunto de atributos definidos por la clase Java correspondiente del backend. Cada atributo de dicha clase es especificado con el mismo nombre en la estructura JSON utilizada que se env´ıa en el “body”
de la petici´on HTTPS.
La variable de JavaScript settings especifica el objeto JSON que admite una petici´on AJAX de JQuery.
La petici´on AJAX se realiza en JQuery implementando el manejador del evento “done” mediante una funci´on de JavaScript que recibe, de forma as´ıncrona, la respuesta del servicio. Si existe el campo res y es 0, entonces el usuario se ha insertado correctamente. En caso contrario, se comprueba el campo desc.
Dado que se ha utilizado EndPoints Frameworks de Google Cloud, au- tom´aticamente se genera un portal al que se puede acceder (mediante un proceso de autentificaci´on), en el que se ofrece un resumen de todas las opera- ciones disponibles, as´ı como todos los objetos que intervienen para almacenar los datos.
La figura A.2 muestra los servicios disponibles.
ANEJO A. APLICACI ´ON EN GOOGLE CLOUD
Figura A.2: Resumen de los servicios disponibles en el Endpoint desplegado en Google Cloud. (a) Servicios disponibles. (b) Objetos que implementan los datos que se almacenan y procesan mediante los servicios del Endpoint.
