Origen de los datos para la evaluación

En función del origen de los datos podemos diferenciar entre modelos validados con pacientes simulados o con datos reales, registrados por algún sistema de MCG.

Simulación: validación in-silico

La validación in-silico permite construir conjuntos de entrenamiento y validación tan amplios como se desee y generar multitud de escenarios. Permite también probar los modelos en situaciones extremas que no sería posible reproducir con pacientes por el riesgo asociado. Sin embargo, aunque estas experiencias pueden ser útiles para comparar metodologías de diseño [Daskalaki et al., 2012] o para validar algoritmos en una fase preliminar [Robertson et al., 2011], sus resultados no pueden ser comparables a los obtenidos con datos de pacientes. Para la generación de los perfiles simulados de pacientes, suelen utilizarse modelos matemáticos y aunque se busque simular una gran variabilidad en los escenarios, los modelos han de responder en definitiva a unas

ecuaciones y no a la incertidumbre del caso real, por lo que los resultados son mucho mejores que los que se obtienen en el caso real.

Daskalaki et al. [Daskalaki et al., 2012] probaron tres modelos con una población de 30 pacientes simulados [Kovatchev et al., 2009]. El escenario de ingestas presentaba una amplia variabilidad en el horario, cantidad de carbohidratos y número de ingestas diarias. El régimen de insulina era adaptado a cada paciente según una basal y un ratio bolo- carbohidrato que permitía establecer la dosis de insulina asociada a cada ingesta. Los resultados no son comparables a los obtenidos con datos de pacientes pero permitieron confirmar las ventajas de las redes neuronales para el uso como predictores de glucemia en diabetes.

Robertson et al. [Robertson et al., 2011] llevaron a cabo una validación basada en pacientes simulados con la herramienta AIDA [Lehmann et al., 1992].

Zecchin et al. evalúan su modelo con pacientes simulados de forma preliminar [Zecchin et al., 2011], para completar la evaluación en una publicación posterior [Zecchin et al., 2012] con datos retrospectivos de pacientes.

Datos de pacientes: in-vivo o de forma retrospectiva

Una de las dificultades de la validación de los algoritmos con datos de monitorización de pacientes, es la adquisición de dichos conjuntos de datos. Especialmente cuando se trata de métodos que requieren un conjunto de datos diferenciado para el entrenamiento o ajuste de parámetros del modelo como ocurre con las redes neuronales y los métodos basados en series temporales respectivamente. Habitualmente la validación se lleva a cabo con datos retrospectivos de pacientes: se plantean estudios que permiten recopilar los datos y posteriormente se utilizan dichos datos para la evaluación de los modelos. Aunque algunas de las experiencias plantean el uso de los predictores en tiempo real, la evaluación suele llevarse a cabo en una segunda fase, una vez procesados los datos recogidos. La recogida de datos para la evaluación se complica para los modelos con multitud de entradas, y más aún cuando no existe un dispositivo que registre de forma automática la información necesaria, sino que ha de ser el paciente quien, de forma manual, deje registrada la información de entradas que necesita el algoritmo. Los algoritmos basados en la medida de MCG favorecen una validación más precisa y completa.

Sparacino et al. [Sparacino et al., 2007] realizaron la evaluación de sus modelos lineales basándose en datos de 28 pacientes registrados con el sistema de MCG GlucoDay (Menariri Diagnostics, Florence, IT) durante las 48 horas de vida del sensor.

Reifman et al. [Reifman et al., 2007] plantearon la evaluación de su modelo lineal con datos de 15 pacientes monitorizados durante unos 5 días con el sistema iSense (iSense Corporation, Portland, Oregon). Sin embargo finalmente se seleccionaron 9 pacientes que presentaban registros completos durante los 5 días, sin pérdida de datos ni artefactos

extraños. La frecuencia de muestreo del sensor utilizado es de un minuto. El comienzo de la secuencia de cada paciente (alrededor de 3.5 horas de datos) fueron descartadas para eliminar artefactos del registro. Los pacientes que participaron del experimento se encontraban confinados en un entorno controlado y solo se les permitía realizar una actividad física moderada.

Eskaf et al. [Eskaf et al., 2008] realizaron una validación preliminar de su red neuronal basándose en registros de un único paciente, registrado durante una semana mediante un sistema de MCG con una frecuencia de muestreo de cinco minutos. Los autores reconocían que era preciso realizar una validación con un conjunto de datos más amplio, por lo que este estudio no puede considerarse muy concluyente.

Pappada et al. [Pappada et al., 2008, Pappada et al., 2011b][Pappada et al., 2008, Pappada et al., 2011b, Pappada et al., 2011a] validaron su algoritmo de generación de alarmas con datos retrospectivos de 18 pacientes, monitorizados con el sistema CGMS Gold (Medtronic, Northridge, CA) durante un periodo de tiempo comprendido entre tres y nueve días. Este registro fue llevado a cabo mientras los pacientes realizaban su vida normal. Los autores achacan el débil porcentaje de predicción de eventos de hiper e hipoglucemia obtenidos (Tabla 2.11) al escaso porcentaje de eventos ocurridos en el conjunto de entrenamiento, especialmente en el caso de las hipoglucemias.

En [Pappada et al., 2011b] el modelo fue entrenado con datos de 17 pacientes monitorizados con el sistema CGMS Gold (Medtronic, Northridge, CA) (lo que supone 23432 vectores de datos) con un algoritmo backpropagation basado en el gradiente descendente con inercia (apartado 4.1.3.3.3.a). Para la validación se utilizaron los registros de otros 10 pacientes monitorizados con el mismo sistema. Como resultados añaden a los parámetros ya calculados en la publicación anterior el RMSE y el gráfico EGA.

Una de las aportaciones de Eren-Oruklu et al. [Eren-Oruklu et al., 2009] es la diferenciación entre dos escenarios de validación: uno representa el entorno clínico y otro a los pacientes realizando su vida normal. Los autores evaluaron sus modelos lineales con registros de pacientes monitorizados con el sistema CGMS Gold (Medtronic, Northridge, CA). Presentan los resultados para dos grupos de forma diferenciada. El Grupo A corresponde a pacientes en un entono clínico, con los pacientes hospitalizados y libres de perturbaciones. El Grupo B corresponde a pacientes en condiciones ambulatorias, realizando su vida normal. El Grupo A se compone de 22 sujetos sanos, siete con intolerancia a la glucosa y 11 con DM tipo 2. Estos pacientes fueron hospitalizados y monitorizados durante 48 horas, realizando tres comidas estándar diarias en ausencia de actividad física. El Grupo B estaba formado por ocho sujetos sanos y 14 con DM tipo 2. Fueron monitorizados durante 48 horas mientras realizaban la actividad propia de su vida diaria.

Finan et al. [Finan et al., 2009] basan su estudio en el registro de glucemia de nueve pacientes, durante un periodo comprendido entre 2-8 días, con el sistema CGMS Gold

(Medtronic, Northridge, CA). Una de sus aportaciones a la metodología es que tratan de simular cambios en el metabolismo del paciente para valorar la capacidad de adaptación del modelo. Para ello, en una segunda parte del experimento, administran prednisone (60 mg/día) a seis de los pacientes induciendo así una menor sensibilidad a la insulina. De este modo se proponen comprobar si el modelo es capaz de adaptarse a los cambios sufridos en la dinámica insulina-glucosa de los pacientes.

Zecchin et al. evalúan su modelo de forma preliminar [Zecchin et al., 2011] en simulación, con un único paciente. Posteriormente [Zecchin et al., 2012] presentan una validación con datos de 20 pacientes simulados así como con los registros de nueve pacientes con DM1 que, durante siete días, llevaron el sistema de medidas continuas Abbott FreeStyle NavigatorTM_.

Georga et al. [Georga et al., 2012] validaron su modelo con datos retrospectivos de 15 pacientes monitorizados con el sistema Guardian Real-Time (Medtronic Minimed, Northridge, CA). La actividad física era registrada también de forma automática por el sistema SenseWear Armband (BodyMedia Inc.) que entrega una estimación del consumo de energía. La insulina e ingesta eran registradas de forma manual por parte del paciente en papel.

Esta tesis doctoral utiliza pacientes simulados para realizar una evaluación preliminar de los modelos propuestos y como herramienta para la comparación y ajuste de las arquitecturas propuestas durante la fase de diseño de las mismas. Sin embargo la evaluación de los modelos de predicción se llevó a cabo utilizando datos reales de pacientes. El origen y adquisición de dichos datos se detalla en el apartado 4.5.