Automated methods for the evaluation and analysis of training operations in an unmanned aircraft system

(1)

Escuela Polit´ ecnica Superior Dpto. de Ingenier´ıa Inform´ atica

Doctorado en Ingenier´ıa Inform´ atica y Telecomunicaci´ on

Doctoral Thesis

Automated Methods for the Evaluation and Analysis of

Training Operations in an Unmanned Aircraft System

Author

VÍCTOR RODRÍGUEZ FERN ÁNDEZ

Advisor

Dr. D. DAVID CAMACHO FERN ´ANDEZ Co-Advisor

Dr. D. ANTONIO GONZ ´ALEZ PARDO

May 2019

(2)

Escuela Polit´ecnica Superior

Universidad Aut´onoma de Madrid (UAM) SPAIN

PhD Thesis: “Automated Methods for the Evaluation and Analysis of Training Operations in an Unmanned Aircraft System.”

Author: V´ıctor Rodr´ıguez Fern´andez Ingeniero en Inform´atica

Universidad Aut´onoma de Madrid, Spain Advisor: David Camacho Fern´andez

Doctor Ingeniero en Inform´atica

Universidad Aut´onoma de Madrid, Spain Co-advisor: Antonio Gonz´alez Pardo

Doctor Ingeniero en Inform´atica

Universidad Aut´onoma de Madrid, Spain

Year: 2019

Committee: President:

Prof. Carlos Cotta

Universidad de M´alaga, Spain Secretary:

Dr. Ra´ul Lara Cabrera

Universidad Polit´ecnica de Madrid, Spain Vocal 1:

Dr. Javier del Ser

Optima Area, Tecnalia Research & Innovation, 48160 Derio, Bizkaia, Spain Vocal 2:

Prof. Sancho Salcedo-Sanz Universidad de Alcal´a, Spain Vocal 3:

Prof. Grzegorz J. Nalepa

AGH University of Science and Technology, Jagiellonian University , Poland

(3)

Este trabajo de investigación ha sido financiado por Airbus Defence & Space a través del proyecto SAVIER (Situational Awareness Virtual Environment), con código FUAM-076914.

This research work has been funded by Airbus Defence & Space under SAVIER (Situational Awareness Virtual Environment) project, with code FUAM-076914.

(4)

La verdad es que no sé ni cómo empezar estos agradecimientos para lo que ha sido, a grandes rasgos, la principal ocupación que ha ocupado los últimos 4 años de mi vida. Hace poco vi un art´ıculo cuyo titular mencionaba que hacer un doctorado perjudicaba seriamente la salud mental, y aunque me parece algo amarillista, le veo algo de sentido, debido al nivel de compromiso y responsabilidad que uno siente con lo que está presentando. Por suerte, toda la gente que te acompaña durante esta “locura” es lo que hace que termine bien, y que quede en la memoria como un recuerdo único e imborrable.

En primer lugar, quisiera agradecer la financiación de este trabajo por parte de Airbus Defence & Space bajo el proyecto SAVIER (FUAM-076914), as´ı como la in- formación proporcionada por los miembros del proyecto José Insenser, Juan Antonio Henr´ıquez y Gemma Blasco. Por supuesto, agradecer también el apoyo del resto de participantes del proyecto, los “savieritos”. Realmente quedé muy sorprendido con el talento y el esfuerzo de algunos de los trabajos que compon´ıan el proyecto.

En segundo lugar, me gustar´ıa dar las gracias al Departamento de Informática de la Universidad Autónoma de Madrid por haberme dado la oportunidad de realizar esta tesis, y a la gente que se esfuerza d´ıa a d´ıa por mejorar el nivel docente e investigador de este departamento. Gracias también a Diego y a Lorenzo por transmitir su alegr´ıa en todos los momentos de cafeter´ıa, que han sido muchos.

Ya hace casi 5 años desde que mandé el primer correo a un miembro de este departamento, el Dr. David Camacho, que se convertir´ıa en director mi trabajo fin de máster y de esta tesis. Hoy en d´ıa no sé cuántos cientos de correos nos habremos intercambiado ya, y la verdad es que aún me siento afortunado de haber dado con alguien as´ı, no sólo por las oportunidades que ofrece a nivel académico, sino por la cercan´ıa que se siente cuando se trabaja con él. Quiero agradecer también el trabajo de codirección del Dr. Antonio Gonzalez-Pardo, que me ha aportado ayuda, gu´ıa y energ´ıa durante todos estos años. Ambos se han convertido en muy buenos amigos, y eso es algo que agradezco profundamente.

Parte del trabajo contenido en esta tesis se debe también a la supervisión y el apoyo del Dr. Héctor Menendez, con quien tengo la suerte de mantener una gran amistad a d´ıa de hoy. La vida da muchas vueltas, y aunque ahora nuestra relación es puramente cervecil, ójala llegue el d´ıa en que volvamos a colaborar en algo juntos.

I would also like to acknowledge Professor Massimiliano Vasile for receiving and tutoring me during my stay at the university of Strathclyde. I hope that our future collaborations are successful. I would also like to thank the support and kindness of rest of the people working in his research group, specially Romain, who guided me through the world of aerospace engineering and also became my close “gabacho friend”.

(5)

VI

Volviendo al departamento, y más en espec´ıfico al grupo de ´ınvestigación AIDA, quiero agradecer de corazón la compañ´ıa y la amistad de Gema durante todos estos años. Su naturalidad, su efusividad, y su fuste al expresar las cosas me han ayudado mucho a aprender cómo sobrevivir en este mundillo sin dejar de ser uno mismo y defendiendo lo que uno cree. Muchas gracias también al resto de compañeros que están o han estado en el grupo: Alejandro, Ángel, Félix, Javi, Raúl y Raquel. La calidad investigadora, y sobre todo humana, que se respira trabajando aqu´ı es algo que no se encuentra en cualquier sitio.

Mención aparte requiere mi agradecimiento al señor Cristian Ram´ırez Atencia, que ha sido un hermano para m´ı durante la tesis. Cuando pasen los años y recuerde esta

época, lo primero que me vendrá a la memoria serán las miles de idas y venidas de la universidad en el coche, divagando sobre cualquier cuestión irrelevante como si de un cap´ıtulo de Big Bang Theory se tratara. Sin duda, aún nos quedan temas con los que divagar, viajes que compartir, y por supuesto, risas, much´ısimas risas.

Dejando a un lado el plano acad´emico, me gustar´ıa dar las gracias a la gente que forma parte de mi vida musical, la cual ha estado presente durante toda esta tesis.

A mis compadres de Morgans: Juanma, Jesu, Noel, Cristofer; y a los de Chanela:

Jata, Luisin y Kike. Gracias por darme gloria siempre con vuestro arte y con vuestro ser. Gracias tambi´en a mis amigos de toda la vida de Alcobendas, los Canteros, en especial al Ruky y al Dae. Bendita locura la vuestra.

En el lado más personal, me gustar´ıa agradecer todo el cariño que tengo de mi familia, desde mi hermano Chubi, que a su manera es cariñoso, hasta mi padre, Jacinto. Llegar al pueblo y y hablar contigo con una copa de vino por delante es curativo para m´ı. Tampoco me quiero olvidar del pequeño Iker, de Borja, de Roc´ıo, ni del peludo de Kratos, aunque nunca vaya a leer esto. A mi familia riojana: Reyes, José y Kirita, un millón de gracias por todo lo que me apoyáis y lo que creéis en m´ı.

Y por supuesto quiero dar las gracias a mi madre, a mi sant´ısima madre, Julia, que se merece un templo por todo lo que ha hecho y hace por m´ı, d´ıa tras d´ıa.

Por último, a Reyes, la persona que más me conoce y que, sin duda, más ha sufrido también mis inestabilidades emocionales tanto académicas como no académicas. Se me hace imposible imaginarme el camino recorrido en esta tesis sin ella. Mil gracias por tu apoyo, por tu confianza, y por tu amor infinito. Te quiero.

(6)

Resumen y conclusiones

Resumen

En los últimos años, los sistemas aéreos no tripulados (UASs o RPASs por sus siglas en inglés) se han convertido en un tema popular en diferentes campos de investi- gación y aplicaciones industriales. Estos sistemas operan con uno o varios veh´ıculos aéreos no tripulados (UAVs por sus siglas en inglés), lo que supone una reducción de riesgos humanos y económicos en muchas tareas cr´ıticas, como la inspección de infraestructuras, la vigilancia de zonas costeras, la gestión del tráfico y de desastres, la agricultura o la silvicultura, entre otros muchos.

Aunque los UASs modernos están diseñados para controlar UAVs de forma autónoma, el rol de los operadores en un UAS sigue siendo un aspecto cr´ıtico para garantizar el

éxito de la misión. Esto se debe a los altos costos que implica cualquier operación de este tipo, especialmente cuando un sólo operador debe supervisar múltiples UAVs.

Por esta razón, los operadores son entrenados en entornos de simulación, donde se enfrentan a distintas situaciones y alertas, con el objetivo de que se acostumbren a ellas y estén preparados para resolverlas con éxito en un escenario real.

Desafortunadamente, el uso creciente de UASs no se ha visto acompañado de una in- tegración adecuada de la ciencia de entrenamiento de operadores. La mayor´ıa de las tareas de evaluación y análisis llevadas a cabo por un instructor durante el análisis de una sesión de entrenamiento se realizan aún de forma rudimentaria e individual para cada operador, debido a la actual falta de métodos y herramientas capaces de hacerlo automáticamente a gran escala. Hoy en d´ıa, un instructor experto evalúa el comportamiento de un solo operador en cada sesión, creando un informe (normalmente a mano) con diferentes aspectos como su capacidad de respuesta a las alertas o la evolución de su rendimiento. Por lo tanto, la introducción de métodos inteligentes y automáticos en estos sistemas permitir´ıa escalar el número de operadores que par- ticipan en una sesión de entrenamiento. Además, gracias a esto el instructor podr´ıa recibir no sólo un informe individual de cada operador, sino también un análisis colec- tivo de un grupo de operadores, lo cual puede ser utilizado como mecanismo para la selección de operadores, el desarrollo de entrenamiento adaptativo y el análisis de patrones de comportamiento.

Esta tesis se centra en proporcionar inteligencia y automatización para las operaciones de entrenamiento en UASs, ofreciendo apoyo a los instructores en tareas como: 1. el análisis del rendimiento del operador 2. la extracción de patrones de comportamiento 3. la evaluación del seguimiento de procedimientos. Para lograr estos objetivos, nos basaremos en técnicas que dependen, parcial o exclusivamente, de los registros de datos de misión producidos durante las sesiones de entrenamiento.

De manera m´as espec´ıfica, se estudia el clustering de series temporales, los modelos ocultos de Markov o la miner´ıa de procesos.

Con respecto a la tarea de análisis de rendimiento, describimos un método para descubrir un conjunto de perfiles de operador representativos a partir de los datos registrados en el entrenamiento, en los que la evolución del rendimiento del operador durante una misión es la unidad de medida principal. El perfil temporal del

(7)

VIII

rendimiento del operador se define en función de la combinación de un conjunto de medidas numéricas que cuantifican diferentes facetas de la respuesta del operador en un entorno de simulación espec´ıfico. A partir de ellas, se utilizan técnicas de clustering de series temporales para obtener automáticamente los perfiles más dis- criminantes que describen la evolución del rendimiento de un grupo de operadores.

El uso de medidas de rendimiento no es fácilmente escalable entre diferentes entornos de simulación y, por lo tanto, es interesante utilizar directamente las interacciones del operador sin procesar como base para la tarea de extracción patrones de comportamiento. En este sentido, los métodos actuales basados en modelos ocultos de Markov (HMMs por sus siglas en inglés) permiten crear modelos predictivos del comportamiento del operador. Estos métodos se han extendido de dos maneras diferentes. En primer lugar, se ha propuesto el uso de HMMs multicanal para en- riquecer el significado de los estados del modelo con el uso de fuentes de información paralelas extra´ıdas de los registros de la misión. En segundo lugar, se consideran las limitaciones internas de modelado a través de HMMs y, en base a esto, se estudia la aplicabilidad de un enfoque más flexible basado en los modelos de doble cadena de Markov (DCMMs) de alto orden.

Los métodos propuestos para el análisis del rendimiento y la extracción de patrones de comportamiento se basan exclusivamente en los registros de datos producidos durante las simulaciones, es decir, no disponen de ningún conocimiento previo sobre el comportamiento nominal del operador. Sin embargo, para la tarea de evaluación del seguimiento de procedimientos, el instructor debe controlar que el operador esté siguiendo correctamente las pautas descritas en un procedimiento operativo o checklist. Para automatizar esta tarea, las técnicas de conformance checking (una rama de la miner´ıa de procesos) han sido adaptadas al uso de series temporales y procesos dependientes de ellas, ya que los métodos clásicos presentan algunas limitaciones en este sentido.

Para demostrar la efectividad de cada uno de los avances propuestos en esta tesis, se han llevado a cabo experimentos en distintos entornos de simulación. Por un lado, las tareas de análisis de rendimiento y extracción de patrones se ha utilizado un entorno ligero basado en gamificación. Por otro lado, para la tarea de evaluación del seguimiento de procedimientos se proporciona un caso de estudio en un UAS realista. Además, de cara a demostrar la generalidad de la propuesta desarrollada con respecto a esta última tarea, se proporciona otro caso de estudio en un dominio externo (la miner´ıa de carbón de tajo largo).

La automatización de las tareas del instructor mencionadas anteriormente puede llevar al desarrollo de una herramienta de análisis de entrenamiento completa, que se utilice no sólo para llevar a cabo un análisis más profundo y sólido de las sesiones de entrenamiento, sino también para dar soporte a la selección de operadores, para adaptar y mejorar la transferencia de entrenamiento, y para predecir comportamientos inesperados a tiempo en operaciones reales.

(8)

Conclusiones y Trabajos Futuros

Las principales contribuciones de esta tesis doctoral pueden resumirse en el desarrollo de métodos que automatizan las tareas de evaluación y análisis llevadas a cabo por un instructor durante una sesión de entrenamiento en un UAS, de cara a permitir operaciones de entrenamiento a gran escala. De una manera más espec´ıfica, las tareas de análisis de rendimiento, extracción de patrones de comportamiento y evaluación del seguimiento de procedimientos se han abordado con técnicas que se basan, parcial o exclusivamente, en los datos de misión registrados durante las sesiones de entrenamiento, como son el clustering de series temporales, el modelado de Markov o la miner´ıa de procesos. Para lograr los objetivos principales de esta tesis en relación con cada una de las tareas del instructor mencionadas anteriormente, se han estudiado varios enfoques.

Con respecto a la tarea de análisis de rendimiento, se ha presentado una metodolog´ıa basada en clustering de series temporales para extraer perfiles representativos del rendimiento de los operadores de UAVs durante sus operaciones de entrenamiento, con el fin de analizar y comparar cómo su rendimiento var´ıa a lo largo de una misión.

La metodolog´ıa propuesta se ha aplicado en un entorno de simulación multi-UAV (llamado DWR) con operadores sin experiencia, obteniendo una descripción razonable de los patrones de comportamiento temporales seguidos durante el curso de la simulación.

Por otro lado, se ha estudiado la tarea de extracci´on de patrones de comportamiento entre operadores, que ha sido abordada recientemente en la literatura mediante el desarrollo de modelos predictivos de comportamiento basados en HMMs.

En este sentido, el uso de estos modelos se ha aplicado a los datos extra´ıdos de operadores inexpertos en el entorno de simulación DWR, y se ha extendido de dos maneras. La primera está relacionada con el uso de HMMs multicanal, que permiten reunir en el mismo modelo múltiples secuencias de datos, tales como la combinación de interacciones del operador y los eventos de la misión. Los modelos resultantes presentan estados más robustos e informativos que los de trabajos anteriores en el campo. La segunda está relacionada con el uso de DCMMs, que ampl´ıan las posibilidades de los HMMs clásicos mediante la combinación de dos de cadenas de Markov de orden superior en el mismo modelo, una para los estados del modelo (cadena oculta) y otra para las observaciones (cadena visible). Los diferentes procesos que permiten crear, evaluar y seleccionar estos modelos en un contexto similar a los UASs se han diseñado y desarrollado acorde a las necesidades del problema, y tras una ex- perimentación con datos de DWR, los modelos resultantes muestran que agregar una cadena de Markov visible para la capa de observaciones mejora las capacidades predictivas de los DCMMs sobre los HMMs clásicos, manteniendo un nivel razonable de interpretabilidad.

Finalmente, en relación a la tarea de evaluación del seguimiento de procedimientos, la solución propuesta para automatizarla consiste en brindar una nueva perspectiva al campo de la verificación de conformidad (conformance checking), y a la miner´ıa de procesos en general, mediante el uso de series temporales como base para la realización del análisis. Esto es crucial para analizar modelos de proceso cuyas tareas dependen de cómo una o varias variables del proceso fluctuan, como es el caso de los procedimientos operativos de un UAS. La formalización de los datos, el modelo

(9)

X

de proceso y los algoritmos necesarios para realizar la verificación de conformidad se han rediseñado y adaptado, proporcionando una perspectiva temporal hacia los datos y los modelos de proceso. Se han llevado dos casos de estudio para demostrar cómo se pueden aplicar estos conceptos, no sólo para en procedimientos operativos dentro de un UAS, sino también en modelos de proceso más genéricos de un dominio industrial diferente.

Teniendo en cuenta todos los análisis experimentales realizados para cada método propuesto en esta tesis, es posible proporcionar una respuesta a las principales preguntas de investigación que se han formulado en la sección I. A continuación, se muestra una revisión de estas preguntas de investigación, y se discuten las respues- tas a las mismas en base a las conclusiones experimentales extra´ıdas en esta tesis:

P1: ¿Es posible automatizar el análisis de la evolución t´ıpica del rendimiento del operador a lo largo de una misión?

El enfoque presentado en la Secci´on 3.1 para tratar la tarea de an´alisis de rendimiento en un UAS tiene como objetivo describir el comportamiento de los operadores a lo largo del tiempo utilizando un modelo basado en perfiles.

Suponiendo que hemos definido el perfil de rendimiento de una simulación como una serie temporal multivariable compuesta por la evolución de varias medidas de rendimiento numéricas, la metodolog´ıa propuesta comienza agrupando los datos para cada medida por separado, validando diferentes configuraciones de clustering. Los resultados del clustering para cada medida se utilizan para definir la similitud entre dos perfiles, la cual se utiliza en un último proceso de clustering basado en medoides para extraer los más representativos.

El método propuesto se ha aplicado en un entorno de simulación de misiones con múltiples UAVs (denominado DWR) donde existen un total de 6 medidas numéricas que definen el perfil de rendimiento del operador. Para evaluar los resultados, se ha creado un conjunto de datos de validación basado en el juicio de expertos que han calificado la similitud entre pares de series temporales de medidas de rendimiento. Los resultados obtenidos de la experimentación muestran que la metodolog´ıa propuesta obtiene buenos valores de precisión, especialmente desde un punto de vista general, en el que se tiene en cuenta la aplicabilidad del método en otros entornos y dominios. En este sentido, el enfoque propuesto destaca debido tanto a su adaptabilidad a diferentes tipos de series temporales como al uso de diferentes métodos de clustering. Los perfiles representativos del rendimiento del operador obtenidos en la experimentación han sido analizados cualitativamente, de acuerdo con las relaciones observadas entre los cambios de rendimiento del operador y los eventos ocurridos en la misión.

P2: ¿C´omo podemos extender las metodolog´ıas actuales basadas en HMMs para el modelado de comportamiento de operadores de UASs?

Dado que un HMM clásico solo permite modelar una única secuencia de datos (la secuencia de interacciones del operador), los estados cognitivos resultantes carecen de información adicional con respecto a los cambios ocurridos en el curso de la misión. Al usar HMMs multicanal (MC-HMMs), los estados del

(10)

modelo se ven enriquecidos con el uso de fuentes paralelas de información: las interacciones realizadas por los operadores en el entorno de simulación y los eventos que describen el curso de la misión. En este trabajo, se han descrito los diferentes pasos para crear, seleccionar y analizar MC-HMMs en un entorno similar al de un UAS, y se ha llevado a cabo un experimento del uso de estos modelos con operadores sin experiencia en el entorno de simulación DWR.

El modelo resultante de este experimento es bastante descriptivo y revela varios patrones de comportamiento complejos que representan inexperiencia de los operadores de la prueba, como por ejemplo, la forma en que controlan la velocidad de simulación o la tendencia general que tienen de acelerar y cambiar el plan de misión preprogramado, especialmente en las últimas partes de una misión. En resumen, al agregar información adicional en el modelo, aparte de las interacciones del operador, logramos modelos más robustos e informativos que los de trabajos anteriores en el campo.

Por otro lado, la asunción de Markov de primer orden en la que se basan los HMMs, y la también asumida independencia entre las acciones del operador a lo largo del tiempo por parte de la literatura, limitan las posibilidades de modelado. Para superar estos problemas, analizamos la aplicabilidad de los DCMMs, que proporcionan un marco de modelado flexible en el que se combinan dos cadenas de Markov de alto orden (una oculta y otra visible). En este trabajo, se propone un método para rankear y seleccionar DCMMs en base a un conjunto de medidas de evaluación que cuantifican la predictibilidad y la interpretabilidad de los modelos.

Tras un experimento en el entorno de simulación DWR, los modelos resultantes muestran que, a pesar de la inclusión de cadenas ocultas de orden superior, no se mejora sustancialmente la calidad del modelo ni en términos de predictabi- lidad ni de interpretabilidad. Sin embargo, al agregar una cadena visible de Markov entre las observaciones s´ı que se mejoran las capacidades predictivas del modelo sobre los HMMs clásicos, al tiempo que se mantiene un nivel razonable de interpretabilidad. En cualquier caso, estos resultados sólo muestran las conclusiones para un entorno de simulación espec´ıfico, y lo que es realmente interesante para el estado del arte es la flexibilidad y la riqueza del marco de modelado propuesto en comparación con las metodolog´ıas actuales basadas en HMM.

P3: ¿Es posible automatizar la evaluaci´on del seguimiento de procedimientos?

Automatizar la tarea de evaluación del seguimiento de procedimientos requiere de una metodolog´ıa para comparar procedimientos operativos con datos de misión. De acuerdo con la literatura, la familia de técnicas enfocadas en comparar modelos de procesos con datos del mismo proceso se conoce como análisis de conformidad. Sin embargo, el análisis de conformidad clásico no es adecuado para la evaluación del seguimiento de procedimientos porque normalmente, el cumplimiento de las tareas de un procedimiento operativo depende de cómo evolucionan una o varias variables en el registro de datos, lo cual no se puede implementar con un simple registro de eventos y un análisis de coincidencia evento-tarea. En este trabajo, este problema se ha resuelto al introducir la

(11)

XII

perspectiva de las series temporales en el análisis de conformidad. Esto provoca un cambio de paradigma en el análisis de conformidad en particular, y en la miner´ıa de procesos a un nivel más general.

Para implementar la perspectiva temporal dentro del análisis de conformidad, el uso de registros de eventos se ha reemplazado por el de registros de series temporales, y se ha definido un subtipo de redes de Petri, llamado flujo de trabajo con series temporales (TSWF-Net por sus siglas en inglés), para representar un modelo de proceso basado en series temporales. Se ha diseñado un algoritmo para detectar las discrepancias entre un registro de series de temporales y una TSWF-Net, que retorna no sólo si una tarea del modelo ha coincidido con los datos del registro o no, sino también el tiempo de coincidencia e información adicional que incluye la posibilidad de que una tarea coincida en un intervalo de tiempo diferente al esperado. Para ilustrar la efectividad de nuestro enfoque del análisis de conformidad como una solución para la automatización de la evaluación del seguimiento de procedimientos, se ha llevado a cabo un caso de estudio diseñando y modelando un procedimiento operativo de emergencia dentro de un UAS real, cuyo seguimiento se ha evaluado utilizando una bater´ıa de operadores de prueba. Aunque el algoritmo utilizado en el estudio de caso es básico y podr´ıa mejorarse devolviendo más información sobre las discrepancias entre el comportamiento del operador y el procedimiento operativo, el proceso se ha ejecutado de forma totalmente automática. Una representación gráfica de los resultados de esta automatización se puede ver en [RARFGPC17].

P4: ¿Podemos aplicar alguno de los m´etodos propuestos en un dominio diferente al de los UASs?

Con respecto a la tarea de análisis de rendimiento, el método propuesto para extraer perfiles representativos del rendimiento del operador tiene un inconve- niente principal: depende de la existencia de medidas directas de rendimiento de cara a definir un perfil. Estas medidas suelen estar relacionadas con el sistema espec´ıfico que se está analizando, y pueden no existir o no ser significativas.

Sin embargo, en términos puramente metodológicos, el enfoque propuesto es adaptable a medidas de cualquier naturaleza, ya que busca y valida diferentes distancias de series temporales y configuraciones de clustering sin la necesi- dad de seleccionar ningún parámetro a priori. Por lo tanto, su aplicación en nuevos entornos es sencilla una vez que se dispone de un conjunto de medidas de rendimiento fiables.

Al igual que en el caso anterior, los métodos propuestos para modelar el comportamiento de operadores en un UAS a través de MCHMMs y DCMMs se han aplicado únicamente en el entorno de simulación DWR, pero son fácilmente apli- cables a otro entorno similar, o incluso a otros sistemas de interacción hombre- máquina, siempre que se cumplan ciertas condiciones: 1. El sistema registra datos secuenciales tanto de las interacciones del usuario como del contexto del proceso. 2. El número de interacciones posibles que el usuario puede realizar no es muy alto. 3. El modelo resultante está diseñado para presentar una com- binación de capacidades de predictibilidad e interpretabilidad.

Con respecto a la tarea de evaluaci´on del seguimiento de procedimientos, la

(12)

solución propuesta en este trabajo para automatizarla se basa en una adaptación de las técnicas de análisis de conformidad a los modelos de procesos que tienen en cuenta variables secuenciales o series temporales. En este sentido, todas las formalizaciones y algoritmos se han abordado de manera general, sin tener en cuenta el dominio espec´ıfico de los UASs. Sólamente en el primer caso de estudio el enfoque propuesto se ha implementado espec´ıficamente para evaluar un procedimiento operativo real de un UAS. Sin embargo, el segundo caso de estudio se ha llevado a cabo en un dominio completamente diferente (miner´ıa de tajo largo), mostrando la generalidad de la propuesta.

Finalmente, hay varias l´ıneas de trabajo que podr´ıan extenderse en un futuro pr´oximo, relacionadas con los diferentes m´etodos y algoritmos presentados en esta tesis:

Una comparación formal de los métodos propuestos entre distintos entornos de simulación de UASs, e incluso entre otros sistemas de interacción hombre- máquina.

Relacionado con el modelado de comportamiento basado en HMMs, un estudio de cómo las dos extensiones utilizadas en esta tesis (MCHMMs y DCMMs) se pueden aplicar juntas en forma de un modelo de doble cadena de Markov multicanal (MCDMM), ser´ıa de gran interés en la mejora de los patrones de comportamiento contenidos en el modelo. En este sentido, también es interesante basar las extensiones propuestas en modelos ocultos Semi-Markov (HSMMs) en lugar de HMMs, debido a que el uso de cadenas Semi-Markov permiten un modelado expl´ıcito de la duración de los estados ocultos, lo que es útil para UASs modernos donde el operador pasa la mayor parte del tiempo de la misión supervisando el estado de la misión y, por lo tanto, el número de interacciones es muy bajo.

El uso de covariables en la creaci´on de modelos de comportamiento, con el fin de comparar patrones con respecto a caracter´ısticas espec´ıficas del operador, como la edad o la experiencia previa en operaciones con UAVs.

El uso de técnicas de optimización de hiperparámetros actuales, como la opti- mización bayesiana, para buscar de forma eficiente las mejores configuraciones tanto de los métodos propuestos basados en clustering como de los basados en modelos de Markov.

Desarrollo de una herramienta de comparación de modelos markovianos, que proporcione, dada una base de datos de secuencias de s´ımbolos (posiblemente multicanal), un ranking de los modelos que mejor puntúan en un conjunto de medidas de evaluación, seleccionadas por el usuario. El ranking puede incluir no sólo HMMs, sino también HSMMs, DCMMs, cadenas de Markov simples y versiones multicanal de todos ellos.

Tanto el modelo basado en clustering obtenido para analizar perfiles de rendimiento del operador como los modelos basados en HMMs creados para extraer patrones de comportamiento se han utilizado principalmente para proporcionar al instructor información valiosa para interpretar y analizar. Sin embargo, estos modelos, como cualquiera que resulta de un proceso de aprendizaje automático, se pueden utilizar con fines de predicción. De hecho, la selección de DCMMs en este trabajo tiene en cuenta expl´ıcitamente las capacidades predictivas del

(13)

XIV

modelo para elegirlo como un buen candidato. Por lo tanto, es importante des- plegar los modelos resultantes como una herramienta predictiva a tiempo real que detecte, con suficiente antelaci´on, los comportamientos anormales de los operadores durante una misi´on real, as´ı como las reducciones significativas en su rendimiento.

El enfoque del análisis de conformidad basado en series temporales desarrollado para automatizar la evaluación del seguimiento de procedimientos en UASs abre camino para una inclusión más profunda de las series temporales dentro de la investigación en miner´ıa de procesos. En este sentido, algunas l´ıneas de trabajo relacionadas podr´ıan incluir:

– Estudio de otras posibles categor´ıas de conformidad que pueden resultar de la comparaci´on de series temporales y modelos de proceso.

– Mejora de la versi´on actual del algoritmo de an´alisis de conformidad, para que una tarea pueda representar un estado en lugar de un evento. De esta manera, se solucionar´ıan las incoherencias entre tareas dependientes, como la que se muestra en la Figura 4.7b.

– Implementaci´on para modelos de proceso declarativos (en este trabajo s´olo se consideran los modelos de proceso procedurales representados como redes de Petri).

– Exploración de métodos de visualización para los resultados del algoritmo propuesto, en los casos en que el número de variables en el registro de series temporales o el número de rutas posibles en el modelo es alto.

– Desarrollo de métodos automáticos que elijan los mejores parámetros (ámbitos de tiempo, parámetros de las guardas de las transiciones...) para un modelo de proceso espec´ıfico, dado un conjunto de datos de entrenamiento.

(14)

Abstract

In recent years, Unmanned Aircraft Systems (UASs), or Remotely Piloted Aircraft Systems (RPASs), asklhave become a popular topic in many research fields and industrial applications. These systems operate with one or multiple Unmanned Aerial Vehicles (UAVs), reducing both the human and economical risks of many sensitive tasks, such as infrastructure inspection, monitoring coastal zones, traffic and disaster management, agriculture or forestry, among many others.

Although modern UASs are designed to control the UAVs autonomously, the role of UAS operators is still a critical aspect that guarantee the mission success due to the high costs involved in this kind of operations. For this reason, operators are trained in simulation environments, where they have different situations and alerts, take adequate decisions, and get prepared to solve them successfully in a real scenario.

Unfortunately, the increasing use of UASs has not been met with appropriate integration of training science. Most of the tasks of evaluation and analysis carried out by an instructor during the debriefing of a training session are still performed rudimentarily and individually for each operator, due to the current lack of methods and tools capable of doing it automatically on a large scale. Nowadays, an expert instructor evaluates the behaviour of a single operator in each session, creating a report (usually handwritten) with different aspects such as his/her responsiveness to alerts or the evolution of his/her performance. Thus, the introduction of intelligent and automatic methods in this regard would allow to to scale up the number of operators that take part of a training session. Furthermore, the instructor would be provided not only with an individual report, but also with a collective analysis of a group of operators, which is a potential mechanism for allowing operator selection, adaptive training, and behavioural pattern analysis.

This dissertation is focused on providing intelligent and automated methods to training operations in a UAS by supporting instructors in some debriefing tasks, such as:

1. the analysis of operator performance; 2. the extraction of behavioural patterns;

3. the procedure following evaluation. To achieve these main objectives, we will base our approaches on techniques that rely, partially or exclusively, on the mission data logs produced during multiple training sessions. More specifically, we will study the applicability of time series clustering, markovian modelling and process mining.

Regarding the task of performance analysis, we describe a method to discover a set of representative operator profiles directly from the mission logs, where the evolution of the operator performance during a mission is the main unit of measure.

The temporal profile of the operator performance is defined based on the combination of a set of numerical measures that quantify different aspects of the operator response in a specific simulation environment. Then, time series clustering techniques are used

(15)

XVI

to retrieve automatically the most discriminant profiles that describe the performance evolution of a group of trainees.

The use of performance measures is not easily scalable among different simulation environments, and thus, it is interesting to use directly raw operator interactions as the basis for the task of extracting behavioural patterns. In this regard, the current methods based on Hidden Markov Models (HMMs) are used to create predictive models of the operator’s behaviour. These methods have been extended in two different ways: first, the use of Multichannel HMMs is proposed in order to enrich the meaningfulness of the model states with the usage of parallel sources of information from the mission logs; secondly, the inner modelling limitations of HMMs are considered, and based on this, the applicability of a more flexible approach based on high order Double Chain Markov Models (DCMMs) is studied.

All the proposed methods for the analysis of performance and behavioural patterns are tested rely exclusively on the simulation logs produced during the experimentation, i.e., there is no prior knowledge about the nominal operator behaviour. How- ever, related to the task of procedure following evaluation, an instructor is in charge of controlling that the operator is correctly following the guidelines described in an operating procedure, or checklist. In order to automate this task, conformance checking techniques (a family of process mining techniques) have been adapted to the use of time-based data and time-aware processes, in order to solve some limitations of the classical methods.

In order to demonstrate the effectiveness of each of the proposed approaches, several experiments have been carried out in different simulation environments. On the one hand, the approaches for automating the tasks of performance analysis and behavioural pattern extraction have been tested in a lightweight and simple multi- UAV simulation environment, with inexperienced operators. On the other hand, for the task of procedure following evaluation, a case study in a realistic UAS has been provided. Additionally, in order to prove the generality of this last approach, another case study in a external domain (longwall mining) is also provided.

The automation of the instructor tasks mentioned above may lead to the development of an all-in-one training analysis tool, which is useful not only for carrying out a deeper and more robust debriefing of the training sessions, but also to perform operator selection, to adapt and improve the transfer of training, and to predict abnormal behaviour in real operations.

(16)

Resumen y conclusiones

^VII

Resumen . . . VII

Conclusiones y Trabajos Futuros . . . IX

Abstract

^XV

List of Figures

XIX

List of Tables

^XX

List of Acronyms and Symbols

XXIII

I Report 1

1 Introduction 3

1.1 Motivation of the dissertation . . . 3

1.2 Problem statement . . . 4

1.3 Research Questions . . . 6

1.4 Structure of the thesis . . . 7

1.5 Publications of the compendium and Contributions . . . 8

1.6 Other Publications and Contributions . . . 9

2 Backgrounds on training operations in a UAS 13

2.1 UAS simulation training . . . 13

2.2 Simulation Environments: Drone Watch And Rescue (DWR) and SAVIER Demon- strator . . . 14

2.3 Debriefing process for a training session on a UAS . . . 17

2.3.1 Performance Analysis of operators in a UAS . . . 18

2.3.2 Behavioural patterns of operators in a UAS . . . 18

2.3.3 Operating Procedures & Procedure Following Evaluation . . . 19

3 Data-driven learning approaches for the analysis of performance and

XVII

(17)

XVIII Contents

behavioural patterns 21

3.1 Automatic retrieval of representative performance profiles . . . 21

3.1.1 Method . . . 22

3.1.1.1 Applying time series clustering on every performance measure separately . . . 22

3.1.1.2 Cluster assignation distance between performance profiles . . . . 24

3.1.1.3 Medoid-based clustering to extract the most representative performance profiles . . . 25

3.1.2 Experimentation . . . 25

3.1.2.1 Evaluation criteria . . . 26

3.1.2.2 Results from applying the proposed method in DWR . . . 26

3.1.2.3 Comparative study between the proposed method and other multivariate time series clustering approaches. . . 28

3.1.2.4 Interpretation of the performance profiles found . . . 29

3.2 Modelling hidden patterns through Markovian Models . . . 30

3.2.1 Enriching the meaningfulness of the model states via MC-HMMs . . . 32

3.2.1.1 Method . . . 32

3.2.1.2 Experimentation . . . 34

3.2.2 Analysing the applicability of high order double chain Markov models . . 35

3.2.2.1 Method . . . 36

3.2.2.2 Experimentation . . . 38

4 Automatic Procedure Following Evaluation through time series-aware conformance checking 41

4.1 Adapting Workflow Nets (WF-Nets) to time-based data: The Workflow Net with time series (TSWF-net) . . . 42

4.1.1 Time series log . . . 43

4.1.2 TSWF-net . . . 43

4.2 Basic time series-aware conformance checking over a TSWF-net . . . 46

4.3 Complete time series-aware conformance checking over a TSWF-net . . . 47

4.4 Experimentation . . . 52

4.4.1 Case Study 1: Basic conformance checking over the “Engine Bay Over- heating” operating procedure in an Unmanned Aircraft System (UAS) . . 52

4.4.1.1 Modelling the Operating Procedure (OP) as a TSWF-net . . . . 52

4.4.1.2 Testing the basic conformance checking algorithm in the TSWF- net-based OP . . . 53

4.4.2 Case Study 2: Complete conformance checking over the process model of a longwall mining shearer . . . 55

5 Conclusions and Future Works 59

5.1 Conclusions . . . 59

5.2 Future lines of work . . . 62

(18)

1 Analysing temporal performance profiles of UAV operators using time

series clustering 67

2 Modelling Behaviour in UAV Operations Using Higher Order Double

Chain Markov Models 85

3 Automatic Procedure Following Evaluation Using Petri Net-Based

Workflows 97

Bibliography 111

A Additional resources for the experimental evaluation of time series- aware conformance checking on Longwall mining processes 119

List of Figures

1.1 Summary of the objectives and contributions of this dissertation. . . 5 2.1 Screenshot of a simulation in Drone Watch & Rescue. . . 15 2.2 Timeline for a training mission, as studied in this work. Orange boxes remark

the concepts that are studied and automated in this thesis. . . 17 3.1 Finding the best discrimination for each of the M performance measures separately. 23 3.2 Extracting the most representative performance profiles based on the clustering

results obtained by following the process described in Figure 3.1 . . . 24 3.3 Plots of two of the representative performance profiles found. Red lines mark

times when an incident was triggered, and the green line indicates the moment when the mission preparation phase finishes and the execution phase starts. Each subplot contains the evolution of the six performance measures (S, A, At, C, Ag, P ) for comprising a performance profile. . . 30 3.4 5-states HMM fitted for DWR, analysed in terms of the operator interactions. . . 32 3.5 General scheme of the method of analysis in DWR with Multichannel Hidden

Markov Models (MC-HMMs). . . 33

XIX

(19)

3.6 6-states MC-HMM fitted for DWR, analysed in terms of the parallel occurences of operator interactions and mission events. . . 35 3.7 General scheme of the analysis process developed to find the best DCMM for

modelling behaviour in a training operation with UAVs. . . 36 3.8 Heatmaps showing the best position of a DCMM in the top-10 ranking in terms

of the three hyperparameters of a DCMM: M , l and f . The x-axis shows how the results vary when we modify the importance of the predictability of the model, and thus, modifying importance of the interpretability too. White color is used when no model with such hyperparameters is found in the top-10 ranking. . . 39 4.1 Firing a transition in a TSWF-net. . . 45 4.2 Example of each of the conformance categories detected using the proposed algo-

rithm. For all the examples, the ts-guard of transition t is “foo starts increasing”

and its time scope is [0, 100]. Where applicable, the reversing time (r) is set to 100 time units. . . 48 4.3 Example of situations with multiple untreated contexts. On the situation shown

on the left, repairing one of the invalid contexts (e.g. ht, xi) makes the other disappear, since t and t⁰ share input tokens. On the other hand, the situation on the right can be fully repaired in two iterations of algorithm 3. . . 51 4.4 Workflow Process Definition for the different type of procedural steps defined for

any OP. Transitions drawn as thin lines represent instantaneous tasks (checks).

Transitions drawn as rectangles represents an implicit delay in their execution. . 53 4.5 Description and representation of the “Engine Bay Overheating” alert. . . 54 4.6 The general model of a shearer cycle. The number in brackets refer to the phases

of the process. . . 56 4.7 Results of the complete conformance checking algorithm over two cases of the

longwall mining time series log. . . 57 A.1 Context of the experimentation. . . 120 A.2 Representation of the process model “First half cycle of a shearer” as a TSWF-net.120

List of Tables

2.1 Summary of the interactions and events from the simulator DWR, used in some of the experiments carried out in this thesis. . . 16 2.2 Specification summary for the test missions (T.M) designed in DWR. . . 17 3.1 Parameter tuning for all the variables involved in the experiment. . . 27 3.2 Summary of the best validation results of the time series clustering applied to

each of the performance measures used, corresponding to Step 1 of the method proposed in this work. . . 27 3.3 Validation results for the final clustering process of the proposed method. Bolded

cells represent the best results obtained. . . 28

XX

(20)

3.4 Comparative results, in terms of Pairwise Accuracy (P-Acc), between the proposed method against direct clustering approaches based on multivariate time series distances. The results are compared for different number of clusters (K2).

While the bolded cell indicates the result obtained for the proposed method, cells in italics show the results that surpasses our best value. . . 29 3.5 Results for the MC-HMM model selection. The bolded row indicates that the

6-states model is chosen, since it obtains good values for both the BIC and NRS measures. . . 34 3.6 Summary of the evaluation measures used to assess the quality of a Double Chain

Markov Model (DCMM) in this work. These measures are divided into two groups, namely predictability and interpretability, depending on the aspect of the model covered by each of them. The column “Best” indicates whether best models are achieved by maximizing (Max.) or minimizing (Min.) the value of the evaluation measure. . . 37 3.7 Top-5 DCMMs for DWR, evaluated in terms of several predictability and inter-

pretability measures. . . 38 4.1 Test cases defined for this case study. . . 54 4.2 Results of the APFE algorithm for each test case (Test Scenario + Test Operator)

developed in this case study. Bolded cells mark the cases where the test scenario represents a real alert and the operator followed the procedure successfully. t and f denote true and false respectively. . . 55 A.1 Description of the time series guards of the transitions of the process model “First

half cycle of a shearer”. . . 119 A.2 Parameter tuning for the experiments. . . 121 A.3 Expressions of the time series guards of the transitions of the process model “First

half cycle of a shearer”. Guards are expressed in terms of a set of log entries ∈ E^∗ (E = X× V × D) from a specific case of a time series log L = (V, U, X, Y ). For simplicity sake, we assume that the set of log entries is sorted by time index, i.e.,

can be expressed as = {ei =hxi, v_i, d_ii}i∈N, where x_i is the time index of the i-th log entry (x_i > x_i−1 ∀i), vi the variable name and d_i the data value. . . 122

(21)

List of Acronyms and Symbols

APFE Automatic Procedure Following Evaluation.

BIC Bayesian Information Criterion.

DCMM Double Chain Markov Model.

DWR Drone Watch And Rescue.

GA Genetic Algorithm.

GCS Ground Control Station.

HMM Hidden Markov Model.

HRI Human-Robot Interaction.

HRT Human-Robot Team.

HSC Human Supervisory Control.

HSMM Hidden Semi-Markov Model.

KPP Key Performance Parameter.

MC-HMM Multichannel Hidden Markov Model.

OP Operating Procedure.

PFE Procedure Following Evaluation.

PN Petri Net.

RPAS Remotely Piloted Aircraft System.

TFF Time of First Fulfilment.

ToC Time of Completion.

XXIII

(22)

TSWF-net Workflow Net with time series.

UAM Universidad Aut´onoma de Madrid.

UAS Unmanned Aircraft System.

UAV Unmanned Aerial Vehicle.

WF-Net Workflow Net.

(23)

Part I

Report

1

(24)

Introduction

This chapter presents the motivation and overview of this dissertation. Firstly, Section 1.1 motivates the research questions that will be addressed later. After that, Section 1.1 briefly describes the current state of training operations in a Unmanned Aircraft System (UAS), as main research focus of this work, and the need for automating some of the tasks carried out by the instructor, which provide a basic framework for the research questions described in Section 1.3. Then, the dissertation structure is described in Section 1.4 and, finally, the main contributions and the associated publications related to the this thesis are presented in Sections 1.5 and 1.6.

1.1 Motivation of the dissertation

An Unmanned Aerial Vehicle (UAV), commonly known as a drone, and referred to as a Remotely Piloted Aircraft (RPA) by the International Civil Aviation Organization (ICAO), is an aircraft without a human pilot aboard. In the last decade, the use of UAVs has become very popular, and it is expected to grow even more over the coming years [DN04]. This growth is produced due to the interest of both the industry and the research community in this type of systems. On the one hand, the different potential applications provided, such as surveillance [PBC⁺09], disaster and crisis management [WZ06], agriculture or forestry [MC06] have attracted the interest of the industry. On the other hand, the research community is also interested in UAVs due to the challenging problems that must be faced from different fields such as human-machine interfaces [RGCGBC16], air-to-air refueling [MAHO16], integration into non-segregated space [CJN14], voice and gesture commanding [MdBJG16], stress monitoring [HGAR15], augmented reality [RGY⁺15] and minimum time target detection [PCBPLOdlC16], amongst others. Typically, the whole system involved in an operation with UAVs is known as UAS, or Remotely Piloted Aircraft System (RPAS), and it is mainly composed of the UAVs, as well as associated launch, recovery, and control hardware and software. Although these systems are increasingly autonomous, the role of UAS operators is still a critical aspect that guarantee the mission success, due to the high costs involved in any real mission, specially in future scenarios when one single operator will be responsible for supervising multiple UAVs. Thus, UAV operators are hardly trained in simulation environments, where they are asked by instructors to face different situations and alerts, to choose an appropriate decision, and to be able to solve the situation successfully

3

(25)

4 Chapter 1. Introduction

in a real scenario [HRCB12]. Unfortunately, the increasing use of UASs has not been met with appropriate integration of training science [BJBR⁺16]. Although several researchers are contributing to define a formal framework of Knowledge, Skills and Attitudes (KSAs) to improve the effectiveness UAS training methods [ITV13], the expectations of UAS growth has raised alarm among training instructors, due to the current lack of tools capable of evaluating and analyzing the performance of operators on a large (or even massive) scale. Most of the tasks carried out by an instructor during the mission debriefing, such as the analysis of the performance and behaviour of an operator, or the evaluation of the compliance with a established operating procedure, are still performed manually and individually. This dissertation focuses on solving these problems by providing UAS instructors with automated methods to monitor, evaluate and analyse training operations on a large scale. The automation of the analysis in training processes has been barely studied so far, and it can provide many direct benefits not only to UAS training but also to classical manned aviation and to any supervisory control system. Due to modern training systems register all the mission information, including vehicle telemetry, mission events and operator commands, the methods developed in this thesis are mainly data driven. Thus, we can take advantage of techniques from different Artificial Intelligence and Data Analysis fields, such as unsupervised machine learning (Clustering, Hidden Markov Models...), in order to automate the analysis of the performance and behaviour of the operators.

However, in some high-risk situations such as the emergence of an alert during the mission, the operator must follow an operating procedure carefully. Thus, the evaluation and analysis of his/her response in these cases does not depend exclusively on the data stored, but in the relation between the data and the procedure. Here, it is necessary to be based on process mining techniques in order to automate the evaluation, due to they support the analysis of data related to a business process.

1.2 Problem statement

On the left side of Figure 1.1 a graphical representation of the current situation of a training operation in a UAS is shown. Nowadays, the tasks of analysis are still performed manually [DKL⁺13]. Typically, an expert instructor assesses the behavior of a single operator during a training session, measuring different aspects of the operator response [DKL⁺13]. As it was stated in the previous section, one of the future problems related to training in UASs (see the central part of Figure 1.1) is related to the increasing use of these type of systems expected for the incoming years, which raises the issue of large-scale training operations. In the same way as before, a single instructor will likely need to monitor and analyze the behavior of multiple operators, which makes it difficult and costly to make an objective and robust evaluation and analysis of all of them.

The solution to this problem lies in making the training data accesible for the instructor by providing intelligent and automated methods that provide information and patterns about the operator response in the different aspects required (See right side of Figure 1.1). Specifi- cally, in this work we are interested in three aspects of the evaluation and analysis of operators:

1. Performance, understood as a set of direct measures that “score” the quality of the operator in the mission. 2. Behavioral patterns, useful to understand the hidden cognitive processes and decision making behind the operator interactions, and also to predict the consequences of high worload and time pressure. 3. Procedure following, i.e., the evaluation of how accurate and ef-

(26)

1. Current Situation 2. Future Problem 3. Thesis Contributions

Procedure Following

Performance Automatic

Procedure Following Evaluation

Behavioural models

InstructorOperator/s

Data driven analysis

Manual Analysis

Performance profiles Behavioural

patterns Operating procedure

Figure 1.1: Summary of the objectives and contributions of this dissertation.

fectively operators respond to mission incidents while following an specific operating procedure or checklist. Regarding performance analysis, some previous approaches are devoted to create a general profile of the operator based on the combination of a set of numerical measures that quantify different facets of the operator response during the mission, such as the agility, the aggresiveness or the number of mission tasks successfully accomplished. In order to make an analysis of the most representative profiles among many operators, clustering techniques have been applied [RFMC16]. However, those profiles are the result of an aggregation of the whole mission data, and thus, the instructor has no information about the evolution of the performance during the mission. Here, we go a step further in profile-based performance analysing by de- scribing a method, based on time series clustering, to define and analyse a set of representative temporal profiles, where the evolution of the operator performance during a mission is the main unit of measure.

The analysis of direct performance measures of quality is usually related to the specific system that is being analysed, and thus, the profile-based methods cannot be applied if the system does not provide a good set of performance measures, or at least, enough information to post-process them. One way to overcome this problem is to use directly the raw operator interactions to create behavioural models, which in turn allow to infer underlying cognitive processes on the operator response. In this regard, the works of Boussemart et al. [Bou11] set the usage of Hidden Markov Models (HMMs) and derivatives as the state of the art in modelling and predicting knowledge-based supervisory tasks such as the control of UAVs. The method defined in that work aims to create models that contain interesting patterns for the instructor about the behaviour of operators, but it opens the way for several improvements.

On the one hand, since a classical HMM only allows to model a single sequence of data, in our case the sequence of operator interactions, the resulting cognitive states may lack of additional information regarding the changes in the course of the mission, which reduces the robustness

(27)

of the conclusions extracted in the analysis. In this work, we will study the applicability of Multichannel Hidden Markov Models (MC-HMMs) (or Multivariate) to enrich the states of the model with the usage of parallel sources of information: the interactions performed by the operators in the simulation environment, and the events that describe the course of the mission.

On the other hand, the Markov assumption (i.e., the current state only depends on the previous state and not on earlier ones) of classical HMMs may result insufficient to detect long hidden patterns, and thus, it is interesting to study the applicability of more general models that relax this assumption. In this sense, high order Double Chain Markov Models (DCMMs) provide flexible and fully Markovian modelling capabilities which can expand the study of behavioural modelling in UASs. Both the performance profiling and the behavioural modelling approaches can be gathered in the field of data-driven analysis, since they rely exclusively on the mission data, without any prior knowledge about the nominal behaviour expected in any phase of the mission course. However, and due to the high costs involved in any mission established in an UAS, every critical step or possible failure is controlled by following the guidelines of a complete action checklist, as it happens in manned operations [Joh09]. In this work, we will refer to the term Operating Procedure (OP) as a way to gather different step-by-step guiding tools, such as checklists, action checklists, Emergency Operating Procedures.

An instructor is in charge of controlling that the operator is correctly following the steps described in the OP. This is what we will henceforth call Procedure Following Evaluation (PFE).

In order to automate this task, we must rely on a family of process mining techniques, known as conformance checking, focused on comparing process models (the OP) with data from the same process. Unfortunately, classical conformance checking techniques are not suitable for PFE, because the data associated to a case cannot change over time [dLvdA13], and sometimes the procedural steps of an OP in a UAS must be checked according to flexible and complex conditions involving the state of one or many variables in the log during a certain period of time. Thus, the basic elements and algorithms of conformance checking must be adapted to the paradigm of time-based data and time-aware processes, in order to solve, among other issues, the task of automatic procedure following evaluation.

The automation of the instructor tasks mentioned above (see the right side of Figure 1.1) may lead to the development of an all-in-one training analysis tool, where the instructor is provided with graphical representations of the information extracted from the proposed methods of evaluation and analysis. This can be useful not only for carriyng out a deeper and more robust debriefing of the training sessions, but also to perform operator selection, to adapt and improve the transfer of training, and to predict abnormal behaviour in real operations. An example of how some of these methods can be implemented in a tool inside a UAS can be seen in [RARFGPC17].

1.3 Research Questions

This PhD Thesis aims to provide intelligence and automation to training operations in a UAS by supporting instructors in some debriefing processes, such as the analysis of operator performance, the extraction of behavioural patterns and the procedure following evaluation. To achieve these main objectives, the main research questions of this thesis can be described as follows:

Q1: Is it possible to automate the analysis of the normal evolution of the operator per-

(28)

formance throughout the course of a mission?

Q2: How can we extend the current HMM-based methods for behavioural modelling in UASs?

Q3: Is it possible to automate the procedure following evaluation?

Q4: Can we apply any of the proposed methods in a different domain than UASs?

1.4 Structure of the thesis

This PhD dissertation has been divided into two parts (Part I and Part II). The first one is devoted to the statement of a summarised description of all the methods developed to provide intelligence and automation to training operations in a UAS. The second one collects the main scientific publications obtained as a result of the work developed.

Part I has been structured in five chapters. A brief description of the chapter contents are given as follows:

Chapter 1: Introduction. It provides the general context and motivations related to this dissertation. In addition, the main objectives and research questions are introduced, as well as the main contributions and publications generated in this work.

Chapter 2: Backgrounds on training operations in a UAS. It briefly describes the context of a training mission in an UAS, the role of the instructor and the operator and the processes that will be studied and automated in this work. Furthermore, a review of the state of the art in training systems for UAV operations is provided, as well as an introduction to the simulation environment Drone Watch And Rescue (DWR), that has been designed to be used as a testbed for some of the experiments of this work.

Chapter 3: Data-driven learning approaches for the analysis of performance and behavioural patterns. This chapter is concerned with the improvement of the current methods for the instructors tasks related to performance analysis and behavioural modelling, from a exclusively data-driven perspective. Regarding performance analysis, an approach based on time series clustering is proposed for creating representative profiles of the evolution of the operator performance. Regarding behavioural modelling, the study of Markovian models goes further than classical HMMs, adding the usage of multiple sources of information through MC-HMMs and the study of the applicability of high order extensions of a DCMM. All the approaches are tested in the simulation environment DWR.

Chapter 4: Automatic Procedure Following Evaluation through time series- aware conformance checking. It presents the approach taken to automate the problem of Procedure Following Evaluation through time series-aware conformance checking. The data, the models and the algorithms from classical conformance checking have been extended and adapted in order to provide support for time series-aware systems. Finally, two case studies are included in order to demonstrate the effectiveness of the proposed approach.

(29)

Chapter 5: Conclusions and Future Works. The Research Questions described in Chapter 1 are addressed in order to provide some answers, based on the results obtained from this research. Finally, taking into account all the analysis carried out, a summary of the possible future works is presented.

Part II details the work developed to accomplish the objectives stated before by assem- bling three scientific publications. These publications and their contributions are stated in next section.

1.5 Publications of the compendium and Contributions

The publications that make up the compendium of this dissertation, along with the contribution of the PhD candidate and their general contributions to this thesis, are the following:

(IJ-1) Rodr´ıguez-Fernández, V´ıctor, Héctor D. Menéndez, and David Camacho. 2017. “Analysing Temporal Performance Profiles of UAV Operators Using Time Series Clustering.” Expert Systems with Applications 70: 103–18.

DOI: 10.1016/j.eswa.2016.10.044.

Impact Factor = 3.768 (JCR, 2017) [Q1; 20/132; Computer Science, Artificial Intelligence].

– Contribution: The contribution of this paper is presented in Section 3.1, which presents a method based on multivariate time series clustering to analyse a set of representative operator performance profiles, where the evolution of the performance during a mission is the main unit of measure.

– Contribution of the PhD candidate:

* First author of the article.

* Co-authoring in the conception of the presented idea.

* Definition of the measures that comprise a temporal performance profile.

* Design, implementation and testing of the proposed method.

* Design and implementation of the webapp used to evaluate the results.

* Design and execution of the experiments.

* Co-authoring in the interpretation and discussion of results.

* Writing of the manuscript with inputs from all authors, and design of the figures.

(IJ-2) Rodr´ıguez-Fern´andez, V´ıctor, Antonio Gonzalez-Pardo, and David Camacho. 2018.

“Modelling Behaviour in UAV Operations Using Higher Order Double Chain Markov Mod- els.” IEEE Computational Intelligence Magazine 12 (4): 28–37.

DOI: 10.1109/MCI.2017.2742738

Impact factor = 6.611 (JCR, 2017) [Q1; 9/132; Computer Science, Artificial Intelligence].

– Contribution: The contribution of this paper is presented in Section 3.2.2, which presents an extension of the study of behavioural modelling in UAV operations by using high order Double Chain Markov Models (DCMM).

(30)

* Design and implementation of the proposed method.

* Author of the simulation environment and dataset.

* Design and execution of the experiments.

* Writing of most of the manuscript and design of the figures.

(IJ-3) Rodr´ıguez-Fern´andez, V´ıctor, Antonio Gonzalez-Pardo, and David Camacho. 2018.

“Automatic Procedure Following Evaluation Using Petri Net-Based Workflows.” IEEE Transactions on Industrial Informatics 14(6): 2748–59.

DOI: 10.1109/TII.2017.2779177

Impact factor = 5.430 (JCR, 2017) [Q1; 5/105; Computer Science, Interdisciplinary Ap- plications].

– Contribution: The contribution of this paper is presented in Chapter 4, where the task of procedure following evaluation is automated and applied to the operating procedures from a realistic UAS.

* Formalization of the modelling concepts proposed

* Implementation of the proposed algorithms.

* Design and simulation of the use cases.

* Writing of the manuscript with inputs from all authors, and design of the figures.

1.6 Other Publications and Contributions

Besides from the main publications of the compendium, other contributions have been generated during the development of this thesis which support the research of this work. These publications have been organized by journals and conferences, and sorted by year.

International Journals

(IJ-4) Rodr´ıguez-Fernández, V´ıctor, Héctor D. Menéndez, and David Camacho. 2016. “Au- tomatic Profile Generation for UAV Operators Using a Simulation-Based Training Envi- ronment.” Progress in Artificial Intelligence 5 (1): 37–46. Ed. by Springer-Verlag.

DOI: 10.1007/s13748-015-0072-y.

Contribution: This contribution is a previous work in clustering-based performance profiling that motivates the study of time-based performance profiles presented Sec- tion 3.1.