La ejecución de las pruebas se llevó a cabo con un sujeto de pruebas el cual se sometió a diferentes tiem- pos de entrenamiento para realizar la generación de reglas, en la tabla 10, se puede ver la cantidad de re- glas obtenidas por cada tiempo de ejecución.
TIEMPO NUMERO DE REGLAS 10 minutos 8 15 minutos 12 25 minutos 23 45 minutos 33 Tabla 10
En la tabla 10 se puede observar que entre mayor tiempo se encontraran mayor cantidad de reglas y se puede obtener reglas que se repitan para que obtengan mayor peso y así poder tener mayor certeza sobre las reglas encontradas, el sistema y los tiempos de ejecución deben ser ajustados a menores tiempos de análisis para poder obtener más cantidad de reglas en menos tiempo, en las Figuras 12, 13, 14 y 15 se puede observar como a medida que la aplicación iba siendo adaptada, se cambiaban los comportamientos o emociones emitidas por el sujeto de pruebas. Durante la ejecución de las pruebas en el tiempo de entre- namiento se presentó el problema de que no se logró generar ninguna regla que concluyera al comporta-
miento de “surprise”, por tal motivo no era posible cumplir con la regla de adaptación que deseaba que en
el nivel 2 el usuario presentara el comportamiento de “surprise”, esto sucedió debido a que se detectó que es necesario mayor tiempo de entrenamiento para que se puedan genera más cantidad de reglas.
Figura 12 –Imagen de prueba de la aplicación con obtención del comportamiento “sadness”
Figura 13 - Imagen de prueba de la aplicación con obtención del comportamiento “surprise”
Figura 15 - Imagen de prueba de la aplicación con obtención del comportamiento “fear”
Dentro de las pruebas, en la fase de ejecución se puso al sujeto de pruebas a jugar el videojeugo de basuras y el sistema de integración y adaptación construido se ejecutaba al mismo tiempo, en la ejecución se pro- cedió a registrar y evaluar el nivel de eficiencia en términos de la asertividad que tenía el framework SSP, el comportamiento deseado y el comportamiento real expresado por el usuario, para esto se registraba cada 2 minutos a través de una pregunta en el sistema que se le hacia al usuario sobre el comportamiento que el sentía en ese momento, y se comparaba con el comportamiento detectado por el framework SSP y el deseado en las reglas de adaptación, esto se realizó para el primer estado debido a que para el segundo estado no se obtuvieron reglas para el comportamiento deseado de “surprise” como se nombró anterior- mente. En la tabla 11 se puede observar el resultado de las pruebas realizadas en las cuales se sometió al usuario a un tiempo de juego de 1 hora.
Cantidad de datos Framework VS usua- rio Deseado VS framework Deseado VS usuario 30 22 13 11 PORCENTAJE EFECTIVIDAD 73,33 43,33 36,66
Tabla 11 – Resultado de pruebas en fase de ejecución
adaptación responde de manera eficiente en cuanto a comunicación y los parámetros que se configuran son enviados de forma correcta de tal forma que con los servicios desarrollados y expuestos por el sistema la aplicación multimedia pudo realizar la adaptación de sus características de acuerdo a las expresiones detectadas por los frameworks SSP.
V–CONCLUSIONESYTRABAJOSFUTUROS
La detección de las señales sociales expresadas por los usuarios frente a los sistemas permiten generar un tipo de interacción no convencional y de forma natural para el usuario.
Determinar una señal social a través del uso de un sistema es posible sin embargo puede verse afectada señal expresada por factores externos que no corresponden al sistema, de esta forma se puede concluir que el influir en los comportamientos sociales de una persona es posible y se puede realizar de forma más efectiva en ambientes controlados en los cuales el usuario no sea influenciado por agentes externos al sistema.
Los estados de ánimo de una persona pueden ser un factor determinante para que los sistemas y aplicaciones multimedia no causen el efecto deseado en las personas.
El framework de adaptación propuesto permite que una aplicación multimedia pueda tener acceso a información de las señales sociales producidas por los usuarios y adaptar la aplica- ción multimedia de acuerdo a estas señales detectadas.
Se encuentra que el sistema debe ser entrenado para cada usuario, debido a que cada usuario reacciona diferente a diversos estímulos.
Para cada aplicación multimedia el sistema debe ser configurado nuevamente y entrenado por cada usuario para generar reglas de adaptación de parámetros en específico.
Es necesario incluir dentro del sistema un aprendizaje continuo, debido a que el inicial puede ser insuficiente para algunos casos.
Es necesario que el desarrollador que desee usar el framework de adaptación tenga conoci- miento o asesoramiento para que las reglas que defina para las señales sociales y comporta- mientos sean coherentes con los comportamientos sociales adecuados en caso de tener más un framework conectado.
La mayoría de herramientas y frameworks SSP que se encuentran funcionando actualmente son software propietario y su SDK de desarrollo no está disponible para uso libre, es posible utilizar herramientas por tiempos de prueba limitados.
La mayoría de frameworks SSP existentes, se encuentran enfocados en detección de emocio- nes, principalmente a través de las expresiones faciales.
Gran parte de los frameworks SSP libres de detección de señales sociales producen informa- ción de la detección de gestos o posiciones y no ofrecen consolidación de la información en comportamientos sociales
El tiempo de entrenamiento debe ser superior a 45 minutos con el usuario para que se puedan generar y validar las reglas generadas.
El framework permite una fácil configuración de los parámetros de adaptación de las aplica- ciones y funciona de manera correcta para el envío de parámetros.
El framework no exige que se deba realizar cambios al desarrollo de las aplicaciones multi- media, solo debe incluirse los componentes de comunicación y de control de adaptación los cuales no requieren una alta complejidad de desarrollo.
Incluir aprendizaje continuo en la fase de ejecucion
Mejorar los métodos de aprendizaje de reglas del usuario, para que se puedan encontrar mas cantidad de reglas en menor tiempo
Incluir la interfaz grafica de configuración de los componentes.
Realizar pruebas con mayor cantidad de usuarios y con diferentes aplicaciones multimedia, para poder validar el modelo en mayor profundidad.
VI-REFERENCIAS
[1] Alessandro Vinciarelli, Gelareh Mohammadi.Towards a Technology of Nonverbal Communi- cation: Vocal Behavior in Social and Affective Phenomena. 2012
[2] Hecht, M., De Vito, J., & Guerrero, L. Perspectives on nonverbal communication-codes, functions, and contexts. In L. Guerrero, J. De Vito, & M. Hecht (Eds.), The nonverbal communi- cation reader - classic and contemporary readings (p. 3-18). Waveland Press. 1999.
[3] P. Ekman and W. Friesen, “The repertoire of nonverbal behavior: Categories, origins, usage, and coding,” Semiotica, vol. 1, no. 1, pp.
49–98, 1969
[4] A. Vinciarelli, M. Pantic, H. Bourlard, Social Signal Processing: Survey of an Emerging Do- main, Image and Vision Computing. 2009
[5] A. Vinciarelli, M. Pantic, H. Bourlard, Alex Pentland, Social Signals, their Function, and Au-
tomatic Analysis:A Survey. ICMI’08, October 20–22, 2008, Chania, Crete, Greece
[6] A. A. Salah, M. Pantic, and A. Vinciarelli, "Recent Developments in Social Signal Pro- cessing," in Proceedings of the IEEE International Conference on Systems, Man and Cybernetics, 2011, pp. 380-385.
[7]J. Wagner, F. Lingenfelser, and E. Andre. The social signal interpretation Framework (ssi) for real time signal processing and recognition. In Proc. of INTERSPEECH, 2011.
[8] Christine Laetitia Lisetti and Cynthia LeRouge and Fatma Nasoz. The MAUI Project: Build-
ing MultiModal Affective User Interfaces for Everyone. American Association for Artificial In- telligence (www.aaai.org). 2002
[9] Johannes Wagner, Elisabeth Andre, Frank Jung. Smart Sensor Integration: A Framework for Multimodal Emotion Recognition in Real-Time. IEEE . 2009
[10] Stefan Scherer, Michael Glodek, Georg Layher, Martin Schels, Miriam Schmidt, Tobias Brosch, Stephan Tschechne, Friedhelm Schwenker, Heiko Neumann, Günther Palm. A generic Framework for the inference of user states in human computer interaction. J Multimodal User Interfaces, Springer. 2012.
[11] J. Wagner, F. Lingenfelser, T. Baur, I. Damian, F. Kistler and E. André. The Social Signal Interpretation (SSI) Framework, Multimodal Signal Processing and Recognition in Real-Time. SUBMITTED to ACM MULTIMEDIA 2013 OPEN SOURCE SOFTWARE COMPETITION. 2013
[12] G. Caridakis, J. Wagner, A. Raouzaiou, Z. Curto,E. Andre, and K. Karpouzis. A multimodal corpus for gesture expressivity analysis. In Proc. LREC, 2010
[13] S. Scherer, G. Stratou, M. Mahmoud, J. Boberg,J. Gratch, A. Rizzo, and L.-P. Morency. Automatic behavior descriptors for psychological disorder analysis. In Proc. FG, 2013.
[14] S. W. Gilroy, M. Cavazza, R. Chaignon, S.-M. Miakela,M. Niranen, E. Andre, T. Vogt, J. Urbain, H. Seichter, M. Billinghurst, and M. Benayoun. An affective model of user experience for interactive art. In Proc. ACE, pages 107-110, New York, USA, 2008. ACM.
[15] Phil Chou, Francesco G.B. De Natale, Enrico Magli, Eckehard Steinbach. Trends in Multi- media Signal Processing. IEEE SIGNAL PROCESSING MAGAZINE. 2011.
[16] Ricardo Lopes and Rafael Bidarra. Adaptivity Challenges in Games and Simulations: A Survey. IEEE TRANSACTIONS ON COMPUTATIONAL INTELLIGENCE AND AI IN GAMES, VOL. 3, NO. 2, JUNE 2011
[17] Isabella Poggi & Francesca D’Errico, Social signals: A psychological perspective, A.A.Salah. Computer Analysis of Human Behavior . Springer Verlag, London Limited 2011
[18] A. Vinciarelli, H.Salamin, M. Pantic .Social Signal Processing: Understanding Social Inter- actions through Nonverbal Behavior Analysis. IEEE, 2009.
[19] H. Gunes and M. Piccardi. Assessing facial beauty through proportion analysis by image processing and supervised learning. International Journal of HumanComputer Studies, 64(12):1184–1199, 2006.
[20] T. Darrell, G. Gordon, M. Harville, and J. Woodfill. Integrated person tracking using stereo, color, and pattern detection. International Journal of Computer Vision, 37(2):175–185, 2000.
[21]Alessandro Vinciarelli, Maja Pantic, Hervé Bourlard, Alex Pentland. Social Signal Pro- cessing: State-of-the-Art and Future Perspectives of an Emerging Domain. ACM. 2008
[21] Grahe, J., & Bernieri, F. The importance of nonverbal cues in judging rapport. Journal of Nonverbal Behavior, 23 (4), 253-269, 1999.
[22] N. Ambady and R. Rosenthal. Thin slices of expressive behavior as predictors of interper- sonal consequences: a meta-analysis. Psychological Bulletin,111(2):256–274, 1992.
[23] P. Ekman and W. Friesen. Facial action coding system (FACS): Manual. 2002.
[24] P. Ekman and E. Rosenberg. What the Face Reveals:Basic and Applied Studies of Sponta- neous ExpressionUsing the Facial Action Coding System (FACS). Oxford University Press, 2005.
[27] M. Argyle. The Psychology of Interpersonal Behaviour. Penguin, 1967 [25]G. Psathas. Con- versation Analysis - The study of talk-in-interaction. Sage Publications, 1995.
[28]G. Psathas. Conversation Analysis - The study of talk-in-interaction. Sage Publications, 1995.
[29] G. Yule. Pragmatics. Oxford University Press, 1996.
[30] Paul M. Brunet, Roddy Cowie,Dirk Heylen. Conceptual Frameworks for multimodal social signal processing. J Multimodal User Interfaces. SpringerLink. 2012.
[31] Phil Chou, Francesco G.B. De Natale, Enrico Magli, Eckehard Steinbach. Trends in Multi- media Signal Processing. IEEE SIGNAL PROCESSING MAGAZINE. 2011.
[32] Ricardo Lopes and Rafael Bidarra. Adaptivity Challenges in Games and Simulations: A Survey. IEEE TRANSACTIONS ON COMPUTATIONAL INTELLIGENCE AND AI IN GAMES, VOL. 3, NO. 2, JUNE 2011
[33] Sightcorp 2015. Internet: http://sightcorp.com/ , Mayo, 5, 2015.
VII-ANEXO2-DESCRIPCIÓNDELATESISODELTRABAJODE
GRADO
BIBLIOTECA ALFONSO BORRERO CABAL, S.J.
DESCRIPCIÓN DE LA TESIS O DEL TRABAJO DE GRADO
FORMULARIO
TÍTULO COMPLETO DE LA TESIS DOCTORAL O TRABAJO DE GRADO
Framework de adaptación de aplicaciones multimedia basado en señales sociales.
SUBTÍTULO, SI LO TIENE
AUTOR O AUTORES
Apellidos Completos Nombres Completos
Rivera Parra Carlos Ivan
DIRECTOR (ES) TESIS O DEL TRABAJO DE GRADO
Apellidos Completos Nombres Completos
Benavides Erazo Christian Orlando
FACULTAD
Ingeniería
PROGRAMA ACADÉMICO
Tipo de programa ( seleccione con “x” )
Nombre del programa académico
Maestría en ingeniería de sistemas y computación
Nombres y apellidos del director del programa académico
Angela Cristina Carrillo Ramos
TRABAJO PARA OPTAR AL TÍTULO DE:
MAGÍSTER EN INGENIERÍA DE SISTEMAS Y COMPUTACIÓN
PREMIO O DISTINCIÓN (En caso de ser LAUREADAS o tener una mención especial):
CIUDAD AÑO DE PRESENTACIÓN DE LA TESIS
O DEL TRABAJO DE GRADO
NÚMERO DE PÁGINAS
Bogotá 2015 49
TIPO DE ILUSTRACIONES ( seleccione con “x” )
Dibujos Pinturas Tablas, gráficos y
diagramas Planos Mapas Fotografías Partituras x
SOFTWARE REQUERIDO O ESPECIALIZADO PARA LA LECTURA DEL DOCUMENTO
Nota: En caso de que el software (programa especializado requerido) no se encuentre licenciado por la Universidad a través de la Biblioteca (previa consulta al estudiante), el texto de la Tesis o Trabajo de Grado quedará solamente en formato PDF.
MATERIAL ACOMPAÑANTE
TIPO DURACIÓN
(minutos) CANTIDAD
FORMATO
Vídeo Audio Multimedia Producción electrónica Otro Cuál?
DESCRIPTORES O PALABRAS CLAVE EN ESPAÑOL E INGLÉS
Son los términos que definen los temas que identifican el contenido. (En caso de duda para designar estos descriptores, se recomienda consultar con la Sección de Desarrollo de Colecciones de la Bi-
blioteca Alfonso Borrero Cabal S.J en el correo [email protected], donde se les orienta-
rá).
ESPAÑOL INGLÉS
Interacción hombre maquina Human Computer Interaction
Aplicaciones multimedia Multimedia Aplications
Adaptacion Adaptation
Procesamiento de señales sociales Social Signal Processing
RESUMEN DEL CONTENIDO EN ESPAÑOL E INGLÉS
(Máximo 250 palabras - 1530 caracteres) ABSTRACT
The multimedia applications require that the interaction with the users is more natural and likewise it can get feedback from the user behavioral cues. It is very important to include social signals the user shows at the mo- ment of the interaction with an application and thus adapting the multimedia application in real time based on a deep knowledge of the user. For this reason, this paper presents the development of a framework of adaptation of multimedia applications based on social signals, which, will let to integrate the social signal processing frame- works with the applications for getting the emitted behaviors by the user and adapting them according with the
RESUMEN
Las aplicaciones multimedia requieren que la interacción con los usuarios sea de forma más natural y poderse retroalimentar de los estados que el usuario expresa, es importante poder incluir las señales sociales que el usua- rio presenta en el momento de la interacción con una aplicación y de esta forma poder adaptar las aplicaciones multimedia en tiempo real en base a un conocimiento más personal del usuario, por este motivo en este trabajo se presenta el desarrollo de un framework de adaptación de aplicaciones multimedia basado en señales sociales, el cual permitirá integrar frameworks de procesamiento de señales sociales con las aplicaciones multimedia para obtener la detección de las señales emitidas por el usuario y adaptarlas de acuerdo a un aprendizaje hecho del uso de la aplicación.