Framework de adaptación de aplicaciones multimedia basado en señales sociales PI141-01

PI141-01

FRAMEWORK DE ADAPTACIÓN DE APLICACIONES MULTIMEDIA BASADO EN SEÑALES SOCIALES

CARLOS IVAN RIVERA PARRA

PONTIFICIA UNIVERSIDAD JAVERIANA FACULTAD DE INGENIERIA

MAESTRÍA EN INGENIERÍA DE SISTEMAS Y COMPUTACIÓN BOGOTÁ, D.C.

FRAMEWORK DE ADAPTACIÓN DE APLICACIONES MULTIMEDIA BASADO EN SEÑALES SOCIALES

AUTOR:

CARLOS IVAN RIVERA PARRA

MEMORIA DEL TRABAJO DE GRADO REALIZADO PARA CUMPLIR UNO DE LOS REQUISITOS PARA OPTAR AL TITULO DE

MAGÍSTER EN INGENIERÍA DE SISTEMAS Y COMPUTACIÓN

Director

Christian Orlando Benavides Erazo

Comité de Evaluación del Trabajo de Grado

Cesar Julio Bustacara Medina Miller Gómez Mora

Página web del Trabajo de Grado

http://pegasus.javeriana.edu.co/~PI141-01-AdapApliMultimedia/

PONTIFICIA UNIVERSIDAD JAVERIANA FACULTAD DE INGENIERIA

PONTIFICIA UNIVERSIDAD JAVERIANA FACULTAD DE INGENIERIA

CARRERA DE INGENIERIA DE SISTEMAS

Rector Magnífico

Joaquín Emilio Sánchez García S.J.

Decano Académico Facultad de Ingeniería

Ingeniero Luis David Prieto Martínez

Decano del Medio Universitario Facultad de Ingeniería

Padre Sergio Bernal Restrepo S.J.

Director Maestría en Ingeniería de Sistemas y Computación

Ingeniera Ángela Cristina Carrillo Ramos

Director Departamento de Ingeniería de Sistemas

Artículo 23 de la Resolución No. 1 de Junio de 1946

AGRADECIMIENTOS

Deseo expresar mis más sinceros agradecimientos a todas aquellas personas que me

brindaron su colaboración, sus conocimientos, su tiempo, asesoría y ayuda

incondi-cional para la realización de esta investigación.

Contenido

INTRODUCCIÓN ... 1

I-PROPUESTA ... 5

1.OBJETIVOS ... 5

1.1 Objetivo general ... 5

1.2 Objetivos Específicos ... 5

2.METODOLOGÍA... 5

2.1 Análisis Bibliográfico ... 6

2.2 Diseño del modelo conceptual ... 7

2.3 Implementación de prototipo en un caso de estudio. ... 7

2.4 Evaluación del modelo conceptual. ... 7

II–MARCO TEÓRICO ... 8

1.SEÑALESSOCIALES Y SSP ... 10

1.1 Taxonomía ... 11

2.APLICACIONESDELPROCESAMIENTODESEÑALESSOCIALES(SSP) ... 19

2.1. Metas Tecnológicas ... 19

2.2 Metas de las ciencias humanas ... 20

2.3 Metas de impacto práctico ... 20

2.4 Herramientas existentes de SSP ... 21

2.5 SSP y Multimedia ... 22

III-MODELO PROPUESTO ... 25

1.ARQUITECTURA DEL FRAMEWORK DE ADAPTACIÓN PROPUESTO ... 26

1.1 Frameworks SSP ... 27

1.2. Identificación De Comportamientos ... 28

1.3. Aplicación multimedia ... 30

1.4. Aprendizaje de reglas e identificación de parámetros para adaptación ... 30

1.5. Reglas de adaptación según el estado de la aplicación ... 31

1.6. Base de integración y adaptación ... 32

1.7. Servidor de comunicación servicios ... 33

1.8. Interfaz Grafica ... 33

2.IMPLEMENTACIÓN DEL PROTOTIPO ... 33

2.1 Frameworks SSP ... 34

2.2 Base de integración y adaptación ... 35

2.3 Identificación de comportamientos ... 35

2.4 Aplicación multimedia ... 36

IV-PRUEBAS ... 40

2.EJECUCIÓNDEPRUEBAS ... 40

V–CONCLUSIONESYTRABAJOSFUTUROS ... 44

VI-REFERENCIAS ... 46

VII-ANEXO1–CARTA DE AUTORIZACION (LICENCIA DE USO) ... 50

ABSTRACT

The multimedia applications require that the interaction with the users is more

nat-ural and likewise it can get feedback from the user behavioral cues. It is very

im-portant to include social signals the user shows at the moment of the interaction

with an application and thus adapting the multimedia application in real time based

on a deep knowledge of the user. For this reason, this paper presents the

develop-ment of a framework of adaptation of multimedia applications based on social

sig-nals, which, will let to integrate the social signal processing frameworks with the

applications for getting the emitted behaviors by the user and adapting them

ac-cording with the learning acquired through the use of the application.

RESUMEN

RESUMEN EJECUTIVO

Este proyecto tiene como objetivo el diseño de un método por el cual pueda incluirse la informa-ción de los comportamientos no-verbales o señales sociales de los seres humanos en las aplica-ciones multimedia, para poder adaptarlas en tiempo real, de esta forma brindando otro tipo de interacción no convencional y de forma natural, para esto se realizó un análisis de las principales señales sociales y sus campos de estudio en cuanto al procesamiento automático de esta forma se incluyó el área de procesamiento de señales sociales como principal guía para desarrollar el pro-yecto, dentro de esta área y sus metas se encontró que estaban alineadas a las características y necesidades que tienen las aplicaciones multimedia actualmente, por tal motivo se estudió dife-rentes herramientas o frameworks de procesamiento de señales sociales y sus salidas.

I

La forma en que los seres humanos interactúan con los objetos de su entorno, las personas a su alrededor y cómo reaccionan a estas interacciones se realiza a través de la comunicación verbal y no verbal, la comunicación no verbal es el principal canal con el cual nos comunicamos con los demás[1], entender este tipo comunicación y traducirlo a comportamientos es uno de los más grandes desafíos a los que se enfrentan los científicos, estos comportamientos de las personas como lo son: el estar de acuerdo o en desacuerdo, las normas de cortesía, la empatía, entre otros, son señales y comportamientos sociales. Estas señales sociales son expresiones de las actitudes de las personas frente a diversas situaciones del entorno y cómo interactúan con ellas, dichas ex-presiones se manifiestan a través de señales comportamentales no-verbales, las cuales pueden ser gestos corporales, expresiones faciales, expresiones vocales y señales fisiológicas, estas señales comportamentales no-verbales se combinan para producir una señal social la cual se transmite a través de diferentes tipos de mensajes clasificados por el origen, uso y codificación[3] los cuales pueden ser los siguientes:

● Afectivos / actitudinales / estados cognitivos

● Emblemas

● Manipuladores

● Ilustradores

● Reguladores

Estos mensajes permiten analizar las intenciones comunicativas de la persona y se presentan en diferentes intervalos de tiempo, las señales comportamentales no-verbales son clasificadas por la psicología social en 5 diferentes grupos o dominios [2] apariencia física, gestos y posturas, com-portamiento de la cara y ojos, comcom-portamiento vocal, y el espacio y ambiente.

psicológicos de los seres humanos, por eso se hace necesario poder evaluar automáticamente es-tos comportamienes-tos sociales de las personas [4], esto se hace posible a través del procesamiento de señales sociales (SSP, por sus siglas en inglés), el cual tiene como objetivo acercar y reducir la brecha de la inteligencia social entre computadoras y humanos [6]. El SSP está interesado en res-ponder a las siguientes preguntas [1]:

● ¿Es posible detectar señales comportamentales no-verbales en grabaciones de interacciones sociales capturadas con micrófonos, cámaras y otras clases de sensores?

● ¿Es posible inferir señales sociales desde señales comportamentales no-verbales a través de datos capturados con diferentes clases de sensores?

● ¿Es posible sintetizar señales comportamentales no-verbales provocando percepciones sociales deseadas?

En respuesta a estas preguntas sobre el estudio de SSP se han encontrado diferentes campos de aplicación del procesamiento de señales sociales, los cuales son: análisis de interacciones huma-nas, entrenamiento (coaching), robótica social, e interacciones con ambientes virtuales [6]. Para lograr los desarrollos en estas aplicaciones se han tenido que desarrollar e involucrar diferentes tipos de detección de señales sociales, para esto ha sido necesario el uso de diferentes clases de sensores que permitan la detección de estas señales, en la mayoría de aplicaciones de SSP se en-cuentra que cada investigador propone y construye su método de detección y análisis de las seña-les para hacerlo y aplicarlo a su contexto específico, esto hace que el investigador no pueda enfo-carse solo en su campo de estudio relevante sino que debe preocuparse también de cómo realizar la detección y análisis necesario para su aplicación específica, en respuesta a esto se han desarro-llado diversos Frameworks los cuales permiten generar un análisis de señales a través de diversos sensores(micrófonos, cámaras, etc.) [7][8][9][10].

ción especial a cada caso de uso, la mayoría de las aplicaciones en las cuales se han utilizado responden al análisis de las señales interpretando las señales emocionales de los usuarios[12][14], también se presentan usos para la detección de desórdenes psicológicos, entre otros [13].

Como se ha mencionado anteriormente las señales sociales y su procesamiento están presentes en cada interacción de las personas y su entorno; SSP ayuda a estudiar y analizar los comportamien-tos que los seres humanos tienen ante diversas situaciones que se presentan a su alrededor, el poder interpretar y determinar cómo las señales sociales son producidas y en qué momento para una persona en específico, ayuda a identificar los factores que producen este tipo de señales en la persona e identificar aspectos que puedan afectar su relación con el entorno.

En las aplicaciones multimedia es importante la interacción del usuario con el sistema, es necesa-rio que estas se adecuen para producir una interacción más natural con el usuanecesa-rio. Un ejemplo de aplicaciones multimedia son los videojuegos, los cuales muchas veces pueden tener contenidos rígidos y estáticos, lo cual puede resultar en que el juego parezca predecible e impersonal, por esta razón es necesario introducir la adaptación de estos sistemas, existen avances en este tema de los cuales se pueden encontrar dos clasificaciones: las off-line y las online, las offline buscan introducir más información del usuario previamente para poder adaptar el sistema, y las online han trabajado más en la adaptación de ambientes de juego o de los personajes no jugadores (NPC por sus siglas en inglés), que son inteligencias artificiales en el juego y se adaptan de acuerdo a las decisiones y acciones que el usuario toma durante el juego [16]. Estas adaptaciones no tienen en cuenta el estado actual de las personas y sus comportamientos, por lo tal está abierto el desafío en los juegos de incluir estos comportamientos y la información del jugador en tiempo real para adaptar el juego.

I

-

PROPUESTA

1. OBJETIVOS

1.1 Objetivo general

Integrar Frameworks de procesamiento de señales sociales con aplicaciones multimedia, para adaptarlas en tiempo real de acuerdo a los comportamientos verbales (señales sociales no-verbales) expresados por el usuario.

1.2 Objetivos Específicos

1. Analizar el estado del arte de los Frameworks de señales sociales, aplicaciones multime-dia y parámetros de adaptación de aplicaciones.

2. Diseñar un modelo conceptual de integración de Frameworks de señales sociales con las aplicaciones multimedia para su adaptación.

3. Implementar un prototipo funcional del modelo conceptual en un caso de estudio 4. Validar el modelo conceptual propuesto con personal experto en desarrollo multimedia

2. METODOLOGÍA

Este proyecto se desarrolló en el marco de la ciencia del diseño, en donde se pretende realizar un análisis bibliográfico que aporte los conocimientos sobre el procesamiento de señales sociales, adaptación de aplicaciones multimedia e interacción, entre otros temas, igualmente responde a necesidades presentes en el entorno en donde los usuarios de aplicaciones multimedia y las per-sonas en general juegan un papel muy importante debido a la temática de la comunicación no verbal. Los diferentes avances tecnológicos reportan la necesidad y la búsqueda para obtener in-formación adicional del usuario para una interacción de forma más natural, un ejemplo de esto es Kinect de Microsoft.

donde se realiza una aproximación del proyecto y algunos de sus componentes ubicados en los ciclos de la investigación basada en el diseño.

Figura 1 – Metodología de la ciencia del diseño para el proyecto

Las fases de desarrollo del proyecto fueron las siguientes:

Fase 1: Análisis bibliográfico.

Fase 2: Diseño de modelo conceptual.

Fase 3: Implementación de prototipo en un caso de estudio. Fase 4: Evaluación del modelo conceptual.

2.1 Análisis Bibliográfico

2.2 Diseño del modelo conceptual

En esta fase de acuerdo al análisis y hallazgos de la fase anterior se procede a realizar el diseño de los componentes que son necesarios para cumplir los objetivos, en el análisis de la fase ante-rior se generan diferentes tipos de características que se deben incluir en el diseño para poder responder a la necesidad y aportar a la solución del problema, este diseño se fue refinando en diversas iteraciones, de acuerdo a los hallazgos y retroalimentación del estado del arte.

2.3 Implementación de prototipo en un caso de estudio.

En esta fase se realiza la implementación de un prototipo para poder posteriormente probar el diseño realizado previamente, en esta fase se propone la implementación de los componentes principales que se definieron en el diseño, en esta fase de acuerdo a las tecnologías presentes y las herramientas disponibles se presentan las restricciones que hay en la construcción del prototi-po, por lo cual también es necesario reevaluar según las herramientas presentes el diseño y retro-alimentarlo a través del estado del arte, es necesario tener en cuenta que este proceso es iterativo e incremental en todas sus fases, lo cual permite realizar por medio de prototipos rápidos la eva-luación y pruebas de que se cumple con lo propuesto en el diseño y que el diseño responde al objetivo propuesto. El caso de estudio el cual se utilizo fue un videojuego sobre la temática del reciclaje.

2.4 Evaluación del modelo conceptual.

II

_–

M

T

La comunicación verbal y no verbal determina la forma en que los seres humanos se relacionan con su entorno, con lo objetos que se encuentran en él y con los demás seres humanos que están a su alrededor, la comunicación no verbal es el principal canal con el cual nos comunicamos con los demás. Las personas no pueden dejar de comunicarse, en cada momento están mostrando di-ferentes señales comportamentales no-verbales las cuales pueden ser expresiones faciales, gestos corporales, apariencia, etc. También de otra forma las personas reciben las señales que otros ex-presan, comúnmente de manera inconsciente se interpretan las señales de los otros en forma de emociones, sentimientos, actitudes, intenciones, entre otros [1]

Este tipo de comunicación no verbal se ha convertido en uno de los desafíos más grandes a los que se enfrentan los científicos, el cómo identificarlos y traducirlos en comportamientos, estos comportamientos de las personas son expresiones de sus actitudes frente a diversas situaciones en el entorno y cómo interactúan con ellas produciendo señales y comportamientos sociales como empatía, desacuerdo, cortesía, entre otros. Estas señales sociales pueden ser obtenidas a través del análisis y combinación de diversas señales de comportamiento (behavioural cues) las cuales pue-den ser como se nombraron anteriormente expresiones faciales, expresiones vocales, gestos cor-porales, entre otras, en la figura 2 se puede observar como una combinación de señales de com-portamiento producen una señal social, que en el caso de la figura 2 es desacuerdo o agresividad, lo cual es evidente inclusive si se mostrarán solo las siluetas de los personajes involucrados en la interacción[4].

El Procesamiento de Señales Sociales (SSP, por sus siglas en inglés) es el campo de investigación de dominio tecnológico que busca que los computadores y sistemas tengan la capacidad de reali-zar un análisis, detección y reconocimiento automático de señales sociales. Este campo involucra la ingeniería y las ciencias humanas y busca analizar desde estas dos perspectivas los comporta-mientos entre las interacciones hombre-máquina y hombre-hombre, permitiendo interpretar los comportamientos no-verbales expresados por las personas en su interacción con otras personas o maquinas en su entorno social inmediato [5].

Como se puede ver, la importancia que las señales sociales tienen en la vida diaria del ser hu-mano es evidente, por eso se hace necesario hallar la forma de poder evaluar automáticamente estos comportamientos sociales de las personas [4], esto se hace posible a través del procesamien-to de señales sociales (SSP, por sus siglas en ingles), el cual tiene como objetivo acercar y reducir la brecha de la inteligencia social entre computadoras y humanos [6]. El SSP está interesado en responder preguntas tales como [1]:

● ¿Es posible detectar señales comportamentales no-verbales en grabaciones de interacciones sociales capturadas con micrófonos, cámaras y otras clases de sensores?

● ¿Es posible inferir señales sociales desde señales comportamentales no-verbales a través de datos capturados con diferentes clases de sensores?

● ¿Es posible sintetizar señales comportamentales no-verbales provocando percepciones sociales deseadas?

diversos Frameworks los cuales permiten generar un análisis de señales a través de diversos sen-sores(micrófonos, cámaras, etc.) [7][8][9][10].

Estos Frameworks se han podido utilizar en diversas aplicaciones y diferentes proyectos tanto en el ámbito académico como fuera de él [11], a pesar de que estos permiten el uso de diferentes sensores de detección y generan reconocimiento en tiempo real de señales sociales, no existe una forma de empalmarlos fácilmente en diversos sistemas, este proceso requiere de una configura-ción especial a cada caso de uso, la mayoría de las aplicaciones en las cuales se han utilizado responden al análisis de las señales e interpretar las señales emocionales de usuarios[12][14], se presentan usos para la detección de desórdenes psicológicos [13].

1. SEÑALES SOCIALES y SSP

Una señal es un estímulo perceptible a través del cual se puede entender e interpretar un mensaje y su significado, se pueden encontrar dos tipos de señales: las informativas y las comunicativas; las señales comunicativas hacen referencia a estímulos producidos por un sistema animado con el objetivo de proveer información a otro sistema, este es el caso en el cual el emisor envía un men-saje a un emisor. Por otro lado las señales informativas son aquellas señales en las cuales un sis-tema receptor interpreta mensajes y su significado sin existir la necesidad de la intención, o la existencia que el emisor quiere transmitir una señal, son mensajes transmitidos inconscientemen-te. Una señal social es una señal comunicativa o informativa la cual directamente o indirectamen-te provee información sobre hechos sociales, es decir provee información sobre inindirectamen-teracciones sociales, actitudes sociales, relaciones sociales y emociones sociales [17].

los cuales permiten llegar a una correcta interpretación de estas señales de comportamiento no-verbales, en la figura 3 se muestran estos componentes [5].

Figura 3 – Componentes de las señales de comportamiento sociales

1.1 Taxonomía

Las señales sociales se presentan y expresan por los seres humanos de distintas formas, cada for-ma corresponde a un estímulo diferente de la persona y se pueden expresar en espacios de tiem-po diferentes, tanto como demostrarse con acciones o rasgos característicos específicos de cada persona, de acuerdo a esta variedad de formas en las que se presentan las señales sociales a conti-nuación se describe una taxonomía de ellas y la forma en que se involucra el SSP según el tipo de señal.

1.1.1 Clasificación De Señales No-Verbales

● Manifestaciones afectivas: Son signos que muestras estados más íntimos y personales. Estos pueden ser las emociones como: miedo, diversión, desacuerdo y falta de atención entre otros.

● Emblemas: son los signos los cuales se usan de una forma consiente y que tienen una traduc-ción directa, son interactivas y específicas de la cultura, estas son empleadas en ocasiones para reemplazar las señales verbales como en forma de subtítulos o enfatizar las señales verbales. Un

ejemplo de estos es el levantar los pulgares lo cual significa “OK”.

● Manipuladores o Adaptadores: Son signos que se originan de hábitos, acciones auto manipula-tivas (morderse los labios o rascarse) o a través de la manipulación e interacción con objetos en el ambiente.

● Ilustradores: Son signos que acompañan, apoyan y enfatizan el discurso dando una visualiza-ción de aspectos espaciales y temporales. Un ejemplo de ilustradores es el apuntar con el dedo o dibujar objetos en el aire

● Reguladores: Son signos los cuales coordinan y sincronizan otros signos durante el proceso de comunicación. Un ejemplo de reguladores son los cambios de turnos en una conversación.

1.1.2 Códigos Y Señales De Comportamientos (Codes and Behavioural Cues, Figura 3)

Tabla 1 – Señales de comportamiento no verbal y su relación con las señales sociales afectivas

● Apariencia física

El aspecto físico o apariencia física es una señal que no se puede ocultar, esta incluye las caracte-rística s naturales como lo son la altura, la forma del cuerpo, fisionomía, color de la piel y el ca-bello, también incluye una serie de características artificiales como lo son vestuarios, adornos, maquillaje y otros accesorios que modifiquen o resalten aspectos faciales y corporales. Con res-pecto a la apariencia física, la señal más importante y principal es el atractivo, este produce un “efecto halo” positivo este fenómeno también es conocido como “los que es bello es bueno”.

rasgos de la personalidad, en la figura 4 se muestran los diferentes tipos de somatotipos [1][5][18][21]. La mayoría de trabajos referentes al análisis automático de la apariencia de las personas y atractivo que se han desarrollado han sido pocos [18] y se han enfocado a la detección del atractivo de las caras [19] y al reconocimiento de vestuarios para propósitos de seguimiento y vigilancia [20].

Figura 4 – Tipos de somatotipos.

● Gestos y posturas

compe-netración, entendimiento o conformidad entre las personas. Existen tres criterios para definir el significado social de una postura, los cuales son:

○ Inclusión vs exclusión: esta hace referencia a que de acuerdo a una postura adaptada, se tiene en cuenta o no la presencia de otra persona, encarar en dirección opuesta a otros muestra un rasgo de actitud negativa(exclusión).

○ Paralelo vs frente a frente: Este criterio va de acuerdo a la orientación del cuerpo de las per-sonas con respecto a otras perper-sonas que se encuentre involucrados en una conversación. El posi-cionarse frente a frente de una persona es símbolo de que la interacción en general es más activa, comprometida e interesante para los individuos, las personas estarán más involucradas en la in-teracción. Diferente para las personas que adopten una postura como estar sentado en paralelo a otro, tiende a mostrar una relación de compañeros o de menos interés mutuo

○ Congruencia vs no-congruencia: Las posturas que adoptan las personas en una interacción tienden a ser simétricas cuando existe un involucramiento psicológico entre los individuos, cuan-do existe una situación satisfactoria en la interacción los individuos involucracuan-dos acuan-doptan la misma postura, las personas comúnmente tienden a imitar las posturas de los demás cuando están dominadas o cuando les gusta la otra persona. Ocurre lo contrario cuando las posturas no son simétricas. En la figura 5, en la imagen de la izquierda se puede ver cómo las personas se encuen-tran involucradas y tienden a asumir la misma postura; En la imagen de la derecha la personas de la derecha se encuentra inclinada hacia adelante y esta postura no es respondida de forma recí-proca por la persona de la izquierda.

Figura 5 – Ejemplo de la expression de señales sociales a través de la postura, en la izquierda postura congruente y en la derecha no congruente

● Comportamiento de la cara y de los ojos

Todas las señales tienen diferentes impactos sobre la percepción que se tiene de los estados afec-tivos de las personas, las expresiones faciales son las señales más confiables y que brindan mayor información sobre los estados afectivos. La cara posee la mayoría de los aparatos sensoriales que permiten ver, escuchar, oler y saborear. Aparte de estas funciones la cara humana provee una serie de señales que hacen referencia a nuestras relaciones interpersonales del día a día en la vida social de los seres humanos. En términos generales los comportamientos de la cara son las seña-les que más influencian la mayoría de las percepciones de las personas [21]. Rasgos como la per-sonalidad, la edad, el género y el atractivo es posible de reconocerse y entenderse desde la cara de alguien. La cara permite enviar y recibir múltiples señales `que permiten identificar los estados afectivos de las personas y sus intenciones en base a las expresiones faciales mostradas por un individuo [22].

mado Facial Action Coding System (FACS) el cual asocia los gestos faciales con acciones de los músculos que las producen. [24][25]

● Comportamiento Vocal

El comportamiento vocal no verbal incluye todas las señales que acompañan el mensaje verbal e influencian su significado, estas señales de comportamientos vocales no-verbales contienen 5 componentes los cuales están relacionados a señales sociales que contribuyen dentro de la per-cepción del mensaje expresado y su significado. Estos componentes son calidad de la voz, voca-lización lingüística y no lingüística, silencio y patrones de asignación de turnos en la conversa-ción. El comportamiento vocal tiene un rol en señales sociales que permiten expresar emociones, son una marca de la personalidad y también son usadas para mostrar estatus y dominancia

● Espacio y ambiente[15]

Esto está relacionado con el espacio social e íntimo de las personas, la distancia interpersonal o espacio físico entre las personas es una señal que permite ver la clase y calidad de la relación entre los individuos. Las personas tienen a organizar su espacio en zonas concéntricas teniendo en cuenta las relaciones que tienen con los demás [22]. Existen 4 zonas concéntricas que usan las personas las cuales son: la zona íntima, zona casual-personal, zona social y zona pública, en la figura 6 se puede observar las diferentes zonas concéntricas y sus distancias en metros.

1.1.3. Funciones

La combinación de varios códigos o clases de comportamientos no-verbales generan un mensaje más consistente y completo que influencia la interacción de las personas. De acuerdo a esto los psicólogos han identificado 6 principales funciones de la comunicación no verbal [5].

● Formar impresiones: En la mayoría de los casos las personas al observar otras, suelen hacer juicios de valor sobre ellas sin necesidad tener una interacción directa con ella, señales como la apariencia y los movimientos suelen dar información sobre las otras personas y permiten crear una impresión del otro individuo basados en lo primero que observaron de este. La primera im-presión que se tiene de otra persona está dominada por el comportamiento no verbal [26].

● Expresar emociones: La comunicación no verbal es la fuente principal por la cual se expre-san las emociones, como se mencionó previamente los gestos o expresiones faciales son un ca-mino para detectar los estados emocionales de una persona o su respuesta emocional frente a di-ferentes interacciones con su entorno. Los gestos (corporales) y expresiones faciales son las seña-les que dan más información y tienen mayor relación con la expresión de emociones y los com-portamientos afectivos de los humanos [23] [26].

● Enviar mensajes relacionales: Los mensajes no-verbales comunican las actitudes hacia las otras personas sin la necesidad de incluir una comunicación verbalmente ellas, también son capa-ces de comunicar cómo se siente una persona con otra, la clase de relación que ellos quieren en-tablar. Los mensajes relacionales pueden ser transmitidos a través de gestos y posturas, compor-tamientos vocales y expresiones faciales, siendo estas últimas las más precisas para transmitir los mensajes.

● Manejar la interacción: Los mensajes no-verbales ayudan a regular el flujo de una conversa-ción, ayudan a detectar cuando es el momento correcto para hacer una interrupción o interven-ción, cuando el turno en la conversación va a terminar, etc. [28][29]

divi-cas son inconscientes y están fuera de control del individuo y muestran inconscientemente senti-mientos negativos por lo cual sirven para detectar cuando se está mintiendo. Los principales ca-nales relacionados con los comportamientos de engaño y de mentira son las expresiones faciales y los gestos corporales.

● Enviar mensajes de poder y persuasión: Las señales de comportamiento no-verbales son señales de control social, poder y dominancia.[5] Un ejemplo de esto es que las personas en posi-ciones de poder miran a los demás menos de lo que ellos son mirados y tienen control del espacio y el tiempo.[27]

2. APLICACIONES DEL PROCESAMIENTO DE SEÑALES SOCIALES

(SSP)

Como se ha evidenciado en las secciones anteriores las señales sociales hacen parte de la vida diaria de las personas y comunican información en todo momento, de una forma natural e incons-ciente sobre las personas. Esto hace posible identificar diversos campos de aplicación en los cua-les el conocimiento del usuario y sus estados pueden aportar a los sistemas para ayudarlos a me-jorar en diversos campos como interacción, recopilación de información, etc. SSP es un área de estudio multidisciplinar debido a que no solo incluye la ingeniería, sino también las ciencias hu-manas y ayuda a incrementar el desarrollo de una identidad interdisciplinaria, que permitirá a los sistemas y maquinas involucrar las necesidades reales de los seres humanos. SSP tiene unas me-tas claves en su desarrollo las cuales se clasifican en meme-tas tecnológicas, meme-tas de ciencias hu-manas y metas de impacto práctico, estas metas nos permiten identificar problemas y oportunida-des en los cuales aprovechar el uso de SSP e integrarlo a los oportunida-desarrollos tecnológicos.

2.1. Metas Tecnológicas

● Desarrollar sistemas capaces de detectar e interpretar patrones de comportamiento que lleven información sobre las actividades sociales humanas (análisis).

● Desarrollar sistemas que sean capaces de usar patrones que lleven información social signifi-cativa para sintetizar comportamientos apropiados en una interacción (respuesta, responsabilidad y capacidad de respuesta)

2.2 Metas de las ciencias humanas

● Desarrollar teorías que tengan relación al uso de señales sociales, durante la interacción hu-mano-humano que puedan informar el comportamiento de agentes artificiales e informar interac-ciones humanos-computadores.

● Contribuir a la literatura de las ciencias humanas, modificando teorías actuales y proponiendo nuevas teorías informadas por la investigación en SSP.

● Crear bases de datos adecuadas para el análisis de las interacciones humano-humano y ade-cuarlas para entrenar sistemas de síntesis.

● Desarrollar sistemas figurativos que describan comportamientos sociales y cognitivos de los humanos en vías a poder apropiarlos a tareas tecnológicas

● Desarrollar métodos de medición y evaluación de interacciones sociales (humano/humano y humano/maquina)

● Desarrollar herramientas sofisticadas para instrumentar la investigación en las ciencias huma-nas.

2.3 Metas de impacto práctico

A investigación en SSP no está restringida a un grupo específico de problemas, esta busca y apunta a encontrar posibles soluciones que sean aplicables a diferentes áreas, algunas de estas aplicaciones ya se han identificado y otras pueden ser previstas fácilmente, las siguientes son áreas de aplicación directas y naturales de la investigación de SSP.

● Agentes artificiales

● Vida asistida

● Entretenimiento

● Educación

● Interacción hombre máquina (HCI por sus siglas en inglés, HumanComputer Interaction)

● Monitoreo en el cuidado de la salud

● Entrenamiento de habilidades sociales

● Indexación multimedia

2.4 Herramientas existentes de SSP

De acuerdo a las secciones anteriores se ha podido identificar una serie de problemas, oportuni-dades y campos de aplicación de SSP, en respuesta a algunos de estos, la red europea de excelen-cia en SSP (www.SSPNet.eu ) tiene una recopilación de diversas herramientas que hacen uso y contribución a SSP, que han sido resultados de múltiples investigaciones hechas en el tema. En la tabla 2 se listan las herramientas más recientes que reporta SSPNet y se da una breve descripción de su función, se puede ver la lista completa y más detalle en la página de SSPNet.

De las herramientas SSP exploradas y analizadas se pudo encontrar la siguiente información:

 Lenguajes en que se desarrollaron

o Java o C++

o MatLab

 Años dentro de los que han sido publicados

o 2010 a 2014

 Tipos de entradas y salidas que manejan

o Imágenes o Video o XML

o Grabaciones de audio

 Categorias en las cuales se encuentran divididos

o Voz o Rostro

o Gestos corporales o Multimodal

Otras herramientas de las herramientas que fueron exploradas hacían más énfasis en cuanto al reconocimiento de emociones, principalmente a través de las expresiones faciales, la mayoría de las herramientas que permiten el reconocimiento de emociones son software propietario que no disponen sus ambientes de desarrollo de forma libre, algunos permiten el uso de versiones de prueba para proyectos y por tiempo limitado. A continuación se nombran algunas de las herra-mientas exploradas presentes en el mercado.

 Sightcorp

 Eyeris

 Nvisio

 Visual Recognition

Como se ha mencionado anteriormente las señales sociales y su procesamiento están presentes en cada interacción de las personas y su entorno; SSP ayuda a estudiar y analizar los comportamien-tos que los seres humanos tienen ante diversas situaciones que se presentan a su alrededor, el poder interpretar y determinar cómo las señales sociales son producidas y en qué momento para una persona en específico, ayuda a identificar los factores que producen este tipo de señal en la persona e identificar aspectos que puedan afectar su relación con el entorno. La interacción hom-bre máquina/computador (HCI por sus siglas en inglés, human computer interaction) ha diseñado sistemas con un acercamiento enfocado a diseños centrados en computadores, lo cual para aplica-ciones y sistemas que sean independientes del contexto funciona correctamente, como lo es el caso de sistemas para reservaciones de tiquetes de aviones, en el cual no es necesario tener inter-acciones complejas y con altas funciones; El caso de aplicaciones en las cuales se deben interac-tuar con diferentes sistemas y en ambientes más complejos no funciona correctamente. Por esta razón se ha cambiado del concepto de diseño centrado en computadoras y se ha cambiado a dise-ño centrado en humanos el cual es basado en modelos de comportamiento humano y requiere información del que se comunica, cómo se comunica, porque se quiere comunicar y cuáles accio-nes deben ser tomadas para satisfacer las necesidades y requerimientos de los usuarios. El diseño centrado en humanos se hace necesario en el diseño y desarrollo de aplicaciones multimedia que hacen uso de diferentes medios para interactuar con el usuario, mostrarle información, y adaptar-se en su medida a las características y acciones de este. El desarrollo de aplicaciones con diadaptar-seño centrado en usuario es un campo de aplicación de SSP debido a los requerimientos que este tipo de diseño tiene sobre el entendimiento de los comportamientos humanos y su comunicación. Este entendimiento de los comportamientos permite generar una interacción natural y no convencional en los humanos y las maquinas/computadores. Uno de los desafíos de los sistemas multimedia es cómo integrar inteligencia en los ambientes y objetos, crear sistemas capaces de entender, inferir e influenciar el entorno [31].

usuario. los videojuegos son aplicaciones multimedia que hacen uso de la interacción en todo momento y se ven obligadas a que sus contenidos se presenten de diversas formas de acuerdo a las acciones o reacciones del usuario, por lo cual el tener contenidos estáticos e interacciones planas puede resultar en que el juego se convierta en predecible e impersonal, por esta razón es necesario introducir la adaptación a estos sistemas, con respecto a la adaptación de estos tipos de sistemas existen 2 clasificaciones, las off-line y las online, las off-line introducen información del usuario y el entorno previamente para poder adaptar el sistema y las online realizan la adaptación de ambientes de juego o de los personajes no jugadores (NPC por sus siglas en inglés), que son inteligencias artificiales en el juego, de acuerdo a las decisiones y acciones que el usuario realiza en el juego[32]. Estas 2 clasificaciones de adaptaciones son limitadas y pueden convertirse en predecibles para el usuario debido a que no tienen en cuenta el estado actual de las personas y sus comportamientos, por este motivo es necesario incluir en los juegos la información de los com-portamientos expresados por el usuario/jugador en tiempo real para adaptar el juego. El caso de los videojuegos es una oportunidad y necesidad evidente para integrar SSP a estos sistemas, y permite abrir el camino para incluir SSP a diversas aplicaciones multimedia interactivas, debido a que varios de las metas de SSP se alinean con las características y objetivos de las aplicaciones multimedia.

III

-

M

P

Anteriormente se menciona la importancia de incluir la información de los comportamientos de los usuarios frente al uso de los sistemas y a partir de estos comportamientos poder adaptar los sistemas en base a estos comportamientos, las señales sociales están presentes en cada interacción que realizan las personas, el SSP se encarga de procesar y analizar estos comportamientos de forma automática a través de diversas aplicaciones o Frameworks que se han desarrollado para esto, algunas se han nombrado en secciones anteriores, las principales herramientas que se en-cuentran desarrolladas se enfocan en el reconocimiento de emociones a través de diversos medios (detección facial, detección de voz, etc.), estas herramientas pueden ser utilizadas para diversos fines y diferentes sistemas, entre ellos se encuentran las aplicaciones multimedia que ven la nece-sidad de apoyarse de estas para controlar la interacción de una forma diferente o bien sea para adaptarse, por tal motivo se propone un Framework por el cual se realice la integración de herra-mientas SSP con las aplicaciones multimedia para poder adaptarlas en tiempo real de acuerdo a las señales sociales emitidas por el usuario de la aplicación.

Figura 7 – Objetivo del modelo propuesto

1. Arquitectura del Framework de Adaptación propuesto

El Framework propuesto se enfoca en manejar la adaptación de las aplicaciones multimedia, ba-sado en señales sociales, las cuales son detectadas por diversas herramientas o Frameworks de señales sociales como las vistas en la sección anterior, de acuerdo a las salidas arrojadas por estos Frameworks SSP se adaptarán algunos parámetros de las aplicaciones multimedia y harán que la interacción con el usuario sea personalizada y ajustada de acuerdo a la respuesta de este con el sistema. El Framework busca que se puedan integrar varios Frameworks de señales sociales para enriquecer la experiencia y el conocimiento del usuario en pro de una aplicación multimedia que se desee adaptar de acuerdo al usuario. En la figura 8 se muestra el diagrama de componentes del Framework propuesto para poder adaptar aplicaciones basadas en señales sociales.

Figura 8 – Diagrama de componentes de la arquitectura general de la solución propuesta

1.1 Frameworks SSP

El componente de Frameworks SSP hace referencia a las herramientas de señales sociales que el desarrollador quiera implementar y conectar con el framework propuesto, está contemplado que el desarrollador pueda integrar diferentes herramientas como las vistas en las secciónes anterio-res, algunas de estas dan información de voz, otras dan información de video y análisis facial, otras información mixta entre otros tipos de información que procesan, un ejemplo de estos fra-meworks puede ser un framework de reconocimiento de emociones a través de expresiones facia-les. El framework propuesto permite de manera flexible que sea posible de utilizar la herramienta deseada y de combinar sus salidas con las de otras herramientas de señales sociales, este proceso de integración y combinación se realiza en el componente de “Identificación de comportamie

Los frameworks o aplicaciones de SSP que se utilicen deberán desarrollar un cliente para poderse comunicar y consumir los servicios que la plataforma propuesta despliega para que sean consu-midos por ellos. Estos servicios son principalmente para poder enviar los datos que el framework SSP produce de la detección hecha al usuario, en la tabla 3 se puede ver un ejemplo de que datos deben configurarse en el sistema por cada uno de los frameworks SSP, en la columna de la iz-quierda de la tabla se describe la configuración de 2 frameworks SSP uno que detecta emociones a través de las expresiones faciales y otro que detecta emociones a través de las expresiones voca-les, en la columna de la derecha se relaciona cada una de las posibles salidas que entregan los frameworks SSP, como se puede ver en este caso las señales sociales que envían estos frame-works son emociones.

Tabla 3 – Ejemplo de frameworksSSP y sus posibles salidas

1.2. Identificación De Comportamientos

Este componente se encuentra dividido en 2 sub-componentes los cuales son, la “Lista de co

frameworks SSP, esta lista es la definida para generar las reglas de adaptación e identificación de parámetros, en la tabla 4 es posible ver un ejemplo una lista de comportamientos definida dentro del sistema, en el cual los comportamientos que se quieren obtener y controlar en el sistema son una lista de 6 emociones.

Tabla 4 – Ejemplo de lista de comportamientos

El segundo componente es el de “Fusión de señales de entradas de los frameworks”, cada uno de

1.3. Aplicación multimedia

Este componente se refiere a la aplicación multimedia que se desea adaptar en base a los compor-tamientos detectados en todo el proceso, esta aplicación tendrá una serie de parámetros configu-rables que van a hacer que dentro de ella cambie sus condiciones, la aplicación debe contar con un componente el cual llamamos cliente, que es el encargado de realizar las peticiones al sistema propuesto, este realizará peticiones de los valores de los parámetros. Con los parámetros que el sistema le envía a la aplicación ésta debe adaptarse, cada cierto tiempo definido por el desarrolla-dor la aplicación debe solicitarle al framework que verifique que se está obteniendo el compor-tamiento deseado del usuario para el estado actual de la aplicación, es necesario que la aplicación informe al framework propuesto que va a cambiar de estado. Los estados de la aplicación son definidos por el desarrollador y estos se configuran dentro del framework propuesto, un estado de aplicación puede hacer referencia en un videojuego al nivel o escena en el que se encuentra.

1.4. Aprendizaje de reglas e identificación de parámetros para adaptación

Este componente es en donde se realiza un procesamiento en el cual de acuerdo a las entradas

recibidas, la conclusión hecha en el componente “Identificación de comportamientos”, el estado

actual, los parámetros de la aplicación multimedia y los comportamientos esperados por la apli-cación, se identifican los valores más adecuados que deben tener los parámetros de adaptación configurados para la aplicación multimedia. Para lograr esta identificación de parámetros es ne-cesario generar una serie de reglas que asocian parámetros a comportamientos obtenidos, esto se hace a través de un aprendizaje del usuario.

aplicacion multimedia, posteriormente los frameworks SSP conectados realizan la detección de las señales del usuario, realizan la identificación del comportamiento y se genera una regla la cual definirá, que por los parámetros aleatorios enviados el comportamiento correspondiente es el que se identificó por los frameworks, está regla se genera y se le asigna un peso de 1, posteriormente se repite esto N veces determinadas por el tiempo de entrenamiento que defina el desarrollador, cada vez que se genere una regla se verifica si esta ya existía, si existía anteriormente, a la regla existente se le incrementa el valor de su peso, si la regla no existía se incluye una nueva regla con peso 1. Al finalizar el tiempo de entrenamiento se generan cierta cantidad de reglas las cuales deben ser depuradas, la depuración o poda se realiza de la siguiente manera, primero se busca que reglas tienen los mismos valores de los parámetros con diferentes comportamientos, de esta bús-queda se selecciona la de mayor peso y el resto de reglas se eliminan, para evitar duplicidad de reglas con diferentes conclusiones de comportamientos.

La identificación de parámetros más adecuados se realiza posteriormente al aprendizaje, en el cual ya en fase de ejecución, la aplicación multimedia de acuerdo al estado en el que se encuentre solicitara los parámetros más adecuados de acuerdo al comportamiento que se desee obtener del usuario, en este punto se verifican las reglas y se busca la regla que tenga el mayor peso y coinci-da con el comportamiento deseado. En caso que con la regla no se llegue al comportamiento deseado en el tiempo de una iteración definido en la aplicación, se realiza la búsqueda de la regla con el siguiente peso.

1.5. Reglas de adaptación según el estado de la aplicación

en otro sub-componente se debe configurar los posibles estados que una aplicación puede tener, el estado de la aplicación hace referencia a la condición del nivel, tiempo, avance o caso de uso en el cual se encuentre la aplicación, este estado es ligado estrictamente a las condiciones espe-ciales de cada aplicación.

Tabla 5 – Ejemplo de parámetros de adaptación con sus posibles valores

De acuerdo a los estados configurados de la aplicación existe un componente el cual relaciona estos estados a comportamientos, este componente son la definición de las reglas de mientos deseados por estado, en la cual a cada estado de la aplicación se le asigna el comporta-miento que se desea que el usuario pueda alcanzar en este estado.

1.6. Base de integración y adaptación

1.7. Servidor de comunicación servicios

Este componente es el encargado de la comunicación del sistema con los frameworks SSP y con las aplicaciones multimedia. Este componente es un servidor el cual expone servicios para el con-sumo de las aplicaciones y los frameworks, los servicios que este expone son los siguientes.

● Servicio para obtener parámetros aleatorios para entrenamiento

● Servicio para recibir la información de las señales producidas por los frameworks SSP

● Servicio para consultar el comportamiento concluido con las entradas arrojadas por los fra-meworks

● Servicio para obtener los parámetros adecuados según un estado de aplicación dado

1.8. Interfaz Grafica

La interfaz gráfica que se propone para el framework está enfocada a dar una ayuda al desarrolla-dor para poder configurar de una forma fácil y eficiente las diferentes variables que se encuentran en cada componente anteriormente descrito. La interfaz gráfica contará con un los componentes para configurar las reglas de identificación de comportamientos, configuración de reglas aprendi-zaje, configuración de comportamientos deseados y configuración de parámetros de adaptación.

2. Implementación del prototipo

En la figura 9 se encuentra el diagrama de clases del sistema implementado, en el cual se puede ver reflejado la implementación del patrón singleton para las clases Entrenar, Ejecutar y Mana-gerConexion los cuales permiten que los datos que se actualicen por los diferentes frameworks conectados y la aplicación sean accedidos con la información actualizada sin duplicar instancias de los objetos y evitar la pérdida y sincronización de la información.

Figura 9 – Diagrama de clases del prototipo implementado

2.1 Frameworks SSP

Tabla 6 – Framework configurado y utilizado en las pruebas del prototipo, con sus salidas

2.2 Base de integración y adaptación

En la figura 9 se puede ver el diagrama del modelo entidad relación propuesto para este compo-nente, el cual almacena y relaciona la información de los frameworks SSP conectados con sus respectivas salidas, que comportamientos se van a incluir, cuales son los estados de la aplicación, cuales son los parámetros de la aplicación y sus respectivos posibles valores.

Figura 10 – Modelo entidad relación del prototipo implementado

2.3 Identificación de comportamientos

Tabla 7 – Lista de comportamientos configurados en el prototipo para pruebas

2.4 Aplicación multimedia

Figura 11

2.5 Reglas de adaptación según el estado de la aplicación

Para la aplicación multimedia utilizada se configuraron 2 estados los cuales en este caso repre-sentan niveles de juego, los cuales se llamaron nivel 1 y el nivel 2 de juego. Para la aplicación se configuraron 4 parámetros de adaptación, estos parámetros se pueden ver en la tabla 8 con sus respectivos posibles valores. Las reglas que se definieron para adaptación según los estados en relación con los comportamientos fueron las que se pueden ver en la tabla 9.

Tabla 9 – Configuración de los estados de la aplicación y los comportamientos deseados

2.6 Aprendizaje de reglas e identificación de parámetros para adaptación

El aprendizaje e identificación de reglas se realizó a través de una fase entrenamiento del sistema en la cual el usuario se sometió a un uso del videojuego en diversos intervalos de tiempo, en la cual el framework de adaptación enviaba valores de los parámetros aleatorios cada 2 minutos, mientras que el framework SSP de detección de emociones a través de expresiones faciales reali-zaba una detección de la emoción expresada cada 2 segundos y posterior a esto cada vez que se realizaba un envío de nuevos valores de los parámetros se realizaba un proceso de síntesis de las emociones expresadas en los 2 minutos por el usuario para concluir en la emoción que más emitía el jugador en este lapso de tiempo. En base a esta síntesis y a los parámetros enviados se genera-ba una regla y se adicionagenera-ba un peso en genera-base a las veces que se repetía la misma durante el uso del sistema. Para la realización de este proceso se utilizaron las clases de Entrenar, ManagerCo-nexion y generateRandomInputs que se pueden ver en el diagrama de clases (Figura 9).

Para la realización de este proceso se utilizaron las clases de Ejecutar y ManagerConexion que se pueden ver en el diagrama de clases (Figura 9).

2.7 Servidor de comunicación y servicios

Este componente es un servidor que tiene el framework de adaptación propuesto, para disponer los diferentes servicios de comunicación con los frameworks SSP y la aplicación multimedia que se desee adaptar. De esta forma se permite realizar la conectividad necesaria para alimentar el sistema con la información de las señales sociales emitidas por el usuario y relacionarlas con los estados y parámetros adaptables que dispone la aplicación multimedia. Para la implementación de este componente de comunicación se desarrolló el componente basado en sockets, en el sistema se implementó un servidor de sockets el cual recibe peticiones y da respuesta estas en base a la información que los frameworks SSP y la aplicación multimedia envían al sistema. En el diagra-ma de clases se presenta la implementación de este componente con las clases ServerSocketFra-mework y HiloClienteSocket, las cuales permiten la creación de un hilo de aplicación para cada cliente que se conecte, los clientes que tienen acceso a este en el prototipo es el framework F.A.C.E Sightcorp y el videojuego de reciclaje.

2.8 Interfaz Grafica

IV

-

PRUEBAS

2. EJECUCIÓN DE PRUEBAS

La ejecución de las pruebas se llevó a cabo con un sujeto de pruebas el cual se sometió a diferentes tiem-pos de entrenamiento para realizar la generación de reglas, en la tabla 10, se puede ver la cantidad de re-glas obtenidas por cada tiempo de ejecución.

TIEMPO

NUMERO DE REGLAS

10 minutos 8

15 minutos 12

25 minutos 23

45 minutos 33

Tabla 10

En la tabla 10 se puede observar que entre mayor tiempo se encontraran mayor cantidad de reglas y se puede obtener reglas que se repitan para que obtengan mayor peso y así poder tener mayor certeza sobre las reglas encontradas, el sistema y los tiempos de ejecución deben ser ajustados a menores tiempos de análisis para poder obtener más cantidad de reglas en menos tiempo, en las Figuras 12, 13, 14 y 15 se puede observar como a medida que la aplicación iba siendo adaptada, se cambiaban los comportamientos o emociones emitidas por el sujeto de pruebas. Durante la ejecución de las pruebas en el tiempo de entre-namiento se presentó el problema de que no se logró generar ninguna regla que concluyera al

comporta-miento de “surprise”, por tal motivo no era posible cumplir con la regla de adaptación que deseaba que en

Figura 12 –Imagen de prueba de la aplicación con obtención del comportamiento “sadness”

Figura 13 - Imagen de prueba de la aplicación con obtención del comportamiento “surprise”

Figura 15 - Imagen de prueba de la aplicación con obtención del comportamiento “fear”

Dentro de las pruebas, en la fase de ejecución se puso al sujeto de pruebas a jugar el videojeugo de basuras y el sistema de integración y adaptación construido se ejecutaba al mismo tiempo, en la ejecución se pro-cedió a registrar y evaluar el nivel de eficiencia en términos de la asertividad que tenía el framework SSP, el comportamiento deseado y el comportamiento real expresado por el usuario, para esto se registraba cada 2 minutos a través de una pregunta en el sistema que se le hacia al usuario sobre el comportamiento que el sentía en ese momento, y se comparaba con el comportamiento detectado por el framework SSP y el deseado en las reglas de adaptación, esto se realizó para el primer estado debido a que para el segundo estado no se obtuvieron reglas para el comportamiento deseado de “surprise” como se nombró anterio r-mente. En la tabla 11 se puede observar el resultado de las pruebas realizadas en las cuales se sometió al usuario a un tiempo de juego de 1 hora.

Cantidad de datos

Framework VS usua-rio

Deseado VS framework

Deseado VS usuario

30 22 13 11

PORCENTAJE EFECTIVIDAD

73,33 43,33 36,66

Tabla 11 – Resultado de pruebas en fase de ejecución

V

_–

CONCLUSIONES

Y

TRABAJOS

FUTUROS

 La detección de las señales sociales expresadas por los usuarios frente a los sistemas permiten generar un tipo de interacción no convencional y de forma natural para el usuario.

 Determinar una señal social a través del uso de un sistema es posible sin embargo puede verse afectada señal expresada por factores externos que no corresponden al sistema, de esta forma se puede concluir que el influir en los comportamientos sociales de una persona es posible y se puede realizar de forma más efectiva en ambientes controlados en los cuales el usuario no sea influenciado por agentes externos al sistema.

 Los estados de ánimo de una persona pueden ser un factor determinante para que los sistemas y aplicaciones multimedia no causen el efecto deseado en las personas.

 El framework de adaptación propuesto permite que una aplicación multimedia pueda tener acceso a información de las señales sociales producidas por los usuarios y adaptar la aplica-ción multimedia de acuerdo a estas señales detectadas.

 Se encuentra que el sistema debe ser entrenado para cada usuario, debido a que cada usuario reacciona diferente a diversos estímulos.

 Para cada aplicación multimedia el sistema debe ser configurado nuevamente y entrenado por cada usuario para generar reglas de adaptación de parámetros en específico.

 Es necesario incluir dentro del sistema un aprendizaje continuo, debido a que el inicial puede ser insuficiente para algunos casos.

 Es necesario que el desarrollador que desee usar el framework de adaptación tenga conoci-miento o asesoraconoci-miento para que las reglas que defina para las señales sociales y comporta-mientos sean coherentes con los comportacomporta-mientos sociales adecuados en caso de tener más un framework conectado.

 La mayoría de herramientas y frameworks SSP que se encuentran funcionando actualmente son software propietario y su SDK de desarrollo no está disponible para uso libre, es posible utilizar herramientas por tiempos de prueba limitados.

 Gran parte de los frameworks SSP libres de detección de señales sociales producen informa-ción de la detecinforma-ción de gestos o posiciones y no ofrecen consolidainforma-ción de la informainforma-ción en comportamientos sociales

 El tiempo de entrenamiento debe ser superior a 45 minutos con el usuario para que se puedan generar y validar las reglas generadas.

 El framework permite una fácil configuración de los parámetros de adaptación de las aplica-ciones y funciona de manera correcta para el envío de parámetros.

 El framework no exige que se deba realizar cambios al desarrollo de las aplicaciones multi-media, solo debe incluirse los componentes de comunicación y de control de adaptación los cuales no requieren una alta complejidad de desarrollo.

 Incluir aprendizaje continuo en la fase de ejecucion

 Mejorar los métodos de aprendizaje de reglas del usuario, para que se puedan encontrar mas cantidad de reglas en menor tiempo

 Incluir la interfaz grafica de configuración de los componentes.

 Realizar pruebas con mayor cantidad de usuarios y con diferentes aplicaciones multimedia, para poder validar el modelo en mayor profundidad.

VI

-

REFERENCIAS

[1] Alessandro Vinciarelli, Gelareh Mohammadi.Towards a Technology of Nonverbal Communi-cation: Vocal Behavior in Social and Affective Phenomena. 2012

[2] Hecht, M., De Vito, J., & Guerrero, L. Perspectives on nonverbal communication-codes, functions, and contexts. In L. Guerrero, J. De Vito, & M. Hecht (Eds.), The nonverbal communi-cation reader - classic and contemporary readings (p. 3-18). Waveland Press. 1999.

[3] P. Ekman and W. Friesen, “The repertoire of nonverbal behavior: Categories, origins, usage, and coding,” Semiotica, vol. 1, no. 1, pp.

49–98, 1969

[4] A. Vinciarelli, M. Pantic, H. Bourlard, Social Signal Processing: Survey of an Emerging Do-main, Image and Vision Computing. 2009

[5] A. Vinciarelli, M. Pantic, H. Bourlard, Alex Pentland, Social Signals, their Function, and

Au-tomatic Analysis:A Survey. ICMI’08, October 20–22, 2008, Chania, Crete, Greece

[6] A. A. Salah, M. Pantic, and A. Vinciarelli, "Recent Developments in Social Signal Pro-cessing," in Proceedings of the IEEE International Conference on Systems, Man and Cybernetics, 2011, pp. 380-385.

[7]J. Wagner, F. Lingenfelser, and E. Andre. The social signal interpretation Framework (ssi) for real time signal processing and recognition. In Proc. of INTERSPEECH, 2011.

[8] Christine Laetitia Lisetti and Cynthia LeRouge and Fatma Nasoz. The MAUI Project:

Build-ing MultiModal Affective User Interfaces for Everyone. American Association for Artificial I n-telligence (www.aaai.org). 2002

[9] Johannes Wagner, Elisabeth Andre, Frank Jung. Smart Sensor Integration: A Framework for Multimodal Emotion Recognition in Real-Time. IEEE . 2009

[10] Stefan Scherer, Michael Glodek, Georg Layher, Martin Schels, Miriam Schmidt, Tobias Brosch, Stephan Tschechne, Friedhelm Schwenker, Heiko Neumann, Günther Palm. A generic Framework for the inference of user states in human computer interaction. J Multimodal User Interfaces, Springer. 2012.

[11] J. Wagner, F. Lingenfelser, T. Baur, I. Damian, F. Kistler and E. André. The Social Signal Interpretation (SSI) Framework, Multimodal Signal Processing and Recognition in Real-Time. SUBMITTED to ACM MULTIMEDIA 2013 OPEN SOURCE SOFTWARE COMPETITION. 2013

[12] G. Caridakis, J. Wagner, A. Raouzaiou, Z. Curto,E. Andre, and K. Karpouzis. A multimodal corpus for gesture expressivity analysis. In Proc. LREC, 2010

[13] S. Scherer, G. Stratou, M. Mahmoud, J. Boberg,J. Gratch, A. Rizzo, and L.-P. Morency. Automatic behavior descriptors for psychological disorder analysis. In Proc. FG, 2013.

[14] S. W. Gilroy, M. Cavazza, R. Chaignon, S.-M. Miakela,M. Niranen, E. Andre, T. Vogt, J. Urbain, H. Seichter, M. Billinghurst, and M. Benayoun. An affective model of user experience for interactive art. In Proc. ACE, pages 107-110, New York, USA, 2008. ACM.

[15] Phil Chou, Francesco G.B. De Natale, Enrico Magli, Eckehard Steinbach. Trends in Multi-media Signal Processing. IEEE SIGNAL PROCESSING MAGAZINE. 2011.

[16] Ricardo Lopes and Rafael Bidarra. Adaptivity Challenges in Games and Simulations: A Survey. IEEE TRANSACTIONS ON COMPUTATIONAL INTELLIGENCE AND AI IN GAMES, VOL. 3, NO. 2, JUNE 2011

[18] A. Vinciarelli, H.Salamin, M. Pantic .Social Signal Processing: Understanding Social Inter-actions through Nonverbal Behavior Analysis. IEEE, 2009.

[19] H. Gunes and M. Piccardi. Assessing facial beauty through proportion analysis by image processing and supervised learning. International Journal of HumanComputer Studies, 64(12):1184–1199, 2006.

[20] T. Darrell, G. Gordon, M. Harville, and J. Woodfill. Integrated person tracking using stereo, color, and pattern detection. International Journal of Computer Vision, 37(2):175–185, 2000.

[21]Alessandro Vinciarelli, Maja Pantic, Hervé Bourlard, Alex Pentland. Social Signal Pro-cessing: State-of-the-Art and Future Perspectives of an Emerging Domain. ACM. 2008

[21] Grahe, J., & Bernieri, F. The importance of nonverbal cues in judging rapport. Journal of Nonverbal Behavior, 23 (4), 253-269, 1999.

[22] N. Ambady and R. Rosenthal. Thin slices of expressive behavior as predictors of interper-sonal consequences: a meta-analysis. Psychological Bulletin,111(2):256–274, 1992.

[23] P. Ekman and W. Friesen. Facial action coding system (FACS): Manual. 2002.

[24] P. Ekman and E. Rosenberg. What the Face Reveals:Basic and Applied Studies of Sponta-neous ExpressionUsing the Facial Action Coding System (FACS). Oxford University Press, 2005.

[27] M. Argyle. The Psychology of Interpersonal Behaviour. Penguin, 1967 [25]G. Psathas. Con-versation Analysis - The study of talk-in-interaction. Sage Publications, 1995.

[28]G. Psathas. Conversation Analysis - The study of talk-in-interaction. Sage Publications, 1995.

[29] G. Yule. Pragmatics. Oxford University Press, 1996.

[30] Paul M. Brunet, Roddy Cowie,Dirk Heylen. Conceptual Frameworks for multimodal social signal processing. J Multimodal User Interfaces. SpringerLink. 2012.

[31] Phil Chou, Francesco G.B. De Natale, Enrico Magli, Eckehard Steinbach. Trends in Multi-media Signal Processing. IEEE SIGNAL PROCESSING MAGAZINE. 2011.

[32] Ricardo Lopes and Rafael Bidarra. Adaptivity Challenges in Games and Simulations: A Survey. IEEE TRANSACTIONS ON COMPUTATIONAL INTELLIGENCE AND AI IN GAMES, VOL. 3, NO. 2, JUNE 2011

[33] Sightcorp 2015. Internet: http://sightcorp.com/ , Mayo, 5, 2015.

VII

-

ANEXO

2

-

DESCRIPCIÓN

DE

LA

TESIS

O

DEL

TRABAJO

DE

GRADO

BIBLIOTECA ALFONSO BORRERO CABAL, S.J.

DESCRIPCIÓN DE LA TESIS O DEL TRABAJO DE GRADO

FORMULARIO

TÍTULO COMPLETO DE LA TESIS DOCTORAL O TRABAJO DE GRADO

Framework de adaptación de aplicaciones multimedia basado en señales sociales.

SUBTÍTULO, SI LO TIENE

AUTOR O AUTORES

Apellidos Completos Nombres Completos

Rivera Parra Carlos Ivan

DIRECTOR (ES) TESIS O DEL TRABAJO DE GRADO

Apellidos Completos Nombres Completos

Benavides Erazo Christian Orlando

FACULTAD

Ingeniería

PROGRAMA ACADÉMICO

Tipo de programa ( seleccione con “x” )

Nombre del programa académico

Maestría en ingeniería de sistemas y computación

Nombres y apellidos del director del programa académico

Angela Cristina Carrillo Ramos

TRABAJO PARA OPTAR AL TÍTULO DE:

MAGÍSTER EN INGENIERÍA DE SISTEMAS Y COMPUTACIÓN

PREMIO O DISTINCIÓN (En caso de ser LAUREADAS o tener una mención especial):

CIUDAD AÑO DE PRESENTACIÓN DE LA TESIS

O DEL TRABAJO DE GRADO

NÚMERO DE PÁGINAS

Bogotá 2015 49

TIPO DE ILUSTRACIONES ( seleccione con “x” )

Dibujos Pinturas Tablas, gráficos y

diagramas Planos Mapas Fotografías Partituras

x

SOFTWARE REQUERIDO O ESPECIALIZADO PARA LA LECTURA DEL DOCUMENTO

Nota: En caso de que el software (programa especializado requerido) no se encuentre licenciado por la Universidad a través de la Biblioteca (previa consulta al estudiante), el texto de la Tesis o Trabajo de Grado quedará solamente en formato PDF.

MATERIAL ACOMPAÑANTE

TIPO DURACIÓN

(minutos) CANTIDAD

FORMATO