4. CARACTERÍSTICAS DEL AGENTE SOFTWARE
5.5 Mejora del Proceso Software Orientado a Agentes
6.3.2 Experimento 2: Validación de las medidas en el Sistema Bancario
El objetivo principal es realizar una validación de las medidas de cada característica estudiada para cada agente que participa del sistema en estudio. Para ello se ha dividido en cuatro experimentos, considerando cada una de las medidas de las características en los tres primeros y uno que considera la evaluación de todas las características.
Este experimento se realizó sobre el sistema Bancario, considerando todos los agentes que interactúan en el sistema (clientes y bancos) [Villasante, 2011a]. Se presenta aquí el planteamiento, el diseño y los resultados finales obtenidos por cada experimento. Una información más detallada de estos experimentos se muestra en el Anexo 1.1.2.
6.3.2.1 Experimento 2.1
• Planteamiento: El objetivo de este experimento es validar las medidas de habilidad social de cada agente en el sistema considerando opiniones de expertos.
• Diseño: Se solicitó a dos expertos en diseño de agentes software su valoración de las medidas (valores de 0 a 10). Luego se ejecutó el sistema para determinar los valores de las medidas de esta característica tanto antes como durante la ejecución.
• Interpretación: La aplicación de las medidas, considerando la media aritmética de sus valores, proporcionó los siguientes valores para los atributos: comunicación 86%, cooperación 86% y negociación 85%, siendo el promedio de habilidad social para el sistema 86%, que es alta para este sistema. Para validar que los valores de las medidas siguen la misma distribución que la opinión humana, se compararon las medidas de los agentes del sistema con los resultados de la opinión de dos expertos usando el test de Kolmogorov-Smirnov [Chakravart, 1967]. Para ello se consideró la media aritmética de las opiniones de los expertos y la media aritmética de las medidas definidas, obteniendo un nivel de significación de 0,50, lo que permite admitir la hipótesis de que ambas muestras provienen de la misma distribución.
6.3.2.2 Experimento 2.2
• Planteamiento: El objetivo de este experimento es validar las medidas de autonomía de cada agente en el sistema considerando opiniones de expertos.
• Diseño: Se solicitó a dos expertos en diseño de agentes software su valoración de las medidas (valores de 0 a 10). Luego se ejecutó el sistema para determinar los valores de las medidas de esta característica tanto antes como durante la ejecución.
• Interpretación: La aplicación de las medidas, considerando la media aritmética de sus valores, proporcionó para los atributos los siguientes valores: independencia funcional 93%, capacidad de evolución 93% y auto-control 57%, siendo el promedio de autonomía del sistema de un 80%, que es considerada alta para este sistema. Para verificar la validez de los valores de las medidas, se compararon las medidas de los agentes del sistema con los resultados de la opinión de dos expertos usando el test de Kolmogorov-Smirnov [Chakravart, 1967]. Para ello se consideró la media aritmética de las opiniones de los expertos y la media aritmética de las medidas definidas, alcanzando un nivel de significación de 0,75, lo que permite admitir la hipótesis de que ambas muestras provienen de la misma distribución.
6.3.2.3 Experimento 2.3
• Planteamiento: El objetivo de este experimento es validar las medidas de pro-actividad de cada agente en el sistema considerando opiniones de expertos.
• Diseño: Se solicitó a dos expertos en agentes software su valoración de las medidas (valores de 0 a 10). Luego, se ejecutó el sistema para determinar los valores de las medidas de esta característica tanto antes como durante la ejecución.
• Interpretación: La aplicación de las medidas, considerando la media aritmética de sus valores, permitió obtener los siguientes valores para los atributos: iniciativa 97%, reacción 95%, interacción 95%, siendo el promedio de pro-actividad del sistema de un 96%, que se considera un valor muy alto para este sistema. Para validar los valores de las medidas, se compararon las medidas de los agentes del sistema con los resultados
de la opinión de dos expertos usando el test de Kolmogorov-Smirnov [Chakravart, 1967]. Para ello se consideró la media aritmética de las opiniones de los expertos y la media aritmética de las medidas definidas, teniendo un nivel de significación de 0,45, lo que permite admitir la hipótesis de que ambas muestras provienen de la misma distribución.
6.3.2.4 Experimento 2.4
• Planteamiento: El objetivo de este experimento es validar las tres características para cada agente en el sistema considerando opiniones de expertos.
• Diseño: Se solicitó a dos expertos en diseño de agentes software su valoración de las tres características para este sistema (valores de 0 a 10). Luego se ejecutó el sistema para determinar los valores de las tres características asociadas al sistema y el valor global del sistema.
• Interpretación: La aplicación de las medidas, considerando la media aritmética de sus valores, proporcionó para las características los valores: habilidad social 86%, autonomía 81% y pro-actividad 96%, siendo la medida global para este sistema de 88%, que es considerada muy alta para este sistema. Para validar los valores, se compararon las características de los agentes del sistema con los resultados de la opinión de dos expertos usando el test de Kolmogorov-Smirnov [Chakravart, 1967]. Para ello se consideró la media aritmética de las opiniones de los expertos y la media aritmética de las medidas definidas, obteniendo un nivel de significación de 0,30. Se observó una gran coincidencia entre los valores medios de las medidas y las de los expertos.