Análisis de resultados obtenidos

Para el análisis de los resultados obtenidos se tendrán en consideración principalmente los costos asociados de acuerdo a cada escenario según las diversas propuestas. Adi- cionalmente se evaluará el desempeño de los algoritmos de búsqueda utilizados en términos de cantidad de rondas involucradas.

Resultados de Análisis Individual El gráfico de la figura 7.3 indica las diferentes respuestas para cada uno de los 5 tipos de análisis individuales de arquitectura confi- gurados en principio en la herramienta (vertabla 7.6), de acuerdo al tipo de algoritmo de búsqueda utilizado (backtracking -B- o predictivo -P-). En este punto, se puede notar a simple vista que los resultados obtenidos en cada análisis sobre el escenario al cual están ligados mejoran la medida de respuesta esperada, constituyendo así al- ternativas interesantes para su aplicación. No obstante, se puede ver que no existe un balance entre los resultados obtenidos para los escenarios de performance y modifica- bilidad. Esto implica, por ejemplo, que las configuraciones de análisis individual que mejoran en mayor medida la respuesta esperada para escenarios de modificabilidad, aumentan el costo asociado a los escenarios de performance.

7.2 Experimentos realizados

Figura 7.3.: Comparación de análisis individuales

Resultados del proceso de negociación Como se explicó en anteriores capítulos, el proceso definido por el protocolo de negociación intenta establecer un balance entre las medidas de respuesta de acuerdo a un análisis conjunto por parte de los agentes. En efecto, este método contempla el tradeoff existente entre los distintos escenarios de calidad e intenta satisfacer de manera global al conjunto, a diferencia del análisis individual, donde se busca optimizar un único escenario de calidad en particular. En el gráfico de lafigura 7.4se pueden apreciar los costos asociados a algunas de las pruebas realizadas sobre el proceso de negociación. Aquí se puede apreciar, por ejemplo, como los escenarios vinculados al análisis conjunto (M1, M2, M3 y P3) presentan una reduc- ción del costo asociado, mejorando los valores actuales y acercándose (o cumpliendo) la medida de respuesta esperada para cada caso, sin llegar necesariamente al caso óptimo marcado por el costo mínimo registrado de acuerdo a los análisis individuales ejecutados en la sección anterior (referenciado por el parámetro “Min”).

7.2 Experimentos realizados

Figura 7.4.: Resultados sobre ejecución de casos de negociación

Incidencia del umbral de utilidad sobre el proceso de negociación Los atributos de calidad involucrados en la negociación (performance y modificabilidad) son anta- gónicos, con lo cual aquellos casos que mejoren la modificabilidad de la arquitectura evaluada generalmente perjudican la performance, y viceversa. Esto sumado a la uti- lización de valores umbrales que restringen el dominio de soluciones posibles, produce que las probabilidades de obtener una solución satisfactoria para todas las partes se vean reducidas. Esto explica por qué la ejecución de varios de los casos de prueba que utilizan el protocolo de negociación finalizan el proceso en conflicto.

A fin de mostrar la influencia del valor umbral sobre los resultados del proceso de negociación multi-agente, se pueden considerar tres ejecuciones que contemplan úni- camente escenarios de modificabilidad. Los casos N13 y N14 utilizan un valor umbral basado en prioridades, mientras que la ejecución N15 utiliza un factor umbral con ma- yor holgura (se permite conceder y considerar soluciones aceptables hasta una utilidad mínima de 0,5). De acuerdo a las ejecuciones realizadas, se observa que las primeras dos pruebas finalizan en conflicto, mientras que el caso N15 resulta en acuerdo. Esto responde a que un valor umbral más bajo permite conceder en forma más permisiva, considerando más alternativas del espacio de propuestas y obteniendo un resultado con más probabilidades de acuerdo que utilizando un umbral restrictivo. Para ilustrar esto, se muestra el gráfico de la figura (figura 7.5), donde se comparan los costos obtenidos en las tres ejecuciones mencionadas, además de incluir un proceso de negociación (N5)

7.2 Experimentos realizados

Figura 7.5.: Comparación entre negociaciones para escenarios de modificabilidad

cuyos valores arrojados para modificabilidad son “casi” óptimos; este proceso utiliza un umbral aún más restrictivo que los anteriores casos, pero finaliza en conflicto. Para terminar de demostrar la afirmación anterior de que un umbral permisivo au- menta las probabilidades de acuerdo, se experimentan seis corridas adicionales con umbrales cercanos al valor nulo. Los resultados se muestran en la figura 7.6.

Figura 7.6.: Procesos de negociación con umbral nulo

Adicionalmente, el ajuste de los valores de umbral tiene una incidencia directa en la cantidad de rondas del proceso de negociación. Un valor más restrictivo reducirá el

7.2 Experimentos realizados

dominio de propuestas candidatas, resultando así un proceso con menor cantidad de rondas y aumentando el riesgo de conflicto. En este orden, el valor umbral fijo (utilidad 0,5) establece una cota más amplia que el valor umbral basado en prioridades, y mayor aún que el umbral “restrictivo” (utilidad 0,9). El gráfico de la figura 7.7 muestra la cantidad de rondas corridas durante el proceso de negociación para los casos más representativos, considerando los diversos tipos de umbrales como así también los algoritmos de búsqueda utilizados en la aplicación.

Figura 7.7.: Cantidad de rondas de negociación según distintos umbrales

Consideraciones sobre algoritmos de búsqueda utilizados En el gráfico anterior (figura 7.7) se observa que los procesos de negociación que utilizan el algoritmo de bús- queda predictivo implican una mayor cantidad de rondas que al utilizar backtracking. Esto se debe a que, dada la implementación actual, el algoritmo predictivo retorna más soluciones (siempre propone una alternativa, en cambio backtracking retorna una solución solamente si es mejor que la actualmente analizada). Esto ocasiona en con- secuencia que el proceso de negociación con previa aplicación de búsqueda predictiva demore más tiempo.

Por otra parte, debido a que el espacio de soluciones del algoritmo backtracking es acotado en cantidad de niveles de profundidad (esto es porque el espacio de búsqueda es infinito y el costo computacional del algoritmo empleado es alto) el rendimiento de esta técnica se ve en parte reducido, y las respuestas generadas pueden no ser las “mejores” (en este caso el algoritmo predictivo suele encontrar mejores soluciones). El gráfico de la figura 7.8 muestra la distribución de soluciones parciales encontradas en

7.2 Experimentos realizados

conjunto y evaluadas según el escenario M1 para cada algoritmo de búsqueda.

Figura 7.8.: Distribución de soluciones parciales

Por último, se observa que la implementación incorporada para la búsqueda conjunta de soluciones obtiene en general mejores resultados que la búsqueda individual existen- te originalmente en la aplicación. En el gráfico de lafigura 7.9se muestra el desempeño de dos casos de ejemplo (análisis 1 para escenario M1, y análisis 2 para escenario M2) de acuerdo a las distintas variantes de búsqueda posibles.

7.2 Experimentos realizados