Optsicom Analytics: una herramienta online para el análisis de resultados

(1)

Optsicom Analytics: una herramienta online

para el an´

alisis de resultados

Micael Gallego, Francisco Gort´

azar y Eduardo G. Pardo

Resumen— En este trabajo se presenta Optsicom Analytics, una herramienta web en desarrollo que ayuda en las tareas de investigación en el área de op-timización. Esta herramienta, centrada en el análisis de los datos extra´ıdos del proceso de experimenta-ción, está destinada a la comparación de algoritmos. Ofrece funcionalidades tales como el cálculo de es-tad´ısticos, utilizados habitualmente en este contexto, o la agrupación y presentación de resultados por con-juntos de instancias. Es importante destacar el hecho de que, al ser una aplicación web, permite una alta disponibilidad de los datos con independencia de la ubicación f´ısica del investigador y facilita as´ı la com-partición de resultados.

Palabras clave— optimizaci´on, an´alisis de datos, he-rramienta software

I. Introducci´on

La resolución de problemas y la toma de decisio-nes, en la panorámica social actual, están conducidos por la disponibilidad de grandes cantidades de infor-mación. La habilidad para analizar y extraer conclu-siones de esta información ayuda en la consecución de tales objetivos.

El proceso de investigación, desde una perspectiva genérica, no es una excepción. En este contexto, la información viene reflejada, en numerosas ocasiones, a través de los resultados obtenidos tras una deter-minada experimentación. El análisis de resultados es, por lo tanto, una tarea imprescindible dentro del proceso.

En el área de la optimización, donde se aborda la búsqueda de la mejor solución posible, para pro-blemas donde existen numerosas soluciones factibles, esta tarea es de especial relevancia.

En la Figura 1 se muestra un diagrama de acti-vidad que representa el proceso de investigación en optimización. De manera resumida, se podr´ıa decir que el proceso comienza con la definición del pro-blema que se pretende abordar y con el estudio del estado del arte. De este estudio es posible extraer algoritmos previos para el problema y conjuntos de instancias que pueden ser utilizadas para comparar los algoritmos. Una vez formulada una hipótesis e implementado el algoritmo propuesto, éste pasa a las fases de pruebas y validación, en las que se rea-lizarán experimentos con el algoritmo desarrollado (as´ı como con el resto de los algoritmos del estado

Departamento de Ciencias de la Computaci´on

Universidad Rey Juan Carlos, 28933 M´ostoles (Madrid) E-mail: [email protected]

E-mail: [email protected] E-mail: [email protected]

del arte) sobre las bater´ıas de instancias identifica-das. Por último, el proceso finaliza con la publicación de los resultados obtenidos.

Cuando se propone un algoritmo heur´ıstico para un problema de optimización, las soluciones encon-tradas por éste deben ser comparadas con las obte-nidas por otros algoritmos previos, presentes en el estado del arte. Es común, por lo tanto, que el an´ ali-sis del rendimiento de los algoritmos heur´ısticos se determine basándose en la experimentación. La cali-dad de las soluciones encontradas por un algoritmo heur´ıstico se expresa mediante un valor o peso, ob-tenido empleando la denominada función objetivo. Según el valor de la función objetivo, se puede de-cir que, cuando un problema de optimización es a su vez un problema de maximización, cuanto mayor sea este valor, mejor será la calidad de la solución y viceversa, cuando se trate de un problema de mini-mización.

En la práctica, la tarea de comparar las soluciones encontradas por distintos algoritmos es más comple-ja que la simple comparación del valor de la fun-ción objetivo. Para empezar, los algoritmos deben ser evaluados sobre un número de instancias sufi-cientemente grande que permita discriminar entre unos algoritmos y otros. Además, es común que las instancias empleadas pertenezcan a diferentes con-juntos dado que, dependiendo de los datos sobre los que se ejecuten los algoritmos, el comportamiento de los mismos pueda variar.

Adicionalmente, la comparación de algoritmos se lleva a cabo empleando métricas bien conocidas, ta-les como la desviación media al mejor valor encon-trado (en porcentaje), el promedio del valor de la función objetivo o el número de mejores soluciones encontradas (óptimos, si éstos son conocidos). El tiempo empleado por los distintos algoritmos tam-bién es un factor determinante en la comparación. Es imprescindible también, realizar test estad´ısticos que indiquen si existen diferencias estad´ısticamente significativas entre las propuestas ([2], [3] y [10]), pe-se a que los resultados proporcionados por las otras métricas puedan parecer discriminantes.

Por todo ello, la experimentaci´on debe realizarse de una manera rigurosa y en igualdad de condiciones para todos los algoritmos comparados.

(2)

Fig. 1. Proceso de investigación en el área de optimización.

los resultados y, por ´ultimo, presentaci´on de los resultados de una manera comprensible y resumida que permita sacar conclusiones acerca de los objeti-vos marcados.

En este trabajo se presenta una herramienta web en desarrollo (Optsicom Analytics) destinada a faci-litar al investigador, en ´area de optimizaci´on, algu-nas de las tareas anteriormente descritas. Esta herra-mienta se enmarca dentro del Optsicom Optimiza-tion Suite,((un conjunto de herramientas,

aplicacio-nes y servidores que proporcionan soporte al proce-so de investigaci´on en optimizaci´on)) [9], ofreciendo

funcionalidades complementarias al desarrollo de al-goritmos. En concreto, esta herramienta es un com-ponente de gran utilidad dentro de las fases de an´ ali-sis y presentación de los resultados extra´ıdos durante la experimentación. La herramienta, que estará dis-ponible online1_{, se distribuye como software libre}

bajo licencia Apache 2 [1].

1

https://code.sidelab.es/projects/optsicomeaw/wiki

Es importante destacar que, actualmente, la he-rramienta se encuentra en una fase de desarrollo preliminar y podr´ıa considerarse como un prototipo inicial. Uno de los objetivos principales del presente trabajo es el de reflejar las caracter´ısticas ya inclui-das en la herramienta as´ı como las funcionalidades futuras deseadas. Adicionalmente, esto permitirá re-cabar nuevas sugerencias derivadas de las necesida-des de otros investigadores en el área.

El resto del trabajo está estructurado como sigue: en la Sección II se realiza un breve recorrido por otras herramientas (tanto genéricas, como espec´ıfi-cas del área de optimización heur´ıstica) para el an´ ali-sis y presentación de resultados. En la Sección III se presentan los estad´ısticos considerados para la pri-mera versión de Optsicom Analytics. En la Sección IV se recogen las principales funcionalidades inclui-das en la aplicación as´ı como algunas de las funcio-nalidades actualmente en desarrollo. En las secciones V y VI se presentan, respectivamente, la arquitectu-ra y tecnolog´ıas empleadas paarquitectu-ra el desarrollo de la aplicación y el resultado obtenido, incluyendo una descripción de la interfaz gráfica de la aplicación. Por último, en la Sección VII se presentan las con-clusiones alcanzadas y los posibles trabajos futuros.

II. Estado del arte

El análisis de datos es una tarea necesaria en mu-chas disciplinas y, en particular, en la comparación de resultados cient´ıficos. Por ello, existen herramien-tas software gen´ericas que incluyen funcionalidades que facilitan esta tarea. A continuación se recogen algunas de las herramientas genéricas más conoci-das:

EXCEL [8]: hoja de c´alculo de Microsoft incluida en el paquete comercial Office. Es utilizada amplia-mente en actividades financieras y contables. Per-mite el almacenamiento y la administración de da-tos de una manera estructurada y sencilla. Incluye herramientas destinadas al análisis y visualización de datos. Dada su popularidad, existen disponibles

plugins para EXCEL desarrollados por otras

com-pañ´ıas, y que están destinados al análisis estad´ıstico de la información, como por ejemplo XLSTAT [27].

R [16]: suite integrada para la manipulaci´on de datos que incluye tanto un entorno, como un lengua-je para el cálculo de estad´ısticas y gráficas. R propor-ciona una amplia variedad de técnicas estad´ısticas (modelado lineal y no lineal, test estad´ısticos cl´ asi-cos, clasificación, análisis de series temporales, etc.). Además, es comúnmente empleado en actividades de investigación. Se trata de una herramienta libre, dis-tribuida principalmente bajo licencia GPL2.

S [18]: lenguaje de programaci´on estad´ıstico desa-rrollado originalmente en la d´ecada de 1970 en los laboratorios Bell. Es el precursor de R [16]

(imple-2

(3)

mentaci´on libre) y de S-PLUS [19] (implementaci´on comercial).

SAS [20]: software estad´ıstico que incluye nume-rosas funcionalidades para el análisis y visualización de datos. Se trata de una herramienta comercial que incorpora tanto un lenguaje de programación como una interfaz gráfica de usuario que permite generar rutinas SAS sin necesidad de programar.

SPSS Statistics [21]: este paquete de herramien-tas, desarrollado por IBM, es una herramienta co-mercial que proporciona un conjunto de funciona-lidades de altas prestaciones para el análisis de la información y la extracción de estad´ısticas. Incluye el proceso anal´ıtico completo, desde la planificación y presentación de los datos hasta la generación de informes.

Otras herramientas que tambi´en podr´ıan conside-rarse como gen´ericas son: Statistica [23], Stata [22] o World Programming System [26].

Las herramientas genéricas, en ocasiones, pueden llegar a ser dif´ıciles de adaptar al contexto en el que se utilizan, por ejemplo, por incluir numerosas fun-cionalidades que podr´ıan ser prescindibles en dicho contexto. Por ello, puede ser de utilidad disponer de herramientas espec´ıficas que aborden exclusivamen-te las tareas necesarias para un área de investiga-ción determinada. Concretamente, en el campo de la optimización, además de las herramientas gen´ eri-cas, existen herramientas espec´ıfieri-cas, principalmen-te incluidas dentro de otras librer´ıas, que permiprincipalmen-ten realizar análisis y comparación de resultados, con los estad´ısticos utilizados en el área. A continuación se presentan, a modo de ejemplo, algunas herramien-tas espec´ıficas en el área de optimización heur´ıstica, que son utilizadas tanto para realizar análisis de los datos extra´ıdos de una experimentación, como para presentar los resultados de la misma:

EasyAnalyzer [6]: framework orientado a ob-jetos desarrollado en C++ para el análisis de re-sultados de algoritmos estocásticos de búsqueda lo-cal. EasyAnalyzer se integra junto con EasyLocal++ [7] (framework para el desarrollo de algoritmos es-tocásticos de búsqueda local) proporcionando as´ı un conjunto de herramientas que dan soporte a las fases desarrollo y de evaluación de resultados, dentro del proceso de investigación.

jMetal [13]: framework distribuido bajo licencia LGPL3 _{basado en la tecnolog´ıa Java y orientado a}

objetos. Está destinado al desarrollo, experimenta-ción y estudio de algoritmos metaheur´ısticos para problemas de optimización multiobjetivo. Incluye un paquete para facilitar la comparación de resultados, obtenidos a través de diversos indicadores de cali-dad que pueden ser seleccionados. Permite también generar scripts en R, para aplicar test no param´ etri-cos. Los resultados pueden ser presentados de

ma-3

http://www.gnu.org/licenses/lgpl.html

nera automática, empleando tanto tablas resumen, como gráficos en LA_TEX.

oMetah [15]: Open Metaheuristic (oMetah) es una librer´ıa de código abierto distribuida bajo li-cencia LGPL cuyo principal objetivo es la evalua-ción emp´ırica de algoritmos metaheur´ısticos. Permi-te realizar comparaciones entre algoritmos, expor-tar los resultados a diferentes formatos de archivos y extraer informes y gráficas resumen. Pese a es-tar diseñada para embeber algoritmos desarrollados empleando otros frameworks, dispone tambi´en de he-rramientas que posibilitan la tarea de desarrollo.

Para una lista m´as extensa de frameworks dedi-cados a las metaheur´ısticas pueden consultarse las siguientes referencias: [9], [24] y [25].

III. M´etricas para la comparaci´on de algoritmos

En esta sección se presentan algunas de las m´ etri-cas más comunes, empleadas para la comparación de algoritmos, en el área de optimización heur´ısti-ca. En particular, se repasan tanto las métricas ya incluidas en la versión actual de Optsicom Analy-tics, como aquéllas que están planificadas para ser incluidas en posteriores versiones de la herramienta. Como se ha indicado anteriormente, tras finalizar el proceso de experimentación de una investigación, es deseable resumir los datos obtenidos en los dis-tintos experimentos. Para ello se emplean tablas de resultados o gráficas, que sinteticen la esencia de los mismos y permitan sacar conclusiones.

En el área de optimización heur´ıstica, un experi-mento consiste, t´ıpicamente, en la comparación de varios algoritmos a través de los resultados obteni-dos por éstos, sobre un conjunto de instancias de re-ferencia. Dichos resultados se presentan, de manera resumida, empleando métricas o estad´ısticos amplia-mente aceptados por la comunidad investigadora.

Las métricas incluidas en la versión actual de esta herramienta son algunas de las más utilizadas en el ´

area de optimización heur´ıstica. En concreto, Optsi-com Analytics dispone de los siguientes estad´ısticos: Desviaci´on ( %dev): representa la desviaci´on del valor de la funci´on objetivo (f o) de una soluci´on ob-tenida por un algoritmo, respecto al mejor valor co-nocido (best) para esa determinada instancia. Esta métrica permite medir lo próxima que está una solu-ción encontrada, de la mejor solución conocida hasta el momento o, en su defecto, de la solución óptima si ´

(4)

%dev =f o− best

best × 100

N´umero de mejores (#best): contiene el n´ ume-ro de mejores soluciones obtenidas por cada algorit-mo. Es decir, contabiliza cuántas veces un algoritmo determinado ha encontrado la mejor solución para cada instancia. En ocasiones, cuando el óptimo para un conjunto de instancias es conocido, este n´ ume-ro indica el número de óptimos que ha sido capaz de encontrar el algoritmo. Al igual que ocurre con la desviación, también es posible reportar el número de mejores soluciones encontradas en el experimen-to. Tanto el número de óptimos como el número de mejores soluciones encontradas se presentan en valor absoluto. Por lo tanto, considerando esta métrica de manera aislada, cuanto mayor sea el número de me-jores soluciones encontradas, mejor es el algoritmo.

Puntuaci´on (score): este estad´ıstico permite es-tablecer una clasificación de los métodos evaluados. Tal y como se defini´o en [17] el score para un conjun-to de instancias es el número de métodos que obtu-vieron resultados estrictamente mejores que aquéllos obtenidos por el método evaluado. Por lo tanto, cuanto menor sea el score, mejor ser´a el método. Para cada instancia particular se asigna un número entero de 0 a n-1 (siendo n el n´umero de métodos) a cada uno de los métodos comparados, según el va-lor de la función objetivo obtenido. El mejor método recibirá el n´umero 0 y el peor el n-1. En otras pala-bras, el score representa la posici´on que ocupar´ıa el algoritmo si se realizara una clasificación, ordenando los métodos en función de la calidad de la mejor so-lución obtenida para cada instancia. El menor valor posible para el score es cero, mientras que el mayor valor posible viene determinado por el producto en-tre el número de instancias en un grupo y el número de métodos menos uno. Esta medida es de utilidad cuando no hay empates entre los métodos compara-dos. En las tablas resumen de experimentos se suele mostrar como la suma de los scores de todas las ins-tancias, para cada método.

Además de las métricas definidas anteriormente y que ya forman parte de la versión actual de Optsi-com Analytics, se tiene planificada la inclusión de test no paraméticos, para posteriores versiones. Los test no paramétricos permiten determinar si existen diferencias estad´ısticamente significativas entre los algoritmos comparados. En concreto los test consi-derados son los siguientes: test de Friedman (para múltiples muestras correlacionadas con las mejores soluciones obtenidas por cada método); test de Wil-coxon y test del Signo (para realizar comparaciones entre pares de algoritmos).

Para analizar correctamente los datos obtenidos en un experimento, no sólo conviene emplear varios estad´ısticos y realizar test no paramétricos para de-terminar si hay diferencias estad´ısticamente signifi-cativas, sino que también es necesario agrupar los

Tama˜no M´etodo %dev #best score

M < 60 LSGA 0,08 % 82 77 (120 instancias) LCW 0,28 % 80 110 T-LCW 0,01 % 107 16 SO 0,01 % 106 17 M = 120&240 LSGA 1,04 % 0 119 (60 instancias) LCW 1,91 % 0 172 T-LCW 0,30 % 19 47 SO 0,08 % 41 22 M = 480&960 LSGA 1,25 % 0 143 (60 instancias) LCW 1,58 % 0 156 T-LCW 0,34 % 15 45 SO 0,06 % 45 16 TABLA I

Ejemplo de comparaci´on de algoritmos.

resultados por conjuntos de instancias. Esto es de-bido a que un algoritmo determinado puede superar a otros algoritmos para un tipo de instancia parti-cular, pero no para otros tipos. Las instancias son habitualmente agrupadas según sus caracter´ısticas, tales como, por ejemplo, el origen de los datos. Si los conjuntos de instancias son muy grandes, cada conjunto se puede subdividir a su vez en conjuntos más pequeños, por ejemplo en función del tamaño de las mismas.

En la Tabla I se presentan, a modo de ejemplo, los resultados de cuatro algoritmos (LSGA, LCW, T-LCW y SO) empleando las métricas incluidas en Optsicom Analytics ( %dev, #best y score) sobre un total de 240 instancias. Estas instancias están dividi-das en tres conjuntos, cada uno de los cuales agrupa instancias con un cierto tamaño de un par´ametro M . En los resultados presentados en la Tabla I se puede observar cómo la menor desviación sobre el primer conjunto de instancias (M < 60) es alcanzado tanto por el algoritmo T-LCW como por el algoritmo SO, con una desviación del 0.01 %. Si se observa el n´ ume-ro de mejores valores encontrados y el score, T-LCW parece ligeramente mejor. En cambio, esto sólo su-cede para el primer conjunto de instancias, en el que además, las diferencias son muy pequeñas. Para ins-tancias mayores, SO obtiene, sistemáticamente, me-jores resultados que el resto de los algoritmos tanto en %dev, como en #best y score.

IV. Principales funcionalidades Optsicom Analytics es una aplicaci´on web capaz de presentar de manera estructurada los resultados de diversos conjuntos de experimentos.

Dado que la aplicaci´on se encuentra en una fase de desarrollo preliminar, en esta secci´on se recogen, en primer lugar, las caracter´ısticas ya incluidas en la herramienta y, en segundo lugar, se describen las principales funcionalidades futuras.

(5)

Fig. 2. Interfaz gr´aﬁca de Optsicom Analytics.

Organización de los experimentos: la aplica-ción permite mantener una organización de los expe-rimentos empleando para ello una estructura a modo de árbol, que representa una jerarqu´ıa de carpetas. Dentro de cada carpeta puede haber uno o más expe-rimentos que contienen, entre otra información, las tablas de resultados.

Información de los experimentos: para cada experimento se dispone de información de dos tipos. Por un lado, información general, en la que se reco-gen datos tales como: el nombre del experimento; el nombre del investigador responsable; la fecha de rea-lización del mismo; el número de métodos que inter-vienen en el experimento y el número de instancias. Por otro lado, además de la información general, se dispone de información detallada para los métodos, las instancias y los resultados alcanzados.

Información relativa a las instancias: para cada instancia incluida en el experimento, se recoge su nombre, parámetros relativos a su tamaño y tipo de experimento en el que la instancia es empleada.

Información relativa a los algoritmos: de ca-da algoritmo o método que interviene en un determi-nado experimento se recoge, además de su nombre, el paquete que lo contiene y el número de ejecuciones que se realizan con él. También se almacena el valor de cada parámetro del mismo empleado en el experi-mento, aspecto de vital importancia para garantizar la reproducibilidad del experimento.

Tablas de resultados: las tablas de resultados presentan los datos extra´ıdos de los experimentos. Pueden presentarse de diferente forma. Por ejem-plo, se puede disponer de una tabla por cada uno de

los métodos evaluados en el experimento. Para cada método se muestran los estad´ısticos descritos en la Secci´on III (#best, %dev y score) y el tiempo de eje-cución empleado. Además, se pueden añadir nuevas columnas a la vista en curso, presentando más in-formación o reducir la cantidad de datos mostrados para simplificar su visualización.

Persistencia de la información: toda la infor-mación relativa a los experimentos (instancias, m´ eto-dos, tablas de resultaeto-dos, etc.) as´ı como la relativa a la organización de los mismos (jerarqu´ıa de carpetas) es almacenada en una base de datos. La información puede ser insertada en la base de datos mediante un módulo de importación o bien mediante una herra-mienta capaz de realizar inserciones que respete la estructura de la base de datos.

Además de las funcionalidades anteriores, ya in-cluidas en la versión actual de Optsicom Analytics, actualmente se encuentran en desarrollo o planifica-das para posteriores versiones, las siguientes funcio-nalidades:

Generación de gráficas: dependiendo del tipo de experimento, en ocasiones, es necesario presentar los resultados empleando gráficas, en lugar de tablas. Es deseable, por lo tanto, contar con una funcionali-dad capaz de generar gráficas (como por ejemplo, de evolución temporal, gr´aficas Time-To-Target, etc.) de manera automatizada a partir de los datos obte-nidos de los experimentos.

(6)

de texto o tipo CSV. De igual manera, tanto los da-tos sin procesar contenidos en la base de dada-tos, como los datos procesados, deben poder ser exportados a formatos tales como CSV o XML y, en el caso de disponer de un módulo de generación de gráficas, a formatos de imagen.

Gestión de acceso: una caracter´ıstica que dar´ıa un valor añadido claramente diferenciador a esta he-rramienta, ser´ıa disponer de un sistema de gestión de acceso a los datos, de manera que se permitiera compartir cierta información, por ejemplo las tablas publicadas en un art´ıculo, a la vez que mantener otra información de manera privada, por ejemplo, los re-sultados parciales obtenidos durante el proceso de desarrollo de un algoritmo.

Generación de informes: puede ser deseable combinar resultados de diferentes tablas y gráficos en un mismo informe. Ser´ıa de utilidad contar con un mecanismo capaz de seleccionar una o varias ta-blas, gráficos y otra posible información (como por ejemplo datos sobre las instancias o los métodos) para presentarlos de manera conjunta en un informe que pueda ser visualizado o exportado.

Plantillas de configuración: dadas las diferen-tes configuraciones de presentación de resultados, puede llegar a ser una tarea tediosa tener que confi-gurar la aplicación cada vez que se quiera utilizar, y más si el esquema de los resultados que se quiere vi-sualizar coincide con otro esquema empleado previa-mente. Un sistema de almacenamiento de plantillas de configuración solucionar´ıa este problema.

Integración con otras herramientas: como se ha visto anteriormente, esta herramienta se encarga de tareas espec´ıficas dentro de un proceso de investi-gación más amplio. En este proceso intervienen otras herramientas tales como entornos de desarrollo inte-grados o mecanismos de ejecución remota (una des-cripción de éstas y otras herramientas puede verse en [9]). Por ello, es necesaria la integración de Opt-sicom Analytics con otras herramientas, formando as´ı un ecosistema de trabajo.

V. Arquitectura y tecnolog´ıas En esta secci´on se describe brevemente la arquitec-tura en la que se integra Optsicom Analytics, as´ı co-mo el papel que juegan las principales tecnolog´ıas empleadas para su desarrollo.

A. Arquitectura

En la Figura 3 se muestra una representación de la arquitectura del sistema en la que se integra Opt-sicom Analytics. En dicha figura, OptOpt-sicom Frame-work representa la fuente de información que per-mite nutrir a la base de datos con la información obtenida tras el proceso de experimentación.

Optsicom Framework es un componente de Opt-sicom Optimization Suite y se deﬁne como una

Fig. 3. Arquitectura del sistema.

((librer´ıa que proporciona la funcionalidad necesa-ria para desarrollar algoritmos exactos, algoritmos aproximados y configurar y ejecutar experimentos))

[9]. Es importante destacar que esta fuente de datos podr´ıa ser cualquier otra librer´ıa o aplicación capaz de generar salidas en una estructura determinada, de modo que la información pudiera ser insertada en la base de datos. Esta información, a su vez, es presen-tada en una interfaz web desarrollada en GWT (ver Sección V-B) empleando para ello código Java, que posteriormente es traducido a HTML y Javascript. Este último es interpretado por el navegador en el lado del cliente.

Como se muestra también en la Figura 3, Opt-sicom Analytics interactúa con la base de datos MySQL (ver Sección V-B) leyendo la información sin procesar previamente insertada y almacenando la información resultante del análisis de los datos, los informes generados, etc.

B. Tecnolog´ıas

A continuaci´on se repasan brevemente las prin-cipales tecnolog´ıas que han sido empleadas para el desarrollo de Optsicom Analytics, y que juegan un papel importante dentro del modelo de arquitectura anteriormente descrito:

Java [11][12]: la tecnolog´ıa Java es una platafor-ma vers´atil y eﬁciente para el desarrollo de

softwa-re. Incluye un lenguaje de programaci´on orientado a objetos con el mismo nombre y destaca por la por-tabilidad de las aplicaciones desarrolladas.

MySQL [14]: Sistema de Gesti´on de Bases de Da-tos Relacional con capacidad para ser ejecutado co-mo un servidor proporcionando acceso a múltiples usuarios a distintas bases de datos. Es un sistema muy popular en el desarrollo de aplicaciones web gra-cias a su capacidad de gestionar múltiples peticiones simultáneas, a su ligereza, a su eficiencia y a que es distribuido bajo licencia GPL.

(7)

Adem´as de las anteriormente mencionadas, en este trabajo se han empleado las siguientes tecnolog´ıas: Eclipse4_{, entorno de desarrollo integrado}

multiplata-forma; Java Persistence API (JPA), marco de traba-jo para Java que implementa funcionalidades de per-sistencia de la informaci´on; EclipseLink5_{, proyecto}

de la Fundación Eclipse para dar soporte a la inter-actuación con distintos estándares de acceso a datos, entre los que se encuentra JPA; SmartGWT6, con-junto de librer´ıas que dan soporte a GWT, a˜ nadien-do una gran cantidad de artefactos; Subversion7

(SVN), sistema de control de versiones de c´odigo abierto; Redmine8_{, gestor de proyectos v´ıa web de}

c´odigo abierto.

VI. Resultados

En esta sección se presenta el estado de la ver-sión actual de Optsicom Analytics. En particular se presenta una distribución que incluye las funcionali-dades especificadas en la Sección IV y los estad´ısticos especificados en la Sección III.

Se repasan, a continuación, aspectos destacables de la interfaz gráfica y ejemplos de uso de algunas de las funcionalidades de la aplicación. En la Figura 2 se muestra, mediante una captura de pantalla de la aplicación, las distintas secciones en las que está es-tructurada la interfaz web. En la parte izquierda de la interfaz se recoge, a modo de árbol, la estruc-tura empleada para organizar los experimentos. La parte superior derecha, contiene espacio para mos-trar, en distintas pestañas, los experimentos que se encuentren desplegados. Este espacio de la interfaz irá cambiando en función del número de experimen-tos que se tengan abierexperimen-tos de manera simultánea. En la parte inferior derecha, aparecen tres pestañas fi-jas: Métodos, Instancias y Resultados. La pestaña de Métodos contiene, para cada uno de los experi-mentos desplegados en la parte superior, información detallada acerca de los métodos que intervienen en el experimento abierto. Análogamente la pestaña de Instancias contiene información de las instancias in-cluidas en el experimento. Por último, en la pestaña de Resultados se presentan las tablas con los datos. Estas tablas pueden mostrarse de diferente manera: instancia por instancia, agrupadas por tipo de ins-tancia, agrupadas por tamaño de las instancias, in-cluyendo más o menos estad´ısticos, incluyendo más o menos métodos, etc.

Dado que Optsicom Analytics es una herramienta actualmente en desarrollo, además de las funcionali-dades ya disponibles y de la interfaz gráfica desarro-llada, es importante destacar que en este documen-to se definen las principales funcionalidades futuras que la herramienta debe incorporar. Esto permite

4_{http://www.eclipse.org/} 5_{http://www.eclipse.org/eclipselink/} 6_{http://code.google.com/p/smartgwt/} 7_{http://subversion.apache.org/} 8 http://www.redmine.org/

la colaboración de la comunidad investigadora, es-pecialmente a través de las sugerencias derivadas de las necesidades espec´ıficas de los investigadores en el ´

area.

VII. Conclusiones y trabajos futuros En este trabajo se ha presentado Optsicom Analy-tics, una aplicación web en desarrollo, para el análisis y presentación de los resultados obtenidos del pro-ceso de experimentación en el área de optimización. Esta aplicación permite organizar los resultados de distintos experimentos de manera jerárquica y mos-trar estad´ısticos ampliamente aceptados como me-canismo de comparación de algoritmos heur´ısticos. La aplicación incluye también información acerca de las instancias y los métodos empleados en la expe-rimentación, siendo capaz de acceder a una base de datos donde se almacena toda la información repor-tada. Es importante destacar que los datos sin pro-cesar, es decir, tal y como se obtuvieron de los expe-rimentos, también están almacenados y pueden ser consultados.

Como trabajos futuros, esta herramienta preten-de ser ampliada mejorando el sistema preten-de creación de nuevas tablas, añadiendo soporte para la genera-ción gráficos a partir de los resultados, incluyendo el borrado de tablas, ampliando el número de estad´ısti-cos considerados y permitiendo la realización de tests no paramétricos de manera automatizada. También ser´ıa de utilidad establecer un mecanismo de gestión de usuarios, concretamente investigadores, facilitan-do as´ı la tarea de compartición de resultados, a la vez que estableciendo mecanismos de privacidad.

Agradecimientos

Este trabajo ha sido ﬁnanciado parcialmente con fondos del MICINN (TIN2009-07516 y TIN2008-06890-C02-02).

Referencias

[1] Apache License 2.0 http://www.apache.org/licenses/ LICENSE-2.0

[2] Demsar, J. Statistical Comparisons of Classifiers over Multiple Data Sets. Journal of Machine Learning Re-search. 7. P´aginas 1-30. 2006.

[3] Derrac, J., S. Garc´ıa, D. Molina y F. Herrera, A Practical

Tutorial on the Use of Nonparametric Statistical Tests as a Methodology for Comparing Evolutionary and Swarm Intelligence Algorithms Swarm and Evolutionary

Compu-tation, 1:1. P´aginas 3-18. 2011.

[4] Dewsbury, R. Google Web Toolkit Applications. Prentice Hall. 2008.

[5] GWT,Google Web Toolkit. http://code.google.com/ intl/es-ES/webtoolkit/

[6] Di Gaspero, L., A. Roli y A. Schaerf EasyAnalyzer: An

Object-Oriented Framework for the Experimental Analy-sis of Stochastic Local Search Algorithms. Lecture Notes

in Computer Science, Volumen 4638/2007. P´aginas 76-90. 2007.

[7] Di Gaspero, L. y A. Schaerf EasyLocal++: An

(8)

[8] EXCEL, http://office.microsoft.com/es-es/excel [9] Gallego, M., F. Gort´azar y E. G. Pardo. Optsicom

Opti-mization Suite, un conjunto de herramientas para la in-vestigación en optimización. VII Congreso Espa˜nol so-bre Metaheur´ısticas, Algoritmos Evolutivos y Bioinspira-dos (MAEB). Páginas 329 - 336. 2010.

[10] Garc´ıa S. y F. Herrera An extension on “Statistical comparisons of classifiers over multiple data sets” for all pairwise comparisons. Journal of Machine Learning

Re-search 9. P´aginas 2677-2694. 2008. [11] Java, http://java.com/es/

[12] Java, http://www.oracle.com/technetwork/java/index. html

[13] Durillo, J. J. y A. J. Nebro. jMetal, A Java framework

for multi-objective optimization. Advances in Engineering

Software. Volumen 42. P´aginas 760-771. 2011. [14] MySQL, http://www.mysql.com/

[15] oMetah (Open Metaheuristic), http://ometah.berlios. de/index.php/Main Page

[16] R, http://www.r-project.org

[17] Ribeiro, C. C., E. Uchoa y R. F. Werneck A hybrid

GRASP with perturbations for the Steiner problem in graphs. INFORMS Journal on Computing, Volumen 14,

P´aginas 228-246. 2002. [18] S, http://www.sas.com/technologies/analytics/stat-istics/ [19] S-PLUS, http://spotfire.tibco.com/products/s-plus/ statistical-analysis-software.aspx [20] SAS, http://www.sas.com/technologies/analytics/ statistics/ [21] SPSS, http://www-01.ibm.com/software/es/analytics/ spss [22] Stata, http://www.stata.com/ [23] Statistica, http://www.statsoft.com/

[24] Talbi, E-G. From Design to Implementation. 2009. [25] Vob, S. y D. Woodruﬀ Optimization Software Class

Li-braries. Operations Research Computer Science Interfaces

Series. 2002.

[26] World Programming System (WPS) http://teamwpc.co .uk/home