Evaluación comparativa con otros modelos de búsqueda

En esta tesis se evalúo el modelo multimodal propuesto comparando la relevancia de sus resultados con dos métodos similares de búsqueda de BP, el primero corresponde a una herramienta denominada “BeMantics” (Behavioral Semantics Business Process Retrieval) [97], la cual permite ejecutar consultas a través de características semánticas, estructurales, y de comportamiento; mientras el segundo corresponde a una implementación del algoritmo A* [98], el cual hace la búsqueda teniendo en cuenta el componente estructural.

Para la comparación del modelo multimodal con la herramienta BeMantics y el algoritmo A* se utilizó el mismo conjunto de prueba creado por Ordoñez y otros [84], y las consultas que se ejecutaron permitieron comparar la opción multimodal del modelo propuesto contra las características estructurales de los otros dos métodos, debido a que estos presentaron los mejores valores de relevancia, según los

Capítulo 5. Prototipo y experimentación 69 __________________________________________________________________ resultados mostrados en las publicaciones en que fueron presentadas estas herramientas (BeMantics [97], A* [98]).

 BeMantics: está compuesto por dos módulos principales: un módulo de indexación basado en semántica del comportamiento, y un módulo de análisis estructural y semántico.

El módulo indexador busca sub-estructuras dentro de un BP de consulta representado en un documento BPMO (Business Process Modeling Ontology). Dicho documento es transformado a un modelo formal basado en grafos y entregado al módulo Control-flow patterns detector, el cual encuentra un conjunto de patrones de control de flujo en el BP de consulta y procede a recuperar una lista de BP del repositorio (BP store) que contengan un conjunto similar de patrones (pre-ranked graphs).

A continuación la lista de grafos pre-ranked es ingresada al analizador estructural y semántico el cual realiza un conjunto de operaciones de edición (substituir o eliminar nodos, eliminar o adicionar aristas) con el fin de hacer que los grafos pre-ranked provenientes del repositorio sean lo más similares posible al grafo de consulta. Los valores de las operaciones de edición son predefinidos por los usuarios, pero en el caso específico de la operación de substitución de nodo, el costo se calcula a través de un analizador lingüístico que calcula un valor de distancia léxica o distancia semántica. La distancia léxica es calculada a través de la similitud entre palabras definida en una base de datos léxica llamada WordNet [99]; la distancia semántica es calculada contando el número de saltos entre conceptos de una ontología de dominio que contiene conceptos del entorno de las telecomunicaciones.

 A*: El algoritmo está enfocado en hacer comparaciones estructurales entre grafos para encontrar un nivel de similitud entre estos, para este proceso el algoritmo realiza los siguientes pasos:

 Dado un conjunto de grafos (G1….Gn) y un grafo de entrada de consulta Gq. El algoritmo inicia con la descomposición recursiva fuera de línea de cada uno de los grafos en pequeños subgrafos hasta que estos representen un solo vértice. Todos estos subgrafos son almacenados en una estructura de datos compacta, con el propósito de hacer menor el tiempo de ejecución.

 La similitud es calculada tomando cada uno de los subgrafos coincidentes para formar la medida de distancia la cual está dada por el subgrafo máximo común entre un grafo del conjunto y el de consulta.

Comparando la precisión gradada (Figura 23), BeMantics obtuvo el valor más alto de precisión promedio (92,85%) lo cual indica que redujo el número de falsos positivos a tan solo un 7,15%. Esto es debido a que BeMantics realiza una comparación entre cada nodo del BP consulta, con cada nodo del repositorio de BP utilizando un algoritmo de isomorfismo de grafos el cual le permite obtener mayores valores de precisión. Sin embargo, el modelo Multimodal obtiene valores similares en los resultados combinando los criterios estructurales y lingüísticos presentes en los BP, los cuales son procesados mediante algoritmos de extracción de texto, siendo capaz de reducir la probabilidad de obtener resultados irrelevantes (falsos positivos) al 8%. Por otra parte, A* obtiene el menor nivel debido que solo utiliza algoritmos de isomorfismo de grafos como función de similitud.

Figura 23. PG. Para BeMantics, A* y Multimodal.

En cuanto a la medida de Recuerdo gradado (Figura 24), las herramientas muestran valores bajos 13,9% para BeMantics, 16,6% para A* y 30,6% para Multimodal. Aunque estos valores son bajos Multimodal obtiene un valor que supera en 250% a BeMantics y 100% a A*. Esto se debe a que las tres herramientas tienen listas de resultados limitadas, con un máximo de diez BP en concordancia a que muchas aplicaciones de IR, especialmente en entornos web, donde los usuarios sólo se centran en la revisión de los primeros diez o quince resultados devueltos en el conjunto de respuestas [100, 101]. Por lo tanto, BeMantics, A* y Multimodal pueden obtener falsos negativos (perder BP relevantes en la lista de resultados), pero al mismo tiempo aumentar la precisión reduciendo el número de falsos positivos.

Capítulo 5. Prototipo y experimentación 71 __________________________________________________________________

Figura 24 . Rg. Para BeMantics, A* y Multimodal.

En cuanto a la efectividad de las herramientas, estas son caracterizadas por el rendimiento de la clasificación en las listas de resultados, para esto la Medida F (Figura 25Figura 25) permite observar la armonía de los resultados de Pg y Rg. Las herramientas obtuvieron los siguientes valores: BeMantics alcanzó 24,14% y A* el 26,31%, lo que demuestra que el orden y la calidad de los resultados poseen grados bajos de armonía. En este sentido, la comparación semántica y estructural nodo a nodo entre el BP consulta y los BP existentes en el repositorio que realizan los algoritmos de BeMantics, hace que aumente la precisión, pero disminuya notablemente el recuerdo, haciendo así, que la armonía de los resultados baje considerablemente. En relación a la baja armonía presentada por A*, esta se presenta porque A* realiza únicamente comparación estructural nodo a nodo entre el BP consulta y los BP del repositorio, a través de un algoritmo de isomorfismo de grafos. Por otra parte, el 46,81% que alcanzó Multimodal evidencia que el modelo propuesto obtiene mejor rendimiento en la clasificación de los resultados recuperados en las consultas realizadas, debido que MultiModal pondera elementos lingüísticos y estructurales compartidos entre el BP de consulta y los BP del repositorio, a través de algoritmos de extracción de texto. En promedio Multimodal logra una mejora de 191% con relación a BeMantics y de 176% a A*, en la presentación de los resultados usando una “lista ordenada de resultados”.

Figura 25. Medida F. Para BeMantics, A* y Multimodal.

La Figura 26 muestra la medida ANDCG, en la cual se puede observar que el modelo multimodal posee una mejor calidad en la lista de resultados con respecto a BeMantics y A* los cuales no logran ubicar tantos elementos relevantes al inicio de la lista de resultados como lo hace el modelo multimodal el cual obtiene una diferencia de 150% con BeMantics y 360% con A*.

Figura 26. ANDCG. Para BeMantics, A* y Multimodal.

La diferencia en la medida ANDCG y GenAveP’ (Figura 27) es que esta última posee un factor de descuento que penaliza con mayor valor a los elementos retornados al final de la lista de resultados, en este caso al igual que el anterior es el modelo multimodal el que obtiene los valores más altos que oscilan entre 260% con relación a BeMantics y 153% a A*. Esto implica que los algoritmos de extracción de texto implementados en MultiModal, ordena y ubican de mejor manera un mayor númerode elementos (BP) relevantes en las primeras posiciones de la lista de resultados, a diferencia de los algoritmos de isomorfismo de grafos implementados

Capítulo 5. Prototipo y experimentación 73 __________________________________________________________________ en Bemantics y A*, que ubican un menor número de ítems relevantes en las primeras posiciones, generando listas poco ordenadas con ítems dispersos en ellas.

Figura 27. GenAvep’. Para BeMantics, A* y Multimodal.