5. IMPLEMENTACIÓN, PRUEBAS Y RESULTADOS
5.5 P RUEBAS Y RESULTADOS OBTENIDOS
5.5.2 Resultados obtenidos en las pruebas
A continuación se presentan los resultados obtenidos con le ejecución de las pruebas descritas en la sección anterior.
Pruebas de creación de recursos
En estas pruebas se crearon cuatro copias de los recursos en todo el grid, y los tiempos presentados incluyen el trámite desde la solicitud inicial, hasta la creación de todas las copias y el retorno final al cliente. Dentro de las gráficas se usan las siglas FS y MIXED para describir recursos creados en sistema de archivos o usando bases de datos XML, respectivamente. Los resultados obtenidos para los recursos de imágenes se ilustran en la figura 5-13.
Figura 5-13. Resultados de pruebas: Creación de imágenes.
Como se aprecia en la gráfica de la figura 5-13, los tiempos para la creación de recursos con base de datos XML y archivos grandes tienen una tendencia a ir en aumento y luego estabilizarse a través del tiempo. Los otros tiempos mantienen un comportamiento relativamente estable a lo largo de todo el proceso. Esto se debe a que entre más grande es el descriptor de un recurso, más tiempo toma su inserción en la fuente de datos. En esta prueba se obtuvieron los siguientes tiempos promedio:
Operación Tiempo promedio (segundos) Crear en sistema de archivos (archivo pequeño) 19,01253333
Crear con bases de datos XML (archivo pequeño) 27,2722 Crear en sistema de archivos (archivo grande) 43,41906667 Crear con bases de datos XML (archivo grande) 54,75693333
Tabla 5-4. Tiempos promedio: Creación de Imágenes.
Estos tiempos promedio pueden ser mejorados si se realiza una configuración apropiada de aspectos como GridFTP para optimizar la transferencia de archivos. De igual forma, el motor de bases de datos puede ser configurado para que realice el indexamiento al momento de la inserción a mayor o menor profundidad según se requiera.
0 10 20 30 40 50 60 70 80 Time (Secon ds ) Requests
Resource creation - Images
CREATE SMALL MIXED CREATE LARGE MIXED CREATE SMALL FS CREATE LARGE FS
Los resultados obtenidos para los recursos de video se presentan en la figura 5-14.
Figura 5-14. Resultados de pruebas: Creación de video.
En todos los casos se observa que la tendencia es de reducción y posterior estabilización de los tiempos de respuesta a medida que aumentan las peticiones. Debido al tamaño de los archivos, existen algunos picos dentro de las mediciones, los cuales representan una aparente congestión dentro de los nodos del grid, al recibir peticiones sucesivas para procesar archivos de gran tamaño. Los tiempos promedio para estas pruebas se presentan en la tabla 5-5.
Operación Tiempo promedio (segundos) Crear en sistema de archivos (archivo pequeño) 32,27273333
Crear con bases de datos XML (archivo pequeño) 40,56753333 Crear en sistema de archivos (archivo grande) 41,04333333 Crear con bases de datos XML (archivo grande) 74,94493333
Tabla 5-5. Tiempos promedio: Creación de Video. 0 10 20 30 40 50 60 70 80 90 100 Time (Secon ds ) Requests
Resource creation - Video
CREATE SMALL MIXED CREATE LARGE MIXED CREATE SMALL FS CREATE LARGE FS
Puede observarse que los tiempos son algo elevados en principio. Sin embargo, este comportamiento se debe a que para cada archivo de video que se carga en el grid, a diferencia de las imágenes, se realiza un proceso adicional que se encarga de registrar los archivos en los servidores de streaming. Este proceso involucra mover los archivos dentro del grid (con GridFTP), luego de haber encontrado el servidor con mejores prestaciones de almacenamiento y memoria, lo cual incrementa los tiempos de respuesta.
La figura 5-15 presenta los resultados para recursos de audio.
Figura 5-15. Resultados de pruebas: Creación de audio.
Se aprecia una gran diferencia entre los tiempos creación de un archivo grande y uno pequeño. Esto se debe a que la herramienta MPEG7 Audio Encoder (7) necesita realizar un mayor esfuerzo para extraer las características del archivo multimedia. Entre más grande sea un archivo de audio, mayor el tiempo que toma la labor de creación dentro del grid. Como consecuencia de esto, se presentan picos de tiempo producto de la acumulación de grandes cantidades de trabajo.
También, se aprecia que con archivos de poco tamaño, los tiempos a lo largo de las pruebas son bastante estables. Los promedios de tiempo obtenidos para esta serie de pruebas se observa en la tabla 5-6.
0 20 40 60 80 100 Tim e (S ec on d s) Requests
Resource creation - Audio
Operación Tiempo promedio (segundos) Crear en sistema de archivos (archivo pequeño) 25,62453333
Crear en sistema de archivos (archivo grande) 74,60686667 Tabla 5-6. Tiempos promedio: Creación de Audio.
De manera similar a como ocurre con la creación de video, existe un proceso que se encarga de registrar en audio en los servidores de streaming, lo cual significa mayor tiempo en el proceso.
Pruebas de actualización de recursos
En estas pruebas era necesario actualizar todas las copias de un recurso dentro del grid (cuatro copias en total, resultado de las pruebas de creación de recursos); así mismo, los tiempos presentados incluyen el trámite desde la solicitud inicial, hasta la actualización de todas las copias y el retorno final al cliente.
Los resultados obtenidos para los recursos de imágenes se ilustran en la figura 5-16. Estas pruebas se realizaron actualizando el archivo de pruebas más pequeño con el más grande de manera sucesiva.
Figura 5-16. Resultados de pruebas: Actualización de imágenes.
En la figura 5-16 se observa que la tendencia en el caso sin bases de datos es casi constante, manteniendo un comportamiento estable en todos los casos. En el caso con base de datos XML, se observa una tendencia similar a la del proceso de creación del
0 20 40 60 80 Time (Secon ds ) Requests
Resource update -Images
recurso, con un aumento inicial en los tiempos, que se reduce a medida que aumentan las peticiones. Este comportamiento permite deducir que la comunicación con una fuente de datos puede resultar costosa en MIM, mucho más si los archivos son de gran tamaño. Los tiempos promedio de esta prueba se presentan en la tabla 5-7.
Operación Tiempo promedio (segundos) Actualización en sistema de archivos 53,5045
Actualización con bases de datos XML 56,166125 Tabla 5-7. Tiempos promedio: Actualización de Imágenes.
En la tabla 5-7 se observa que el tiempo para actualización con bases de datos, es bastante similar al tiempo de actualización sin bases de datos. Esto sucede porque la diferencia de tamaño entre los archivos es relativamente pequeño comparado con lo que sucede en los casos de audio o video, y adicionalmente porque no se lleva a cabo ningún proceso adicional que cause demora como con otros tipos de recurso.
Los resultados obtenidos para los recursos de video se ilustran en la figura 5-17. Para esta serie de pruebas, debido a que existe una gran diferencia entre los tamaños de los archivos, se separaron varios conjuntos. Un conjunto para las pruebas con almacenamiento en sistema de archivos, dentro de las cuales se probó la actualización de un recurso pequeño con uno grande, y viceversa. De manera análoga, el otro conjunto de pruebas valida el comportamiento de MIM cuando se usan bases de datos XML, reemplazando de manera similar un tipo de archivo por otro.
Figura 5-17. Resultados de pruebas: Actualización de Video. 0 50 100 150 200 Time (Secon ds ) Requests
Resourse update - Video
UPDATE FS (Big-Small) UPDATE FS (Small-Big) UPDATE MIXED(Big-Small) UPDATE MIXED (Small-Big)
Con claridad se aprecia que para las pruebas en donde se reemplaza un recurso pequeño por uno de mayor tamaño, los tiempos son mucho más elevados que en los otros dos casos. Así mismo, se deduce que entre mayor es el tamaño del recurso, mayor congestión se genera dentro de cada nodo del grid, especialmente en el caso de sistema de archivos. Es claro también que cuando el archivo es pequeño los tiempos son estables, y en caso contrario se puede producir algún tipo de demora sobre el procesamiento.
Los tiempos promedio obtenidos en esta etapa se presentan en la tabla 5-8. Se observa con claridad que el tiempo de actualización usando repositorios de datos XML es muy alto en comparación a los demás casos. Esto se debe a que en la base de de datos se realizan operaciones de eliminación y creación de descriptores MPEG-7 (lo cual en MIM representa una actualización), y esto causa una mayor demora en la atención de las solicitudes.
Operación Tiempo promedio
(segundos) Actualización en sistema de archivos (archivo pequeño por
grande)
97,5498
Actualización con bases de datos XML (archivo pequeño por grande)
145,1174667
Actualización en sistema de archivos (archivo grande por pequeño)
26,68566667
Actualización con bases de datos XML (archivo grande por pequeño 40,5762 Tabla 5-8. Tiempos promedio: Actualización de Video.
Los resultados obtenidos para los recursos de audio se ilustran en la figura 5-18. Para estas pruebas, debido también al tamaño de los archivos, se decidió separar las iteraciones según el tipo de actualización (archivo pequeño por grande, y viceversa).
Figura 5-18. Resultados de pruebas: Actualización de Audio.
La figura 5-18 presenta un escenario en donde para reemplazar archivos grandes por pequeños, los tiempos tienen una tendencia estable, y con inclinación a la reducción de tiempos. Para el caso contrario, los tiempos son bastante elevados; la carga de procesamiento requerida para transmitir el archivo multimedia, extraer sus características y posteriormente hacer lo mismo en nodos remotos es bastante alta, y genera demoras. Adicionalmente, se debe tener en cuenta el registro del recurso en los servidores de streaming, lo cual genera mayor sobrecarga aún. Los tiempos promedio se presentan en la tabla 5-9.
Operación Tiempo promedio
(segundos) Actualización en sistema de archivos (archivo pequeño por
grande)
205,3857333
Actualización en sistema de archivos (archivo grande por pequeño)
27,75046667
Tabla 5-9. Tiempos promedio: Actualización de Audio. 0 50 100 150 200 250 300 Time (Secon ds ) Requests
Resource update - Audio
Como se mencionó anteriormente, el tiempo de actualización de un archivo pequeño por uno grande es bastante alto. Es posible mejorar este tiempo, al realizar labores de configuración adecuadas sobre GridFTP; se podría tener una transmisión en paralelo de las partes de un archivo, para mejorarlos tiempos. Adicionalmente, cabe anotar que el tiempo de actualización en el otro caso, además de ser inferior, es bastante similar al tiempo requerido para la creación del recurso, debido a que se requiere menos esfuerzo para generar el descriptor MPEG-7.
Pruebas de indexamiento
Estas pruebas se llevaron a cabo enviando solicitudes sucesivas de indexamiento de un directorio específico de un nodo grid. En el directorio de prueba, existían cinco descriptores MPEG-7 con tamaño de 322.7 KB (1.6 Mb aproximadamente) y cinco descriptores con tamaño de 9.6 Mb, para un tamaño total de 11.2 Mb de información para ser indexada. Los resultados obtenidos se presentan en la figura 5-19.
Figura 5-19. Resultados de pruebas: Indexamiento. Los tiempos promedio de las pruebas se presentan en la tabla 5-10.
Operación Tiempo promedio (segundos) Indexamiento por contenido 0,3245
Indexamiento por meta-data 0,321375 Tabla 5-10. Tiempos promedio: Indexamiento. 0 100 200 300 Time (Secon ds ) Requests
File System Indexing
UPDATE FS (Big-Small) UPDATE FS (Small-Big) Content Index Meta-Data Index
Con base en los resultados obtenidos, se observa que el sistema de indexamiento de MIM es bastante eficiente, logrando un óptimo desempeño; esto permite pensar que en sistemas con grandes cantidades de información, MIM puede ofrecer una solución eficaz. Además, se aprecia que la diferencia de desempeño entre los dos mecanismos de indexamiento es casi nula, con lo cual se puede intuir que es posible usar cualquiera de los dos sin afectar el desempeño global de una aplicación desarrollada con MIM.
Pruebas de búsqueda
Las pruebas de búsqueda se dividieron en dos categorías: búsqueda en sistema de archivos y búsqueda en bases de datos XML. Los experimentos se realizaron buscando un término simple dentro de los diferentes descriptores MPEG-7; para el caso de sistemas de archivos, se emplearon los descriptores usados para las pruebas de indexación, y para el caso de bases de datos, se uso el esquema descrito en la sección 5.5.1. Los resultados de cada prueba se presentan en las figuras 5-20 y 5-21, respectivamente.
En ambos casos se observa que tanto la consulta por contenido y la consulta por meta- data mantienen tiempos de respuesta similares. En ambas gráficas se advierte también, que las tendencias de tiempo en cada modo de búsqueda permanecen estables, sin aumentar o disminuir de manera dramática; esto asegura que los tiempos de respuesta al realizar consultas con MIM serán generalmente homogéneos.
Figura 5-20. Resultados de pruebas: Búsqueda en sistema de archivos. 0 2 4 6 8 10 12 14 16 Time (Secon ds ) Requests
File System Search
Figura 5-21. Resultados de pruebas: Búsqueda con bases de datos XML.
La tabla 5-11 presenta los tiempos promedio de cada uno de los experimentos realizados para el servicio de búsqueda.
Operación Tiempo promedio (segundos) Búsqueda por contenido en sistema de archivos 12,16086667
Búsqueda por meta-data en sistema de archivos 11,95553333 Búsqueda por contenido con bases de datos XML 7,681666667 Búsqueda por meta-data con bases de datos XML 8,3908
Tabla 5-11. Tiempos promedio: Búsqueda.
Se aprecia que los tiempos con base de datos no difieren mucho de los de búsqueda en sistema de archivos, a pesar de lo que se podría pensar en un principio. Una razón para este comportamiento, es que las consultas de XQuery usadas con eXist recorren todos y cada uno de los documentos en una colección determinada, mientras que en el sistema de archivos simplemente se recorre un archivo (archivo de índices); esto genera una mayor demora en el proceso, De igual forma, con las bases de datos se requiere establecer una conexión por red, la cual puede estar congestionada y demorar la búsqueda. Los tiempos
0 2 4 6 8 10 12 14 16 TI me (Secon ds ) Requests
DB Search
ContentSearch DB MetaDataSearch DBcon bases de datos se pueden mejorar si se depuran las consultas empleadas para consultas.
Vale la pena recalcar que la búsqueda en sistema de archivos se hizo sobre un mayor volumen de información, con lo cual los tiempos obtenidos en las pruebas son muy dicientes con respecto a la eficiencia de MIM.