Bases de Datos Multimedia

{ MARCOS L

{ MARCOS LÓÓPEZ SANZ }PEZ SANZ } Kybele, 2007 ©

Bases de Datos Multimedia

Gestión de la Información en Juegos y Realidad Virtual

Máster en Informática Gráfica, Juegos y Realidad Virtual

Kybele, 2007 © { MARCOS L

{ MARCOS LÓÓPEZ SANZ }PEZ SANZ }

Índice

Introducción a las BD Multimedia

 Datos Multimedia

 Disciplinas en las que se utilizan BD multimedia

 Aplicaciones Multimedia

 Aspectos a considerar en las BD Multimedia

Sistemas de Bases de Datos Multimedia

 Definición y características

 Ventajas y tipos

 Consulta de BDMM: lenguajes

Producto en detalle: Oracle interMedia

Kybele, 2007 © { MARCOS L

{ MARCOS LÓÓPEZ SANZ }PEZ SANZ }

Introducción a las BD Multimedia

Tipos de datos multimedia

 Texto: estructurado o no estructurado (ver tema BD XML), hipermedia.

 Gráficos: dibujos e ilustraciones codificados según un estándar de descripción de archivos (CGM, PICT, PostScript, etc.)

 Imágenes: elementos gráficos codificados según algún formato estándar (mapa de bits, JPEG o MPEG)  No subdivididas en componentes

 Animaciones: secuencias temporales de imágenes o datos

 Video: secuencia temporal de imágenes a una determinada velocidad (fps)

 Audio estructurado: secuencia de sonidos identificados según nota, tono, duración, etc.

 Audio digital: secuencia de sonidos digitales

 Datos multimedia compuestos o mezclados: datos multimedia agregados

junto con información sobre los datos (metadatos)

Kybele, 2007 © { MARCOS L

{ MARCOS LÓÓPEZ SANZ }PEZ SANZ }

Introducción a las BD Multimedia

Aplicaciones multimedia

 Aplicaciones de repositorio:

• Almacenamiento masivo de datos multimedia centralizados en un determinado repositorio, generalmente jerarquizado y controlado por un SGBD

• Procesamiento de los datos no inmediato (offline o ‘batch’)

• Ejemplos: imágenes de satélite, diseños de ingeniería, fotografías de astronomía, datos radiológicos, etc.

 Aplicaciones de presentación:

• Aplicaciones de transmisión de información sujetas a restricciones temporales  Streaming

• Existe un gran peso sobre la “Calidad del Servicio”

• Procesamiento de los datos inmediato (tiempo real)control de la política de provisión de datos (paralelo/serie)

• Ejemplos: visualización de video bajo demanda, audio a través de la Web (podcasts, emisoras de radio), etc.

 Trabajo colaborativo utilizando información multimedia

• Ejecución de tareas complejas en las que se ven involucrados procesos pesados que manejan información multimedia distribuida

• Ejemplos: Aplicaciones de telemedicina

Kybele, 2007 © { MARCOS L

{ MARCOS LÓÓPEZ SANZ }PEZ SANZ }

Introducción a las BD Multimedia

Disciplinas en las que se utilizan BD Multimedia

 Gestión de registros y documentos

• Diseños de fabricación e ingeniería, registros médicos de pacientes, material de publicación, registros de reclamaciones de seguros, etc.

 Difusión del conocimiento

• Libros electrónicos, catálogos, manuales, enciclopedias, etc.

 Educación y formación

• Librerías digitales, material digital para docencia, etc.

 Marketing, publicidad, entretenimiento, viajes.

• Visitas virtuales, galerías de imágenes, industria cinematográfica, contenidos Web, etc.

 Monitorización y control en tiempo real

• Control de operaciones de fabricación, plantas de producción de energía, sistemas de transporte, control de pacientes, etc.

Kybele, 2007 © { MARCOS L

{ MARCOS LÓÓPEZ SANZ }PEZ SANZ }

Introducción a las BD Multimedia

Aspectos a considerar de las BD Multimedia

 Modelado:

• ¿Utilización de bases de datos o de sistemas/técnicas de recuperación de la información?

 Diseño:

• Diferentes niveles: conceptual, lógico y físico.

• Aspectos de rendimiento y puesta a punto

 Almacenamiento:

• Representación

• Adecuación a jerarquías de disco

• Problemas de acceso a la información (entrada/salida)

• Técnicas de compresión/descompresión

 Consultas y recuperación de la información

• Utilización de palabras clave o términos de indexación

 Rendimiento

• Documentos y texto: restricciones establecidas por el usuario

• Evaluación anticipada de consultas

• Calidad del servicio

Kybele, 2007 © { MARCOS L

{ MARCOS LÓÓPEZ SANZ }PEZ SANZ }

Sistemas de BD Multimedia

Requisitos

 Capacidades de SGBD tradicionales

 Gestión de almacenes de alta capacidad

 Funcionalidades de recuperación de la información

 Soporte para consultas multimedia

 Presentación, composición e integración de los contenidos multimedia

 Interactividad e interfaz de acceso multimedia

Kybele, 2007 © { MARCOS L

{ MARCOS LÓÓPEZ SANZ }PEZ SANZ }

Sistemas de BD Multimedia

Representación de datos en BD multimedia

 Representación de datos:

• Datos multimedia: imágenes, audio, video, etc. que son capturados, digitalizados, procesados, comprimidos y almacenados

 Representación del contenido:

• Datos acerca del proceso de adquisición, procesamiento y codificación. P. ej.: frecuencia de muestreo, resolución, esquema de codificación, etc.

• Palabras clave descriptivas de cada dato multimedia: fecha, hora, autor de la adquisición, etc.  datos descriptivos del contenido

• Datos asociados a las características del formato multimedia:

distribución de colores, tipos de texturas, formas, etc.  datos dependientes del contenido

Resumiendo: datos multimedia + metadatos

Kybele, 2007 © { MARCOS L

{ MARCOS LÓÓPEZ SANZ }PEZ SANZ }

Sistemas de BD Multimedia

Panorámica de un SBDM

Pre-procesamiento de consultas

Sincronización y presentación

Í Índicendice Organización e inserción,

Borrado, Búsqueda

Datos Datos Almacenamiento, Organización y Acceso Adquisición de datos

y Procesamiento

Análisis de datos manual/automático

Compresión

Búsqueda y recuperación por similitud Interfaz de usuario

Kybele, 2007 © { MARCOS L

{ MARCOS LÓÓPEZ SANZ }PEZ SANZ }

Sistemas de BD Multimedia

Actividades:

1. Almacenamiento de datos: los datos son procesados, codificados (comprimidos) y almacenados en sistemas de almacenamiento masivo

2. Construcción de índices: los datos son analizados manual o automáticamente para extraer los “metadatos”. Los metadatos son estructurados para poder realizar consultas basadas en palabras clave o en contenido

3. Creación de consultas: el interfaz de usuario ofrece herramientas y facilidades para crear consultas sobre los datos almacenados

4. Búsqueda y recuperación: el proceso de búsqueda se basa en los criterios de búsqueda establecidos y en medidas de distancia entre los datos almacenados y los solicitados

5. Sincronización y presentación: si los resultados comprenden medios heterogéneos es necesario presentarlos de una forma que sea útil para el cliente

Kybele, 2007 © { MARCOS L

{ MARCOS LÓÓPEZ SANZ }PEZ SANZ }

Sistemas de BD Multimedia

Consultas:

 A través de una herramienta de formulación de consultas

 Tipos de consultas:

•

equivalencia/similitud

•

utiliza para formular la consulta. Por similitud (color, textura, forma) se obtienen otros resultados de la BD

•

lo que se quiere buscar y que está presente en los metadatos de los objetos multimedia de la BD. Se suelen utilizar lenguajes parecidos a SQL

Kybele, 2007 © { MARCOS L

{ MARCOS LÓÓPEZ SANZ }PEZ SANZ }

Sistemas de BD Multimedia

Lenguajes:

 Lenguajes nuevos/especializados:

• PSQL (Pictorial SQL)– 1988: basado en búsquedas y relaciones de formas geométricas de objetos espaciales. Operadores de distancia y superposición. Sintaxis similar a SQL

• MMQL (Multimedia Query Language)– 1996: lenguaje para BD de vídeo. No soporta consultas espaciales.

• CVQL (Content-based Video Query Language)– 1996: lenguaje para BD de vídeo. Basado en secuencias de frames de vídeo.

• Otros: Hirzalla et al. 1995

 Lenguajes basados en programación lógica o funcional:

• EVA– 1992: lenguaje OO basado en características funcionales y teoría de conjuntos. No soporta consultas espaciales o información de vídeo

• Marcus and Subrahmanian(1996): Lenguaje de consulta basado en lógica formal. Utiliza funciones y predicados.

 Extensiones de SQL:

• ESQL– 1991: lenguaje de consulta de imágenes para modelos relacionales.

• PICQUERY+– 1993: lenguaje de consultas OO basado en conocimiento. Diseñado para gestión y consulta de bases de datos alfanuméricas y de imágenes. Plantillas de consulta para especificar predicados que restringen las vistas de la BD.

• SEQL (Spatial Evolutionary Query Language)– 1994: extensión de SQL para el manejo de imágenes médicas. Soporta funciones temporales para la gestión de objetos y su evolución

• MOQL– 1998: lenguaje de propósito general, permite manejar consultas sobre propiedades espaciales y temporales.

• Otros: PSQL (88), SpatialSQL (94), Bertino et al. (98), etc.

Kybele, 2007 © { MARCOS L

{ MARCOS LÓÓPEZ SANZ }PEZ SANZ }

BD Multimedia: Soluciones

Soluciones:

 Primer sistema de bases de datos multimedia: ORIONen 1987

 Mediados de los 90: Productos sin continuidad aparente

• MediaDBMediaWay: soporte para imágenes, video, PowerPoint: segmentación, enlazado y búsqueda

• JASMINE / II(Computer Associates) Gestión de multimedia a través de objetos

• ORION ITASCA: arquitectura de BD cliente-servidor basada en objetos para

 Productos comerciales y de investigación

• Oracle:

– Virage/Oracle 8 – 1996

»Módulo de expansión para la recuperación de imágenes  basado en “cuantificación de la similitud”

– Oracle 9i-10g

»MDC/MIF/GIST (Oracle 9i)  Para MPEG-7 y MPEG-21

• IBM:

– IBM DB2 Universal Database Extender – IBM Informix (Datablades)  1996

– QBIC: Sistema para recuperación no semántica de datos basada contenido de video e imágenes

• MIRROR

• DISMA (1997)

• DISIMA (2004)

• MARS: BD Multimedia de propósito específico. Basado en los estándares MPEG-7 y MPEG-21

• C-BIRD (Content-Based Image Retrieval in Digital-libraries)

Kybele, 2007 © { MARCOS L

{ MARCOS LÓÓPEZ SANZ }PEZ SANZ }

BD Multimedia: Soluciones

Integración de MPEG-7 en BD Multimedia:

 MPEG-7:

• Es un estándar de la Organización Internacional para la Estandarización ISO/IEC y desarrollado por el grupo MPEG.

• La primera versión se aprobó en julio del 2001 (ISO/IEC 15938) y actualmente la última versión publicada y aprobada por la ISO data de octubre del 2004

• Objetivo: enlazar los elementos del contenido audiovisual, encontrar y seleccionar la información que el usuario necesita e identificar y proteger los derechos del contenido

• Permite la descripción de metadatos de información multimedia (se apoya en una descripción XML Schema):

– Palabras clave

– Significado semántico (quién, qué, cuándo, dónde)

– Significado estructural (formas, colores, texturas, movimientos, sonidos)

• El tipo de información a tratar es: audio, voz, vídeo, imágenes, gráficos y modelos 3D.

• Metadatos organizados en 8 partes:

– 1  5: especificación de características asociadas a la tecnología – 6  8: características “de apoyo”

Kybele, 2007 © { MARCOS L

{ MARCOS LÓÓPEZ SANZ }PEZ SANZ }

BD Multimedia: Soluciones

Integración de MPEG-7 en BD Multimedia:

 Modelo de datos

• Para gestionar datos MPEG-7 es necesario que exista un modelo de datos subyacente que sea eficiente y coherente con la estructura del MPEG-7

• Al estar basado en XML Schema, MPEG-7 es fácilmente integrable en soluciones que soporten XML (XMLType de Oracle por ejemplo)

 Lenguaje de consulta

• Consultas basadas en datos “similares”

• SQL/MM (2001): basado en un modelo de datos para consultas sobre datos multimedia que extiende SQL-99. Admite búsqueda sintáctica pero no semántica

• MOQL (1997): lenguaje que extiende OQL-98. Añade propiedades espaciales, temporales y de presentación para recuperación de imágenes y vídeo basado en contenido

• Solución: unificar los lenguajes de consulta multimedia con lenguajes SQL/XML

 Métodos de acceso

• Indexación de datos multimedia: basado en árboles de búsqueda – SR-Tree, X-Tree, M-Tree…

• Solución para MPEG-7: indexado por descriptores semánticos

 Optimización de consultas

• Utilización de modelos de coste para evaluar el “peso”

Kybele, 2007 © { MARCOS L

{ MARCOS LÓÓPEZ SANZ }PEZ SANZ }

BIBLIOGRAFÍA

David, M. M. Multimedia databases through the looking glass. Intelligent Enterprise’s Database programming & design.

http://www.dbpd.com/vault/9705davd.htm. 1997

Döller, M. MPEG-7 Meets Multimedia Database Systems. Journal of Universal Knowledge Management, vol. 1, no. 1 (2006), 18-25

Elmasri, R.; Navathe, S. B. Fundamentals of Database Systems (4th edition).

Ed. Addison-Wesley, 2004.

Ghafoor, A. Multimedia database management systems. ACM Computing Surveys (CSUR) December 1995 Volume 27 Issue 4

Johnson, R. B. (1999). Internet multimedia databases. IEEE Colloquium on Multimedia Databases and MPEG- 7, 5/1 - 5/6

Kosch, H. and Döller, M., “Multimedia database systems: Where are we now?,” Special Session Talk at the IASTED DBA-Conference in Innsbruck, February 2005.

Kalipsiz, O., “Multimedia databases”, Information Visualization, 2000.

Proceedings. IEEE International Conference on, pp111 – 115, 19-21 July 2000

Li, J. Z. , Özsu, M. T. and Szafron, D.: "Moql: A multimedia object query language", Technical Report, University of Alberta, Canada, 1997.

Subramanya, S. R. "Multimedia Databases," IEEE Potentials, vol. 18, pp. 16 - 18, 2000.

Oracle interMedia Documentation.

http://www.oracle.com/technology/documentation/intermedia.html