Servicios Móviles Multimedia José Mª Martínez
José M. Martínez
Grupo de Tratamiento de Imágenes E.T.S.Ing. Telecomunicación, UPM Escuela Politécnica Superior, UAM
Adaptación de Contenidos Multimedia
Servicios Móviles Multimedia José Mª Martínez
Índice
Introducción
Tipos de Variaciones
Estándares relacionados
Un ejemplo
Servicios Móviles Multimedia José Mª Martínez
Introducción
Servicios Móviles Multimedia José Mª Martínez
Introducción
Acceso Multimedia Universal
• Crear una vez, presentar N
• Variaciones
- En función de preferencias (discapacidades) de usuario
- En función del terminal
- En función de la red de acceso - En función del entorno
- En función del servicio (e.g., premium) – Calidad de Servicio
– Funcionalidades (audio sin vídeo, fútbol sin
balón, ...)
Servicios Móviles Multimedia José Mª Martínez
Introducción
Generación de variaciones
• Previa (off-line)
- Gran consumo de almacenamiento - Disponibilidad inmediata
• Bajo demanda (on-line)
- En directo (streaming) - Caché
- Permanente - Mixtos
Servicios Móviles Multimedia José Mª Martínez
Tipos de variaciones
Transcodificación
Particiones y Descomposiciones
Sumarios/Resúmenes
Cambio de modalidad
Servicios Móviles Multimedia José Mª Martínez
Transcodificación
Escalado
• Resolución espacial, temporal, profundidad de color, ...
Cuantificación
• Calidad, control de buffer, ...
Source Image
Space Resolution Frequency
View View View
Space- Frequency
View SpaceResolution
View
Servicios Móviles Multimedia José Mª Martínez
Particiones y descomposiciones
Regiones de interés (S)
“Subbandas” (F)
• Presentación progresiva
• Fine Grain Scalability
Servicios Móviles Multimedia José Mª Martínez
D
Escalabilidad espacial
bitstream C
D C
B A
B A
Servicios Móviles Multimedia José Mª Martínez
Escalabilidad SRN (frecuencial)
A B
C D
bitstream
D C
B
A
Servicios Móviles Multimedia José Mª Martínez
Sumarios/Resúmenes
Secuenciales
Jerárquicos
HighlightSummary HighlightSummary Hierarchical
Summary
Highlight Segment
Highlight Segment Highlight Segment
Highlight Segment
Highlight Segment
Highlight Segment Highlight Segment
Video Data
Audio Data
Sequential Summary
Frame Property
Frame Property
Frame Property
Sound Property Text
Property
Sound Property
Text Property
Sound Property
Visual Data
Audio Data Textual Data
Servicios Móviles Multimedia José Mª Martínez
Cambio de modalidad
Conversión de medios
VIDEO IMAGE TEXT AUDIO
Modality Fidelity
Source
Variatio n
A
I H
G F
E
D C
B
Servicios Móviles Multimedia José Mª Martínez
Perfiles de sesión
Preferencias o restricciones de uso
Filtering &
Search Engine Local
Storage
Browser
Media + Media Descriptions Preferred
Content
Usage Preference Descriptions Browsing
Preferences Filtering & Search
Preferences
Servicios Móviles Multimedia José Mª Martínez
Estándares relacionados
MPEG-4
MPEG-7
MPEG-21
Servicios Móviles Multimedia José Mª Martínez
MPEG-4
Codificación de objetos multimedia
• Escenas de objetos independientes sincronizados
Servicios Móviles Multimedia José Mª Martínez
MPEG-4
Codificación de objetos multimedia
• Escenas de objetos independientes sincronizados
multiplexed downstream control / data
multiplexed upstream control/data
audiovisual presentation
3D objects 2D background
voice
sprite
hypothetical viewer projection
video compositor
plane
audio compositor scene
coordinate system
x y
z user events
au d iov isu al ob j ect s
speaker display
user input
Servicios Móviles Multimedia José Mª Martínez
MPEG-4
Codificación de objetos multimedia
• Escenas de objetos independientes sincronizados
• Selección de streams
- Número - Calidad - ...
Servicios Móviles Multimedia José Mª Martínez
MPEG-4
Codificación de objetos multimedia
• Escenas de objetos independientes sincronizados
• Selección de streams
- Número - Calidad - ...
...
Scene Description Stream
Object Descriptor Stream
Visual Stream
Visual Stream
Visual Stream
Audio Stream
Interactive Scene Description
(C) Olivier Avaro
Servicios Móviles Multimedia José Mª Martínez
MPEG-4
Codificación de objetos multimedia
• Escenas de objetos independientes sincronizados
• Selección de streams
• Codificación escalable (scalable coding)
- Fine Grain Scalability
Servicios Móviles Multimedia José Mª Martínez
MPEG-7
Estándar para la descripción de
contenidos audiovisuales (Metadatos)
Búsqueda y filtrado de contenido
• Características del contenido (metadatos)
- Clásicas: autor, género, formato, ...
- Innovadoras: color, melodía, contenido, ...
Servicios Móviles Multimedia José Mª Martínez
MPEG-7
Contenido MM
Lenguaje de Definición de Descriptores (DDL)
Esquemas de Descripción (DS)
Descriptores (DDL)
Usuario o sistema de proceso de datos
Generación de Descripción
Descripción MPEG-7
Codificador Descripción
MPEG-7
CodificadaDescodificador Agentes de Filtrado
Motor de Búsqueda
Usuario Final
(humano o máquina)
Servicios Móviles Multimedia José Mª Martínez
MPEG-7
Figure 1: Overview of the DSsFigure 2: Overview of the DSs
Datatype &
Structures
Link & Media Localization
Models
Navigation &
Access
Content management Content description
Collection &
Classification
Summaries
Variations Content organization
Creation &
Production
Media Usage
Semantic structure Spatio-temporal
structure A
User Interaction
User Preferences
Usage History
Roots and Top- level Elements
Packages Schema
Tools Partitions and Decompositions
Basic elements
Audio and Visual
features
Servicios Móviles Multimedia José Mª Martínez
MPEG-21
Marco de Referencia Multimedia
Uso de recursos multimedia (Digital Items) a través de cualquier red y terminal.
• Integración de tecnologías de e-commerce
- Derechos (IPMP), contenido, usuarios, transacciones, ...
Servicios Móviles Multimedia José Mª Martínez
MPEG-21
Marco de Referencia Multimedia
Uso de recursos multimedia (Digital Items) a través de cualquier red y terminal.
• Integración de tecnologías de e-commerce
- Derechos (IPMP), contenido, usuarios, transacciones, ...
User A Transaction/Use/Relationship User B
Digital Item
Authorization/Value Exchange
Terminals &
Networks Content Management
and usage
Intellectual Property management
Protection and Digital Item Identification and Description
Digital Item Declaration
:
•
• Examples
Natural and Synthetic Scalability
Content Representation
Examples:
•Storage Management
•Content Personalisation Examples:
•Unique Identifiers
•Content Descriptors
:
•
• Examples
Resource Abstraction Resource Mgt. (QoS)
Examples:
•Encryption
•Authentication
•Watermarking
Event Reporting Examples :
• “Container”
• “Item”
• “Resource”
Servicios Móviles Multimedia José Mª Martínez
MPEG-21
Marco de Referencia Multimedia
Uso de recursos multimedia (Digital Items) a través de cualquier red y terminal.
• Integración de tecnologías de e-commerce
- Derechos (IPMP), contenido, usuarios, transacciones, ...
Digital Item Adaptation
• Redes, terminales, usuarios, servicio, escalabilidad, ...
Servicios Móviles Multimedia José Mª Martínez
Un ejemplo
http://mpeg7.gti.ssr.upm.es/mpeg7IS/index.html
Modelado
Arquitectura
Funcionalidades
Demo
Servicios Móviles Multimedia José Mª Martínez
Modelo con Conjunto de Variaciones
VariationSet
Contenido Multimedia
Fuente
(Source)Vídeo
Fidelity
Variación
Imagen
PriorityRelationship
Variation
Contenido Multimedia
Fidelity Priority
Variation
Relationship
Contenido Multimedia
Variación
Vídeo
Servicios Móviles Multimedia José Mª Martínez
Modelo con Media Profiles
Reality
Or iginal Insta nce
Or iginal Insta nc e
Co pied I nsta nce
Co pied I nstan ce
Reco rd
Reco rd
Co py (to a differe nt p rofile)
Cop y (in th e same profile)
Copied Insta nc e
C opied Insta nc e
Cop y(to a differen t pro file)
Co py (in the same p rofile )
M edia Ins tanc e M ed ia Profile
De scription s
Usa ge Me ta In form ation Cr ea tion Me ta In form ation M e dia Info rm a tio n
M e dia Instanc e
Content Entity
C ontent Entity
Usa ge Me ta In form ation Cr ea tio n Meta In form atio n M e dia Inform a tion
de scribe s de scrib es
M a ster P rofile
Servicios Móviles Multimedia José Mª Martínez
Modelo con Transcoding Hints
MediaTranscodingHintsType Transcoding hints of the Media Profile.
MotionHint Motion hints for a transcoder.
MotionRange Motion range for a transcoder.
motionRangeXLeft Indicates the recommended search range for horizontal motion vectors to the left.
motionRangeXRight Indicates the recommended search range for horizontal motion vectors to the right.
motionRangeYDown Indicates the recommended search range for vertical motion vectors to the bottom.
motionRangeYUp Indicates the recommended search range for vertical motion vectors to the top.
motionUncompensability Describes the amount of new content in the corresponding segment (this descriptor applies to descriptions attached to video segments). The motionUncompensability takes values from 0.0 to 1.0, where 0.0 indicates no new content and 1.0 indicates significant change in content.
motionIntensity Describes the motion intensity in a segment. The motionIntensity takes values from 0.0 to 1.0, where 0.0 indicates low motion intensity and 1.0 indicates significant motion intensity.
ShapeHint Shape hints for the transcoder.
shapeChange Describes the amount of shape change in the corresponding segment (this descriptor applies to descriptions attached to video segments. The ShapeHint takes values from 0.0 to 1.0, where 0.0 indicates that no change has occurred and 1.0 indicates that all the pixels that define an object have been displaced.
avgNumNonTranspBlocks Describes the average number of 16x16 blocks per frame containing at least one pixel with a non-zero alpha-map value.
CodingHints Coding hints for the transcoder.
avgQuantScale Describes the average quantization scale used to compress the media.
intraFrameDistance Describes the distance between Intra-coded Frames, also known as N. A value of N=0 represents the case when N is infinite, for example, when the GOP has no I-frame (PBBPBBP...) or when there is only one I-frame at the start (IPPP...)
anchorFrameDistance Describes the distance between anchor frames, also known as M, where an Anchor frame is defined as a frame that predictions are made from, for example, an I or P frame. A value of M=0 is forbidden.
difficulty Describes the transcoding difficulty of the media. The difficultyHint takes values from 0.0 to 1.0, where 0.0 indicates the lowest difficulty and 1.0 indicates the highest difficulty.
importance Describes the importance of the media. The importance takes values from 0.0 to 1.0, where 0.0 indicates the lowest importance and 1.0 indicates the highest importance.
spatialResolutionHint Describes the maximum allowable spatial resolution reduction factor for perceptibility.
The SpatialResolutionHint takes values from 0.0 to 1.0, where 0.5 indicates that the resolution can be reduced by half and 1.0 indicates the resolution cannot be reduced.
Servicios Móviles Multimedia José Mª Martínez
Adaptación al modelo de Conjunto de Variaciones
Imagen/Audio/Video
Creation Information
Usage Information
M edia Information
Imagen/Audio/Video
SOURCE
Creation Information Usage Information
VARIATION 1
M edia Information
Imagen/Audio/VideoServicios Móviles Multimedia José Mª Martínez
CONTENIDOS MULTIMEDIA (Base de datos de archivos media)
DESCRIPCIONES DE CONTENIDOS (Base de datos de archivos XML con MPEG-7 VariationSet)
PERFILES (Base de datos de archivos XML con MPEG-7 UserDescription) APLICACIONES CLIENTE
APLICACIÓN DE BÚSQUEDA (Edición de elementos
a buscar)
APLICACIÓN DE FILTRADO AUTOMÁTICO (Selección de perfiles)
APLICACIÓN DE CREACIÓN DE
PERFILES (Perfiles Personalizados) MÓDULO DE
NAVEGACIÓN POR RESULTADOS Archivos media y descripciones MPEG-7
Archivos media y descripciones MPEG-7
APLICACIONES SERVIDOR
APLICACIÓN DE GESTIÓN DE
PERFILES (Perfiles Predefinidos)
APLICACIÓN DE CATALOGACIÓN
GESTIÓN DE DESCRIPCIONES DE CONTENIDO
GESTIÓN DE VARIACIONES
