Espacios de Señales. Temas a tratar. Experimento conceptual. Introducción. Señales y vectores... Señales y vectores...

SyS – PDS

Espacios de Señales

SyS – PDS

• Señales y vectores.

• La relación entre álgebra lineal y señales.

• Espacios vectoriales y espacios de señales.

• Bases y transformaciones lineales.

4

Temas a tratar

SyS – PDS

6

Introducción

• En general asociamos a las señales con “elementos aislados”.

• Ahora vamos a incorporar a las señales en “marcos estructurados” como los espacios vectoriales.

• Considerando a las señales como vectores de un espacio n-dimensional, podemos:

– aprovechar las propiedades de la estructura algebraica de los espacios vectoriales.

– interpretar el procesamiento de las señales desde una perspectiva geométrica.

– con un abordaje conceptual sencillo e intuitivo…

SyS – PDS

7

Experimento conceptual

3

T₁ T₂

2 2

3

m T

2 1

•Medimos la temperatura ambiente a intervalos de 1 minuto...

•Representamos en una gráfica en donde el eje de las ordenadas indica el tiempo y el de las abscisas la magnitud de la temperatura.

2

SyS – PDS

8

Señales y vectores...

•Si volvemos a medir luego de 1 minuto y vemos que la temperatura es 1 º C …

3

SyS – PDS

9

0 0.05 0.1 0.15 0.2 0.25 0.3 0.35 0.4 0.45 0.5

-1 -0.8 -0.6 -0.4 -0.2 0 0.2 0.4 0.6 0.8 1

Señales y vectores...

0 10 20 30 40 50 60

0 0.5 1 1.5 2 2.5 3

m

T

En 1 hora ... 60

Para señales continuas...

Ya no puedo representarlo gráficamente como un “vector”

en el espacio “tradicional”, pero el concepto es el mismo ...

Es un solo elemento, vector o punto



SyS – PDS

10

Señales y vectores...

• Definimos una señal x discreta en R^N como:

• Definimos una señal x continua en R^∞ como: ^Sy

S – PDS

11

Ahora con varios elementos...

• No nos interesa un elemento aislado…

• Sino c/u en “relación” al resto:

– Conjuntos de señales – Espacios de señales

– Espacios lineales o vectoriales – Espacios normados

…

…

…

… …

…

…

…

…

……

SyS – PDS

12

Un conjunto de

“puntos”

+

un conjunto de

relaciones que lo

estructuran.

Espacio

( ,_{i j}) d x x

SyS – PDS

13

Relaciones geométricas:

distancias, tamaños, formas, alineaciones, ángulos, conexidad.

Otras relaciones definen otros tipos de estructuras.

El caso más interesante es cuando distintas estructuras interactúan

en un mismo espacio.

Espacios

SyS – PDS

14

Métricos, topológicos, vectoriales, afines, euclídeos, de medida, de probabilidad, de distribuciones, ...

De Hilbert, de Banach, de Krein, de Orlicz, de Sobolev, de Schwartz, de Lebesgue,

...

Tipos de espacios

SyS – PDS

Conjuntos de Señales

El matemático alemán George Cantor introdujo la Teoría de Conjuntos en siglo XIX.

SyS – PDS

16

Para ello debo primero definir un conjunto:

O el conjunto de las x, tal que p sea cierto, o p es cierto, implica que x pertenece a .



Otra forma es como solución de la ecuación diferencial:

{ ; ( ) Re[ exp( )]}

=2 - , ,

x t j t

f t f

  

   

  

    

x

{ ;dx x 0}

 xdt 

Ejemplo: conjunto de las señales sinusoidales (1)

Una “señal” es un “punto” o elemento de un conjunto

{ ; } p p

 x  x

x₁ x₂ x4

x₃

SyS – PDS

17

{x; x(t) ≤ A1 v x(t) ≥ A2 }

{x; x(t) = 0, T1> t v t > T2}

 1 2 1 2

( ) ( )

; ( ) 0, ,

X x t e j tdt X

 

       









   



x

T₁ T₂

Otros ejemplos...

Señales limitadas temporalmente (2)

Señales limitadas en

amplitud (3) Señales de banda

limitada (4) ( )

X x(t)

A ₁ x(t) A 2

t A ₁

A 2

t

SyS – PDS

18

Sin embargo, ...

• Un espacio es un conjunto  de elementos x que satisfacen una condición p, pero además...

– Se requieren otra/s propiedad/es para poder llamar al conjunto “espacio”...

– En particular, se debe dotar al conjunto de (al menos una):

• Estructura geométrica (espacio de señales).

• Estructura algebraica (espacio vectorial).

• …

SyS – PDS

Estructura Geométrica

SyS – PDS

20

Espacio de Señales

• Si al conjunto de señales  definido anteriormente le agregamos una métrica d entonces se convierte en un espacio de señales .

• Los espacios de señales son espacios métricos cuyos elementos son señales.



; d





SyS – PDS

21

Espacio de señales

Conjunto de señales +

Estructura geométrica

Distancia / Norma

 ^{; d} 



SyS – PDS

22

Espacio de señales

Distancia / Norma

( ,_{i j}) d x x

SyS – PDS

23

Espacio de señales

Distancia / Norma

( ,_{i j}) d x x

SyS – PDS

Norma vs Distancia

• Norma: depende de un punto del espacio.

• Distancia: función de dos puntos del espacio.

24

SyS – PDS

Norma

Analogías entre Señales y Vectores

SyS – PDS

26

Norma

• Nos proporciona información acerca del “tamaño” de una señal o vector x:

– Es un número real no negativo:

– Es homogénea con respecto a la escala:

– Satisface la desigualdad triangular:

• Hay diferentes normas pero la más empleada es la denominada norma-p.



SyS – PDS

27

Norma - p

• Secuencias temporales:

• Señales continuas:

1/

1/

( )

p p

p n n

p p

p

x

x t dt









 

  

 

 

 





x

x

1

  p

SyS – PDS

28

¿Qué pasa cuando p es infinito?

sup

sup ( )

n n

t

x

x t

 

 



 x

x

SyS – PDS

¿Qué pasa para p entre 0 y 1?

• La definición es todavía de interés para 0 < p <

1, pero la función resultante no define una norma* (porque viola la desigualdad del triangulo ►DEMOSTRAR).

* Salvo en R¹, donde coincide con la norma Euclidea, y en R⁰, donde es trivial.

29

SyS – PDS

30

¿ Y cuando p es = 0 ?

 

0 0

0

lim

# : 0

p p p

n xn

 

 

x x

x

“Norma-0” >> Medida de “dispersión”

Es una semi-norma Donoho

SyS – PDS

Significado de Ralo

• Adjetivo que se aplica a los componentes de algo que están separados y poco densos o espesos.

• Viene del latin “rarus” que no significaba “extraño o extravagante” sino “espaciado, disperso” e “infrecuente, escaso, difícil de encontrar” (castellano, año 1250).

31 http://etimologias.dechile.net/?ralo

SyS – PDS

32

2 2

1

x

x

x

Se denomina amplitud de la señal x

Se conoce como energía de la señal x

Suele llamarse acción de la señal x

Otros nombres...

SyS – PDS

33

Ejemplo: amplitud y energía

x₁

E(x)^{1 /2}

A(x)

x₂

0? x

SyS – PDS

34

¿La norma-p es la única?

• Existen muchas normas, pero esta es la más utilizada porque permite diferentes comportamientos variando p.

SyS – PDS

35

¿Qué ocurre cuando varío p?

Superficie de

||x||p para x = [x₁, x₂]

-10 0

10 -10 0 100 50 100

x1 p = 2

x2

||x||p

-10 0

10 -10 0 100 20 40

x1 p = 1.5

x2

||x||p

-10 0

10 -10 0 100 10 20

x1 p = 1

x2

||x||p

-10 0

10 -10 0 100

5 10

x1 p = 0.5

x₂

||x||p

-10 0

10 -10 0 100

5 10

x1 p = 0.25

x₂

||x||p

-10 0

10 -10 0 100 10 20

x1 p = 0.1

x₂

||x||p

SyS – PDS

36

¿Qué ocurre cuando varío p?

El “círculo unitario”

en diferentes normas

||x||_p para x = [x₁, x₂]

SyS – PDS

37

¿La norma-p es la única?

• Otros ejemplos:

– Norma del Volumen Mínimo (similar a ||x||0) – Norma de Cauchy

– Norma Varimax

– Otras dependiendo de la aplicación...

SyS – PDS

38

Otras medidas útiles:

2

2

1 2

1 ( )

2

N n

n N

T

T

P x

N

P x t dt

T

x

x

Potencia media de una señal

SyS – PDS

39

2

2

lim 1 2

lim 1 ( )

2

N n

n N

T

T

P x

N N

P x t dt

T T

x

x

Otras medidas útiles:

Potencia media TOTAL de una señal

SyS – PDS

40

P _x

Otras medidas útiles:

Valor cuadrático medio (RMS):

Otras: Valor medio …

SyS – PDS

Distancia

SyS – PDS

42

Distancia

• La distancia es un concepto muy importante asociado a un espacio.

• Nos permite dar sentido geométrico al espacio a través de una “métrica”.

• Significados: “error” o “diferencia”,

“disimilitud” o “grado de aproximación”

entre dos señales.

SyS – PDS

43

Distancia vs Norma

• Una métrica puede derivarse a partir de una norma:

• La norma se refiere a un solo elemento, mientras que la distancia a dos ( norma ≡ distancia al origen ).

Pueden existir métricas que no deriven de normas

( , )

d x y  x y

SyS – PDS

44

y x y

x d y

x

d ( , )  0  ( , )  0  

) , ( ) ,

( x y d y x

d 

) , ( ) , ( ) ,

( x z d x y d y z

d  

2) Es simétrica:

3) Cumple con la desigualdad del triángulo:

Distancia: Propiedades

1) Es una función de dos puntos x, y con valor real positivo:

?

SyS – PDS

45

“Cada lado de un triángulo es menor que la suma de los otros dos”

“Si antes de ir a casa paso por lo de un amigo, camino más que si voy derecho a casa, salvo que su casa esté de camino a la mía”

“Si para volar a Buenos Aires hago una escala en Córdoba, tomo otro vuelo de Córdoba a Buenos Aires, pago más que volando

directamente”

Desigualdad triangular: sentido común …

¡No siempre!

SyS – PDS

46

¿A qué distancia está ....

… la Catedral …

… del Edificio del Libertador?

¿402 metros?

¿o 565 metros?

¿Es igual caminando que en auto?

SyS – PDS

47

Distancia en Internet

• ¿Cómo medirían las distancias de comunicación por Internet?

• ¿Es razonable medirlas en Kms?

SyS – PDS

48

Distancia en Internet

• Mapa parcial de Internet (30%, Enero 2005, opte.org).

• Cada línea se dibuja entre dos nodos (direcciones IP).

• La longitud indica el retardo entre nodos.

• Los colores corresponden a los dominios:

– Azul: net, ca, us – Verde: com, org – Rojo: mil, gov, edu – Amarillo: jp, cn, tw,

au, de – Magenta: uk, it, pl, fr – Oro: br, kr, nl – Blanco: desconocido

SyS – PDS

49

Distancia en Internet

• El mundo visto desde Internet: ¿Qué pasa si modificamos las distancias teniendo en cuenta la cantidad de conexiones?

SyS – PDS

50

Entonces …

• Diferentes relaciones, diferentes maneras de medir distancias, estructuran el

espacio de diferentes formas.

SyS – PDS

51

Distancias definida por la norma-p

• Como vimos una métrica se puede definir a partir de una norma, por ejemplo la norma-p: d x y( , ) x y_p

SyS – PDS

52

¿Qué ocurre cuando varío p?

x1 x2

p = 2

-10 -5 0 5 10

-10 -5 0 5 10

x1 x2

p = 1.5

-10 -5 0 5 10

-10 -5 0 5 10

x1 x2

p = 1

-10 -5 0 5 10

-10 -5 0 5 10

x₁ x2

p = 0.5

-10 -5 0 5 10

-10 -5 0 5 10

x₁ x2

p = 0.25

-10 -5 0 5 10

-10 -5 0 5 10

x₁ x2

p = 0.1

-10 -5 0 5 10

-10 -5 0 5 10

Curvas de nivel de ||x||p para x = [x₁, x₂]

SyS – PDS

53

¿Qué ocurre cuando varío p?

x 1 x2

p = 2

-10 -5 0 5 10

-10 -5 0 5 10

x 1 x2

p = 1

-10 -5 0 5 10

-10 -5 0 5 10

x x0

0 0

( , ) _p

dxx x x

SyS – PDS

55

La mejor distancia a utilizar depende de la aplicación …

Distancia entre huellas digitales …

SyS – PDS

56

La distancia de Hamming (1915-1998) entre dos “palabras” es el número de posiciones

en que difieren.

Distancia de Hamming

SyS – PDS

65

Distancia en habla ruidosa

• La SNR no es una buena medida de la inteligibilidad del habla, ¿Cómo la medimos entonces?

SyS – PDS

66

Distancia en habla ruidosa

• LAR

– Diferencia entre los espectros limpio y ruidoso:

• PESQ

– Modelo de percepción auditiva:

Leandro Di Persia, Diego Milone, Hugo Leonardo Rufiner, Masuzo Yanagida, “Perceptual evaluation of blind source separation for robust speech recognition”, Signal Processing 88 (2008) 2578– 2583.

SyS – PDS

67

Distancia de Levenshtein

También llamada “distancia de edición”:

• Distancia entre palabras:

– Número mínimo de operaciones requeridas para transformar una cadena de caracteres en otra.

– Operaciones: inserción, eliminación o sustitución de un carácter.

• Es útil en programas que determinan cuán similares son dos cadenas de caracteres, como es el caso de los correctores de ortografía.

SyS – PDS

69

Distancia de Mahalanobis

• Es como la euclídea pero “pesada”:

( , ) ( )

^T 1

( )

d x y  xy C^ xy

matriz de covarianza Toma en cuenta la estadística de los datos

Prasanta Chandra Mahalanobis, India 1936.

SyS – PDS

Divergencia de Kullback-Leibler

• Sean x y y dos señales en ^N y sea D_KL la denominada "Divergencia de Kullback- Leibler“:

• ¿Es una distancia?¿Por qué?

72

KL

1

( , ) [ ]log [ ] [ ]

N i

D x i x i

x y y i ^Sy

S – PDS

73

Ejemplos de espacios de señales

• Espacio de secuencias temporales reales:

• Espacio de señales de tiempo continuo reales:

– Ambos suelen usar la métrica euclideana:

{ [ ]};x n n ; x n[ ] ; 1 n N

    

{ ( )};x t t ; x t( ) ; - t

      

( , ) 2

d x y  x y

SyS – PDS

Producto Interno

Analogías entre Señales y Vectores

SyS – PDS

75

Producto interno

Otra medida de

similitud

entre señales

SyS – PDS

76

Componente de un vector en otro

• Proyección de v₁ sobre v₂

• Menor error de modo que:

v₁= c₁₂ v₂+v_e

SyS – PDS

77

Pero no cumplen la condición de error mínimo Otras alternativas podrían ser

SyS – PDS

78

¿Cómo calculamos c

₁₂

?

c₁₂ |v₂| = |v₁| cos(q)

La componente de la componente de v₁ a lo largo de v₂ será:

SyS – PDS

79

Además, sabemos que:

¿Cómo calculamos c

₁₂

?

c₁₂ |v₂| = |v₁| cos(q)

La componente de la componente de v₁ a lo largo de v₂ será:

< v₁ , v₂ > = |v₁| |v₂| cos(q)

SyS – PDS

80

¿Cómo calculamos c

₁₂

?

Ahora podemos escribir:

2 2

2 1

12

,

, v v

v

 v c

SyS – PDS

81

c₁₂

mide el parecido entre v

₁

y v

₂

SyS – PDS

82

c₁₂

mide el parecido entre v

₁

y v

₂

Si v₂ tiene norma unitaria:

2 1 12

 v , v

c

^{SyS –}

PDS

83

Producto Interno, normas y métricas

• Al definir el producto interno se obtiene también una norma y una métrica para el espacio:

2

2

,

x x x

SyS – PDS

84

Producto interno en

¿señales continuas?

_Sy^{S – P}

DS

85

• El concepto de proyección y ortogonalidad de vectores se puede extender a las señales.

• Se considerarán dos señales f₁(t) y f₂(t) donde se se desea aproximar f₁(t) en términos de f₂(t) en un cierto intervalo (t_1, t₂)

Producto interno …

SyS – PDS

86

Se desea aproximar f₁ mediante f₂

f₁(t) ≈ C₁₂ f₂(t) en (t₁ < t < t₂).

Se define la función error f_e(t):

f_e(t) = f₁(t) - C₁₂ f₂(t).

Debemos encontrar un valor de C₁₂ que minimice el error entre las dos funciones

SyS – PDS

87 2

1 1 12 2

2 1

( ) ( )

t t t dt

EM t

t t

f C f

2 1

2

2 1

e( ) t t dt ECM t

t t

f

SyS – PDS

88

2

1 2

1

12 2 2

1 2

( ) ( ) ( ( ))

t t

t t

f t f t dt

C f t dt

12

ECM 0 C

SyS – PDS

89

2

1 2

1

12 2

2 2

1

( ) ( ) ( ) ( )

t t

t t

f t f t dt

C f t f t dt

12

ECM 0 C

Si nuestra señal puede tomar valores complejos

SyS – PDS

90

2 1

( ) ( ) 0

1 2

t f t f t dt t

Ortogonalidad de Funciones

SyS – PDS

91 Iguales

Ortogonales

Opuestas

Vectores Señales Produto Producto interno x , y > 0

x , y = 0

x , y < 0

SyS – PDS

92

0

( ) ( )

^st X s x t e dt









( ) ( ) ^{j t} X  ^x t e^dt







( ) ( ).

ⁿ

n

X z ^ x n z^

 

Transformaciones lineales...

SyS – PDS

93

( ) ( ) ( ) ( )

x t y t ^x y t  d



 





( ) ( ) ( )

Rxy t ^x y t  d









Otras operaciones lineales...

SyS – PDS

Estructura Algebraica

SyS – PDS

95

¿Qué pasa si sumo dos señales de ?

{ ; ( ) Re[ exp( )]}

=2 - , ,

x x t j t

f t f

  

   

  

    

+ =

…

…

…

… …

…

…

…

…

……

  ?

Conjunto de las señales sinusoidales (1)



SyS – PDS

96

Campo Escalar

• K es un campo escalar (un conjunto) – Adición + : K x K  K

– Producto ^. : K x K  K – Neutro aditivo: 0

– Neutro multiplicativo: 1

• Ejemplos: Z, R, C

SyS – PDS

97

Espacio Lineal

• Conjunto para el que están definidas las operaciones binarias (cerradas) de:

– Multiplicación de cualquier elemento por un escalar – Adición entre cualesquiera de sus elementos

• Estas operaciones son conmutativas, asociativas y distributivas.

• Poseen elemento neutro y cancelativo.



; ; ;



  

SyS – PDS

98

Espacio Lineal



; ; ;



  

SyS – PDS

99

(1) no es un espacio vectorial.

Espacio Lineal

• A los elementos de los espacios lineales los llamamos vectores y podemos referirnos al espacio como espacio vectorial.

SyS – PDS

100

Espacios Normados

• Son aquellos espacios vectoriales en los que todos sus elementos poseen norma finita.

• Ejemplos:

– Los subconjuntos de señales que poseen energía finita o acción finita son espacios normados:

2( )

1

( )

L

L ₁( ) ₂

( )

SyS – PDS

101

Espacios Normados

• Ejemplos:

1( ) ; ( ) ; ; ( ) ,

L x x t dt t x t t





 

         

  

2

2( ) ; ( ) ; ; ( ) ;

L x x t dt t x t t





 

         

  

1( ) ; [ ] ; ; [ ] ;

n

x x n n x n n





 

         

  

2

2( ) ; [ ] ; ; [ ] ;

n

x x n n x n n





 

         

  

(pueden definirse también en C o Z):

SyS – PDS

102

Espacios con Producto Interno

• Debido a la importancia del producto interno para comparar señales aparece este tipo particular de espacios.

• Un espacio con producto interno:

I(x , y) = < x , y >,

es un espacio vectorial con un producto interno definido en él.

SyS – PDS

103

Espacios con Producto Interno

• Como ya vimos, al definir el producto interno se obtiene también una norma y una métrica para el espacio:

2

2

,

x x x

SyS – PDS

104

Espacio Euclídeo

• Es el espacio matemático n-dimensional usual, una generalización de los espacios de 2 y 3 dimensiones estudiados por Euclides.

• Estructuralmente es:

– un espacio vectorial normado de dimensión finita sobre los reales – la norma es la asociada al producto

escalar ordinario (norma 2).

• Se denota como: R^{N Euclides} (300 a.C, Grecia)

SyS – PDS

105

Espacios de Hilbert

• H es un espacio de Hilbert si es completo con respecto a la norma generada por < x , x >.

• Completo significa que no tiene “agujeros”.

• Constituye una generalización del concepto de espacio euclídeo.

• Permite extender nociones de espacios de dimensión finita a los de dimensión

infinita. David Hilbert

(1862-1943, Alemania)

SyS – PDS

106

Conjuntos, espacios y señales …

Conjuntos de señales Espacios métricos

Espacios vectoriales Espacios

|normados|

Espacios con producto

<.,.>

Señales aisladas

Hilbert ^{L2( )}

1( )

1( ) L

R^N

SyS – PDS

Bases y transformaciones

SyS – PDS

108

Dado un conjunto N vectores (señales) X0={xi} con N <  :

1 N

i i i









x x combinación lineal de vectores xi, donde i son escalares.

Variando los i se genera un nuevo conjunto X, que en el caso que sea un espacio vectorial entonces X0 es un conjunto generador de ese espacio.

Conjunto generador

SyS – PDS

109 1

0

N

i i i

i

  i



   



^{x 0}

{xi} son linealmente independientes si:

Base

Conjunto generador.

{xi} linealmente independientes.

Definición de base

SyS – PDS

110

Si el conjunto 0 es ortogonal

, 0

,

i j

i j

i j

k i j

  

   x x

x x

O, si k = 1 entonces 0 es ortonormal.

Entonces, si 0 es una base del espacio vectorial , los coeficientes

i se pueden calcular mediante el producto interno entre el vector (señal) y cada uno de los elementos de la base.

Volvemos sobre ortogonalidad…

SyS – PDS

111

1 1 22

1

...

N

ii N N

i

   



    

x x x x x

Suponga que quiere representar el vector x en R^N generado por el conjunto 0={xi}, con i = 1 .. N.

1 1 2 2

, _i  , _i  , _i ... _{N N}, _i

x x  x x  x x   x x Efectuando producto interno por xi a ambos miembros:

Representación de señales

SyS – PDS

112

, _i _{i i}, _i

x x  x x Si ₀ es ortogonal, entonces:

2

, ,

,

i i

i

i i i

  

  x x x x

x x x

, _i _{i i}, _i

x x  x x Si ₀ es ortonormal, entonces:

i , i

  x x

Concepto importante: _i es la componente de la señal x en x_i.

Representación de señales

SyS – PDS

116

• Polinomios de Legendre [-1,1]

• Polinomios de Chebyshev [-1, 1]

• Polinomios de Hermite [- , ]

• Funciones de Hermite [- , ]

• Funciones de Walsh [0,T]

• Funciones de Haar [0,1]

• Wavelets

• Funciones de Fourier

Ejemplos: Bases ortogonales

SyS – PDS

117

• Funciones de Haar:

Ejemplo: Wavelets

SyS – PDS

118

• Onditas de Meyer:

Ejemplo: Wavelets

SyS – PDS

123

Bibliografía

• Mertins, “Signal Analysis”, John Wiley & Sons

• Franks, “Teoría de la señal”, Reverté.

• De Coulon, “Signal Theory and Processing”, Artech- House.

• Lathi, “Modern Digital and Analog Communication Systems”, Holt, Rinehart & Winston.

• Citas completas y repaso en:

– Milone, Rufiner, Acevedo, Di Persia, Torres,

“Introducción a las señales y los sistemas discretos”, EDUNER (Cap. 2).