Procesamiento Audiovisual

(1)

PROCESAMIENTO

AUDIOVISUAL

Programa de teoría

1. Adquisición y representación de imágenes.

2. Procesamiento global de imágenes.

3. Filtros y transformaciones locales.

4. Transformaciones geométricas.

5. Espacios de color y el dom

5. Espacios de color y el dominio frecuencial.

inio frecuencial.

6. Análisis de imágenes.

7. Vídeo y sonido digital.

(2)

Tema 3. Filtros y

transformaciones locales.

3.1. Filtros y convoluciones

3.1. Filtros y convoluciones.

.

3.2. Suavizado, perfilado y bordes.

3.3. Filtros no lineales.

3.4. Morfología matemática.

A.3. Filtros en IPL y OpenCV.

(3)

3.1. Filtros y

3.1. Filtros y convolucio

convoluciones.

nes.

••

Recordatorio:

en las

en las transformacio

transformaciones

nes

globales

, cada

píxel de salida depende sólo de un píxel de entrada.

••

No se tiene en cuenta la relación de

vecindad

entre píxeles.

El resultado no varía si los píxeles son

El resultado no varía si los píxeles son permutados

permutados

aleatoriamente y después

aleatoriamente y después reordenados

reordenados ..

••

Transformación local:

el valor de un píxel depende de

la vecindad local de ese píxel.

9 900 6677 7755 7788 9 922 8877 7788 8822 4 455 8833 8800 113300 3 399 6699 111155 115544 6 622 6688 7788 8811 1 10022 8899 7766 8855 8 833 110099 8800 111111 6 699 9922 111155 112200

T

ransf.

global

T

ransf.

local

Entrada

(4)

3.1. Filtros y

3.1. Filtros y convolucio

convoluciones.

nes.

••

Transfor

Transformación

mación global:

global:

R(x,y):=

R(x,y):= f(A(x,y))

f(A(x,y)) ó

ó R(x,y):=

R(x,y):= f(A(x,y),

f(A(x,y), B(x,y))

B(x,y))

••

Filtros y transformaciones locales:

R(x,y

R(x,y):= f(A(x-k

):= f(A(x-k,y-k), ..., A(x,y

,y-k), ..., A(x,y),

), ..., A(x+k,y+k))

..., A(x+k,y+k))

••

Ejemplo.

Filtro de la media.

R(x,y):= (A(x-1,y-1)+A(x,y-1)+A(x-1,y)+A(x,y))/4

9 922 7788 8822 4 455 8800 113300 3 399 111155 115544 -- -- ---- 7744 9933 -- 7700 112200 ∑ / 4 ∑ / 4

(5)

P

Prroocceessaammiieenntto o AAuuddiioovviissuuaall 55

3.1. Filtros y

3.1. Filtros y convolucio

convoluciones.

nes.

••

Ejemplo.

_Entrada,_Entrada,

_A

_Salida,_Salida,

_R

••

Resultado:

la imagen sela imagen se suaviza suaviza ,, difumina difumina oo emborrona emborrona ..

•• Las transformaciones locales tienen sentido porque Las transformaciones locales tienen sentido porque existeexiste una relación de

una relación de

vecindad

entre los entre los píxpíxeles.eles.

••

Recordatorio:

un píxeun píxel l representa una magnitud física enrepresenta una magnitud física en un punto de una escena

un punto de una escena  dos píxeles próximosdos píxeles próximos corresponden a puntos cercanos de la escena

corresponden a puntos cercanos de la escena  el mundoel mundo es “continuo”

es “continuo”  los píxeles próximos tendrán valoreslos píxeles próximos tendrán valores parecidos.

(6)

3.1. Filtros y

3.1. Filtros y convolucio

convoluciones.

nes.

•• Un tipo interesante de transformUn tipo interesante de transformaciones locaaciones locales son lasles son las convoluciones discretas.

convoluciones discretas.

••

Convolución discreta:

transformación en la que el valortransformación en la que el valor del píxel resultante es una

del píxel resultante es una

combinación lineal

de losde los valores de los píxe

valores de los píxeles les vecinos en la imagen.vecinos en la imagen.

••

Ejemplo.

El filtro de la mEl filtro de la media es una convolución.edia es una convolución.

R(x,y):= 1/4·A(x-1,y-1) + 1/4·A(x,y-1) + 1/4·A(x-1,y) + 1/4·A(x,y) R(x,y):= 1/4·A(x-1,y-1) + 1/4·A(x,y-1) + 1/4·A(x-1,y) + 1/4·A(x,y)

••

Otra forma de ver la convolución:

Matriz de coeficientes de la Matriz de coeficientes de la combinación lineal. combinación lineal. 11//44 11//44 1/4 1/4 1/41/4

(7)

P

3.1. Filtros y

3.1. Filtros y convolucio

convoluciones.

nes.

•• La matriz de coeficientes es conocida como laLa matriz de coeficientes es conocida como la

máscara o

núcleo (

kernel kernel

) de convolución

..

••

Idea intuitiva:

se pasa la máscara para todo píxel de se pasa la máscara para todo píxel de lala imagen, aplicando los coeficientes según donde caigan. imagen, aplicando los coeficientes según donde caigan.

··11//44 ··11//44 ··11//44 ··11//44 9 922 7788 8822 4 455 8800 113300 3 399 111155 115544 -- -- ---- 7744 9933 -- 7700 112200 Máscara de convolución Máscara de convolución Imagen de entrada,

Imagen de entrada,

A

_{Imagen de salida,}_{Imagen de salida,}

_R

∑ ∑ ¿Cuánto valen ¿Cuánto valen estos píxeles? estos píxeles?

(8)

3.1. Filtros y

3.1. Filtros y convolucio

convoluciones.

nes.

••

Sea

M

una máscara de convolución. Se puede definir

como

array

[-k...k, -p...p]

de

real

••

Algoritmo.

Cálculo de una convolución.

Denotamos la convolución como: R:= M Denotamos la convolución como: R:= M



AA

••

Entrada.

A: imagen de max

_X_X

x max

_Y_Y

M: array [-k...k, -p...p] de real

••

Salida.

R: imagen de max

_X_X

x max

_Y_Y

••

Algoritmo:

para cada

píxel (x, y) de la imagen A

hacer

R(x, y):=

∑

∑ ∑

∑

M(i, j)·A(x+i, y+j)

i= i=-k-k....kk jj=-=-p.p..p.p En En

X

la máscarala máscara va de -k a k, y en va de -k a k, y en

Y

de -p a p. Elde -p a p. El punto central es punto central es (0,0) (0,0)

(9)

P

3.1. Filtros y

3.1. Filtros y convolucio

convoluciones.

nes.

••

Ejemplos.

R:= MR:= M



AA 1 1//99 11//99 11//99 1 1//99 11//99 11//99 1 1//99 11//99 11//99 El valor de un píxel El valor de un píxel es la media de los 9 es la media de los 9 píxeles circundantes píxeles circundantes 1 1 11 11 1 1 11 11 1 1 11 11 1/9· 1/9·

Igual que antes, pero Igual que antes, pero factorizamos el múltiplo factorizamos el múltiplo común (suma total = 1) común (suma total = 1)

-1

-1 11

Restar al píxel el Restar al píxel el

valor del píxel valor del píxel de la izquierda de la izquierda

M

N

A

R

Punto central o

(10)

3.1. Filtros y

3.1. Filtros y convolucio

convoluciones.

nes.

••

Ojo:

la

combinación de

combinación de conv

convoluciones

oluciones

es

equivalente a una sola convolución:

M2



(M1



A) = M



A

••

Sobre una imagen se pueden aplicar

sucesivas

operaciones

de convolución: ...M3



(M2



(M1



A)))

Máscara de media Máscara de media aplicada 4 veces aplicada 4 veces Máscara de media Máscara de media + máscara de resta + máscara de resta

A

R

(11)

P

3.1. Filtros y

3.1. Filtros y convolucio

convoluciones.

nes.

•• ¿Cómo calcular el resultado de la combinación?¿Cómo calcular el resultado de la combinación?

••

Respuesta:

comprobar el efecto sobre una imcomprobar el efecto sobre una imagen sóloagen sólo con el píxel central a UNO (“señal impulso”).

con el píxel central a UNO (“señal impulso”).

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0



_1/9·_1/9· ₌₌ 0 0 0 0 0 0 0 0 0 0 0 1 1 1 0 0 1 1 1 0 0 1 1 1 0 0 1 1 1 0 0 1 1 1 0 0 1 1 1 0 0 0 0 0 0 0 0 0 0 0



_1/9·_1/9· _{= 1/9·}_{= 1/9·} 0 0 0 0 0 0 0 0 0 0 0 0 11 00 00 --11 0 0 11 00 00 --11 0 0 11 00 00 --11 0 0 0 0 0 0 0 0 0 0 1 1 11 11 1 1 11 11 1 1 11 11 -1 -1 11 -1 -1 11 Máscara Máscara equivalente equivalente

(12)

3.1. Filtros y

3.1. Filtros y convolucio

convoluciones.

nes.

••

Resultado:

el filtro de la media es

el filtro de la media es separable.

separable.

–

– En lugar de aplicar una mEn lugar de aplicar una máscara de 3xáscara de 3x3 3 se puedense pueden aplicar dos máscaras de 1x3 y 3x1 (

aplicar dos máscaras de 1x3 y 3x1 (

máscaras

unidimensionales

).). –

– Puede ser útil para hacer los cálculos másPuede ser útil para hacer los cálculos más

eficientes

.. •• Análogamente, algunas convoluciones se pueden Análogamente, algunas convoluciones se pueden obtenerobtener

combinando otras más simples:

núcleos separables

..

••

Ejemplo.

1 1 11 11 1 1 11 11 1 1 11 11



_A_{A =}_{= 1/9·}_1/9· 1 1 1 1 1 1 1/3· 1/3·



1/3·1/3· 11 11 11



_A_A

(13)

P

3.1. Filtros y

3.1. Filtros y convolucio

convoluciones.

nes.

••

¿Qué hacer con los

píxeles de los bordes?

••

Posibilidades:

1.

1. AsignAsignar ar un 0 un 0 en el en el resulresultado tado a losa los píx

píxeles donde no eles donde no cabe la máscara.cabe la máscara. 2.

2. SupoSuponer ner que loque los pís píxexeles qules que se sae se salenlen tienen valor 0 (u otra constante).

tienen valor 0 (u otra constante). 3.

3. ModModificar ificar la operla operación eación en los n los píxpíxeleseles que no caben (variar el multiplicador). que no caben (variar el multiplicador). 4.

4. SuponSuponer qer que la ue la imagen imagen se exse extiendtiendee por los extremos (p.ej. como un

por los extremos (p.ej. como un espejo). espejo). ··11//44 ··11//44 ··11//44 ··11//44 9 9 44 88 7 7 88 44 3 3 22 22 00 00 00 00 77 66 00 55 44 22 33 33 44 77 66 22 55 44 99 66 66 88 77 66 55 55 44 ₅₅ ₄₄ ₄₄ 77 77 66 88 55 44



(14)

3.1. Filtros y

3.1. Filtros y convolucio

convoluciones.

nes.

••

Las convoluciones son una discretización de la idea de

convolución usada en señales. (Repasar teoría de

señales...)

••

Diferencias:

las convoluciones usadas aquí son

discretas y bidimensionales.

••

Idea:

las máscaras de convolución son matrices de

números



se pueden considerar, a su vez, como

imágenes.

••

Propiedades:

– –

Asociativa:

M2M2



(M1(M1



A) = (M2A) = (M2



M1)M1)



AA – –

Conmutativa:

M2M2



M1M1



A = M1A = M1



M2M2



AA –

–

Ojo:

al aplicar una cal aplicar una convolución puedonvolución puede ocurrire ocurrir

saturación

de píxe

de píxeles. Si les. Si ocurre esto, el orden sí que ocurre esto, el orden sí que puede serpuede ser importante.

(15)

P

3.2. Suaviza

3.2. Suavizado,

do, perfilado y

perfilado y bordes.

bordes.

••

Aplicando distintos operadores de convolución es

posible obtener

diferentes efectos

::

–

Suavizado

: : o difumo difuminación de la imagen, reducirinación de la imagen, reducir contrastes abru

contrastes abruptos en ptos en la imagen.la imagen. –

–

Perfilado

: resaltar los contrastes, lo contrario al: resaltar los contrastes, lo contrario al suavizado.

suavizado.

–

Bordes

: detectar zonas de variación en la imagen.: detectar zonas de variación en la imagen.

–

Detección

de cierto tipo de características, comode cierto tipo de características, como esquinas, segmentos, etc.

esquinas, segmentos, etc.

•• Suavizado y perfilado son mSuavizado y perfilado son más habituales enás habituales en

restauración

y mejora

de imágenes.de imágenes.

•• Bordes y detección de características suelen usarse másBordes y detección de características suelen usarse más en

(16)

3.2.1. Operadores de suavizado.

••

El operador de suavizado más simple es la

convolución de media

(media aritmética).

••

Parámetros

del operador:

–

– Ancho y alto de la región en la que se aplica:Ancho y alto de la región en la que se aplica: w w xx h h .. –

– Posición del ancla.Posición del ancla.

••

Normalmente,

Normalmente, w

w y

y h

h son impares y el ancla es el píxel

son impares y el ancla es el píxel

central.

••

La máscara es

un simple array

de unos de

tamaño

tamaño w

w x

xh

h ..

1 1 11 11 1 1 11 11 1 1 11 11 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 Máscara de Máscara de media de 3x3

(17)

P

3.2.1. Operadores de suavizado.

••

Cuanto mayor es la máscara, mayor es el efecto de

difuminación

de la imagen.

M M e e d d i i a a d d e e 5 5 x x 5 5 M M e e d d i i a a d d e e 1 1 1 1 x x 1 1 1 1 M M e e d d i i a a d d e e 2 2 1 1 x x 2 2 1 1 I

I m m a a g g e e n n d d e e e e n n t t r r a a d d a a ( ( 3 3 4 4 0 0 x x 2 2 3 3 0 0 ) )

(18)

3.2.1. Operadores de suavizado.

••

Ventajas

(respecto a otros suavizados):

–

– Sencillo y rápido de aplicar.Sencillo y rápido de aplicar. –

– Fácil definir un comportamiento para losFácil definir un comportamiento para los

píxeles de los

bordes

: tomar la media de los píxeles que quepan.: tomar la media de los píxeles que quepan. –

– Recordatorio: el operador de media esRecordatorio: el operador de media es

separable

..

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

Media de 5x5

T

Total: 25 otal: 25 sumsumasas



o(no(n22₎₎

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1



Media de 5x1 y de 1x5

T

(19)

P

3.2.1. Operadores de suavizado.

••

En algunos casos puede ser interesante aplicar

suavizados direccionales

: horizontales, verticales o

en cualquier dirección.

0 0 00 11 0 0 11 00 1 1 00 00 Media horizontal 5 píxeles

Media horizontal 5 píxeles

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 Media vertical 3p

Media vertical 3p Media diagonal 3pMedia diagonal 3p

M M e e d d i i a a h h o o r r i i z z . . 3 3 1 1 p p M M e e d d i i a a v v

e e r r t t . . 3 3 1 1 p p

(20)

3.2.1. Operadores de suavizado.

••

Ejemplo 1.

En una aplicación trabajamos con imEn una aplicación trabajamos con imágeneságenes

capturadas de TV. El canal t

capturadas de TV. El canal tiene muchas interferencias,iene muchas interferencias, que provocan una osc

que provocan una oscilación cada 7 píxeles horizontales.ilación cada 7 píxeles horizontales. ¿Cómo redu

¿Cómo reducir el efecto de cir el efecto de las interferencias?las interferencias?

(21)

P

3.2.1. Operadores de suavizado.

(22)

3.2.1. Operadores de suavizado.

••

Eje

Ejemplo 2

mplo 2.. Ent

Entrel

relaza

azado de vídeo

do de vídeo::

para aumentar lapara aumentar la

frecuencia de refresco del vídeo se separan las líneas pares frecuencia de refresco del vídeo se separan las líneas pares y las im

y las impares (1pares (1

campo

((field field )=1/2 imagen). Al capturar una)=1/2 imagen). Al capturar una imagen, se mezclan los cam

imagen, se mezclan los campos producienpos produciendo efectos raros.do efectos raros.

25 imágenes/seg.

25 imágenes/seg.  5050 campos/seg.

campos/seg.  20 mseg.20 mseg. entre campos

(23)

P

3.2.1. Operadores de suavizado.

•• Duplicar las filas pares (o las impares) y luego aplicarDuplicar las filas pares (o las impares) y luego aplicar

una media vertical de 2 píxeles (para interpolar). una media vertical de 2 píxeles (para interpolar).

1 1 1 1

Dupl

Duplicadas fiicadas filas pareslas pares Imagen entrelazada

(24)

3.2.1. Operadores de suavizado.

••

Eje

Ejemplo

mplo 3.

3. Efe

Efecto de ni

cto de niebla

ebla..

Dada una imagen bienDada una imagen bien

definida, queremos simular una niebla (objetivo

definida, queremos simular una niebla (objetivo empañado empañado ).).

••

Idea:

calcular una media ponderada entre la imcalcular una media ponderada entre la imagen origiagen originalnal y un suavizado gaussiano de la imagen.

y un suavizado gaussiano de la imagen.

B

B. Suaviz. gauss. 40x40. Suaviz. gauss. 40x40

A

A. Imagen original. Imagen original Suma: 0,3Suma: 0,3AA+0,7+0,7BB

(25)

P

3.2.1. Operadores de suavizado.

•• Cuando se aplica la media con tamaños grandes seCuando se aplica la media con tamaños grandes se obtienen resultados

obtienen resultados

artificiosos

(a menudo(a menudo

indeseados

).).

••

Motivo:

la media se calcula en una región cuadrada.

••

Sería mejor aplicarla

a una

región “redonda”

..

••

O, mejor, usar suavizado gaussiano...

S S u u a a v v i i z a z a d d o o d d e e m m e e d d i i a a

G G a a u u s s s s i i a a n n

a a 0 0 1 1 1 0 0 0 0 1 1 1 0 0 0 1 1 1 1 1 0 0 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 11 11 11 11 11 11 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 0 0 1 1 1 1 1 0 0 0 1 1 0 0 1 1 11 00 00

(26)

3.2.1. Operadores de suavizado.

••

Suavizado gaussiano:

media ponderada, donde los

pesos toman la forma de una campana de Gauss.

••

Ejemplo.

Suavizado gaussiano horizontal.

11 66 1155 2200 1155 66 11

Campana de Gauss

f(x) = e

-x-x22 /s /s22 s s22 _{es la}_{es la} varianza varianza

Campana discreta

1/64· 1/64·

(27)

P

3.2.1. Operadores de suavizado.

••

La

varianza

,,

ss

22

, indica el nivel de suavizado.

–

Varianza grande:

campana más ancha, más suavizado.campana más ancha, más suavizado.

–

Varianza pequeña:

campana más estrecha, menoscampana más estrecha, menos suavizado.

suavizado.

–

– Se mide en pSe mide en píxelesíxeles..

••

Cálculo de la máscara gaussiana (1D):

calcular la

función, discretizar en el rango, discretizar en el valor y

calcular el

calcular el multiplica

multiplicador...

dor...

••

¿No existe una forma más rápida?

••

Idea:

el triángulo de Pascal.

1 1 1 1 11 1 1 2 2 11 1 3 3 1 1 3 3 1 1 4 6 4 1 1 4 6 4 1 1 5 10 10 5 1 1 5 10 10 5 1

(28)

3.2.1. Operadores de suavizado.

••

¡Magia!

Las filas del triángulo de Pascal forman

discretizaciones de la campana de Gauss.

1 1 66 1155 2200 1155 66 11 1 1 55 110 10 100 55 11 1 4 6 4 1 1 4 6 4 1 1 3 3 1 1 3 3 1 1 1 22 11 1 1 11 1/2· 1/2· 1/4· 1/4· 1/8· 1/8· 1/16· 1/16· 1/32· 1/32· 1/64· 1/64·

¿Por qué ocurre así? ¿Por qué ocurre así?

Recordar el

teorema

central del límite

...

(29)

P

3.2.1. Operadores de suavizado.

•• Normalmente, eNormalmente, el suavizado gaussiano se l suavizado gaussiano se aplica en dosaplica en dos dimensiones. Lo

dimensiones. Los pesos de la s pesos de la máscara dependemáscara dependen n de lade la

distancia al píxel central

..

1 1 22 11 2 2 44 22 1 1 22 11

Campana de Gauss 2D

f(x,y) = e

-(x-(x22+y+y22)/s)/s22 1/16· 1/16· Máscara Máscara gaussiana de 3x3 gaussiana de 3x3 1: blanco 1: blanco 0: negro 0: negro

(30)

3.2.1. Operadores de suavizado.

••

Propiedad interesante:

el filtro gaussiano es separable.el filtro gaussiano es separable.

••

Resultado:

se puede obtener un suavizado 2D aplicandose puede obtener un suavizado 2D aplicando dos máscaras gaussianas bidimensionales, una

dos máscaras gaussianas bidimensionales, una horizontalhorizontal y otra vertical. y otra vertical. 1 1 22 11 2 2 44 22 1 1 22 11 1 1 22 11 1 1 2 2 1 1



(31)

P

3.2.1. Operadores de suavizado.

••

Comparación:

media y suavizado gaussiano, 2D.

M M e e d d i i a a d d e e 1 1 1 1 x x 1 1 1 1 M M e e d d i i d a a d e e 2 2 1 1 2 x x 2 1 1 G G a a u u s s s s i i a a n n

a a 2 2 1 1 2 x x 2 1 1 G G a a u u s s s s i i a a n n

a a 4 4 1 1 4 x x 4 1 1

(32)

3.2.1. Operadores de suavizado.

••

Comparación:

media y suavizado gaussiano, 1D.

M M e e d d i i a a h h o o r r i i z z . . 3 3 1 1 p p M M e e d d i i a a v v

e e r r t t . . 3 3 1 1 p p G G a a u u s s s s i i a a n n

a a 6 6 1 1 x x 1 1 G G a a u u s s s s i i a a n n

a a 1 1 x x 6 6 1 1

(33)

P

3.2.1. Operadores de suavizado.

••

Resultados

de la comparación:

–

– PaPara ra conconsegseguiuir un mir un mismo smo ““

grado de suavizado

” l” laa máscara gaussiana de

máscara gaussiana debe ser de be ser de mayor tamaño.mayor tamaño. 

 Se puede tomar comSe puede tomar como medida lao medida la

varianza

de lade la máscara correspondiente.

máscara correspondiente. –

– El efecto del suavizadEl efecto del suavizado o gaussiano es másgaussiano es más

natural

(más(más similar a un desenfoque) que la media.

similar a un desenfoque) que la media. 

 Suele ser más habitual en procesamSuele ser más habitual en procesamiento y análisisiento y análisis de imágenes.

de imágenes. –

– Ambos filtros sonAmbos filtros son

separables.



(34)

3.2.1. Operadores de suavizado.

••

Ejemplo 1.

Protección de testigos.

••

Ejemplo 2.

Resaltar objetos de interés.

Se aplica un Se aplica un

suavizado pero sólo suavizado pero sólo en cierta región de en cierta región de

interés (

ROI

), en), en este caso elíptica. este caso elíptica.

Se suaviza el fondo Se suaviza el fondo para destacar al para destacar al personaje, simulando personaje, simulando un desenfoque. un desenfoque. ¿Cómo encontrar la ¿Cómo encontrar la posición de la cara posición de la cara automáticamente? automáticamente?

(35)

P

3.2.1. Operadores de suavizado.

••

Ejemplo 3.

Sombra difusa.

Añadir a una imagen

A

una etiqueta de tuna etiqueta de textoexto

B

, con un, con un efecto de sombra difuminada.

efecto de sombra difuminada.

D

U

B

Umbralizar B, con nivel 10 Umbralizar B, con nivel 10

S

Suavizado gaussiano de Suavizado gaussiano de 15x15, de U 15x15, de U Desplazar S en 7 píxeles Desplazar S en 7 píxeles en X e Y, y dividir por 2 en X e Y, y dividir por 2 Sumar U y D Sumar U y D

M

(36)

3.2.1. Operadores de suavizado.

R

A

B

Multiplicar

Multiplicar A por M, A por M, enen posición (x posición (x₀₀, y, y₀₀)) Sumar T y B, en posición Sumar T y B, en posición (x (x₀₀, y, y₀₀))

M

T

(37)

P

3.2.2. Operadores de bordes.

••

Perfilado

y

detección de bordes

están relacionados

con el suavizado:

–

Suavizado

: : reducir las variaciones en reducir las variaciones en la imagen.la imagen. –

–

Perfilado

: aumentar las variaciones en la im: aumentar las variaciones en la imagen.agen.

–

Bordes

: encontrar las zonas de : encontrar las zonas de variación.variación.

V V a a l l o o r r d d e e p p í í x x e e l l 0 0 116600 320320 448800 664400 0 0 2 2 5 5 5 5 1 1 2 2 8 8 6 6 4 4 1 1 9 9 2 2 X X Perfil de la img. Perfil de la img. Suavizado Suavizado Perfilado Perfilado Bordes Bordes Perfil de una fila de una imagen

(38)

3.2.2. Operadores de bordes.

••

Matem

Matemáticamente,

áticamente, la variación de una f

la variación de una función

unción

f(x)

cualquiera viene dada por la

derivada

de esa función:

–

– f’(f’(x) > 0 : funx) > 0 : funcición ón crcreciecientente en Xe en X –

– f’(f’(x) < 0 : funcix) < 0 : función ón decdecrecrecieniente te en Xen X –

– f’(f’(x) = 0 : fx) = 0 : funcunción ión uniuniforforme me en Xen X

••

En nuestro caso, tenemos

funciones discretas

. La

“derivada discreta”

se obtiene calculando dif

se obtiene calculando diferencias.

erencias.

-1 -1 11 0 0 2 2 5 5 5 5 1 1 2 2 8 8 6 6 4 4 1 1 9 9 2 2 V V a a l l o o r r d d e e p p í í x x e e l l f’(x) = Δf’(x) = Δf/ f/ Δ Δxx Δ Δff Δ Δxx Δ Δx = x = 11 Δ Δf = f(x)-f(x-1)f = f(x)-f(x-1) f’(x) = f’(x) = f(f(xx) -) - f(f(xx-1-1)) f(x) f(x) f’(x)

f’(x) ••

Conclusión

_{calculará con máscaras del}_{calculará con máscaras del}: la derivada se: la derivada se

tipo: tipo:

(39)

P

3.2.2. Operadores de bordes.

Máscara de

derivada en X (M)

::

-1 -1 11

Derivada

en Y

::

-1 -1 1 1

Derivadas en

diagonales

::

-1 -1 00 0 0 11 0 0 -1-1 1 1 00

••

Ej

Ejem

emplo

plo.. De

Deri

riva

vada en X.

da en X.

R:= M



A

I I m m a a

g g e e n n d d e e e e n n t t r r a a d d a a D D e e r r i i v v a a d d a a e e n n X X ( ( 2 x x 2 ) )

A

R

[0..255]-[0..255]= [0..255]-[0..255]= [-255..255] [-255..255]

(40)

3.2.2. Operadores de bordes.

•• Los bordes decrecientes se saturan a 0...Los bordes decrecientes se saturan a 0...

•• Podemos sumar 128 para apreciar mejor el resultado:Podemos sumar 128 para apreciar mejor el resultado:

–

– Gris (128): diferencia 0Gris (128): diferencia 0 –

– Negro: decrecienteNegro: decreciente –

– Blanco: crecienteBlanco: creciente

D D e e r r i i v a v a d d a a X X ( ( + + 1 1 2 2 8 8 ) ) D D e e r r i i v v a a d d a a Y Y ( ( + + 1 1 2 2 8 8 ) )

R

_xx

R

_yy

•• Se Se prprododucuce ue unna ea espspececie ie dde “e “

bajorrelieve

” (” (emboss emboss ), que), que puede usarse en efect

(41)

P

3.2.2. Operadores de bordes.

•• Los operadoLos operadores de bordes son mres de bordes son muyuy

sensibles al ruido

..

•• Es posible (y adecuado)Es posible (y adecuado)

combinar

los operadores delos operadores de

bordes

concon

suavizados

..



₌₌ 1 1 22 11 2 2 44 22 1 1 22 11 -1 -1 11 1 1 11 --11 --11 2 2 22 --22 --22 1 1 11 --11 --11 D D e e r r i i v a v a d d a a X X ( ( + + 1 1 2 2 8 8 ) )

R

_xx R’R’_xx S S u u a a v v i i z z . . + + D D e e r r i i v v . . X X

(42)

3.2.2. Operadores de bordes.

••

Existen algunos

operadores

de bordes

estándar

..

••

Filtros de Prewitt:

--11 00 11 --11 00 11 --11 00 11 --11 --11 --11 0 0 00 00 1 1 11 11

••

Filtros de Scharr:

Filtro de Filtro de Scharr 3x3, Scharr 3x3, derivada en X derivada en X Filtro de Filtro de Scharr 3x3, Scharr 3x3, derivada en Y derivada en Y Filtro de Filtro de Prewitt 3x3, Prewitt 3x3, derivada en X derivada en X Filtro de Filtro de Prewitt 3x3, Prewitt 3x3, derivada en Y derivada en Y --33 00 33 --1100 00 1100 --33 00 33 --33 --1100 --33 0 0 00 00 3 3 1100 33

(43)

P

3.2.2. Operadores de bordes.

••

Filtros de Sobel:

se construyen usando la derivada

de la gaussiana.

--11 00 11 --22 00 22 --11 00 11 --11 --22 --11 0 0 00 00 1 1 22 11 Filtro de Filtro de Sobel 3x3, Sobel 3x3, derivada en X derivada en X Filtro de Filtro de Sobel 3x3, Sobel 3x3, derivada en Y derivada en Y

••

Ademá

Además, el f

s, el filtro de Sobel permite calcular derivadas

iltro de Sobel permite calcular derivadas

conjuntas en X e Y, derivadas segundas, terceras, etc.

••

Ejemplo.

Derivada segunda en X.

(44)

3.2.2. Operadores de bordes.

••

Ejemplos.

I I m m a a

g g e e n n d d e e e e n n t t d r r a a d a a P P r r e e w w i i t t t t Y Y ( ( 3 3 x x 3 3 ) ) S S o o b b e e l l Y Y ( ( 3 3 x x 3 3 ) ) S S o o b b e e l l 2 2 ª ª d d e e r r i i v v . . Y Y

(45)

P

3.2.2. Operadores de bordes.

••

Realmente, en dos o más dimensiones, en lugar de la

derivada tiene más sentido el concepto de

gradiente

..

••

¿Qué es el gradiente?



Repasar cálculo...

••

El gradiente

indica la dirección de máxima variación

de una función (en 2D, la máxima pendiente).

(46)

3.2.2. Operadores de bordes.

••

El

gradiente

en un punto es un vector (u, v):

–

Ángulo:

dirección de mdirección de máxima variación.áxima variación. –

–

Magnitud:

intensidad de la variación.intensidad de la variación. (u, v) (u, v)

••

El

gradiente

está relacionado con las

derivadas

::

–

– u = Derivada en X del puntou = Derivada en X del punto

–

– v = Derivada en Y del puntov = Derivada en Y del punto

–

– Teniendo dy y dx, ¿cuánto vale el ángulo y la magnitud?Teniendo dy y dx, ¿cuánto vale el ángulo y la magnitud? dx

dx dy

(47)

P

3.2.2. Operadores de bordes.

••

Cálculo del gradiente:

–

– CalcularCalcular

derivada en X: Dx

(por ejemplo, con un filtro(por ejemplo, con un filtro de Sobel, Prewitt,...)

de Sobel, Prewitt,...) –

– CalcularCalcular

derivada en Y: Dy

–

Magnitud

del del gradiente: gradiente: DxDx22 _{+ Dy}_{+ Dy}22

–

Ángulo

del gradiente: atan2 (Dy, Dx)del gradiente: atan2 (Dy, Dx)

Valor absoluto de Valor absoluto de derivada en X derivada en X (Sobel de 3x3) (Sobel de 3x3) Valor absoluto de Valor absoluto de derivada en Y derivada en Y (Sobel de 3x3)

(48)

3.2.2. Operadores de bordes.

••

El gradiente da lugar al concepto de

borde

..

••

Un

borde

en una imagen es una curva a lo largo de la

cual el gradiente es máximo.

El borde es El borde es perpendicular a perpendicular a la dirección del la dirección del gradiente. gradiente.

(49)

P

3.2.2. Operadores de bordes.

•• Los bordes de una escena sonLos bordes de una escena son

invariantes a cambios

dede luminosidad, col

luminosidad, color de la or de la fuente de luz, etc.fuente de luz, etc.  EnEn

análisis

de imágenes

(50)

3.2.2. Operadores de bordes.

••

Otras formas de calcular los bordes:

1.

1. CalCalcular lcular la deriva derivada en diferada en diferentes dentes direcciirecciones: ones: DD₁₁, D, D₂₂, D, D₃₃, D, D₄₄.. 2.

2. Para Para cada puncada punto, la magnito, la magnitud dtud del gradiel gradiente es la deente es la derivarivada deda de máximo valor absoluto:

máximo valor absoluto: G(x,y):= max {|D

G(x,y):= max {|D₁₁(x,y)|, |D(x,y)|, |D₂₂(x,y)|, |D(x,y)|, |D₃₃(x,y)|, |D(x,y)|, |D₄₄(x,y)|}(x,y)|} 3.

3. La direLa dirección cción del graddel gradiente viiente viene dadene dada por el ángulo qua por el ángulo que hae ha producido el máximo:

producido el máximo: A(x,y):= argmax {|D

A(x,y):= argmax {|D₁₁(x,y)|, |D(x,y)|, |D₂₂(x,y)|, |D(x,y)|, |D₃₃(x,y)|, |D(x,y)|, |D₄₄(x,y)|}(x,y)|}

--11 00 11 --11 00 11 --11 00 11 --11 --11 --11 0 0 00 00 1 1 11 11 --11 --11 00 --11 00 11 0 0 11 11 0 0 11 11 --11 00 11 --11 --11 00 D

(51)

P

3.2.2. Operadores de bordes.

•• Otra forma más sencilla (aproximada) es usar Otra forma más sencilla (aproximada) es usar máscaras demáscaras de convolución adecuad

convolución adecuadas, por as, por ejemplo deejemplo de

Laplace

..

•• LaLa

función de Laplace

es la segunda derivada de laes la segunda derivada de la gaussiana. gaussiana.

Másc. Gaussiana

Operador de Operador de suavizado suavizado

f(x) = e

-x-x22 /s /s22

df(x)/dx

Másc. Sobel

Operador de Operador de derivación derivación

Másc. Laplaciana

Operador de Operador de gradiente gradiente

d

22

_f(x)/dx

22

(52)

3.2.2. Operadores de bordes.

••

La máscara

laplaciana

se define usando la función de

Laplace.

••

Ejemplos de

máscaras de Laplace

..

0 0 11 00 1 1 -4-4 11 0 0 11 00 --11 --11 --11 --11 88 --11 --11 --11 --11 “Diferencia entre el “Diferencia entre el píxel central y la píxel central y la media de sus media de sus vecinos...” vecinos...” I I m m a a

g g e e n n d d e e e e n n t t r r a a d d a a L L a a p p l l a a c c i i a a n n

a a 2 2 ( ( 3 3 x x 3 3 ) )

(53)

P

3.2.2. Operadores de bordes.

••

Detector de bordes de Canny

::

–

– No sólo usa convoluciones (operadorNo sólo usa convoluciones (operadores es de gradiente), sinode gradiente), sino que busca el

que busca el

máximo gradiente

a lo largo de un borde.a lo largo de un borde. –

– El resultado es unaEl resultado es una

imagen binaria

(borde/no borde),(borde/no borde), ajustable mediante un umbral.

(54)

3.2.3. Operadores de perfilado.

••

Perfilado:

destacar y hacer mdestacar y hacer más visibles las variaciones yás visibles las variaciones y bordes de la im

bordes de la imagen. Es lo contrario al suavizado.agen. Es lo contrario al suavizado.

•• Permite eliminar la apariencia borrosa de las imágenes,Permite eliminar la apariencia borrosa de las imágenes, debida a imperfecciones en las lentes.

debida a imperfecciones en las lentes.

(55)

P

3.2.3. Operadores de perfilado.

••

El perfilado se puede conseguir sumando a la imagen

original

, la

laplaciana

ponderada por cierto factor.

••

Lo cual equivale a usar una máscara de convolución

adecuada:

--11 --11 --11 --11 88 --11 --11 --11 --11 0 0 00 00 0 0 11 00 0 0 00 00

+

=

--11 --11 --11 --11 99 --11 --11 --11 --11 0 0 --11 00 --11 44 --11 0 0 --11 00 0 0 00 00 0 0 11 00 0 0 00 00

+

=

0 0 --aa 00 --aa 44aa++11 --aa 0 0 --aa 00

a·

Laplaciana

Laplaciana IdentidadIdentidad PerfiladoPerfilado

••

Más o menos perfilado dando distintos pesos,

aa

..

1·

Ojo

: la f: la función cvLaplace usa máscarasunción cvLaplace usa máscaras

(56)

3.2.3. Operadores de perfilado.

••

Ejemplos.

Variando pesos y tamaño de la laplaciana.

I I m m a a

g g e e n n d d e e e e n n t t r r a a d d a a P P e e r r f f i i l l a a d d o o 3 3 3 3 % % , , 3 3 x x 3 3 P P e e r r f f i i l l a a d d o o 6 6 0 0 % % , , 1 1 x x 1 1 e e r r f f i i l l a a d d o o 1 1 5 5 % % , , 7 7 x x 7 7

(57)

P

3.2.3. Operadores de perfilado.

••

Cuidado con el perfilado.

La operación de perfiladoLa operación de perfilado aumenta el nivel de ruido de la

aumenta el nivel de ruido de la imagen.imagen.

I I m m a a

g g e e n n c c o o n n r r u u i i d d o o p p o o r r i i n n t t e e r r f f e e r r e e

n n c c i i a a s s

T T V V P P e e r r f f i i l l a a d d o o 3 3 3 3 % % , , 3 3 x x 3 3 I I m m a a

g g e e n n c c o o n n r r u u i i d d o o p p o o r r c c o o m m p p r r e e s s i i ó ó n n J J P P E E G G P P e e r r f f i i l l a a d d o o 6 6 0 0 % % , , 3 3 x x 3 3

(58)

3.2. Suaviza

3.2. Suavizado,

do, perfilado y

perfilado y bordes.

bordes.

Conclusiones:

•• LasLas

convoluciones

son una herramienta fundamental enson una herramienta fundamental en procesamiento de imágenes.

procesamiento de imágenes.

–

Una misma base común

: combinaciones lineales de una: combinaciones lineales de una vecindad local de los píxeles (de cierto

vecindad local de los píxeles (de cierto tamaño).tamaño). –

–

Diversos usos

: según los valores de los coeficientes:: según los valores de los coeficientes: suavizado, eliminación de ruido, bordes, perfilado, etc. suavizado, eliminación de ruido, bordes, perfilado, etc.

•• Se pueden definirSe pueden definir

operaciones similares

sobresobre

vídeo

(usando la dimensión temporal, por ejemplo, suavizado a lo (usando la dimensión temporal, por ejemplo, suavizado a lo largo del tiempo), y sobre

largo del tiempo), y sobre

audio digital

(por ejemplo,(por ejemplo, suavizado de la señal o introducción de eco).

suavizado de la señal o introducción de eco).

•• Es importante conocer elEs importante conocer el

significado matemático

de losde los procesos aplicados (derivad

(59)

P

3.3. Filtros no li

3.3. Filtros no lineales.

neales.

••

Recordatorio:

las transformaciones locales son

funciones del tipo:

R(x,y):= f(A(x-k,y-k), ..., A(x,y), ..., A(x+k,y+k))

••

En las convoluciones,

ff

es una

combinación lineal

cualquiera. Pero...

••

También puede ser interesante usar otras

funciones

no lineales

..

••

Ejemplo

, media geométrica.

R(x,y):= A(x-1,y-1)·A(x,y-1)·A(x-1,y)·A(x,y)

44

(60)

3.3. Filtros no li

3.3. Filtros no lineales.

neales.

••

Ejemplo.

Media geométrica de 5x5.

••

Aunque existen muchas (en teoría infinitas) posibles

transformacion

transformaciones no lineales, en la

es no lineales, en la práctica no todas

práctica no todas

son útiles e

son útiles e interesante

interesantes.

s.

••

Las que más se usan son:

máximo

,,

mínimo

y

... muy parecido a la ... muy parecido a la media aritmética... media aritmética...

(61)

P

3.3. Filtros no li

3.3. Filtros no lineales.

neales.

••

Filtro de Máximo:

R(x

R(x,y):= m,y):= max {A(x-k,y-k), ..., Aax {A(x-k,y-k), ..., A(x,y)(x,y), , ..., A(x+k,y+k)}..., A(x+k,y+k)} donde

donde

kk

es el radio, el tamaño (oes el radio, el tamaño (o apertura apertura ) es) es

2k+1

I I m m a a

g g e e n n d d e e e e n n t t r r a a d d a a M M á á x x i i m m o o

, , t t a a m m a a ñ ñ o o 3 3 M M á á x x . . , , t t a a m m a a ñ ñ o o 6 6 M M á á x x . . , , t t a a m m a a ñ ñ o o 1 1 2 2

(62)

3.3. Filtros no li

3.3. Filtros no lineales.

neales.

•• El resultado es un cierto efecto deEl resultado es un cierto efecto de

difuminación

yy

aclaramiento

de la imde la imagen. Desapagen. Desaparecen los detalles másarecen los detalles más oscuros.

oscuros.

•• Si elSi el

tamaño es grande

, pueden ocurrir dos efectos:, pueden ocurrir dos efectos:

1. 1. Ef

Efec

ecto

to de

de cu

cuad

adri

ricu

cula

lado

do..

Como el máximo se aplica en Como el máximo se aplica en una zona cuadrada, los píxeles una zona cuadrada, los píxeles muy claros

muy claros generan generan unun

cuadrado uniforme alrededor. cuadrado uniforme alrededor.

2. 2. A

Apa

paric

rición

ión de

de co

color

lores

es fa

fals

lsos

os..

Al aplicarlo en los tres canales Al aplicarlo en los tres canales (R,G,B) independientemente, (R,G,B) independientemente, el máximo en los 3 puede el máximo en los 3 puede nono corresponder a un color

(63)

P

3.3. Filtros no li

3.3. Filtros no lineales.

neales.

••

Filtro de Mínimo:

R(x

R(x,y):= m,y):= min {A(x-k,y-k), ...in {A(x-k,y-k), ..., A(x,y), ..., A(x+k,y+k)}, A(x,y), ..., A(x+k,y+k)} donde

donde

kk

es el radio, el tamaño (oes el radio, el tamaño (o apertura apertura ) es) es

2k+1

I I m m a a

g g e e n n d d e e e e n n t t r r a a d d a a M M í í n n i i m m o o

, , t t a a m m a a ñ ñ o o 3 3 M M í í n n . . , , t t a a m m a a ñ ñ o o 6 6 M M í í n n . . , , t t a a m m a a ñ ñ o o 1 1 2 2

(64)

3.3. Filtros no li

3.3. Filtros no lineales.

neales.

•• El efecto esEl efecto es

parecido

al máximo, pero tal máximo, pero tomando los valoresomando los valores menores (los más oscuros).

menores (los más oscuros).

Máximo Máximo Mínimo Mínimo ••

Ideas:

–

– Para evitar elPara evitar el

efecto de cuadriculado

se podría aplicarse podría aplicar el máximo/mínimo a una

el máximo/mínimo a una zona circularzona circular.. –

– Para evitar la aparición dePara evitar la aparición de

colores falsos

se podríase podría tomar el máximo de las sumas de R+G+B.

(65)

P

3.3. Filtros no li

3.3. Filtros no lineales.

neales.

•• Otro filtro relacionadOtro filtro relacionado es el o es el de lade la

mediana

..

••

La mediana

dede

m

números es un númeronúmeros es un número

p

tal quetal que



m

/2 /2



de esos números son

de esos números son ≤≤

p

, y otros, y otros



m

/2 /2



son ≥son ≥

p

..

R(x,y):= mediana {A(x-k,y-k), ..., A(x,y), ..., A(x+k,y+k)}

I I m m a a

g g e e n n d d e e e e n n t t r r a a d d a a M M e e d d i i a a n n

a a 3 3 x x 3 3 M M e e d d i i a a n n

a a 1 1 2 2 x x 1 1 2 2

(66)

3.3. Filtros no li

3.3. Filtros no lineales.

neales.

•• La mediana produce un efecto deLa mediana produce un efecto de

suavizado

, aunque más, aunque más

“abrupto” en los bordes que la media y el suavizado gaussiano. “abrupto” en los bordes que la media y el suavizado gaussiano.

eliminación de ruido

Mediana Mediana Mediana Mediana Suavizado Suavizado gaussiano gaussiano

(67)

P

3.3. Filtros no li

3.3. Filtros no lineales.

neales.

••

Ejemplo.

El ruido denominado “sal y pimienta” es

producido por picos de perturbació

producido por picos de perturbación, positivos

n, positivos o

o

negativos. Puede deberse a un canal ruidoso.

(68)

3.3. Filtros no li

3.3. Filtros no lineales.

neales.

•• Se puede intentar eliminar (o reducir) el ruido con un filtroSe puede intentar eliminar (o reducir) el ruido con un filtro gaussiano o con una mediana.

gaussiano o con una mediana.

M M e e d d i i a a n n

a a 3 3 x x 3 3 F F i i l l t t r r o o g g a a u u s s s s i i a a n n

o o

(69)

P

3.3. Filtros no li

3.3. Filtros no lineales.

neales.

•• Se puede intentar eliminar (o reducir) el Se puede intentar eliminar (o reducir) el ruido con un filtroruido con un filtro gaussiano o con una mediana.

gaussiano o con una mediana.

a a 3 3 x x 3 3 F F i i l l t t r r o o g g a a u u s s s s i i a a n n

o o El ruido se El ruido se difumina, pero no difumina, pero no llllega ega a desaparecera desaparecer