PERCEPCIÓN AVANZADA MASTER EN Automática, Robótica y Telemática

PERCEPCIÓN AVANZADA

Fusión Sensorial

MASTER EN Automática, Robótica y Telemática

Dr. J. RAMIRO MARTINEZ DE DIOS

• Introducción

• Clasificación

• El problema de la asociación de datos

• Fusión sin incertidumbre

• Lógica borrosa en fusión sensorial

• Técnicas estadística de fusión sensorial

Fusión Sensorial

• Objetivos:

– Explotar las sinergias entre medidas: la unión de medidas es mejor que la suma de todas ellas

– Mejorar fiabilidad: ruido, fallos de algún sensor

• Consideraciones:

– Asociación: determinar si datos de dos o más sensores provienen del mismo fenómeno – Filtrado de datos: evitar datos contradictorios

– Carga computacional: velocidad de repuesta necesaria

Fusión de información Mejora en la Percepción

Ruido Ruido

Ruido

Fusión Sensorial

Tipos de fusión sensorial:

• Complementaria

– Sensores obtienen información que se complementa – Los sensores no dependen unos de otros

– Es sencilla de implantar

• Competitiva

– Sensores proporcionan información redundante – Posibles conflictos

– Se usa en sistemas críticos

• Cooperativa

– Sensores colaboran para proporcionar información que uno sólo no podría – Obtiene medida que no podría obtener por ninguno de ellos solos

Cámaras cubren zonas muertas

Sistema estéreo y efector final

Fusión Sensorial

• Introducción

• Clasificación

• El problema de la asociación de datos

• Fusión sin incertidumbre

• Lógica borrosa en fusión sensorial

• Técnicas estadística de fusión sensorial

Fusión Sensorial

• Clasificación básica:

– Nivel de datos (nivel bajo)

– Nivel de características (nivel medio) – Nivel de decisión (nivel alto)

Fusión Sensorial

• Fusión de nivel de datos

– Se aplican sobre los datos capturados por los sensores, e.g. fusión de intensidades de píxeles

– Los datos a funcionar sean de características similares, e.g. sumables – Ventaja: fácil implantación

– Desventaja: opera sobre todos los datos, originando carga computacional

Fusión Sensorial

• Fusión de nivel de características

– Combinan características obtenidas de datos procesados

Fusión Sensorial

• Fusión de nivel decisión

– Se fusionan decisiones, e.g. decisión del tipo de objeto – Normalmente emplean técnicas probabilísticas

Feature

Feature Feature

Fusión Sensorial

Representación de la incertidumbre

– No existe incertidumbre – Empleo de lógica borrosa

– Empleo de incertidumbre estadística

• Máxima verosimilitud

• Filtros Bayesianos. Filtros de Kalman

– Empleo de incertidumbre de Dempster-Shafer

Técnicas de fusión sensorial

• Introducción

• Clasificación

• El problema de la asociación de datos

• Fusión sin incertidumbre

• Lógica borrosa en fusión sensorial

• Técnicas estadística de fusión sensorial

Fusión Sensorial

• Determinar si datos de dos o más sensores provienen del mismo fenómeno

• Paso previo a la fusión de datos

• Relativamente sencillo si los sensores están concentrados

• Muy complejo si los sensores están distribuidos:

– Mido velocidades de coches en una autopista con varios Doppler. ¿Qué medidas de los Doppler 1 y 2 son del mismo coche?

• Problema muy complejo en el caso general

• Criterios para asociación:

– Posición del fenómeno medido mediante ambos sensores – Similitud de lecturas tomadas por ambos sensores

– ...

– ¿Cómo puede aplicarse a imágenes?

Asociación de datos

Asociación de datos

Fusión de datos rectificación de imágenes

Asociación temporal:

– Algoritmos de sincronización de máquinas remotas

• NTP

– Establecimiento de etiquetas temporales

Asociación espacial:

– Asociación del mismo objeto en dos imágenes de cámaras distribuidas

Asociación de datos

Matriz de homografía

• Permite relacionar escenas planas tomadas desde puntos diferentes

• Permite alinear imágenes de escenas planas

1

2 Im

Im = H

















=

44 43

42 41

34 33

32 31

24 23

22 21

14 13

12 11

h h

h h

h h

h h

h h

h h

h h

h h

H

Asociación de datos

Matriz de Homografía

Buen ajuste

Mal ajuste Escenas planas

Asociación de datos

Matriz de Homografía

Permite asociar los píxeles y aplicar métodos de fusión de datos, por ejemplo sumando niveles de píxeles

Detección de objetos

Asociación de datos

Correspondencia Visual/IR

• Problema:

 Paso 1 de 6: Selección de las imágenes

Imagen visual de referencia Imagen de infrarrojos a corregir Sector representativo de imagen

(píxeles)

64x64 128x128 256x256 512x512

Resolución/Rango de detección

Correspondencia Visual/IR

 Paso 2 de 6: Detección de bordes para hallar la rotación

Suma cuadrática del gradiente

bidireccional

Normalización en el rango

[0,255]

Igualación de histogramas

Imagen visual Imagen de infrarrojos

Correspondencia Visual/IR

 Paso 3 de 6: Cálculo de la DFT

Visual

Elimina DC IR

Correspondencia Visual/IR

 Paso 4 de 6: Conversión a polar-semilogarítmica

Visual IR - Discretización logarítmica polar

- Interpolación bilineal

- Suavizado mediante un filtro de la mediana con máscara 5x5 - Filtro sinosoidal y ventana de

Hanning

θ

log ρ

θ

- Desplazamiento centro de masas umbralizado - SPOMF

log ρ

Correspondencia Visual/IR

Suma cuadrática del gradiente

direccional

 Paso 5 de 6: Preprocesamiento en detección de traslación

255 255 255

191

Visual

Infrarrojos

Esquema de inversiones de intensidad

Normalización en el rango

[0,255]

Igualación de histogramas Detector de bordes direccional

Correspondencia Visual/IR

 Paso 6 de 6: Cálculo SPOMF para hallar la traslación

Desplazamiento vertical

Parámetro de calidad: Comparación entre picos máximos distantes para desestimar detecciones incorrectas

Correspondencia Visual/IR

 Adquisición de imágenes

 Representación por pantalla

Estabilización conjunta Visual/IR

o Ejemplo de fusión de imágenes:

Imagen visual Imagen IR

Fusión IR/Visual

Fusión IR/Visual

Fusión mediante selección de umbral

Fusión con media sobre la visual

• Introducción

• Clasificación

• El problema de la asociación de datos

• Fusión sin incertidumbre

• Lógica borrosa en fusión sensorial

• Técnicas estadística de fusión sensorial

Fusión Sensorial

 Objetivo: medir automáticamente parámetros del incendio en tiempo real

 Fuentes de incertidumbre:

- Percepción en exteriores - Específicos de percepción de incendios

 Sensores de magnitudes heterogéneas en múltiples localizaciones

- Redundancia espacial - Redundancia de magnitudes

 Sensores:

- cámaras visuales o de infrarrojos - GPS, medidor de distancias láser

Fusión sensorial para mejorar medidas

Monitorización de Incendios

Fusión sensorial para mejorar medidas

Vista frontal Vista aérea

Vista lateral B

Vista lateral A

Fusión sensorial para mejorar medidas

 Percepción combinada: obtención indirecta de magnitudes

 Fusión sensorial: magnitudes obtenidas de varias fuentes

 Filtrado de Kalman

∑

∑

=

j jk j jk jk k

m

M ω

ω

jk2 j jk =F r ω

-- 0.67

Lateral IR 0.71

-- 0.76

Frontal IR 0.89

Altura de llama Ancho frente

Posición frente

0.24 0.67 0.22

0.53 Lateral Visual 0.58

Frontal Visual 0.51

Fusión sensorial para mejorar medidas

Probado en tiempo real pruebas de campo cada desde 1998 hasta 2006

Puntos:

evolución real

Líneas:

evolución

Fusión sensorial para mejorar medidas

1) Identificación del punto D_VF y A_VF en la imagen visual frontal 2) Proyección de A_VF sobre la imagen frontal IR mediante la expresión:

A_IR = H_IR H^-1_VF A_VF

3) Identificación de C_IR en la imagen de infrarrojos

4) Proyección de A_IR y C_IR sobre el terreno para obtener A y C empleando la expresión:

A = H^-1_IR A_IR

5) Cálculo de B como el punto medio entre A y C

6) Cálculo de B_VL como la proyección de B sobre la imagen lateral visual:

B_VL = H_VL B

terreno D

Sistemas multi-cámara. Coordenadas comunes

1) Identificación del punto D_VF y A_VF en la imagen visual frontal

2) Proyección de A_VF sobre la imagen frontal IR mediante la expresión:

A_IR = H_IR H^-1_VF A_VF

3) Identificación de C_IR en la imagen de infrarrojos

4) Proyección de A_IR y C_IR sobre el terreno para obtener A y C empleando la expresión:

A = H^-1_IR A_IR

5) Cálculo de B como el punto medio entre A y C

6) Cálculo de B_VL como la proyección de B sobre la imagen lateral visual:

B_VL = H_VL B

D

A

terreno

Sistemas multi-cámara. Coordenadas comunes

1) Identificación del punto D_VF y A_VF en la imagen visual frontal

2) Proyección de A_VF sobre la imagen frontal IR mediante la expresión:

A_IR = H_IR H^-1_VF A_VF

3) Identificación de C_IR en la imagen de infrarrojos.

4) Proyección de A_IR y C_IR sobre el terreno para obtener A y C empleando la expresión:

A = H^-1_IR A_IR

5) Cálculo de B como el punto medio entre A y C

6) Cálculo de B_VL como la proyección de B sobre la imagen lateral visual:

B_VL = H_VL B

D

A

terreno

Sistemas multi-cámara. Coordenadas comunes

1) Identificación del punto D_VF y A_VF en la imagen visual frontal

2) Proyección de A_VF sobre la imagen frontal IR mediante la expresión:

A_IR = H_IR H^-1_VF A_VF

3) Identificación de C_IR en la imagen de infrarrojos

4) Proyección de A_IR y C_IR sobre el terreno para obtener A y C empleando : A = H^-1_IR A_IR

5) Cálculo de B como el punto medio entre A y C

6) Cálculo de B_VL como la proyección de B sobre la imagen lateral visual:

B_VL = H_VL B

terreno D

Sistemas multi-cámara. Coordenadas comunes

1) Identificación del punto D_VF y A_VF en la imagen visual frontal

2) Proyección de A_VF sobre la imagen frontal IR mediante la expresión:

A_IR = H_IR H^-1_VF A_VF

3) Identificación de C_IR en la imagen de infrarrojos

4) Proyección de A_IR y C_IR sobre el terreno para obtener A y C empleando la expresión:

A = H^-1_IR A_IR

5) Cálculo de B como el punto medio entre A y C

6) Cálculo de B_VL como la proyección de B sobre la imagen lateral visual:

B_VL = H_VL B

D

A

terreno

Sistemas multi-cámara. Coordenadas comunes

1) Identificación del punto D_VF y A_VF en la imagen visual frontal

2) Proyección de A_VF sobre la imagen frontal IR mediante la expresión:

A_IR = H_IR H^-1_VF A_VF

3) Identificación de C_IR en la imagen de infrarrojos

4) Proyección de A_IR y C_IR sobre el terreno para obtener A y C empleando la expresión:

A = H^-1_IR A_IR

5) Cálculo de B como el punto medio entre A y C

6) Cálculo de B_VL como la proyección de B sobre la imagen lateral visual:

B_VL = H_VL B

D

A

terreno

Sistemas multi-cámara. Coordenadas comunes

• Introducción

• Clasificación

• El problema de la asociación de datos

• Fusión sin incertidumbre

• Lógica borrosa en fusión sensorial

• Técnicas estadística de fusión sensorial

Fusión Sensorial

• Frecuentemente se emplea en Fusión de niveles medio y alto

• Representan la información de forma deliberadamente imprecisa

• Permite recoger información de la aplicación

Sistemas borrosos

• Expresa las relaciones entre medidas mediante reglas explícitas cercanas al lenguaje natural

Reglas

– Conocimiento de expertos humanos

Ejemplo:

• Cámaras
Detecta carretera mediante proces. de imágenes

• GPS
Conoce su posición y dispone de mapa de carretera

– Funciones de pertenencia:

cámara GPS

CI CC CD MI I C D MD Giro Izq Centro Der

Sistemas borrosos

Ejemplo:

– cámara: -20 grados

– GPS: -35 grados

GPS cámara

CI CC CD

MI I C D MD

cámara es CI con valor 0.35 cámara es CC con valor 0.6

GPS es MI con valor 0.32 GPS es I con valor 0.65

Sistemas borrosos

Ejemplo:

SI (cámara es CI) O (GPS es I) ENTONCES (Giro es Izq) 0.35 O 0.65 ENTONCES (Giro es Izq)

Giro es Izq con peso 0.65

Giro Izq Centro Der

Giro Izq Centro Der Giro es Centro con peso 0.95

Otras reglas:

Sistemas borrosos

Ejemplo:

Cálculo del centroide

Giro 0.65 0.95

Gira 30 Grados a la izquierda

Sistemas borrosos

Detección de Incendios. Reducción de falsas alarmas

Tasa de Detección: 100%

90,0 % proc. infrarrojo

85,4 % análisis de oscilación

Detección de Incendios. Reducción de falsas alarmas

 Análisis de falsas alarmas

- Reflejos, objetos calientes, luces, actividades humanas

 Información a integrar:

- Análisis temporal de imágenes de infrarrojo - Análisis de imágenes visuales

- Análisis del terreno: combustible, uso, pendiente - Análisis de actividades humanas

- Índice de riesgo de incendio

 Sistema Borroso para integración de información

a) Extrem_Alt

ES lidad (FF_posibi

ENTONCES

Alta) Muy ES _humana (actividad

SI (1.0)

Alta) ES lidad (FF_posibi ENTONCES

Alta) ES (pendiente SI

(0.04)

Detección de Incendios. Reducción de falsas alarmas

• Interpretación:

– Redes de Neuronas Clásicas (BNP) – Neuronas Wavelet no binarias

• 10 neuronas 120 iteraciones • ME = 9 13 iteraciones

– Neuronas Wavelet binarias

• MME: ME=9 6 iteraciones (P_D=100% P_FA=0%)

• Al-Jaroudi: ME=9 6 iteraciones (P_D=100% P_FA=0%)

( )^



∑ − −

−

= 1 ^N = 1 ∑^N ln(1- y -f(x ))

E

Falsas alarmas Incendio

• Introducción

• Clasificación

• El problema de la asociación de datos

• Fusión sin incertidumbre

• Lógica borrosa en fusión sensorial

• Técnicas estadística de fusión sensorial

Fusión Sensorial

• Se emplea para fusionar características

• Sensores que obtienen información complementaria del fenómeno m_i es la medida del sensor i

• Supone que los sensores y medidas son estadísticamente independientes

• La medida M resulta de suma ponderada:

Las medidas con más ruido contribuyen menos a la medida global Cov²_i matriz de covarianzas de la medida del sensor i

Técnicas estadísticas. Máxima verosimilitud

( )

1

1 1

1 1

N N

i i i

i i

M Cov m Cov

−

− −

= =

 

=  



∑

∑

Ejemplo

• Sensor 1: {1,09 1,13 0,97 0,87 0,86 1,05 1,04}

• Sensor 2: {0,74 1,33 1,07 0,81 0,93 1,21 1,18}

• Supongamos ruido Gaussiano

• Varianza: σ²₁=0,0095 y σ²₂=0,0412

{1.02 1.17 0.99 0.86 0.87 1.08 1.07}

Falla si algún sensor deja de tomar medidas

Técnicas estadísticas. Máxima verosimilitud

• Se emplea para fusionar características

• Estima iterativamente el estado de un sistema a partir de medidas

• Ventajas:

– Estimador óptimo en presencia de ruido blanco Gaussiano de media 0 – Permite integrar medidas de

varios sensores

• Desventajas:

– Requiere conocimiento preciso de modelos de sistema y sensores

Técnicas estadísticas. Filtro de Kalman

– Fenómeno sigue modelo lineal:

El modelo puede ser no invariante en el tiempo: A_k, B_k, C_k

– w_k y r_k son muestras de ruido blanco Gaussiano de media nula y matriz de covarianza:

k k

k

k

Ax Bu w

x

= + +

k k

k Cx r

y = +

[

]

E Tk

k =

[ ]

E _k ^Tk =

Imprecisiones del modelo o perturbaciones Ruido en el sensor

Técnicas estadísticas. Filtro de Kalman

Fases:

– Predicción: predice estado del sistema

• Modelo de predicción

– Actualización: compara predicción con medidas y corrige

• Modelo de observación

En cada paso estima:

-

-

k

x⌢k_/ k

Pk_/ medidas

y_k Filtro

Predicción

Actualización

Técnicas estadísticas. Filtro de Kalman

• Fase de predicción:

• Fase de actualización

Predicción del estado

Matriz de covarianza de la estimación del estado k

k k k

k A x B u

x⌢ _+1/ = ⌢ _/ +

Q A

P A

P_k+1/k = _k/k ^T +

Corrección de la estimación del estado futuro

Ganancia del filtro de Kalman

[

]

k k

k k

k x L y Cx

x⌢ _{+1/ +1} = ⌢ _+1/ + _{+1 +1} − ⌢ _+1/

k k k

k k k

k P L C P

P _{+1/ +1} = _+1/ − _{+1 +1/}

[

]

/ 1 1

− +

+

+ = P C C P C + R

L_{k k k} ^T _{k k} ^T

Técnicas estadísticas. Filtro de Kalman

• La estimación del estado se realiza considerando el modelo del sistema y de los sensores

• R y Q determinan el peso relativo de cada contribución

– Si el ruido del sensor es alto
se fía más del modelo – Si el modelo es impreciso
se fía más del sensor

• Si no hay medidas, se toma el modelo para interpolar

Técnicas estadísticas. Filtro de Kalman

Modelos no lineales: Filtro de Kalman extendido (EKF)

• Modelos no lineales: linealizar

• Resto queda igual

( )

( )

( )

( )

( ( ) )

,

,

k k k

k

k k k

k

k k

k

A F x u

x

B F x u

u

C G x

x

= ∂

∂

= ∂

∂

= ∂

∂

⌢

⌢

⌢

k k

k

k

Ax Bu w

x

= + +

k k

k Cx r

y = +

( )

1

,

k k k k

x

= F x u + w

( )

k k k

y = G x + r

F o G son no lineales

Técnicas estadísticas. Filtro de Kalman

• Una red de cámaras WSN

Seguimiento de objetos con cámara motes

• Técnicas ML

( )

∑

∑

=

−

−

=

− 







=  ^N

i

i i

N

i

i X Cov

Cov X

1

1 1

1

1

Seguimiento de objetos con cámara motes

• Técnicas EKF

– Modelo dinámico del sistema

• Velocidad lineal

– Modelo de observación (no lineal)

[ ] [ ]

[ ] i[ k ]^{T k}

T k

i

T k

i T k

i k

k i

k v

X t X

t

X t X

v t X h

Z +











= 

= 1 1

1 ) 1

, (

, 3 ,

2

, 3 ,

1 ,

















∂

∂

∂

∂

∂

∂ ∂

∂

∂

∂

∂

∂

∂

∂ _{k k k}

k k

z h y

h x

h

z h y

h x

h X =

= h H

2 2

2

1 1

1

Seguimiento de objetos con cámara motes

• Técnicas EKF

Seguimiento de objetos con cámara motes

PERCEPCIÓN AVANZADA

Fusión Sensorial

MASTER EN Automática, Robótica y Telemática

Dr. J. RAMIRO MARTINEZ DE DIOS