Seguimiento de Trayectorias empleando Control Visual 2D basado en Flujo de Movimiento

Departamento de Física, Ingeniería de Sistemas y Teoría de la Señal Grupo de Automática, Robótica y Visión Artificial

Jorge Pomares Baeza Fernando Torres Medina

Grupo de Automática, Robótica y Visión Artificial

Seguimiento de Trayectorias

empleando Control Visual 2D

basado en Flujo de Movimiento

Indice

Trabajos anteriores.

Problema a resolver.

Control Visual Basado en Imagen.

Seguimiento de trayectorias empleando control visual.

Control visual 2D basado en flujo de movimiento.

!

Generación del flujo de movimiento.

!

Control visual 2D basado en flujo de movimiento.

!

Resultados.

Trabajos anteriores

Control visual directo:

Trabajos anteriores

Control visual directo:

v1 v2 v_{3 v} 4 v1 v2 v_{3 v} 4

Trabajos anteriores

Control visual directo.

( ) ( )

n y n

x_i , _i xˆi

( ) ( )

n ,yˆi n

Control visual basado en imagen:

Trabajos anteriores

Control visual directo.

Control visual basado en imagen:

! Predicción de movimiento.

Problema a resolver

Desensamblado automático:

! Base de conocimiento.

! Modelado del entorno.

! Generación de movimientos.

Modelado

Planificador

de secuencia Generador de movimientos

Base de conocimiento Planificador global Componente a desensamblar Sistema de visión artificial

Problema a resolver

Desensamblado automático:

! Base de conocimiento.

! Modelado del entorno.

! Generación de movimientos.

Modelado

Planificador

de secuencia Generador de movimientos

Base de conocimiento Simulación Planificador global Componente a desensamblar Sistema de visión artificial Trayectorias a priori. Control de trayectorias Visión artificial. Control de la interacción. Control de fuerza. Fusión

Control visual basado en imagen

Control visual basado en imagen:

! La información visual es utilizada directamente para estimar el movimiento del robot.

! No requiere “interpretar” la imagen.

Control visual basado en imagen:

! Empleado en aplicaciones punto a punto.

! Buen comportamiento cuando las características actuales y las deseadas se encuentran cercanas .

! No es posible especificar la trayectoria del robot en el espacio 3D.

Seguimiento de Trayectorias dependientes del tiempo.

Seguimiento de Trayectorias

1_f 2_f 3_f 4_{f 5f 6} f 7_f 8_f 9_f t₁ t₂ t₃ t₄ t₅ t6 t₇ t₈ t₉ ! Definición de f_d(t). ! f_d y if deben estar lo “suficientemente cerca”. ! Mantener las restricciones

temporales es excesivamente restrictivo. " No garantiza buen seguimiento. " Puede no seguir la trayectoria a costa de mantener las restricciones temporales.

Propiedades:

! La tarea se especifica en el espacio de configuraciones de la imagen. ! Codificación independiente del tiempo.

! Permite controlar la trayectoria durante la tarea. ! Precisión y velocidad de seguimiento ajustable.

! Aprovecha el buen comportamiento de los c.v. 2D cuando las

características deseadas se encuentran cercanas.

! Extensión a trayectorias respecto a objetos en movimiento.

C.V. 2D basado Flujo Movimiento

Generación del flujo de movimiento.

! 1. Obtención de la Trayectoria deseada en la imagen Trayectoria 3D deseada Muestras en el espacio cartesiano 3D Características deseada en la imagen, k_f i f₁ f₂ f₃ f₄ Muestreo Interpolador spline Proyección Evolución deseada en la imagen, f_di(τ) f :Γ → ℑ

C.V. 2D basado Flujo Movimiento

Generación del flujo de movimiento.

! 2. Definición Φ: ℑ → Tℑ E(f, τ)=(E_x,E_y) E_x=(fx(τ)-f_xd(τ)) E_y=(fy(τ)-f_yd(τ)) U:ℜ_n → ℜ

( )

( )

( )

_{( )}

                  ∂ ∂ ∂ ∂ ⋅ −                 ∂ ∂ ∂ ∂ ⋅ = Φ 1 1τ τ τ τ y x 2 yd xd 1 f f G f f G U U f f Flujo de movimiento

C.V. 2D basado Flujo Movimiento

Generación del flujo de movimiento.

! 2. Definición

" Si f evoluciona en la dirección → E no varía. " Al aplicar el campo de velocidad se cumple que: " Evolución del error, E:

( )

τ d f& Φ ⋅ = β f&

( )

            ∂ ∂ ∂ ∂ ⋅ ⋅ − = y x 2 f f G U U f E& β Convergencia cuando E_x=E_y=0 f → fd

C.V. 2D basado Flujo Movimiento

Generación del flujo de

movimiento.

! 3. Funciones G₁ y G₂.

" G₁ controla la velocidad de

progresión de la trayectoria deseada en la imagen.

" G₂ controla la “influencia” del

gradiente sobre la trayectoria

(

)

_{= −}

₍

₍

_{( )}

₎

₎

( ( )

_∫

)−

( )

₋ − δ δ ν / τ , 0 1 1 1 1 , , / τ , 1 1 , , f E f E f U U a b t t dt b a G a b

(

)

₌

₍

₍

_{( )}

₎

₎

( ( )

_∫

)−

( )

₋ − δ δ ν / τ , 0 1 1 2 1 , , / τ , 1 , , f E f E f U U a b t t dt b a G a b ( ) ( ) ( ) _{( )}                 ∂ ∂ ∂ ∂ ⋅ −                 ∂ ∂ ∂ ∂ ⋅ = Φ 1 1τ τ τ τ y x 2 yd xd 1 E E G f f G U U f f Si U(E(f,τ)>δ → G₁=0 a = 0,5 b = 4 a = 2 b = 4 a = 4 b = 4 a = 2 b = 0,5 Peso G₂ U(E)/δ

C.V. 2D basado Flujo Movimiento

Generación del flujo de movimiento.

! 4. Función de Potencial, U(E).

" Ejemplo: 1_f 2_f 3_f 4_f 5_f 6_f 7_f 8_f 9_f

C.V. 2D basado Flujo Movimiento

Generación del flujo de movimiento.

! 4. Función de Potencial, U(E).

C.V. 2D basado Flujo Movimiento

Generación del flujo de movimiento.

! 4. Función de Potencial, U(E).

C.V. 2D basado Flujo Movimiento

Generación del flujo de movimiento.

! 4. Función de Potencial, U(E).

" Ejemplo:

C.V. 2D basado Flujo Movimiento

Generación del flujo de movimiento.

! 5. Gradiente y flujo de movimiento.

" Ejemplo: j ir− ∂ r ∂ − = ∇ − U U U Flujo de movimiento

C.V. 2D basado Flujo Movimiento

Se pretende determinar la acción de control de forma que se anule progresivamente la siguiente función de error (función de tarea):

( )

τ

+

(

( )

τ

_d

( )

τ

)

f

ˆ

,

f

r,

f

r

e

= J

−

t ∂ ∂ +       ∂ ∂ = v e r e e& C

A partir de la definición de función de tarea (τ=t):

e

e

&

= k

−

⋅

Se desea que el error decrezca de manera exponencial:

Con lo que se obtiene la siguiente expresión para la velocidad de la cámara:

      ∂ ∂ − −       ∂ ∂ = + t e e r e vC ˆ k ˆ

es una estimación del movimiento del objeto en la imagen t ∂ ∂eˆ

( )

0 ˆ f 2 + f ⋅ _⋅Φ ≤      ∂ ∂ ⋅ ⋅ − = ∂ ∂ β β U J J i E G f r e

( )

0 2 y 2 x 2 ≤                 ∂ ∂ +       ∂ ∂ ⋅ ⋅ − = f f G f U U E& β

( )

ˆ 0 ˆ ˆ _f 2 + f ⋅ _Φ ≤      ∂ ∂ ⋅ − = ∂ ∂ U J J f f r e G

C.V. 2D basado Flujo Movimiento

A partir de la velocidad aplicada:

      ∂ ∂ − −       ∂ ∂ = + t e e r e vC ˆ k ˆ t t ∂ ∂ +       ∂ ∂ − −       ∂ ∂       ∂ ∂ = + e e e r e r e e& ˆ k ˆ 0 ˆ ≥       ∂ ∂       ∂ ∂ + r e r e

El comportamiento de la función de tarea vendrá dado por:

Para asegurarse el decrecimiento de la función de error deberá cumplirse:

0

C.V. 2D basado Flujo Movimiento

Comportamiento de la función de tarea:

t t ∂ ∂ +       ∂ ∂ − −       ∂ ∂       ∂ ∂ = + e e e r e r e e& ˆ k ˆ

Estimación basada en Filtros de Kalman

( ) ( )

( ) ( )

b b

a a

m( f , f&) =η fd τ − f τ +η f&d τ − f& τ

U

Función de potencial modificada:

) , ( ) , ( ) , ( _{m m}

m f f& fU f f& f&U f f&

V =−∇ −∇ f f f f f f _∂ ∂ = ∇ ( , ) m( , ) m & & U U f f f f f f & & & & ∂ ∂ = ∇ ( , ) m( , ) m U U

C.V. 2D basado Flujo Movimiento

Resultados. Simulación.

f₁ f₂ f₃ f₄

Visual Servoing Toolbox:

C.V. 2D basado Flujo Movimiento

Resultados. Simulación.

f₁ f₂ f₃ f₄

C.V. 2D basado Flujo Movimiento

Resultados. Simulación.

f₁ f₂ f₃ f₄

C.V. 2D basado Flujo Movimiento

Resultados. Simulación.

f₁ f₂ f₃ f₄

C.V. 2D basado Flujo Movimiento

Resultados. Simulación.

f₁ f₂ f₃ f₄

C.V. 2D basado Flujo Movimiento

Resultados. Simulación.

f₁ f₂ f₃ f₄

C.V. 2D basado Flujo Movimiento

Resultados. Simulación.

f₁ f₂ f₃ f₄

C.V. 2D basado Flujo Movimiento

Resultados. Simulación.

f₁ f₂ f₃ f₄

C.V. 2D basado Flujo Movimiento

Resultados. Simulación.

f₁ f₂ f₃ f₄

C.V. 2D basado Flujo Movimiento

Resultados. Simulación.

f₁ f₂ f₃ f₄

C.V. 2D basado Flujo Movimiento

Resultados. Simulación.

C.V. 2D basado Flujo Movimiento

Resultados. Trayectoria real.

! Entorno de pruebas.

Robot

Mitsubishi PA-10

C.V. 2D basado Flujo Movimiento

Resultados. Trayectoria real.

! Trayectoria 1.

C.V. 2D basado Flujo Movimiento

Resultados. Trayectoria real.

! Trayectoria 1.

C.V. 2D basado Flujo Movimiento

Resultados. Trayectoria real.

C.V. 2D basado Flujo Movimiento

Resultados. Trayectoria real.

C.V. 2D basado Flujo Movimiento

Resultados. Trayectoria real.

! Trayectoria 2. f₁ f₂ f₃ f₄ f₁ f₂

C.V. 2D basado Flujo Movimiento

Resultados. Trayectoria real.

! Trayectoria 2. f₁ f₂ f₃ f₄ f₃ f₄

C.V. 2D basado Flujo Movimiento

Resultados. Trayectoria real.

Fusión control visual-fuerza

Características de la información visual y fuerza:

! Miden distintos fenómenos físicos pero complementarios.

Fuerza:

! Proporciona información acerca de la geometría del contacto.

! Control del movimiento determinando las fuerzas de contacto.

Visión:

! Proporciona información global del entorno.

Fusión control visual-fuerza

Características de la información visual y fuerza.

Aproximaciones para control de movimiento utilizando visión y fuerza:

Control de impedancia:

! Especifica la relación dinámica entre fuerza y movimiento. Control híbrido:

! Divide el espacio de control en:

! Direcciones controladas por fuerza.

! Direcciones controladas por visión.

Fusión control visual-fuerza

Características de la información visual y fuerza.

Aproximaciones para control de movimiento utilizando visión y fuerza.

! Control híbrido:

! Control simultáneo de distintas direcciones por visión y fuerza.

! Control alternado:

! Una dirección es controlada alternativamente por visión y fuerza.

! Control compartido:

! Control simultáneo de la misma dirección con visión y fuerza.

Fusión control visual-fuerza

Fusión control visual-fuerza

! Se dispone de n sensores, de los cuales se obtiene una señal _fi.

(

)

[ ]

(

d

)

M n 1 i id i + i 1 -i i

ˆ

ˆ

f

-

f

ˆ

ˆ

f

-

f

p

W

L

=

W

L

=

∑

=

e

! Se considera la función de error:

donde:

∑

= = n 1 i i 1 p

! Considerando la función de tarea: e& = C⋅ f& ⇒ e& = C⋅L⋅W⋅vE

e

e

&

=

−

k

! Imponiendo un decrecimiento exponencial de la función de error:

[ ]

e e -v k ˆ ˆ ˆ ˆ k 1 M E _{ ⋅ = −}      _{⋅ ⋅} ⋅ = WL L W −

! Comportamiento de la función de tarea:

[ ]

(

)

e e& = −k Wˆ Lˆ M LW ⋅ 0 ˆ ˆ n 1 i i i + i 1 -i i >

∑

= W L L W p >0 E

v

f

&

=

L

⋅

W

⋅

donde W convierte las velocidades al sistema del extremo del robot.

Fusión control visual-fuerza

!

Arquitectura globlal del sistema.

Sensor de fuerza JR3 67M25A-I40

Mesa giratoria JAI-M536

Par estéro externo EVI D-31

Mitsubishi PA10

Fusión control visual-fuerza

!

Arquitectura globlal del sistema.

!

Sistema de visión:

! Fase 1: Utilización del sistema de visión externo para obtener la localización aproximada del objeto.

! Fase 2: Funcionamiento conjunto de ambos sistemas de

Fusión control visual-fuerza

!

Arquitectura globlal del sistema.

!

Sistema de visión.

!

Sistema de fuerza. Resultados.

-60 -50 -40 -30 -20 -10 0 10 1 11 21 31 41 51 61 71 81 91 101 111 121 131 Iterations Fx Fy Fz Fuerza en N -1 -0,8 -0,6 -0,4 -0,2 0 0,2 0,4 0,6 0,8 1 1 13 25 37 49 61 73 85 97 109 121 133 Iteraciones Fuerza en N Fx Fy Fz -14 -12 -10 -8 -6 -4 -2 0 2 1 72 143 214 285 356 427 498 569 640 711 Fx Fy Fz -20 -15 -10 -5 0 5 1 79 157 235 313 391 469 547 625 703 781 Fx Fy Fz

Fusión control visual-fuerza

!

Arquitectura globlal del sistema.

!

Sistema de visión.