• No se han encontrado resultados

Redes Neuronales Support Vector Regression

N/A
N/A
Protected

Academic year: 2021

Share "Redes Neuronales Support Vector Regression"

Copied!
35
0
0

Texto completo

(1)

Redes Neuronales

Support Vector Regression

Series Temporales

Series Temporales

Máster en Computación

Universitat Politècnica de Catalunya

(2)

Contenido

Introducción

Redes Neuronales: Aplicación

Support Vector Regression: Aplicación

Referencias

(3)

Redes Neuronales (I)

Las Artificial Neural Network (ANN) han sido

ampliamente usadas para predecir series

temporales

No necesita conocimiento a priori sobre la

No necesita conocimiento a priori sobre la

distribución de los datos

Simulan el funcionamiento del sistema

nervioso Modelos que simulan el proceso

de aprendizaje de las neuronas

(4)

En general, modelos:

Definición de una serie de capas

Cada capa tiene un número de nodos

relacionados con la capa anterior

Redes Neuronales (II)

relacionados con la capa anterior

La primera capa es el vector de entrada

La última capa es el vector de salida

(5)

Clasificación según tipo de aprendizaje

Aprendizaje Supervisado

Perceptrón Multicapa (MLP)

Aprendizaje no supervisado

Redes Neuronales (III)

Aprendizaje no supervisado

Redes auto-organizadas (Redes de

Kohonen)

Redes híbridas: kohonen+MLP

(6)

Redes Neuronales: MLP

1

2

1 1

Capa de entrada Capa de salida Capa intermedia 1

x

x

ˆ

1 ji

w

w

kj i k j i

x

x

ˆ

k

(7)

Entrenamiento

Cálculo de parámetros Método de

optimización (métodos de descenso de gradiente)

Redes Neuronales: MLP

k k

k

x

x

(8)

Entrenamiento

Rampa de aprendizaje: Paso en el Método del gradiente. Afecta a la rapidez con la que la red

Redes Neuronales: MLP

gradiente. Afecta a la rapidez con la que la red alcanza el mínimo.

Alto: Oscilación alrededor del mínimo o divergencia

(9)

Entrenamiento

Momento: Prevenir convergencia a mínimo local

o punto de silla.

Alto: Incrementa la velocidad de

Redes Neuronales: MLP

Alto: Incrementa la velocidad de convergencia.

Riesgo de “pasarse” el mínimo Bajo: Favorece mínimos locales

(10)

Predicción de los precios de la energía eléctrica

Enero-febrero 2001 Training set

Marzo-octubre 2001 Test set

Redes Neuronales: Aplicación

Topología de la red y funciones de transferencia: 3 capas: capa de entrada, capa intermedia y capa de salida

Determinar el número de neuronas de cada capa

(11)

Capa de entrada 24 neuronas

correspondientes a los precios de las 24 horas

Capa de salida:

Redes Neuronales: Aplicación

Capa de salida: Una única salida

24 salidas correspondientes a los precios horarios de un día entero

(12)

Capa intermedia: 24 neuronas

Función de transferencia sigmoidal

Redes Neuronales: Aplicación

(13)

Redes Neuronales: Aplicación

(14)

Redes Neuronales: Aplicación

(15)

Redes Neuronales: Aplicación

Precios Diarios (céntimos/kWh)

marzo-mayo junio-agosto septiembre-octubre Precio real 2.2588 3.5482 3.673 s. d. 0.7801 1.0597 0.518 s. d. 0.7801 1.0597 0.518 Error absoluto medio 0.3464 0.428 0.576 Máximo error horario 2.671 2.0736 2.167 Error relativo medio (%) 15 12 14

(16)

Support Vector Regression (I)

Introducidas en los 90 por Vapnik para

problemas de clasificación

pé ta lo ? A nc hu ra de l p ét al o ? ? ?

(17)

Support Vector Regression

Puntos más cercanos a la recta: vectores soporte

El margen es la distancia mínima de vectores soporte al hiperplano

Objetivo: calcular hiperplano que maximiza el margen

d

Caso separable linealmente

(18)

Support Vector Regression

Resolver un problema de optimización:

Función objetivo cuadrática Función objetivo convexa Función objetivo convexa

Un único óptimo global

)

(

)

1

(

)

(

)

)

1

(

(

u

v

f

u

f

v

f

θ

+

θ

θ

+

θ

(19)

Support Vector Regression

1

1

.

.

||

||

2

1

min

)

(

2

+

=

+

+

>

<

+

>

=<

y

b

x

w

a

s

w

b

x

w

x

h

w es una combinación lineal de los

vectores soporte ( multiplicadores de Lagrange distintos de 0)

1

1

1

1

.

.

=

+

+

>

<

+

=

+

+

>

<

i i i i

y

b

x

w

y

b

x

w

a

s

=

(20)

Support Vector Regression

1

1

.

.

||

||

2

1

min

)

(

2

+

=

+

+

>

<

+

+

>

=<

i i

y

b

x

w

a

s

C

w

b

x

w

x

h

ξ

ξ

1

1

1

1

.

.

=

+

+

>

<

+

=

+

+

>

<

i i i i i i

y

b

x

w

y

b

x

w

a

s

ξ

ξ

))

(

(

)

(

x

signo

h

x

f

=

(21)

Support Vector Regression

C nos permite regular el compromiso entre

coste y precisión Cross-Validation, algoritmos

(22)

Support Vector Regression

¿Y si queremos separadores no lineales?

(23)

Support Vector Regression

¿Qué es un kernel?

Función que realiza el producto escalar en el

espacio expandido espacio expandido

(24)

Ejemplo: kernel cuadrático

Expansión espacio:

Kernel: producto escalar en el espacio

expandido:

(25)

Más ejemplos de kernels

Lineal Espacio: Kernel: Cuadrático Espacio: Espacio: Kernel: Polinómico de grado d Kernel: Gaussiano de escala Kernel:

(26)

Support Vector Regression

>

<

=

x

x

y

x

h

SV i i i

α

)

(

SV i

)

,

(

)

(

x

y

K

x

x

h

SV i i i

=

α

(27)

Support Vector Regression

Lineal

Función de pérdida Vale 0 para los ejemplos dentro de una banda de anchura ∈

b

x

w

f

(

x

)

=<

>

+

{ ε} ε = − − − f (x) max 0, y f (x) y ε −ε = − + N i i i f y C 1 2 ) ( 2 1 min w x ε

(28)

Support Vector Regression

No lineal

Resuelve problema de optimización

b

x

w

f

(

x

)

=<

φ

(

)

>

+

b K f(x)= (α*−α)K(x,x)+b f SV i i i i + − = ∈ ) , ( ) ( ) (x α* α x x Multiplicadores de Lagrange

(29)

Support Vector Regression

x y 1.0 1.6 3.0 1.8 4.0 1.0 5.6 1.2 5.6 1.2 7.8 2.2 10.2 6.8 11.0 10.0 11.5 10.0 12.7 10.0

(30)

Support Vector Regression

x y 1.0 1.6 3.0 1.8 4.0 1.0 5.6 1.2 5.6 1.2 7.8 2.2 10.2 6.8 11.0 10.0 11.5 10.0 12.7 10.0

(31)

Support Vector Regression

1) Toolbox SVM en Matlab

http://www.isis.ecs.soton.ac.uk/resources/svminfo/

Guardar en …/matlab/toolbox/svm y añadir al path

Interfaz gráfica (sólo 1 dimensión) uiregress

2) WEKA

http://www.cs.waikato.ac.nz/ml/weka/

Classifier SVMReg

(32)
(33)

Ejercicios

Base de Datos: Demanda marzo 2001 – mayo 2001

1)

Red Neuronal MLP y SVM (kernel lineal y

RBF) con validación cruzada RBF) con validación cruzada

2)

Red Neuronal MLP y SVM (kernel lineal y

RBF) con Percentage split

MLP SVM

(34)

Ejercicios

Base de Datos: Demanda marzo 2001 – abril 2001

1) Red Neuronal MLP y SVM (lineal, cuadrático, RBF)

cuadrático, RBF)

Supplied Test set: Mayo 2001

MLP SVM

Lineal Cuadrático RBF Mayo 2001

(35)

Referencias

[1] Ian H. Witten and Eibe Frank. Data Mining: Practical Machine Learning Tools and Techniques Morgan Kaufmann, June 2005.

[2] Alicia Troncoso Lora et al. Influence of ANN-Based Market Price Forecasting Uncertainty on Optimal. (PSCC) Power System Computation Conference, 2002 [3] Alicia Troncoso Lora et al. Electricity Market Price Forecasting: Neural Networks [3] Alicia Troncoso Lora et al. Electricity Market Price Forecasting: Neural Networks

Versus Weighted-Distance k Nearest Neighbours. Lecture Notes in Computer Science, Vol. 2453, pp. 321-330, 2002

[4] Wei-Chiang Hong. Electric Load Forecasting by Support Vector Model. Applied Mathematical Modelling, Vol. 33, pp. 2444-2454, 2009.

[5] Jinxing Che, Jianzhou Wang. Short-term electricity prices forecasting based on

Referencias

Documento similar

DEL ESPACIO AMORFO O CONTINUO AL ESPACIO ESTRUCTURADO O DISCRETO Hemos hablado del espacio real o limitado, que es en el que se puede entender la cuarta dimensión del

The fluctuations of the complex amplitude, measured for a given spatial frequency as a function of wavelength (top panel), can be related to the different values of the corresponding

En el caso de tener algún alumno o alumna con alguna necesidad educativa especial (NEE), esta actividad se llevaría a cabo en parejas, para que el compañero/a le ayude.

Also, all the methods keep a subset of the training patterns as a validation set in which to test the obtained accuracy after each transformation, in order to decide when the

Busca la orientación preliminar o introducción, ayuda al docente a preparar a los estudiantes para lo que se va a enseñar. Tiene como propósito aclarar los fines dela actividad

Finite Mixture Models, Kernel Density Function, Language Recognition, Total Variability, Von Mises- Fisher..

[r]

En esta memoria, propondremos un prototipo de implementacion del protocolo W2LAN para Linux según la especificación descrita en[1], con el propósito de identificar las