Redes Neuronales
Support Vector Regression
Series Temporales
Series Temporales
Máster en Computación
Universitat Politècnica de Catalunya
Contenido
Introducción
Redes Neuronales: Aplicación
Support Vector Regression: Aplicación
Referencias
Redes Neuronales (I)
Las Artificial Neural Network (ANN) han sido
ampliamente usadas para predecir series
temporales
No necesita conocimiento a priori sobre la
No necesita conocimiento a priori sobre la
distribución de los datos
Simulan el funcionamiento del sistema
nervioso Modelos que simulan el proceso
de aprendizaje de las neuronas
En general, modelos:
Definición de una serie de capas
Cada capa tiene un número de nodos
relacionados con la capa anterior
Redes Neuronales (II)
relacionados con la capa anterior
La primera capa es el vector de entrada
La última capa es el vector de salida
Clasificación según tipo de aprendizaje
Aprendizaje Supervisado
Perceptrón Multicapa (MLP)
Aprendizaje no supervisado
Redes Neuronales (III)
Aprendizaje no supervisado
Redes auto-organizadas (Redes de
Kohonen)
Redes híbridas: kohonen+MLP
Redes Neuronales: MLP
1
2
1 1
Capa de entrada Capa de salida Capa intermedia 1
x
x
ˆ
1 jiw
w
kj i k j ix
x
ˆ
kEntrenamiento
•
Cálculo de parámetros Método deoptimización (métodos de descenso de gradiente)
Redes Neuronales: MLP
k k
k
x
x
Entrenamiento
•
Rampa de aprendizaje: Paso en el Método del gradiente. Afecta a la rapidez con la que la redRedes Neuronales: MLP
gradiente. Afecta a la rapidez con la que la red alcanza el mínimo.
Alto: Oscilación alrededor del mínimo o divergencia
Entrenamiento
•
Momento: Prevenir convergencia a mínimo localo punto de silla.
Alto: Incrementa la velocidad de
Redes Neuronales: MLP
Alto: Incrementa la velocidad de convergencia.
Riesgo de “pasarse” el mínimo Bajo: Favorece mínimos locales
Predicción de los precios de la energía eléctrica
Enero-febrero 2001 Training set
Marzo-octubre 2001 Test set
Redes Neuronales: Aplicación
Topología de la red y funciones de transferencia: 3 capas: capa de entrada, capa intermedia y capa de salida
Determinar el número de neuronas de cada capa
Capa de entrada 24 neuronas
correspondientes a los precios de las 24 horas
Capa de salida:
Redes Neuronales: Aplicación
Capa de salida: Una única salida
24 salidas correspondientes a los precios horarios de un día entero
Capa intermedia: 24 neuronas
Función de transferencia sigmoidal
Redes Neuronales: Aplicación
Redes Neuronales: Aplicación
Redes Neuronales: Aplicación
Redes Neuronales: Aplicación
Precios Diarios (céntimos/kWh)
marzo-mayo junio-agosto septiembre-octubre Precio real 2.2588 3.5482 3.673 s. d. 0.7801 1.0597 0.518 s. d. 0.7801 1.0597 0.518 Error absoluto medio 0.3464 0.428 0.576 Máximo error horario 2.671 2.0736 2.167 Error relativo medio (%) 15 12 14
Support Vector Regression (I)
Introducidas en los 90 por Vapnik para
problemas de clasificación
pé ta lo ? A nc hu ra de l p ét al o ? ? ?Support Vector Regression
Puntos más cercanos a la recta: vectores soporte
El margen es la distancia mínima de vectores soporte al hiperplano
Objetivo: calcular hiperplano que maximiza el margen
d
Caso separable linealmente
Support Vector Regression
Resolver un problema de optimización:Función objetivo cuadrática Función objetivo convexa Función objetivo convexa
Un único óptimo global
)
(
)
1
(
)
(
)
)
1
(
(
u
v
f
u
f
v
f
θ
+
−
θ
≤
θ
+
−
θ
Support Vector Regression
1
1
.
.
||
||
2
1
min
)
(
2+
=
∀
+
≥
+
>
<
+
>
=<
y
b
x
w
a
s
w
b
x
w
x
h
w es una combinación lineal de losvectores soporte ( multiplicadores de Lagrange distintos de 0)
1
1
1
1
.
.
−
=
∀
+
≤
+
>
<
+
=
∀
+
≥
+
>
<
i i i iy
b
x
w
y
b
x
w
a
s
=
Support Vector Regression
1
1
.
.
||
||
2
1
min
)
(
2+
=
∀
−
+
≥
+
>
<
+
+
>
=<
i iy
b
x
w
a
s
C
w
b
x
w
x
h
ξ
ξ
1
1
1
1
.
.
−
=
∀
−
+
≤
+
>
<
+
=
∀
−
+
≥
+
>
<
i i i i i iy
b
x
w
y
b
x
w
a
s
ξ
ξ
))
(
(
)
(
x
signo
h
x
f
=
Support Vector Regression
C nos permite regular el compromiso entre
coste y precisión Cross-Validation, algoritmos
Support Vector Regression
¿Y si queremos separadores no lineales?Support Vector Regression
¿Qué es un kernel?Función que realiza el producto escalar en el
espacio expandido espacio expandido
Ejemplo: kernel cuadrático
Expansión espacio:
Kernel: producto escalar en el espacio
expandido:
Más ejemplos de kernels
Lineal Espacio: Kernel: Cuadrático Espacio: Espacio: Kernel: Polinómico de grado d Kernel: Gaussiano de escala Kernel:Support Vector Regression
>
<
⋅
=
∈x
x
y
x
h
SV i i iα
)
(
∈SV i)
,
(
)
(
x
y
K
x
x
h
SV i i i ∈⋅
=
α
Support Vector Regression
LinealFunción de pérdida Vale 0 para los ejemplos dentro de una banda de anchura ∈
b
x
w
f
(
x
)
=<
>
+
{ ε} ε = − − − f (x) max 0, y f (x) y ε −ε = − + N i i i f y C 1 2 ) ( 2 1 min w x εSupport Vector Regression
No linealResuelve problema de optimización
b
x
w
f
(
x
)
=<
φ
(
)
>
+
b K f(x)= (α*−α)K(x,x)+b f SV i i i i + − = ∈ ) , ( ) ( ) (x α* α x x Multiplicadores de LagrangeSupport Vector Regression
x y 1.0 1.6 3.0 1.8 4.0 1.0 5.6 1.2 5.6 1.2 7.8 2.2 10.2 6.8 11.0 10.0 11.5 10.0 12.7 10.0Support Vector Regression
x y 1.0 1.6 3.0 1.8 4.0 1.0 5.6 1.2 5.6 1.2 7.8 2.2 10.2 6.8 11.0 10.0 11.5 10.0 12.7 10.0Support Vector Regression
1) Toolbox SVM en Matlab
http://www.isis.ecs.soton.ac.uk/resources/svminfo/
Guardar en …/matlab/toolbox/svm y añadir al path
Interfaz gráfica (sólo 1 dimensión) uiregress
2) WEKA
http://www.cs.waikato.ac.nz/ml/weka/
Classifier SVMReg
Ejercicios
Base de Datos: Demanda marzo 2001 – mayo 2001
1)
Red Neuronal MLP y SVM (kernel lineal yRBF) con validación cruzada RBF) con validación cruzada
2)
Red Neuronal MLP y SVM (kernel lineal yRBF) con Percentage split
MLP SVM
Ejercicios
Base de Datos: Demanda marzo 2001 – abril 2001
1) Red Neuronal MLP y SVM (lineal, cuadrático, RBF)
cuadrático, RBF)
Supplied Test set: Mayo 2001
MLP SVM
Lineal Cuadrático RBF Mayo 2001
Referencias
[1] Ian H. Witten and Eibe Frank. Data Mining: Practical Machine Learning Tools and Techniques Morgan Kaufmann, June 2005.
[2] Alicia Troncoso Lora et al. Influence of ANN-Based Market Price Forecasting Uncertainty on Optimal. (PSCC) Power System Computation Conference, 2002 [3] Alicia Troncoso Lora et al. Electricity Market Price Forecasting: Neural Networks [3] Alicia Troncoso Lora et al. Electricity Market Price Forecasting: Neural Networks
Versus Weighted-Distance k Nearest Neighbours. Lecture Notes in Computer Science, Vol. 2453, pp. 321-330, 2002
[4] Wei-Chiang Hong. Electric Load Forecasting by Support Vector Model. Applied Mathematical Modelling, Vol. 33, pp. 2444-2454, 2009.
[5] Jinxing Che, Jianzhou Wang. Short-term electricity prices forecasting based on