! " #
$ %&'(
# #
#
)* "
#
* "+ ! +
* #
, " # "
+
- *
+# # * "
+ +
.
" ./ +
"
# #
+ 0
# . # +
) "
)
1 "
". "
2 "
1 + 1
+ /0 +
+ )
+
0 " )
/
•
0 + 3
•
0 )+
•
2 + +2 +
4 ) +
+
# -)
- +-2-2#) +
!
"
0 # " +
. + ! +
)
# * "
) 2 # #
+ 4 .
+ +
.
5 5 0 # 2
+
6
+
+
!
4 .* "
. # .
+# +
+ + # +
) + *
.! . " +
" 4 " )
+ #
# + .# +
7 ! .
# +
# 0 . * +
+
*
. +
/ #
8 +
#
.
+
. +
9 :#
5 ; . 7 # *
!
+ ) . !
0 . #
! # 9 + :#
+ * # $#
- + -2 2 .
" 92 +#
.: .!
.
! / 6. + .
. 2
2 + " 6
96 + .! :#
+
) + !
9 :
#
3 2
. # +
!
6
,<,== + > -2
. ?"" >
@ / A
BC'D BC@D+ ' BCAD
BCCD BC(D 2 " #
#
+ +
½
> ! # # #
0# +
E +
0 # +
"#
+ " .
"
+
+ ,F,16 , F , + 6
)6F-AGGC GH(H( ,GA GA# 0 "#
+ + + 6*
?"" > . .I +
-2 -2 .
J * > 0" >3* .
+
+
6* 7K + L
$! "#
? - L ?-L#
+ L#
>M#L+ L7*
4> +
+ "
5 , "# # #
+ #
6* > +
+
7 + 5 #
+ +
" .+
! 6*
" . + F#
! ! + +
#
+ # !#
" ! +
"
E+ + # N
+ "
# + . 2 > 0
# *# 7# 2 # 2 # 2 # 0 # 6# $# 5 # #
+ 7,#
# + .
, %@# L#;# 2 +? #
! + 6*
4>/ K! 6 # 5 6 # E # > #
L # 2 # 5 7 + *#
' ) 3
4 +
) 9
:# + +
. +
% % '
% % % A '
% % A (
% A -) H
% A % - A H
% A A - %G
% ' - 2 %%
% ' % -2 %%
% ' A -2 %'
% C $ %(
% @ AA
A % F AH
A A O> + P A&
A ' 2/ 2 '%
A C ''
A @ -" '(
A ( 0 ) + 'Q
A H 2>/ C(
A Q 6 @G
A & $ @'
A %G @C
' % F @&
' A 5/ (G
' ' / (C
' ' % (C
' ' A (@
' ' ' " ((
' C 4 / (H
' @ $ HG
' ( HA
% L HQ
% % % HQ
% A % HQ
% ' % H&
% C '@ H&
% @ % QG
% ( % QG
A L QG
A % % QG
A A % Q%
A ' Q%
A C +A Q%
A @ QA
A ( % QA
A H QA
A Q +% Q'
% % $ L %H
% A 2 ) " - %&
% ' K " - AG
% C $ # $# - + -2 A'
A % 3 . '@
A A $ 2 'H
A ' 7 C%
A C , +
2 CA
A @ AG 2 C(
A ( 2 @%
A H $ 2 @(
' % 7 +A (A
' A 7 +A ('
' ' K (C
' C AG (Q
' @ ,
HG
' ( $ H@
% , 4,F Q'
A , + 4,F QC
% % . @
% A -2 %A
A % + + 2 'H
A A F " '&
A ' 7+
C'
A C + 2 +% CC
A @ 2 + # CH
A ( -" . C&
' % )
(&
" #
$ !
! "! # $ %"#$&
' ! "! #
$ ( %"#$ & "! #
) %"# )& ) * %& "#$
# + ,
- + , "#$ .
* ! - ! " .' "#$ .
/ * + -
+ "#$ , +
* %& "#$ . ( , 0
+ / (
, + / * -
) + * %1& *
. "# ) , ' *
* . - ,
! $ ) * 2 ! !
' ( * %3&
. %&'(BHD+ "
$ B'CD ) *
)
)* 9
: / +
# +
+
*
# + . #
# "
#
+ *
+ M # +#
#
+ !#
./
+ * +
! . +
2 7 "
. % % % +
" ) % % A
0 #
"
d
(x 1 , . . . , x d )
+
m 1 + m 2 + w
w
% ./
x = (x 1 , . . . , x d ) → w 1 x 1 + . . . + w d x d .
% %7 "# "
w
+
J(w) = (w m 2 − w m 1 ) 2 = (w (m 2 − m 1 )) 2
= (w (m 2 − m 1 ))(w (m 2 − m 1 )) ,
% A
w
w
6
(w (m 2 − m 1 )) = (m 2 − m 1 ) w,
.
J(w) = w (m 2 − m 1 )(m 2 − m 1 ) w = w S b w
% '
S b "
S b = (m 2 − m 1 )(m 2 − m 1 ) ,
% C
m i = 1
n i
n i
j=1 x j
#n i ) i
w
#w
+ 7" .
J(w) = w S b w
w w .
% @7 +
w
∂J(w)
∂w = 2S b w(w w) − 2ww S b w
(w w) 2 = 0.
% (6
(w w)
+(w S b w)
#
w ∝ S b w ∝ (m 2 − m 1 )(m 2 − m 1 ) w.
% H2
[(m 2 −m 1 ) w]
* # +
w ∝ (m 2 − m 1 ),
% Q! " #
m 1 + m 2 2 + +
x 1 x 2 0 # x 2 .
x 2 .
+"
+
+
# " +
# " +
% %
" "
. "
+ " +# /
J(w) = w S b w
w S w w ,
% &
S w "
S w =
i=1,2 n i
j=1
(x j − m i )(x j − m i ) ,
% %G
m i = n 1
i
n i
j=1 x j
#n i ) i
# + "
J
∂J(w)
∂w ∝ (w S w w)S b w − (w S b w)S w w = 0,
% %%.
w ∝ S −1 w S b w.
% %A% H + % Q
S b w
.# . +
S w /
w ∝ S −1 w (m 2 − m 1 ).
% %'
2 . " % &
" " +
" "# "
"# "
7 B'CD +
W
d
d
" "
J(W) = |W S b W|
|W S w W| ,
% %C"
S b w i = λ i S w w i .
% %@2
d + c − 1
c
)c − 1
λ i
"
S b + c
+
% 2 .
c − 1
+W
".
S w - #
! !
|S b − λ i S w | = 0.
% %(7 + % %@ )
# #
! *
" " # + *
/ BACDB@'D# "
BA%DB'AD# * " #
4
" "
S w
+ M
+ )
+
"
S b
+ +
"
7 )# * +#
#
.
$ -) -
BAQD B@AD 2
- "
>K0 B'QD - "
!# !
. ) .
% A %
- + % A A " )
) -
" !
F
#" !
0
Φ
. !F
# % &F J Φ (w) = w S Φ b w
w S Φ w w ,
% %H
w
+F
# +S Φ b + S Φ w S b + S w
S b + S w
F
#S Φ b = (m Φ 2 − m Φ 1 )(m Φ 2 − m Φ 1 ) % %Q
S Φ w =
i=1,2 n i
j=1
(Φ(x j ) − m Φ i )(Φ(x j ) − m Φ i ) ,
% %&
m Φ i = 1
n i
n i
j=1 Φ(x j ) + n i
) i
0
F
#0 # !
.
Φ (x)Φ(y) = k(x, y),
% AG
x
y
#Φ(x)
+Φ(y)
F
+k
. . ).
F
! #
7 " !
F
. % %H ) *
7
. ) 0 +
w
F
BAHD/w =
n j=1
α j Φ(
j ), % A%
n
) +α j j = 1, . . . , n
)
4" +
m Φ i
w m Φ i = 1 n i
n j=1
n i
k=1
α j k(x j , x k )
= α M i % AA
(M i ) j = 1
n i
n i
k=1 k(x j , x i k )# j = 1, . . . , n
# +
. )
> % AA + % %Q % %H
w S Φ b w = w (m Φ 2 − m Φ 1 )(m Φ 2 − m Φ 1 ) w
= (w m Φ 2 − w m Φ 1 )(w m Φ 2 − w m Φ 1 )
= (α M 2 − α M 1 )(α M 2 − α M 1 )
= α (M 2 − M 1 )(M 2 − M 1 ) α
= α F b α,
% A'
F b = (M 2 − M 1 )(M 2 − M 1 ) 7 # *
% %H " % AA + % %&#
w S Φ w w = α F w α
% AC
F w =
i=1,2 K i (I − 1 n i )K i
#I
" #1 n j "
1
n j
# +K i " )
i
n × n i
(K i ) jk =
n j=1
n i
k=1
k(x j , x i k ),
x i k i
,% A' +% AC
% %H
J(α) = α F b α
α F w α .
% A@" #
" "
F b α = λF w α
# #F −1 w F b
.
) - 2 +
z
w
w Φ(z) =
n j=1
α j k(x j , z).
% A(7
+ +
- "
. 2 + $ + "
W
c − 1
#c
) # +% %H +
J(W) = |W S Φ b W|
|W S Φ w W| ,
% AH
S Φ b =
c i=1
n i (m Φ i − m Φ )(m Φ i − m Φ ) ,
S Φ w =
c i=1
n i
j=1
(Φ(x j ) − m Φ i )(Φ(x j ) − m Φ i ) ,
% AQ
m Φ = 1
n
n
j=1 Φ(x j )# m Φ i = 1
n i
n i
j=1 Φ(x j )# n i
)
)
i
# )i = 1, . . . , c
4" % A'+% AC
% AH
J(A) = |A F b A|
|A F w A|
% A&
A
" .(α 1 , . . . , α c−1 )
# *
"
A ∗ " c − 1
F −1 w F b c − 1
4 " +
A ∗ + z
(c − 1)
A ∗
+
y z (c − 1)
y z = A ∗ K z ,
% 'G
K z = n
j=1 k(x j , z)
+
z
c
2 +#
clase(z) = argmin
i d(y z , m i ), % '%
m i + i
+ d(y z , m i )
y z + m i
-2 B'HD
! +
7>, BAD
. -2 7>,
* "
7>, '
3 + +
+ " -2
% ' % -2 +
% ' A
-2
2 + )
+
# # !
-2 . 2
# 7>, #
d + 1
d
1
2 * 7>,##
i
i = 1, . . . , l
#l
)# )
h i .
ϕ(x) = 1/(1 + e −x )
## + "
1
2 # . 7>,# )% +
2 # #
" % -2 "
# %
= (W e , W s )
# ." 2 #
W e#
e
#e = 1, . . . , l
2W s + 7
#
)
h
% A
& '
-2 .
d + 1
#d
8 "
h
+
c − 1
2
W e +
W s
-2 * .
7>, 2 . . "
" # + "
#
7>, .
E(W) =
n j=1
ˆy j − F(x j , W) 2 ,
x j )j
# n
) +
ˆy j x j F(x j , W)
F(x j , W)
. .
x j
y i ) i
i = 1, . . . , v
+v
) # ..
F i
y i =
h p=0
ϕ(
d k=0
x k w e kp )w s pi ,
d
#h
)#
w kp e k
p
# +w s pi p
i
-2 .E
+ % %C# #-2 "
J (W) = |˜S w |
|˜S b | ,
% 'A
W
+ "
˜S w = W S w W
˜S b = W S b W.
% ''" -2# 7>, #
, *
*
t
+%
t+1
* 2 " "7
W s
J (W s )
% % A +
W e "J (W e )
* * -I
2 " *
-I /
W t+1 e = W e t + H −1 ∇J (W e ),
% 'C
H
" E +. # #
H ij = ∂ 2 J (W)
∂w i ∂w j .
* +
H
2" /
W t+1 e = W e t + α t G t ∇J (W e ),
% '@
α t . * " + G t
" E
t
G 0 " * + #
"
−∇J (W e )
7
α t G t .
. 4 $ 50 6 BA&D
.# " % A/
∂J
∂W kl e =
h p=1
∂J
∂b p
∂b p
∂a p
∂a p
∂W kl e
=
h p=1
∂J
∂b p f (a p )x k δ pl
= |˜S b | ∂|˜ ∂b S w l | − |˜S w | ∂|˜ ∂b S l b |
|˜S b | 2 f (a l )x k ,
% '(
k = 0, . . . , d
#l = 1, . . . , h
+δ pl . 7 8 2
" *
/
∂|A|
∂x = |A|T r(A −1 ∂A
∂x ).
˜S b + ˜S w *#
/
∂|˜ S b |
∂b l = |˜S b |T r(˜S −1 b ∂˜ S b
∂b l ),
∂|˜ S w |
∂b l = |˜S w |T r(˜S −1 w ∂˜ S w
∂b l ).
% 'H
7
∂˜ S b /∂b l +∂˜ S w /∂b l "% '' +
W s
∂˜ S b
∂b l = (W s ) ∂S b
∂b l W s
∂˜ S w
∂b l = (W s ) ∂S w
∂b l W s .
% 'Q
7 #
∂J /∂W kl e
∂S b /∂b l + ∂S w /∂b l S b +
S b +
S w .
b
S b = c
i=1
n i (m i − m)(m i − m)
S w =
c i=1
n i
j=1
(b ij − m i )(b ij − m i ) ,
% '&
m i = 1/n i
n i
j=1 b ij
+m = 1/n c
i=1
n i
j=1 b ij
4 " "
+ * * 2
x
v
+ *
clase(x) = arg m´ın
v (
c−1 i=1
(y i − ˜ m v i ) 2 ),
% CG
y i = F i (x, W)
=
h p=1
ϕ(
d k=0
x k w e kp )w s pi % C%
-2
x
# +m ˜ v i = F i (m v , W)
=
h p=1
ϕ(
d k=0
m v k w kp e )w pi s % CA
-2
v
#m v
2 "
+# .#
" 2
+
+ * ,
# -2 " +
W
! "# $%
E # -+-2#
! # ! .
+ * *
)# )
+ ) 2 /
# +
2 % % "
2 +
Z 0
( ) *
! " #
$ % $
& ' ( %( ! # $ ( %
# " $ $
# ! )*+ $
# )*+ % # " ( #,
( # " ( %
- . # , /0% 1
)*+ $ )*+
A# ' + C ) # +
# 2 @
+ 2
# ( + H# AG
$- +
$- B''D# 2 ) *
$- )
" 2 )
. $-
+ $- 7 R
* BCGD " *
"
2 " +
" .#
"
