L ar g e-s c al e e d g e n et w or k m o nit ori n g
P or
P
A U L AR
O Q U E R OF
U E N T E SU NI V E R SI D A D A U T Ó N O M A D E M A D RI D
E S C U E L A P O LI T É C NI C A S U P E RI O R
D e p art a m e nt o d e Te c n ol o gí a El e ctr ó ni c a y d e l as C o m u ni c a ci o n es T E SI S D O C T O R A L
E
N E R O D E2 0 2 1
Dir e ct or: Dr. J a vi er Ar a cil Ri c o
T o d o s l o s d e r e c h o s r e s e r v a d o s.
N o s e p u e d e h a c e r ni n g u n a r e p r o d u c ci ó n d e e st e li b r o, e n s u t ot ali d a d o e n p a rt e ( e x c e pt o p o r u n a b r e v e cit a e n a rtí c ul o s c ríti c o s o r e s e ñ a s) si n a ut o ri z a ci ó n.
© 2 0 2 1 U N I V E R S I D A D A U T Ó N O M A D E M A D R I D
Fr a n ci s c o T o m á s y V ali e nt e, 1 M a d ri d, 2 8 0 4 9
S p ai n
P A U L A R O Q U E R O F U E N T E S
L a r g e- s c al e e d g e n et w o r k m o nit o ri n g
E s c u el a P olit é c ni c a S u p e ri o r.
Hi g h P e rf o r m a n c e C o m p uti n g a n d N et w o r ki n g R e s e a r c h G r o u p
I M P R E S O E N E S P A Ñ A P RI N T E D I N S P AI N
D e p a rt a m e nt o: T e c n ol o gí a El e ct r ó ni c a y d e l a s C o m u ni c a ci o n e s E s c u el a P olit é c ni c a S u p e ri o r
U ni v e r si d a d A ut ó n o m a d e M a d ri d T e si s d o ct o r al: L a r g e- s c al e e d g e n et w o r k m o nit o ri n g A ut o r: P a ul a R o q u e r o F u e nt e s
Di r e ct o r: D r. J a vi e r A r a cil Ri c o
A ñ o: 2 0 2 1
T ri b u n al:
P r e si d e nt e D r. C a rl o s G a r ci a R u bi o
S e c r et a ri o D r. S e r gi o L ó p e z B u e d o
Vo c al D r. E d u a r d o M a g a ñ a Li z a r r o n d o
S u stit ut o D r. Vi ct o r M o r e n o M a rti n e z
S u stit ut o D r. R af a el L ei r a O s u n a
E st a t e si s h a si d o r e ali z a d a d e nt r o d el g r u p o Hi g h Pe rf o r m a n c e C o m p uti n g a n d N et w o r ki n g r e s e a r c h g r o u p , e n el D e p a rt a m e nt o d e T e c n ol o gí a El e ct r ó ni c a y d e l a s C o m u ni c a ci o n e s, E s c u el a P olit é c ni c a S u p e ri o r, U ni v e r si d a d A ut ó n o m a d e M a d ri d.
A g r a d e ci mi e nt o s
G r a ci a s a mi f a mili a, a mi g o s y c o m p a ñ e r o s d e t r a b aj o y l a b o r at o ri o.
I
A b st r a ct
N
E T W O R K m o nit o ri n g i s vit al f o r n et w o r k o p e r at o r s, a s it all o w s t h e m t o a s s e s s t h e l e v el of Q u alit y of S e r vi c e ( Q o S) t h e y off e r t o t h ei r u s e r s.T o p e rf o r m t hi s m o nit o ri n g, s e v e r al t e c h ni q u e s a n d p r ot o c ol s c a n b e u s e d. At a hi g h l e v el, p r ot o c ol s s u c h a s t h e Si m pl e N et w o r k M a n- a g e m e nt P r ot o c ol ( S N M P) p r o vi d e a s n a p s h ot of t h e st at e of a n et w o r k d e vi c e o r s e r v e r. D e vi c e s a r e p oll e d p e ri o di c all y t o m o nit o r t h ei r st at u s a n d fi n d i s s u e s o r b ottl e n e c k s t h at m a y n e g ati v el y aff e ct Q o S. A l o w e r l e v el a p p r o a c h i s n et w o r k t r af fi c c a pt u r e. Wit h t hi s t e c h ni q u e, e v e r y n et w o r k p a c k et i s i n s p e ct e d a n d t h e i n- f o r m ati o n i s a g g r e g at e d i n t h e f o r m of n et w o r k fl o w s t h at a r e u s e d t o d et e ct p r o b- l e m s i n t h e n et w o r k it s elf. B ot h t e c h ni q u e s c a n h el p d et e ct a n d fi x n et w o r k i s s u e s b y t h e m s el v e s. H o w e v e r, w h e n c o m bi n e d t h e y p r o vi d e a m o r e c o m pl et e vi e w of t h e n et w o r k t h at c a n l e a d t o f a st e r a n al y si s a n d d et e cti o n of t h e r o ot c a u s e of t h e p r o bl e m.
T r a diti o n all y t h e s e m e a s u r e m e nt s h a v e b e e n p e rf o r m e d at t h e c o r e of t h e n et- w o r k, w h e r e m e a s u ri n g at a f e w p oi nt s c a n p r o vi d e a n e nti r e vi e w of t h e s y s- t e m. H o w e v e r, a s t h e n u m b e r of d e vi c e s a n d s p e e d of t h e n et w o r k s i n c r e a s e s, t hi s a p p r o a c h i s b e c o mi n g u nf e a si bl e. T hi s i s d u e t o t h e hi g h c o st of o bt ai ni n g a n d m ai nt ai ni n g m o nit o ri n g e q ui p m e nt c a p a bl e of d e ali n g wit h t h e i n c r e a s e d t r af fi c.
T hi s t h e si s p r o p o s e s a s ol uti o n t o t hi s p r o bl e m t h at t a k e s a d v a nt a g e of hi g h a n d l o w l e v el m o nit o ri n g a p p r o a c h e s. Fi r st, S N M P i s u s e d t o m e a s u r e t h e c o r e n et w o r k a n d d e vi c e s cl o s e t o t h e e d g e t h at s u p p o rt t hi s p r ot o c ol. O n t h e ot h e r h a n d, n et w o r k m o nit o ri n g i s p e rf o r m e d o n u s e r d e vi c e s at t h e e d g e of t h e n et w o r k.
H e r e t h e n et w o r k s p e e d i s m u c h l o w e r a n d u s e r d e vi c e s c a n c a pt u r e n et w o r k t r af- fi c a n d g e n e r at e fl o w r e c o r d s wit h a n e gli gi bl e eff e ct o n t h e u s e r’ s e x p e ri e n c e.
T o a c hi e v e t hi s g o al w e d e si g n e d a n d d e v el o p e d t h r e e diff e r e nt pi e c e s of s oft- w a r e. Fi r st, w e d e v el o p e d a hi g h p e rf o r m a n c e S N M P m e a s u r e m e nt s oft w a r e. It i s c a p a bl e of o bt ai ni n g i nf o r m ati o n f r o m t h e e v e r i n c r e a si n g n u m b e r of n et w o r k
III
I V
d e vi c e s t h at c a n b e f o u n d at t h e c o r e a n d e d g e of t h e n et w o r k. N e xt, w e d e v el o p e d a n et w o r k m e a s u r e m e nt a g e nt c all e d mi c r o s niff e r c a p a bl e of i n s p e cti n g n et w o r k t r af fi c a n d g e n e r ati n g fl o w r e c o r d s. T hi s a g e nt h a s a l o w f o ot p ri nt a s it i s i nt e n d e d t o b e r u n at u s e r’ s d e vi c e s wit h o ut aff e cti n g t h ei r e x p e ri e n c e. Fi n all y, cli e nt a n d s e r v e r s oft w a r e w a s d e v el o p e d t o c o nt r ol t h e b e h a vi o r of t h e mi c r o s niff e r a n d c ol- l e ct it s fl o w r e c o r d s. T h e cli e nt c a n b e c o n fi g u r e d t o s e n d j u st r e c o r d s t h at m a y i n di c at e a p r o bl e m. T hi s r e d u c e s t h e f o ot p ri nt of t h e s oft w a r e o n t h e u s e r’ s d e vi c e a n d d e c r e a s e s t h e st o r a g e r e q ui r e m e nt s o n t h e c oll e cti o n s e r v e r.
D u ri n g t h e d e si g n of t h e s e p r o g r a m s, w e f o c u s e d o n hi g h p e rf o r m a n c e, s e c u- rit y, a n d t h e u s e r e x p e ri e n c e of t h e a n al y st s t a s k e d wit h c o n fi g u ri n g t h e s oft w a r e a n d r e vi e wi n g t h e c oll e ct e d d at a.
I n t hi s t h e si s, w e e x pl ai n t h e d e si g n of e a c h p r o g r a m t o g et h e r wit h t h e c h al- l e n g e s t h at l e d u s t o c h o o s e o n e d e si g n i n st e a d of it s alt e r n ati v e s. W e e x pl ai n t h ei r i m pl e m e nt ati o n d et ail s t o s h o w h o w t h e y w o r k a n d t h e w a y t h e y a c hi e v e t h e d e si r e d p e rf o r m a n c e. N e xt, w e p e rf o r m e d e x h a u sti v e t e st s t o c h e c k t h e v ali dit y of e a c h p r o g r a m o ut p ut a n d a s s e s s t h ei r p e rf o r m a n c e. Fi n all y, w e s h o w e x a m pl e s of t h e i nf o r m ati o n t h at c a n b e o bt ai n e d f r o m e a c h p r o g r a m a n d s h o w h o w t h e hi g h a n d l o w l e v el a p p r o a c h e s c o m pl e m e nt e a c h ot h e r t o a c hi e v e a m o r e c o m pl et e vi e w of w h at h a p p e n s i n a n et w o r k.
R e s u m e n
L
A m o nit o ri z a ci ó n d e r e d e s i m p o rt a nt e p a r a l o s o p e r a d o r e s d e r e d, y a q u e l e s p e r mit e d et e r mi n a r l a c ali d a d d e s e r vi ci o ( Q o S) q u e of r e c e n a s u s u s u a ri o s. V a ri a s t é c ni c a s y p r ot o c ol o s p u e d e n s e r u s a d o s p a r a r e ali z a r e st a m o nit o ri z a ci ó n. P r ot o c ol o s c o m o Si m pl e N et w o r k M a n- a g e m e nt P r ot o c ol ( S N M P) d a n u n a vi si ó n a alt o ni v el d el e st a d o d e di s p o siti v o s d e r e d o s e r vi d o r e s. E st o s di s p o siti v o s r e ci b e n p eti ci o n e s p e ri ó di c a s p a r a m o nit o ri z a r s u e st a d o y e n c o nt r a r p r o bl e m a s y c u ell o s d e b ot ell a q u e af e ct a n n e g ati v a m e nt e a l a c ali d a d d e s e r vi ci o. Ot r a a p r o xi m a ci ó n a m á s b aj o ni v el e s el u s o d e c a pt u r a s d e t r á fi c o d e r e d. E st a t é c ni c a p e r mit e i n s p e c ci o n a r t o d o s l o s p a q u et e s d e r e d y a g r e g a r s u i nf o r m a ci ó n e n fl uj o s d e r e d q u e s o n u s a d o s p a r a d et e ct a r p r o bl e m a s.I n di vi d u al m e nt e, a m b a s t é c ni c a s a y u d a n a d et e ct a r y a r r e gl a r p r o bl e m a s d e r e d.
Si n e m b a r g o, c u a n d o s e c o m bi n a n d a n u n a vi si ó n d e l a r e d m á s c o m pl et a, a y u- d a n d o a o bt e n e r a n áli si s m á s r á pi d o s y d et e ct a r c a u s a s r aí c e s d e l o s p r o bl e m a s.
T r a di ci o n al m e nt e e st e ti p o d e m e di d a s s e h a n r e ali z a d o e n el c e nt r o d e l a r e d, d o n d e s e p u e d e o bt e n e r u n a vi si ó n c o m pl et a d el si st e m a mi di e n d o e n u n o s p o c o s p u nt o s. Si n e m b a r g o, c o n el a u m e nt o d el n ú m e r o d e di s p o siti v o s y v el o ci d a d d e l a s r e d e s, e st a a p r o xi m a ci ó n d ej a d e s e r p r á cti c a. E st o e s d e bi d o al alt o c o st e d e o bt e n e r y m a nt e n e r e q ui p a mi e nt o d e m o nit o ri z a ci ó n c a p a z d e t r at a r c o n l a alt a c a nti d a d d e d at o s.
E n e st a t e si s p r o p o n e m o s u n a s ol u ci ó n a e st e p r o bl e m a u s a n d o t a nt o l a s t é c ni- c a s d e m o nit o ri z a ci ó n d e alt o ni v el c o m o l a s d e b aj o ni v el. E n p ri m e r l u g a r, S N M P s e u s a p a r a m e di r el c e nt r o d e l a r e d y l o s di s p o siti v o s c e r c a n o s al b o r d e q u e s o p o r- t a n e st e p r ot o c ol o. P o r ot r o l a d o, s e r e ali z a m o nit o ri z a ci ó n d e r e d e n di s p o siti v o s d e u s u a ri o e n el b o r d e d e l a r e d. E n e st e p u nt o l a v el o ci d a d d e l a r e d e s m u c h o m á s b aj a y l o s di s p o siti v o s d e u s u a ri o p u e d e n c a pt u r a r t r á fi c o y g e n e r a r r e gi st r o s d e fl uj o c o n p o c o i m p a ct o e n l a e x p e ri e n ci a d el u s u a ri o.
V
VI
P a r a c o n s e g ui r e st e o bj eti v o h e m o s di s e ñ a d o y d e s a r r oll a d o t r e s p r o g r a m a s.
E n p ri m e r l u g a r, d e s a r r oll a m o s u n p r o g r a m a d e m e di ci ó n S N M P d e alt o r e n di mi e nt o.
E st e p r o g r a m a e s c a p a z d e o bt e n e r i nf o r m a ci ó n d el c r e ci e nt e n ú m e r o d e di s p o si- ti v o s q u e e xi st e n e n el c e nt r o y b o r d e s d e l a r e d. D e s p u é s d e s a r r oll a m o s u n a g e nt e d e m e di ci ó n d e r e d ll a m a d o mi c r o s niff e r , c a p a z d e i n s p e c ci o n a r t r á fi c o d e r e d y g e n e r a r r e gi st r o s d e fl uj o. E st e a g e nt e n e c e sit a p o c o s r e c u r s o s, y a q u e e st á di s- e ñ a d o p a r a ej e c ut a r s e e n di s p o siti v o s d e u s u a ri o si n af e ct a r a s u e x p e ri e n ci a. P o r últi m o, d e s a r r oll a m o s u n cli e nt e y s e r vi d o r p a r a c o nt r ol a r el c o m p o rt a mi e nt o d e l o s mi c r o s niff e rs y r e c o pil a r s u s r e gi st r o s d e fl uj o. El cli e nt e p u e d e s e r c o n fi g u r a d o p a r a m a n d a r ú ni c a m e nt e l o s r e gi st r o s q u e p o d rí a n i n di c a r u n p r o bl e m a. D e e st e m o d o s e r e d u c e el i m p a ct o d el cli e nt e e n el di s p o siti v o d el u s u a ri o y s e mi ni mi z a el al m a c e n a mi e nt o n e c e s a ri o e n el s e r vi d o r d o n d e s e r e c o pil a n l o s d at o s.
D u r a nt e el di s e ñ o d e e st o s p r o g r a m a s n o s h e m o s c e nt r a d o e n o bt e n e r alt o r e n di mi e nt o, s e g u ri d a d y b u e n a e x p e ri e n ci a d e u s u a ri o p a r a l o s a n ali st a s q u e t e n d r á n q u e c o n fi g u r a r l o s p r o g r a m a s y a n ali z a r l o s d at o s r e c ol e ct a d o s.
E n e st a t e si s e x pli c a m o s el di s e ñ o d e c a d a p r o g r a m a y l o s d e s afí o s q u e n o s ll e v a r o n a t o m a r ci e rt a s d e ci si o n e s d e di s e ñ o. T a m bi é n m o st r a m o s d et all e s d e i m- pl e m e nt a ci ó n p a r a e x pli c a r c ó m o f u n ci o n a n y c ó m o c o n s e g ui m o s el r e n di mi e nt o d e s e a d o. T a m bi é n r e ali z a m o s p r u e b a s e x h a u sti v a s p a r a c o m p r o b a r q u e c a d a p r o- g r a m a f u n ci o n a bi e n y d et e r mi n a r s u r e n di mi e nt o. Fi n al m e nt e, m o st r a m o s ej e m- pl o s d e q u é ti p o d e i nf o r m a ci ó n s e p u e d e o bt e n e r c o n c a d a p r o g r a m a y c ó m o l a s a p r o xi m a ci o n e s d e alt o y b aj o ni v el s e c o m pl e m e nt a n p a r a o bt e n e r u n a vi si ó n m á s c o m pl et a d e l a r e d.
T a bl e of C o nt e nt s
P a g e
1 I nt r o d u cti o n 1
1. 1 A n al y st e x p e ri e n c e . . . 2
1. 2 S N M P . . . 3
1. 3 N et w o r k m e a s u r e m e nt s . . . 5
1. 4 St at e of t h e a rt . . . 9
1. 4. 1 S N M P . . . 9 1. 4. 2 N et w o r k m e a s u r e m e nt s . . . 1 0
2 I nt r o d u c ci ó n 1 3
2. 1 E x p e ri e n ci a d el a n ali st a . . . 1 4 2. 2 S N M P . . . 1 4 2. 3 M e di ci o n e s d e r e d . . . 1 8 2. 4 E st a d o d el a rt e . . . 2 2 2. 4. 1 S N M P . . . 2 2 2. 4. 2 M e di ci o n e s d e r e d . . . 2 3
3 S N M P 2 7
3. 1 S N M P m e a s u r e m e nt s oft w a r e f u n cti o n alit y a n d d e si g n p ri n ci pl e s . 2 7 3. 1. 1 E x a m pl e of n o n- st a n d a r d OI D s . . . 2 9 3. 2 S N M P m e a s u r e m e nt s oft w a r e a r c hit e ct u r e a n d i m pl e m e nt ati o n . . 3 1 3. 2. 1 J a v a C o r e . . . 3 1 3. 2. 2 J yt h o n . . . 4 2 3. 2. 3 C o n fi g u r ati o n fil e s . . . 4 5 3. 3 R e al w o rl d u s e c a s e s . . . 4 8 3. 3. 1 L a r g e- s c al e n et w o r k m o nit o ri n g i n a d at a c e nt e r . . . 4 8 3. 3. 2 U P S m o nit o ri n g . . . 5 3
VII
VIII T A B L E O F C O N T E N T S 3. 3. 3 N et w o r k t o p ol o g y i n a d at a c e nt e r . . . 5 3 3. 4 T e st s . . . 5 4 3. 4. 1 L a b t e st s . . . 5 4 3. 4. 2 R e al w o rl d t e st s . . . 6 2
4 N et w o r k m e a s u r e m e nt a g e nt 6 9
4. 1 M e a s u r e m e nt s y st e m o v e r vi e w . . . 7 0 4. 2 Mi c r o s niff e r d e si g n . . . 7 1 4. 3 Fl o w r e c o r d s . . . 7 1 4. 4 N et w o r k- wi d e K PI s . . . 7 3 4. 4. 1 N et w o r k- wi d e K PI s . . . 7 3 4. 4. 2 Mi c r o s niff e r m e a s u r e m e nt s . . . 7 4 4. 4. 3 M e a s u r e m e nt t r af fi c filt e ri n g . . . 7 6 4. 4. 4 R el ati o n s hi p b et w e e n n et w o r k- wi d e K PI s, mi c r o s niff e r m e a-
s u r e m e nt s a n d m e a s u r e m e nt t r af fi c filt e ri n g . . . 7 7 4. 5 Mi c r o s niff e r a r c hit e ct u r e a n d i m pl e m e nt ati o n . . . 7 8 4. 5. 1 T r af fi c c a pt u r e a n d fl o w r e c o r d s d eli v e r y . . . 7 9 4. 6 T e st s . . . 8 2 4. 6. 1 E x p e ri m e nt al s et u p . . . 8 3 4. 6. 2 C P U a n d m e m o r y u s a g e . . . 8 4 4. 6. 3 E v al u ati o n of m e a s u r e m e nt t r af fi c filt e ri n g st r at e gi e s . . . . 8 5 4. 6. 4 U s e c a s e a n d c a p a cit y pl a n ni n g . . . 8 6 4. 7 A c c u r a c y e v al u ati o n . . . 8 8
5 C o nt r ol s e r v e r s 9 1
5. 1 C o nt r ol s e r v e r s f u n cti o n alit y
a n d d e si g n p ri n ci pl e s . . . 9 2 5. 1. 1 O r c h e st r at o r d e si g n g ui d eli n e s . . . 9 3 5. 1. 2 M o nit o ri n g si n k d e si g n . . . 9 8 5. 2 O r c h e st r at o r a r c hit e ct u r e a n d i m pl e m e nt ati o n . . . 1 0 0 5. 2. 1 C o nt r ol w e b s e r v e r . . . 1 0 2 5. 2. 2 C o m m u ni c ati o n s e r v e r . . . 1 0 7 5. 3 M o nit o ri n g si n k a r c hit e ct u r e
a n d i m pl e m e nt ati o n . . . 1 1 3 5. 4 S c e n a ri o s . . . 1 1 4 5. 4. 1 D e pl o y i n o n e s e r v e r . . . 1 1 4
T A B L E O F C O N T E N T S I X 5. 4. 2 O n e c o m m u ni c ati o n s e r v e r s e r v e r a n d s e v e r al m o nit o ri n g si n k
s e r v e r s . . . 1 1 5 5. 4. 3 S e v e r al c o m m u ni c ati o n s e r v e rs a n d s e v e r al m o nit o ri n g si n k s 1 1 6 5. 5 M e a s u r e m e nt e x p e ri m e nt s . . . 1 1 6 5. 5. 1 V ali d ati o n c h e c k s . . . 1 1 7 5. 5. 2 P e rf o r m a n c e a s s e s s m e nt . . . 1 1 8
6 C o m p a ri n g S N M P a n d mi c r o s niff e r s 1 2 7
6. 1 E q ui v al e nt S N M P OI D s a n d
mi c r o s niff e r fl o w r e c o r d s . . . 1 2 8 6. 1. 1 Fl o w r e c o r d s . . . 1 2 8 6. 1. 2 T r a n s a cti o n r e c o r d s . . . 1 3 1 6. 1. 3 A p pli c ati o n i nf o r m ati o n . . . 1 3 3 6. 2 C o m bi ni n g S N M P a n d mi c r o s niff e r i nf o r m ati o n . . . 1 3 4
7 C o n cl u si o n s 1 3 7
8 C o n cl u si o n e s 1 3 9
A p p e n di c e s 1 4 1
A W e b i nt e rf a c e 1 4 3
A. 1 L o gi n . . . 1 4 3 A. 2 Mi c r o s niff e r li st . . . 1 4 4 A. 3 Mi c r o s niff e r d et ail . . . 1 4 4 A. 4 St r e a m li st . . . 1 4 5 A. 5 St r e a m d et ail . . . 1 4 7 A. 6 T ri b e li st . . . 1 4 7 A. 7 T ri b e d et ail . . . 1 4 8
Bi bli o g r a p h y 1 5 1
X T A B L E O F C O N T E N T S
Li st of T a bl e s
T A B L E P a g e
1. 1 E x a m pl e s c al a r v al u e s . . . 3 1. 2 E x a m pl e t a bl e v al u e s . . . 4 2. 1 Ej e m pl o d e v al o r e s e s c al a r e s . . . 1 6 2. 2 Ej e m pl o d e t a bl a . . . 1 7 3. 1 OI D s f o r C P U u s e . . . 3 0 3. 2 OI D s f o r m e m o r y u s e . . . 3 0 3. 3 B e n e fit s a n d c o st s of e a c h o p e r ati o n . . . 3 4 3. 4 R e s ult s of p e rf o r m a n c e a s s e s s m e nt i n Wi n d o w s i 7 7 7 0 0 H Q . . . 5 6 3. 5 R e s ult s of p e rf o r m a n c e a s s e s s m e nt i n Li n u x X e o n E 3 1 2 2 6 v 3 . . . . 5 9 3. 6 St at u s of b u c k et s w h e n i n d u ci n g d el a y s . . . 6 1 3. 7 P e r c e nt a g e of ti m e t h e s c h e d ul e r s w e r e c o r r e ct o r w r o n g . . . 6 2 3. 8 Sl o w d o w n s f o r e a c h p olli n g i nt e r v al . . . 6 5 3. 9 Si m pl e c o u nt e r s c h e d ul e r r e s ult s . . . 6 6 3. 1 0 D y n a mi c c o u nt e r s c h e d ul e r r e s ult s . . . 6 6 3. 1 1 Ti m e o ut s c h e d ul e r r e s ult s . . . 6 7 4. 1 N et w o r k K PI s, m e a s u r e m e nt s, fl o w r e c o r d s a n d t r af fi c filt e ri n g . . . 7 9 4. 2 N u m b e r of K bit s a n d fl o w s p e r s e c o n d s e nt f r o m t h e mi c r o s niff e r t o
t h e m o nit o ri n g si n k w h e n s e n di n g all o r k e y i nf o r m ati o n . . . 8 7 4. 3 F al s e p o siti v e s a n d n e g ati v e s c o m p a r e d t o T s h a r k . . . 8 9 4. 4 F al s e p o siti v e s a n d n e g ati v e s c o m p a r e d t o T st at . . . 9 0 5. 1 St r e a m fi el d s a n d d e s c ri pti o n . . . 9 8 5. 2 St r e a m i nf o r m ati o n f o r a t ri b e . . . 1 0 5
XI
XII LI S T O F T A B L E S 6. 1 A v ail a bl e I nt e rf a c e i nf o r m ati o n . . . 1 2 8 6. 2 A v ail a bl e T C P i nf o r m ati o n . . . 1 2 9 6. 3 A v ail a bl e U D P i nf o r m ati o n . . . 1 3 1 6. 4 A v ail a bl e H T T P i nf o r m ati o n . . . 1 3 3 6. 5 A v ail a bl e D N S i nf o r m ati o n . . . 1 3 4 6. 6 S N M P s u p p o rt o n d e s kt o p o p e r ati n g s y st e m s . . . 1 3 5
Li st of Fi g u r e s
F I G U R E P a g e
1. 1 S e r v e r s d at a fl o w . . . 2
1. 2 A n al y st w o r k fl o w. . . 3
1. 3 Cl a s si c a p p r o a c h t o t r af fi c m o nit o ri n g . . . 6
1. 4 E d g e t r af fi c m o nit o ri n g . . . 7 2. 1 Fl uj o d e d at o s . . . 1 5 2. 2 Fl uj o d e t r a b aj o d e l o s a n ali st a s . . . 1 6 2. 3 A p r o xi m a ci ó n cl á si c a a l a m o nit o ri z a ci ó n d e r e d . . . 1 9 2. 4 M o nit o ri z a ci ó n e n el b o r d e d e l a r e d . . . 2 0 3. 1 S N M P t r a p s . . . 2 8 3. 2 S N M P p olli n g . . . 2 8 3. 3 S N M P a r c hit e ct u r e . . . 3 1 3. 4 J a v a c o r e m o d ul e s . . . 3 2 3. 5 Hi st o g r a m of w al k ti m e s . . . 3 5 3. 6 J a v a t h r e a d p o ol . . . 3 6 3. 7 M o vi n g a g e nt s t o sl o w e r b u c k et s . . . 3 7 3. 8 U p g r a di n g a g e nt t o f a st e r b u c k et b a s e d o n c o u nt . . . 3 9 3. 9 U p g r a di n g a g e nt t o f a st e r b u c k et b a s e d o n c o u nt . . . 3 9 3. 1 0 M o vi n g a g e nt t o f a st e r p olli n g b u c k et b a s e d o n d y n a mi c c o u nt. . . . 4 0 3. 1 1 E x a m pl e of m o vi n g a g e nt t o f a st e r p olli n g b u c k et b a s e d o n d y n a mi c
c o u nt. . . 4 1 3. 1 2 M o vi n g a g e nt t o f a st e r p olli n g b u c k et aft e r ti m e o ut. . . 4 2 3. 1 3 E x a m pl e m o vi n g a g e nt t o f a st e r p olli n g b u c k et aft e r ti m e o ut. . . 4 2 3. 1 4 Q u e r yi n g vl a n s i n t w o st e p s . . . 4 3 3. 1 5 J oi ni n g t w o t a bl e s . . . 4 4
XIII
XI V LI S T O F FI G U R E S 3. 1 6 A v e r a g e r e s p o n s e ti m e d u ri n g a m o nt h. . . 4 9 3. 1 7 R e s p o n s e ti m e d u ri n g a m o nt h. . . 5 0 3. 1 8 vt p Vl a n T a bl e r e s p o n s e ti m e hi st o g r a m . . . 5 1 3. 1 9 c p m C P U T ot al T a bl e r e s p o n s e ti m e hi st o g r a m . . . 5 1 3. 2 0 vt p Vl a n T a bl e C P U - R e s p o n s e ti m e . . . 5 2 3. 2 1 c p m C P U T ot al T a bl e C P U - R e s p o n s e ti m e . . . 5 2 3. 2 2 T e st e m ul ati n g 2 0, 0 0 0 S N M P a g e nt s . . . 5 5 3. 2 3 C P U v s T h r e a d s . . . 5 7 3. 2 4 Ti m e v s T h r e a d s . . . 5 8 3. 2 5 S p e e d u p v s T h r e a d s . . . 6 0 3. 2 6 T e st si m ul ati n g d el a y s . . . 6 1 3. 2 7 S c h e d ul e r a s si g n e d t o c o r r e ct b u c k et . . . 6 3 3. 2 8 A g e nt s s h o ul d h a v e b e e n i n a sl o w e r b u c k et . . . 6 4 3. 2 9 Hi st o g r a m of r e s p o n s e ti m e s . . . 6 5 3. 3 0 A g e nt s s h o ul d h a v e b e e n i n a f a st e r b u c k et ( e sti m at e d) . . . 6 7 4. 1 S y st e m a r c hit e ct u r e . . . 7 0 4. 2 C D F of n u m b e r of r et r a n s mi s si o n s . . . 7 8 4. 3 Mi c r o s niff e r c o m p o n e nt s . . . 7 8 4. 4 R et r a n s mi s si o n d et e cti o n . . . 8 0 4. 5 C p u u s e . . . 8 5 4. 6 M e m o r y u s e . . . 8 6 5. 1 U si n g s e v e r al m o nit o ri n g si n k s . . . 9 3 5. 2 U si n g s e v e r al c o m m u ni c ati o n s e r v e r s . . . 9 5 5. 3 Mi c r o s niff e r s c at e g o ri z e d i n t ri b e s . . . 9 7 5. 4 Mi c r o s niff e r fl o w r e c o r d s st o r e d i n fil e s . . . 1 0 0 5. 5 D at a b a s e t a bl e s . . . 1 0 3 5. 6 C o m m u ni c ati o n b et w e e n w e b a p pli c ati o n a n d c o m m u ni c ati o n s e r v e r 1 0 4 5. 7 W e b a p pli c ati o n s c r e e n s h ot . . . 1 0 7 5. 8 C o m m u ni c ati o n s e r v e r cl a s s e s . . . 1 0 9 5. 9 S e n di n g a st r e a m o r d e r . . . 1 1 0 5. 1 0 C o m m u ni c ati o n b et w e e n mi c r o s niff e r a n d Mi c r o s niff e r C o nt r oll e r . 1 1 2 5. 1 1 M o nit o ri n g si n k i nt e r n al s . . . 1 1 3 5. 1 2 D e pl o y i n o n e s e r v e r . . . 1 1 5 5. 1 3 D e pl o y m o nit o ri n g si n k s i n s e v e r al s e r v e r s . . . 1 1 6 5. 1 4 D e pl o y c o m m u ni c ati o n s e r v e r s a n d m o nit o ri n g si n k s i n s e v e r al s e r v e r s 1 1 7
LI S T O F FI G U R E S X V 5. 1 5 T e st s et u p . . . 1 1 9 5. 1 6 C o m m u ni c ati o n s e r v e r m e m o r y u s e . . . 1 2 0 5. 1 7 Mi c r o s niff e r c o n n e cti o n ti m e s . . . 1 2 1 5. 1 8 Mi c r o s niff e r c o n n e cti o n ti m e s . . . 1 2 2 5. 1 9 Ti m e t o s e n d st r e a m r e q u e st s . . . 1 2 3 5. 2 0 Hi st o g r a m w h e n s e n di n g st r e a m r e q u e st s f o r 4 mi c r o s niff e rs . . . . 1 2 4 5. 2 1 T ot al ti m e t o s e n d all st r e a m r e q u e st s . . . 1 2 5 A. 1 L o gi n s c r e e n . . . 1 4 4 A. 2 Mi c r o s niff e r li st s c r e e n . . . 1 4 5 A. 3 Mi c r o s niff e r d et ail s c r e e n . . . 1 4 6 A. 4 St r e a m li st s c r e e n . . . 1 4 6 A. 5 St r e a m d et ail s c r e e n . . . 1 4 7 A. 6 T ri b e li st s c r e e n . . . 1 4 8 A. 7 T ri b e d et ail s c r e e n . . . 1 4 9
I nt r o d u cti o n 1
T hi s P h. D. T h e si s i s d e v ot e d t o t h e p e rf o r m a n c e e v al u ati o n of c o r p o r at e d at a c e n- t e r s, f r o m t h e s y st e m s a n d n et w o r k e q ui p m e nt t o t h e v e r y u s e r t e r mi n al. O u r g o al i s t o o bt ai n a vi e w of a n e nti r e s y st e m of n et w o r k- c o n n e ct e d d e vi c e s, f r o m c e nt r al d e vi c e s s u c h a s r o ut e r s a n d s wit c h e s, t o e d g e d e vi c e s li k e u s e r s’ c o m p ut e r s.
I n t h e c a s e of d e vi c e s s u c h a s r o ut e r s a n d s wit c h e s, t h e S N M P p r ot o c ol i s wi d el y a v ail a bl e a n d p r o vi d e s a wi d e r a n g e of i nf o r m ati o n u s ef ul f o r n et w o r k a n al y si s. W e d e v el o p e d a n S N M P m e a s u r e m e nt s oft w a r e t h at c a n q u e r y t h e s e d e vi c e s i n a n ef fi ci e nt m a n n e r a n d c oll e ct t h e d at a. W e f u rt h e r i n v e sti g at e t h e i s s u e of v a r yi n g r e s p o n s e ti m e s d u e t o l o a d i n t h e p oll e d d e vi c e s a n d c o m e u p wit h a n a d a pti v e p olli n g f r e q u e n c y al g o rit h m.
A s f o r u s e r s’ c o m p ut e r s, S N M P i s n ot a v ail a bl e o r it r e q ui r e s s p e ci al c o n fi g- u r ati o n. A d diti o n all y, u s e r s’ d e vi c e s a r e u s u all y b e hi n d N A T s. T hi s p r e s e nt s a p r o bl e m b e c a u s e m o st S N M P i nf o r m ati o n i s o bt ai n e d b y p olli n g d e vi c e s f r o m t h e m e a s u r e m e nt s oft w a r e. E v e nt u all y, u s e r s m a y n ot b e c o n n e ct e d t o a c e nt r al d at- a c e nt e r f r o m w hi c h p olli n g c a n b e p e rf o r m e d b ut t o a cl o u d s e r vi c e. Fi n all y, t h e S N M P s e c u rit y f e at u r e s a r e n ot a s eff e cti v e a s u si n g e n c r y pt e d T L S c o n n e cti o n s.
F o r t h e a b o v e r e a s o n s, w e d e si g n a n d d e v el o p o u r o w n n et w o r k m e a s u r e m e nt a g e nt t h at c a n b e e a sil y i n st all e d, w o r k s b e hi n d N A T s, a n d p r o vi d e s i n c r e a s e d
1
2 C H A P T E R 1. I N T R O D U C TI O N s e c u rit y. A s e r v e r w a s al s o d e v el o p e d t o c oll e ct all t h e d at a f r o m a bi g n u m b e r of d e vi c e s. W e f u rt h e r i n v e sti g at e t h e i s s u e of d at a t hi n ni n g f r o m t h e u s e r t e r mi n al s, a s t h e s h e e r a m o u nt of t h e d at a c a n b e v e r y c o stl y t o h a n dl e.
T h e S N M P m e a s u r e m e nt s oft w a r e a n d n et w o r k m e a s u r e m e nt s e r v e r c a n b e u s e d t o r e c ei v e d at a f r o m a v a ri et y of d e vi c e s a n d st o r e t h e i nf o r m ati o n i n a c e n- t r ali z e d pl a c e, a s s h o w n i n Fi g u r e 2. 1.
S N M P m e a s ur e m e nt
s oft w ar e
N et w or k m e a s ur e m e nt
s er v er
C S V fil e s
N et w or k m e a s ur e m e nt
s oft w ar e S N M P
a g e nt
S N M P a n d n et w or k m e a s ur e m e nt
Fi g u r e 1. 1. S e r v e r s d at a fl o w
W h e n d e v el o pi n g t h e S N M P m e a s u r e m e nt s oft w a r e a n d t h e c o nt r ol s e r v e r w e f o c u s o n f a cilit ati n g t h e a n al y st’ s t a s k s wit h s y st e m s t h at a r e e a s y t o u s e a n d i nt e g r at e i nt o t h ei r c u r r e nt w o r k fl o w s.
1. 1 A n al y st e x p e ri e n c e
I n o u r e x p e ri e n c e, a n al y st s c a n h a v e diff e r e nt l e v el s of p r o g r a m mi n g e x p e ri e n c e a n d, e v e n f o r t e c h ni c al a n al y st s, s o m e p r ef e r t o k e e p c o di n g at a mi ni m u m w h e n m a ki n g t h ei r a n al y si s.
It i s f o r t hi s r e a s o n t h at t o ol s d e v el o p e d i n o u r r e s e a r c h l a b o ut p ut t h ei r r e- s ult s t o C S V fil e s. T h e s e fil e s c a n b e p r o c e s s e d wit h a s c ri pti n g l a n g u a g e b y m o r e t e c h ni c al a n al y st s o r i m p o rt e d i nt o d at a b a s e s o r p r o g r a m s s u c h a s Mi c r o s oft E x c el b y l e s s t e c h ni c al o n e s. T hi s t y pi c al w o r k fl o w c a n b e s e e n i n Fi g u r e 2. 2. F o r t hi s r e a s o n, o u r p r o g r a m s w rit e t h ei r r e s ult s a s C S V fil e s b y d ef a ult.
1. 2. S N M P 3
S N M P
N et fl o w
S y sl o g
N et w or k m e a s ur e m e nt
C S V fil e s
S cri pt s
D at a b a s e s
S pr e a d s h e et s Fi g u r e 1. 2. A n al y st w o r k fl o w.
1. 2 S N M P
S N M P [ 1] i s a wi d el y u s e d p r ot o c ol t o m a n a g e a n d m o nit o r n et w o r k d e vi c e s ( S N M P a g e nt s ).
I n t hi s w o r k, w e a r e i nt e r e st e d i n it s m o nit o ri n g c a p a biliti e s. T h e m o nit o ri n g i nf o r m ati o n i n cl u d e s d at a a b o ut diff e r e nt n et w o r k p r ot o c ol s, s u c h a s T C P o r U D P o p e n c o n n e cti o n s, r o uti n g t a bl e s, fi r e w all c o n fi g u r ati o n s. It al s o p r o vi d e s i nf o r m a- ti o n a b o ut h a r d w a r e, s u c h a s t h e n u m b e r of C P U s a n d t h ei r u s a g e, i nf o r m ati o n a b o ut m e m o r y a n d h a r d d ri v e s, i nf o r m ati o n a b o ut p o w e r s u p pli e s, et c.
V al u e s o bt ai n e d wit h S N M P a r e i n d e x e d b y a k e y ( c all e d OI D) a n d m a y b e s c al a rs , of w hi c h t h e r e i s al w a y s j u st o n e v al u e a s s h o w n i n T a bl e 2. 1, o r t a bl e s, w hi c h m a y h a v e a v a ri a bl e n u m b e r of e nt ri e s a s s h o w n i n T a bl e 2. 2.
N a m e OI D E x a m pl e v al u e
s y s D e s c r 1. 3. 6. 1. 2. 1. 1. 1 S e r v e r 1 s y s U p Ti m e 1. 3. 6. 1. 2. 1. 1. 3 1 5 2 3 2 4
T a bl e 1. 1: E x a m pl e s c al a r v al u e s
T h e i nf o r m ati o n i s o r g a ni z e d i n MI B s ( M a n a g e m e nt I nf o r m ati o n B a s e) [ 2], w hi c h p r o vi d e n a m e s a n d d e s c ri pti o n s f o r e a c h ki n d of d at a (f o r e x a m pl e, T C P c o n n e cti o n s). S o m e of t h e s e MI B s a r e st a n d a r di z e d a n d a r e u s u all y s u p p o rt e d b y m o st e q ui p m e nt, w hil e ot h e r s a r e c r e at e d b y e q ui p m e nt m a n uf a ct u r e r s.
4 C H A P T E R 1. I N T R O D U C TI O N T a bl e
n a m e Fi el d n a m e Fi el d OI D E x a m pl e v al u e
if T a bl e
ifI n d e x 1. 3. 6. 1. 2. 1. 2. 2. 1. 1 2
if D e s c r 1. 3. 6. 1. 2. 1. 2. 2. 1. 2
I nt el C o r p o r ati o n 8 2 5 4 5 E M
Gi g a bit Et h e r n et C o nt r oll e r
( C o p p e r)
if T y p e 1. 3. 6. 1. 2. 1. 2. 2. 1. 3 6
if Mt u 1. 3. 6. 1. 2. 1. 2. 2. 1. 4 1 5 0 0
if S p e e d 1. 3. 6. 1. 2. 1. 2. 2. 1. 5 1 0 0 0 0 0 0 0 0 0
if P h y s A d d r e s s 1. 3. 6. 1. 2. 1. 2. 2. 1. 6 0 0 0 C 2 9 B D E 8 0 7 if A d mi n St at u s 1. 3. 6. 1. 2. 1. 2. 2. 1. 7 1
if O p e r St at u s 1. 3. 6. 1. 2. 1. 2. 2. 1. 8 1
if L a st C h a n g e 1. 3. 6. 1. 2. 1. 2. 2. 1. 9 0: 0 0: 0 0. 0 0 ifI n O ct et s 1. 3. 6. 1. 2. 1. 2. 2. 1. 1 0 3 3 4 4 4 4 7 8 5 4 ifI n U c a st P kt s 1. 3. 6. 1. 2. 1. 2. 2. 1. 1 1 3 0 4 5 1 2 4 ifI n N U c a st P kt s 1. 3. 6. 1. 2. 1. 2. 2. 1. 1 2 0
ifI n Di s c a r d s 1. 3. 6. 1. 2. 1. 2. 2. 1. 1 3 0 ifI n E r r o r s 1. 3. 6. 1. 2. 1. 2. 2. 1. 1 4 0 ifI n U n k n o w n P r ot o s 1. 3. 6. 1. 2. 1. 2. 2. 1. 1 5 0
if O ut O ct et s 1. 3. 6. 1. 2. 1. 2. 2. 1. 1 6 1 8 1 1 1 4 6 1 6 if O ut U c a st P kt s 1. 3. 6. 1. 2. 1. 2. 2. 1. 1 7
if O ut N U c a st P kt s 1. 3. 6. 1. 2. 1. 2. 2. 1. 1 8 6 0 8 0 4 3 if O ut Di s c a r d s 1. 3. 6. 1. 2. 1. 2. 2. 1. 1 9 0 if O ut E r r o r s 1. 3. 6. 1. 2. 1. 2. 2. 1. 2 0 0 if O ut Q L e n 1. 3. 6. 1. 2. 1. 2. 2. 1. 2 1 0 if S p e ci fi c 1. 3. 6. 1. 2. 1. 2. 2. 1. 2 2 c citt. 0
T a bl e 1. 2: E x a m pl e t a bl e v al u e s
A s a r e s ult, e a c h t y p e a n d b r a n d of e q ui p m e nt will h a v e diff e r e nt MI B s. F o r e x a m pl e, a r o ut e r will h a v e i nf o r m ati o n a b o ut it s r o uti n g t a bl e s, a fi r e w all will h a v e c u st o m MI B s t o s h o w it s r ul e s, a n d U P S s ( U ni nt e r r u pti bl e P o w e r S u p pl y) will p r o vi d e i nf o r m ati o n a b o ut it s b att e ri e s.
W h e n d e ali n g wit h a l a r g e n u m b e r of d e vi c e s, h et e r o g e n e o u s MI B s, a n d r e- q ui r e m e nt s f o r d at a t r a n sf o r m ati o n a n d filt e ri n g, a n e w d e si g n a p p r o a c h i s i n o r d e r. O u r m ai n r e q ui r e m e nt s a r e a s f oll o w s:
• Fl e xi bilit y t o s u p p o rt a s m a n y MI B s a s p o s si bl e. T hi s i n cl u d e s b ot h st a n- d a r d a n d p r o p ri et a r y MI B s, i n cl u di n g s o m e r e al- w o rl d c a s e s w h e r e t h e r e- s ult of a q u e r y i s n e e d e d t o p e rf o r m f u rt h e r q u e ri e s.
1. 3. N E T W O R K M E A S U R E M E N T S 5
• B ei n g a bl e t o u nif y d at a o bt ai n e d f r o m diff e r e nt m a n uf a ct u r e r s. F o r e x a m- pl e, m o st m a n uf a ct u r e r s h a v e diff e r e nt MI B s t o q u e r y C P U d at a f o r t h ei r e q ui p m e nt. I n t h e s e c a s e s w e w o ul d li k e t o h a v e t h e c a p a bilit y of e x p o rti n g all t h at d at a i n t h e s a m e f o r m at, r e d u ci n g a n al y si s w o r k b y a v oi di n g h a vi n g t o w rit e c u st o m a n al y si s t o ol s f o r e a c h m a n uf a ct u r e r.
• A p pl yi n g filt e r s a n d t r a n sf o r m ati o n s t o t h e d at a s o f u rt h e r a n al y si s i s m a d e e a si e r. T hi s i n cl u d e s d at a s u c h a s b yt e s g oi n g t h r o u g h a n et w o r k i nt e rf a c e.
M o st MI B s k e e p a c o u nt e r a n d t h e b a n d wi dt h h a s t o b e c al c ul at e d b y s u b- t r a cti n g t h e p r e vi o u s v al u e f r o m t h e c u r r e nt o n e. I n t h e s e c a s e s, w e w a nt t h e m e a s u r e m e nt s oft w a r e t o p r e- c al c ul at e s u c h diff e r e n c e s. A n ot h e r e x- a m pl e i s j oi ni n g i nf o r m ati o n f r o m diff e r e nt S N M P t a bl e s , t o d e c r e a s e t h e c o m pl e xit y a n d i n c r e a s e t h e p e rf o r m a n c e of f u rt h e r q u e ri e s t o t h e d at a.
• T h e c a p a bilit y of m o nit o ri n g a l a r g e n u m b e r of S N M P a g e nt s.
• E a s e of u s e of t h e s oft w a r e b y a n al y st s wit h o ut p r o g r a m mi n g e x p e ri e n c e
1. 3 N et w o r k m e a s u r e m e nt s
T r af fi c a n al y si s i s i m p o rt a nt f o r Q o S a n d s e c u rit y a s s e s s m e nt, b ut it i s n ot a n e a s y t a s k i n c u r r e nt hi g h- s p e e d n et w o r k s. At t h e c o r e n et w o r k, li n k s p e e d s a r e r a pi dl y g r o wi n g t o 1 0 0 G b p s a n d b e y o n d, w hi c h m a k e s m o nit o ri n g e q ui p m e nt c o m pl e x a n d e x p e n si v e t o a c q ui r e a n d m ai nt ai n. F u rt h e r m o r e, it t u r n s o ut t h at m a n y s u c h hi g h- e n d s niff e r s n e e d t o b e d e pl o y e d b e c a u s e t r af fi c f r o m a si n gl e u s e r c a n fl o w i n a n d o ut of t h e c o r e f r o m diff e r e nt p at h s, d u e t o t h e s o p hi sti c at e d d y n a mi c r o uti n g a n d l o a d b al a n ci n g t e c h ni q u e s b ei n g e m pl o y e d. T h u s, c o o r di n ati o n a m o n g t h e diff e r e nt s niff e r s b e c o m e s n e c e s s a r y, i n o r d e r t o c o r r el at e t r af fi c f r o m t h e s a m e u s e r s o b s e r v e d i n diff e r e nt p a rt s of t h e n et w o r k, w hi c h m a k e s t r af fi c m o nit o ri n g e v e n m o r e c h all e n gi n g a n d c o stl y. S u c h a cl a s si c al a p p r o a c h t o t r af fi c m o nit o ri n g i s s h o w n i n Fi g u r e 2. 3.
A s a n alt e r n ati v e s ol uti o n, m o nit o ri n g t h e n et w o r k at t h e e d g e s, a s s h o w n i n Fi g u r e 2. 4, eit h e r at t h e c u st o m e r’ s e n d a c c e s s r o ut e r o r e v e n at t h ei r o w n t e r mi n al, s a v e s t h e o p e r at o r f r o m d e pl o yi n g s u c h hi g h- s p e e d n et w o r k s niff e r s a n d p r o vi d e s a d diti o n al a d v a nt a g e s f o r t r af fi c s nif fi n g. F o r e x a m pl e, t r af fi c di r e ct e d t o t h e WI FI, m o bil e, a n d l a n dli n e n et w o r k i nt e rf a c e s c a n b e di sti n g ui s h e d a n d a n al y z e d s e p a r at el y. T hi s m a k e s it p o s si bl e t o u n d e r st a n d if a p ot e nti al q u alit y
6 C H A P T E R 1. I N T R O D U C TI O N
U s er d e vi c e U s er
d e vi c e U s er
d e vi c e
C or e s wit c h
N et w or k c a pt ur e s er v er
S er v er S er v er
Mirr or e d p ort
Fi g u r e 1. 3. Cl a s si c a p p r o a c h t o t r af fi c m o nit o ri n g
of s e r vi c e p r o bl e m i s si m pl y d u e t o p o o r WI FI si g n al q u alit y. W e n ot e t hi s i s a c o m m o n p r o bl e m f o r o p e r at o r s, w hi c h r e c ei v e m a n y c u st o m e r s’ c o m pl ai nt s t h at c a n b e bl a m e d o n b a d c o v e r a g e of t h e d o m e sti c WI FI n et w o r k a n d n ot o n t h e o p e r at o r s’ n et w o r k.
1. 3. N E T W O R K M E A S U R E M E N T S 7
U s er d e vi c e U s er
d e vi c e U s er
d e vi c e
N et w or k c a pt ur e s er v er
S er v er S er v er
Fi g u r e 1. 4. E d g e t r af fi c m o nit o ri n g
A d diti o n all y, u s e r s a r e b e c o mi n g i n c r e a si n gl y n o m a di c a n d t h ei r d e vi c e s a ut o- m ati c all y s wit c h b et w e e n n et w o r k s wit h o ut n oti c e. T hi s h a p p e n s f o r i n st a n c e wit h c e rt ai n s m a rt p h o n e s, w hi c h m a y s u d d e nl y att a c h t o a diff e r e nt n et w o r k, u s u all y a WI FI n et w o r k, if t h e si g n al i s st r o n g e r. F o r t h e n et w o r k o p e r at o r, it m a k e s s e n s e t o m o nit o r t h e s e n et w o r k c h a n g e s a n d t h e p o s si bl e q u alit y of s e r vi c e diff e r e n c e s.
O n t h e o n e h a n d, it h el p s t h e o p e r at o r t o pl a n f o r f ut u r e i n v e st m e nt s i n pl a c e s w h e r e c u st o m e r s t r a n sf e r t o diff e r e nt n et w o r k s o ut of t h e o p e r at o r’ s c o nt r ol. O n t h e ot h e r h a n d, if t h e r e a r e q u alit y of s e r vi c e p r o bl e m s, it al s o h el p s t h e o p e r at o r wit h p o s si bl e li a bilit y i s s u e s, a s t h e u s e r m a y mi st a k e nl y bl a m e t h e o p e r at o r f o r t h e s e q u alit y f ail u r e s, w hil e a ct u all y b ei n g att a c h e d t o a n et w o r k c o nt r oll e d b y a diff e r e nt o p e r at o r.
A d diti o n all y, if i n st all e d i n a s o- c all e d "I nt elli g e nt C P E" t h e t r af fi c c a n b e di- r e ct e d t o a l o c al t r u st e d p r o x y f o r e n c r y pt e d p a yl o a d i n s p e cti o n, p r o vi d e d t h at t h e u s e r a g r e e s, i n o r d e r t o r ei nf o r c e s e c u rit y o r p a r e nt al c o nt r ol. I n t h at c a s e, K e y
8 C H A P T E R 1. I N T R O D U C TI O N P e rf o r m a n c e I n di c at o r s ( K PI s) s u c h a s H T T P r e s p o n s e ti m e s c a n b e o bt ai n e d, w hi c h s e r v e t o b ett e r u n d e r st a n d t h e u s e r- p e r c ei v e d Q o S. N e v e rt h el e s s, e v e n if a t r u st e d p r o x y i s n ot a v ail a bl e, u s ef ul K PI s s u c h a s r et r a n s mi s si o n r at e s, R T T e s- ti m ati o n s, a n d z e r o- wi n d o w a n n o u n c e m e nt s c a n b e o bt ai n e d f r o m t h e e n c r y pt e d n et w o r k t r af fi c. B y al s o a n al y zi n g t h e I P a d d r e s s e s t h at a r e b ei n g a c c e s s e d b y t h e u s e r a n d, c o n v e r s el y, t h e cli e nt I P a d d r e s s e s t r yi n g t o c o n n e ct t o t h e h o u s e- h ol d f r o m t h e I nt e r n et, t h e o p e r at o r c a n p r o vi d e t h ei r c u st o m e r s wit h s e c u rit y r ei nf o r c e m e nt s e r vi c e s.
I n t hi s t h e si s w e p r e s e nt o u r n et w o r k m e a s u r e m e nt a g e nt, t h e mi c r o s niff e r , i nt e n d e d t o b e u s e d i n cli e nt d e vi c e s at t h e e d g e of t h e n et w o r k.
D e si g ni n g t hi s cli e nt- b a s e d s nif fi n g p r e s e nt e d si g ni fi c a nt c h all e n g e s c o m p a r e d t o t r a diti o n al m e a s u r e m e nt t e c h ni q u e s, w hi c h w e r e b a s e d o n hi g h- s p e e d t r af fi c p r o b e s d e pl o y e d i n hi g h- c a p a cit y, l a r g el y m ulti pl e x e d li n k s. N a m el y, n ot o nl y t h e d at a v ol u m e i s v e r y si g ni fi c a nt b ut it al s o c o m e s f r o m m a n y diff e r e nt mi c r o s nif- f e rs. T h u s, s u c h m o nit o ri n g d at a ( fl o w r e c o r d s) c o n s u m e s b a n d wi dt h f r o m t h e p r o d u cti o n n et w o r k, i n cl u di n g t h e a c c e s s s e g m e nt. F o r t h e m o bil e c a s e, a n d i n m a n y l a n dli n e n et w o r k s a s w ell, t h e a c c e s s s e g m e nt b a n d wi dt h m a y b e s c a r c e a n d s u bj e ct t o q u ot a s. T h u s, t h e m o r e w e r e d u c e t h e b a n d wi dt h c o n s u m e d f o r s u c h i n- b a n d t el e m et r y t h e b ett e r. I n a n y c a s e, t h e c oll e ct e d d at a s h o ul d b e i n- f o r m ati v e e n o u g h f o r Q o S a s s e s s m e nt p u r p o s e s, h e n c e t o o m u c h s u m m a ri z ati o n r e n d e r s t h e c oll e ct e d d at a u s el e s s. S u c h a t r a d e off b et w e e n i nf o r m ati o n r el a y e d a n d e c o n o mi e s i n c o n s u m e d b a n d wi dt h p o s e s a n i nt e r e sti n g r e s e a r c h p r o bl e m, w hi c h w e a d d r e s s i n t hi s t h e si s.
W e al s o n ot e t h at pl a ci n g t h e mi c r o s niff e r at t h e u s e r t e r mi n al m a k e s s e n s e t o a c hi e v e a l a r g e m e a s u r e m e nt d e n sit y a n d c o v e r t h e w h ol e n et w o r k, s p e ci all y i n m o bil e e n vi r o n m e nt s T h u s, t h e l o a d i n d u c e d b y t h e mi c r o s niff e r i n t h e v e r y u s e r t e r mi n al b e c o m e s a n i m p o rt a nt r e s e a r c h i s s u e, w hi c h w a s n ot c o v e r e d b ef o r e i n t h e st at e of t h e a rt. N e e dl e s s t o s a y, if t h e mi c r o s niff e r i m p a ct s t h e u s e r t e r mi n al p e rf o r m a n c e t h e n t h e u s e r will si m pl y r ef r ai n f r o m r u n ni n g t h e m e a s u r e m e nt.
T h u s, o u r g o al i s t o d e si g n a li g ht w ei g ht mi c r o s niff e r f o r u s e i n l a r g e- s c al e d e pl o y m e nt s. O u r r e q ui r e m e nt s a r e a s f oll o w s:
• P e rf o r m n et w o r k m e a s u r e m e nt s si mil a r t o t h e o n e s o bt ai n e d wit h t r a di- ti o n al m et h o d s, wit h t h e g o al of m a ki n g t h e mi c r o s niff e r a vi a bl e alt e r n ati v e t o c e nt r ali z e d n et w o r k p r o b e s.
1. 4. S T A T E O F T H E A R T 9
• M a k e t h e mi c r o s niff e r a s li g ht w ei g ht a s p o s si bl e t o p r e v e nt it f r o m n e g a- ti v el y aff e cti n g t h e u s e r’ s q u alit y of e x p e ri e n c e. T o a c hi e v e t hi s w e s e e k t o mi ni mi z e C P U a n d m e m o r y r e q ui r e m e nt s, a s w ell a s mi ni mi zi n g t h e n et- w o r k r e s o u r c e s n e c e s s a r y t o e x p o rt t h e m e a s u r e m e nt s.
• S u p p o rt l a r g e- s c al e mi c r o s niff e r d e pl o y m e nt s b y d e v el o pi n g hi g h p e rf o r m a n c e c o nt r ol a n d c oll e cti o n s e r v e r s oft w a r e u s e d t o c o nt r ol t h e mi c r o s niff e r p o p u- l ati o n a n d r e c ei v e t h ei r m e a s u r e m e nt s. T o f u rt h e r i n c r e a s e t h e c a p a cit y of t h e s y st e m, t h e s oft w a r e s e r v e r s a r e d e si g n e d t o b e di st ri b ut e d i n diff e r e nt p h y si c al m a c hi n e s.
• C o nt r ol t h e a m o u nt of d at a t h e mi c r o s niff e rs s e n d t o t h e d at a c oll e cti o n s e r v e r s t o a v oi d t h e m b ei n g o v e r w h el m e d.
• E n c r y pt t h e n et w o r k m e a s u r e m e nt d at a w h e n s e n di n g it t o t h e c oll e cti o n s e r v e r s.
1. 4 St at e of t h e a rt
1. 4. 1 S N M P
S N M P fi r st a p p e a r e d i n 1 9 8 8 wit h R F C 1 0 6 7 [ 1] a n d r e c ei v e d u p d at e s f o r v e r si o n 2 i n 1 9 9 3 wit h R F C 1 4 4 1 [ 3], a n d v e r si o n 3 i n 2 0 0 2 wit h R F C 3 4 1 1 [ 4] .
E v e n t h o u g h S N M P i s wi d el y u s e d f o r n et w o r k d e vi c e m o nit o ri n g, it di d n ot a c hi e v e a s m u c h p o p ul a rit y f o r m a n a gi n g a n d c o n fi g u ri n g d e vi c e s. A s a r e s ult, s e v e r al alt e r n ati v e s f o c u s e d o n n et w o r k c o n fi g u r ati o n h a v e b e e n p r o p o s e d, s u c h a s N E T C O N F, R E S T C O N F, a n d g N MI.
N E T C O N F w a s fi r st p r o p o s e d i n 2 0 0 6 wit h R F C 4 7 4 1 [ 5]. It s m ai n o bj e cti v e w a s m a n a gi n g d e vi c e c o n fi g u r ati o n s i n a n e a si e r w a y t h a n w h at S N M P all o w s.
R E S T C O N F a p p e a r e d i n 2 0 1 7 wit h R F C 8 0 4 0 [ 6]. It p r o vi d e s a n H T T P A PI t h at all o w s e a si e r u s e of t h e N E T C O N F f e at u r e s.
g N MI [ 7] i s a n alt e r n ati v e n et w o r k m a n a g e m e nt a n d m o nit o ri n g p r ot o c ol d e- v el o p e d b y G o o gl e. It u s e s t h ei r g R P C i m pl e m e nt ati o n a s a t r a n s p o rt p r ot o c ol.
Si n c e t hi s w o r k i s f o c u s e d o n n et w o r k m o nit o ri n g i n st e a d of m a n a g e m e nt, t h e s e alt e r n ati v e s d o n ot p r o p e rl y a d d r e s s o u r r e q ui r e m e nt s. A d diti o n all y, t h e y a r e n ot a s wi d el y e xt e n d e d a s S N M P, w hi c h h a s b e c o m e t h e d e-f a ct o st a n d a r d f o r m o nit o ri n g a n d i s a v ail a bl e i n m o st n et w o r k d e vi c e s a n d s e r v e r s.
1 0 C H A P T E R 1. I N T R O D U C TI O N T h e m ai n i s s u e wit h S N M P i s t h at, a s d at a c e nt e r s a n d n et w o r k s g r o w i n si z e a n d c o m pl e xit y, n ot c o m p a r a bl e t o t h at of t h e ’ 9 0 s, it b e c o m e s n e c e s s a r y t o r e- vi sit t h e p e rf o r m a n c e of S N M P i n s u c h s c e n a ri o s. Si n c e t h e n u m b e r of d e vi c e s t o b e p oll e d b y t h e S N M P m a n a g e r s i s i n t h e t h o u s a n d s, s c al a bilit y b e c o m e s a m aj o r i s s u e. A c o m m o n w o r k a r o u n d f o r s c al a bilit y i s t o s plit t h e s et of d e vi c e s i nt o s e p a r at e g r o u p s a n d d e pl o y a n et w o r k m a n a g e r f o r e a c h of t h e m, p o s si bl y i n s e v e r al vi rt u al m a c hi n e s [ 8] [ 9]. S u c h h o ri z o nt al s c al a bilit y st r at e g y t a k e s c a r e of t h e i s s u e b ut c o m e s at a c o st. O n t h e o n e h a n d, it c o n s u m e s v al u a bl e c o m p uti n g a n d s oft w a r e r e s o u r c e s; i n d e e d, f r o m o u r d e pl o y m e nt e x p e ri e n c e wit h o p e r at o r s, h u n d r e d s of vi rt u al m a c hi n e s a r e e m pl o y e d, w hi c h n ot o nl y c o n s u m e h a r d w a r e r e s o u r c e s b ut al s o s oft w a r e li c e n s e s. O n t h e ot h e r h a n d, h o ri z o nt al s c al a bilit y e n- t ail s d at a di s a g g r e g ati o n i n t h e diff e r e nt n et w o r k m a n a g e r s, w hi c h c o m pli c at e s m att e r s f o r d at a c o r r el ati o n aft e r w a r d.
W e al s o n ot e t h at t h e r e a r e m a n y p r o p ri et a r y MI B s a n d t h at t h e st a n d a r d MI B s s p e ci fi c ati o n s l e a v e r o o m f o r sli g ht diff e r e n c e s i n i m pl e m e nt ati o n [ 1 0] t h at, i n t u r n, m a k e s it n e c e s s a r y t o t u n e t h e S N M P m a n a g e r f r e q u e ntl y o r u s e a t r a n s- l ati o n l a y e r [ 1 1]. T o d o s o, w e p r e s e nt a s oft w a r e a r c hit e ct u r e b a s e d o n P yt h o n s c ri pti n g t h at all o w s t o s wiftl y a d a pt t o a n y ki n d of MI B.
A n ot h e r alt e r n ati v e f o r d e vi c e m o nit o ri n g i s S y sl o g, a st a n d a r d l o g m e s s a g e f o r m at t h at a p p e a r e d i n 1 9 8 0 a n d w a s st a n d a r di z e d i n 2 0 0 9 wit h R F C 5 4 2 4 [ 1 2].
S o m e m a n uf a ct u r e r s all o w d e vi c e s t o g e n e r at e S y sl o g m e s s a g e s [ 1 3] [ 1 4] a n d r e di- r e ct t h e m t o a r e m ot e s e r v e r.
Alt h o u g h S y sl o g c a n r et ri e v e s o m e of t h e i nf o r m ati o n S N M P d o e s, it p u s h e s i nf o r m ati o n i n st e a d of p ulli n g it li k e wit h S N M P. T hi s ri s k s l o si n g d at a if t o o m a n y m e s s a g e s a r ri v e at t h e s a m e ti m e a n d t h e S y sl o g s e r v e r i s o v e r w h el m e d.
F o r t hi s w o r k, w e w a nt t o g et all d at a, e v e n if t h at m e a n s i n c r e a si n g t h e p olli n g i nt e r v al. S N M P al s o all o w s u s t o s e e t h e c u r r e nt st at e of t h e d e vi c e, i n st e a d of h a vi n g t o l o o k at p r e vi o u s S y sl o g m e s s a g e s t o fi g u r e o ut t h e c u r r e nt st at e.
F o r t h e s e r e a s o n s, w e c h o s e t o u s e S N M P i n st e a d of ot h e r alt e r n ati v e s.
1. 4. 2 N et w o r k m e a s u r e m e nt s
T h e r e a r e m a n y diff e r e nt alt e r n ati v e s f o r m e a s u ri n g I nt e r n et s e r vi c e s f r o m t h e e d g e i n t h e lit e r at u r e, t h e fi r st of w hi c h i s t o p e rf o r m a cti v e m e a s u r e m e nt s.
T h e a ut h o r s i n [ 1 5] p r o p o s e P a c k et L a b, a u ni v e r s al i nt e rf a c e f o r r u n ni n g e x- p e ri m e nt s i n n et w o r k p r o b e s. I n P a c k et L a b, a n e x p e ri m e nt e r p u bli s h e s e x p e r-
1. 4. S T A T E O F T H E A R T 1 1 i m e nt d e s c ri pt o r s, w hi c h c o nt ai n t h e a d d r e s s of a n e x p e ri m e nt c o nt r oll e r, t o a r e n d e z v o u s s e r v e r. T h e p r o b e s p oll t h e f o r m e r f o r d e s c ri pt o r s a n d c o nt a ct t h e e x- p e ri m e nt c o nt r oll e r t o r e c ei v e f u rt h e r i n st r u cti o n s. A li mit ati o n of s u c h a cti v e m e a s u r e m e nt s i s t h at t h e c oll e ct e d m et ri c s d o n ot s h o w t h e f ull pi ct u r e, b e c a u s e o nl y a f e w m e a s u r e m e nt p oi nt s a r e u s e d. A s a r e s ult, t h e p r o p o s e d a p p r o a c h o nl y p r o vi d e s a p a rti al s n a p s h ot of t h e s e r vi c e p e rf o r m a n c e.
A s a n alt e r n ati v e, a m e a s u r e m e nt m o d el c all e d R e al U s e r M o nit o ri n g ( R U M) [ 1 6] h a s b e e n wi d el y u s e d i n c o r p o r at e n et w o r k s. S u c h t e c h n ol o g y i s b a s e d o n i nj e cti n g j a v a s c ri pt c o d e i n t h e w e b b r o w s e r, w hi c h p e rf o r m s p a s si v e m e a s u r e- m e nt s s u c h a s w e b r e s o u r c e l o a di n g ti m e s. T h e n, m e a s u r e m e nt s a r e s e nt b a c k t o t h e a p pli c ati o n s e r v e r f o r f u rt h e r a n al y si s. S u c h j a v a s c ri pt c o d e m u st b e i n c o r p o- r at e d i nt o t h e s e r v e r a p pli c ati o n, w hi c h, i n t u r n, r el a y s t h e c o d e t o e a c h i n c o mi n g cli e nt. H o w e v e r, w e n ot e t h at s u c h c o d e i n st r u m e nt ati o n c a n o nl y b e p e rf o r m e d b y t h e s e r vi c e p r o vi d e r it s elf, b ut c a n n ot b e p e rf o r m e d b y t hi r d p a rti e s, s u c h a s n et- w o r k o p e r at o r s, w hi c h a r e al s o k e e n t o a s s e s s Q o S. A n alt e r n ati v e i s F at h o m [ 1 7], w h e r e a b r o w s e r e xt e n si o n i s u s e d t o m e a s u r e n et w o r k p e rf o r m a n c e, b ut li mit e d t o s e r vi c e s off e r e d t h r o u g h I nt e r n et b r o w s e r s.
T h e a b o v e Q o S m e a s u r e m e nt p a r a di g m s s uff e r f r o m li mit ati o n s, d u e t o t h e li mit e d vi si bilit y t h at t h e c u st o m e r h a s o v e r t h e s e r v e r. I n t hi s li g ht, i n st alli n g a s oft w a r e mi c r o s niff e r at t h e cli e nt d e vi c e (t e r mi n al o r r o ut e r) b e c o m e s a n a p- p e ali n g alt e r n ati v e, v e r y m u c h li k e a n a nti vi r u s a g e nt. I nt e r e sti n gl y, n ot o nl y t h e I nt e r n et s e r vi c e p e rf o r m a n c e c a n b e m e a s u r e d, b ut al s o t h e n et w o r k f e at u r e s b e- t w e e n t h e cli e nt a n d s e r v e r (f o r e x a m pl e, t h e r o u n dt ri p ti m e). U nli k e R U M, t h e r e i s n o n e e d f o r t h e cl o u d a p pli c ati o n s e r v e r s t o i nj e ct j a v a s c ri pt c o d e i n t h e cli e nt b r o w s e r b e c a u s e t h e p r o b e at t h e cli e nt i s st a n d al o n e.
I n t hi s li g ht, L e et al. [ 1 8] p r o p o s e a cli e nt- si d e p r o b e f o r A n d r oi d d e vi c e s, t h at r el a y s a c o p y of all p a c k et s t o a c e nt r al s e r v e r f o r a n al y si s. S e n di n g p a c k et c o pi e s f r o m t h e cli e nt d e vi c e (i. e, li k e a S P A N p o rt d o e s) i s s e n si bl e n ot t o o v e rl o a d t h e d e vi c e, b ut t h e s e r v e r i s f a c e d wit h t h e t r af fi c of m a n y A n d r oi d d e vi c e s. A s s h o w n [ 1 8], a f ull y- fl e d g e d 4 8 c o r e s e r v e r ( 8 0 0 M h z) wit h 5 1 2 G B R A M c a p a cit y i s n e c e s s a r y f o r j u st 5 0 0 A n d r oi d d e vi c e s, n ot t o m e nti o n t h e c o n s u m e d b a n d wi dt h.
S h a r m a et al. [ 1 9] p e rf o r m p a s si v e m e a s u r e m e nt s at t h e cli e nt a s w ell, b ut t h ei r f o c u s i s t o p r o vi d e a n o n y mi z e d a n d a g g r e g at e d n et w o r k i nf o r m ati o n. S u c h a c o a r s e a g g r e g ati o n s c al e d o e s n ot all o w f o r e v al u ati n g t h e e x p e ri e n c e of i n di- vi d u al u s e r s, w hi c h i s t h e c o r n e r st o n e f o r t r o u bl e s h o oti n g. G e n e r all y s p e a ki n g, t h e u s e of c e nt r al st ati sti c c oll e cti o n s e r v e r s p o s e s s e v e r e p e rf o r m a n c e c h all e n g e s.
1 2 C H A P T E R 1. I N T R O D U C TI O N R a d o v a n o vi c et al. [ 2 0] u s e a c e nt r ali z e d j a v a s e r v e r t h at c o m m u ni c at e s wit h t h e m o nit o r e d d e vi c e s u si n g T R- 0 6 9. It f e at u r e s R E S T a n d R P C A PI s t h at c a n b e u s e d b y m o nit o ri n g n o d e s. K a w a z o e et al [ 2 1] u s e a s e ri e s of m e s s a g e b r o k e r s t h at c o m m u ni c at e t h e m o nit o r e d d e vi c e s wit h t h e m o nit o ri n g n o d e s, w hi c h a r e a r bi- t r at e d t h a n k s t o a M e di ati o n S e r v e r. S u c h a d e si g n a p p r o a c h h el p s t h e s y st e m s c al e a n d s u p p o rt a hi g h n u m b e r of d e vi c e s.
W e n ot e t h at n o n e of t h e a b o v e p a p e r s p r o vi d e a p e rf o r m a n c e e v al u ati o n of t h e w o r kl o a d i n d u c e d at t h e d at a c oll e ct o r a n d n et w o r k i n a l a r g e s c al e mi c r o s niff e rs’
d e pl o y m e nt, w hi c h i s t h e f o c u s of o u r r e s e a r c h, a s w ell a s t h e d at a s u m m a ri z ati o n t e c h ni q u e s t h at f a cilit at e s u c h a d e pl o y m e nt.
Fi n all y, t h e r e a r e m a n y m e a s u r e m e nt i niti ati v e s b a s e d o n c r o w d s o u r ci n g, f o r e x a m pl e O p e n si g n al [ 2 2], T ut el a [ 2 3] o r S a m k n o w s [ 2 4]. F u rt h e r m o r e, t h e I T U St u d y G r o u p 1 2 al s o a d v o c at e d f o r c r o w d s o u r ci n g t o p e rf o r m l a r g e- s c al e m e a s u r e- m e nt s [ 2 5]. A ct u all y, w e b eli e v e c r o w d s o u r ci n g i s e m e r gi n g a s a n e w p a r a di g m f o r Q o S m e a s u r e m e nt s, w hi c h diff e r s f r o m t h e t r a diti o n al a p p r o a c h of h a vi n g a f e w s niff e r s att a c h e d t o l a r g e a g g r e g ati o n li n k s, v e r s u s d e pl o yi n g a l a r g e n u m b e r of p r o b e s at t h e e d g e s.
I nt r o d u c ci ó n 2
E st a t e si s d o ct o r al e st á e nf o c a d a a e v al u a r el r e n di mi e nt o d e c e nt r o s d e d at o s c o r- p o r ati v o s, d e s d e el e q ui p a mi e nt o d e r e d h a st a l o s di s p o siti v o s d e u s u a ri o. N u e st r o o bj eti v o e s c o n s e g ui r u n a vi si ó n gl o b al d e t o d o s l o s di s p o siti v o s d e r e d c o n e ct a d o s, d e s d e di s p o siti v o s c e nt r al e s c o m o r o ut e r s y s wit c h e s d e r e d, h a st a e q ui p o s e n el b o r d e d e l a r e d c o m o o r d e n a d o r e s d e u s u a ri o.
Al t r at a r c o n di s p o siti v o s c o m o r o ut e r s y s wit c h e s, el p r ot o c ol o S N M P e st á m u y e xt e n di d o y d a m u c h a i nf o r m a ci ó n útil p a r a l o s a n áli si s d e r e d. E n e st a t e si s d e s a r r oll a m o s u n s oft w a r e d e m e di ci ó n S N M P q u e p u e d e o bt e n e r i nf o r m a ci ó n d e e st o s di s p o siti v o s e fi ci e nt e m e nt e. T a m bi é n i n v e sti g a m o s el p r o bl e m a p r e s e nt a d o p o r l o s ti e m p o s d e r e s p u e st a v a ri a bl e s d e bi d o s a l a c a r g a d e C P U e n l o s di s p o si- ti v o s y c r e a m o s u n al g o rit m o a d a pt ati v o d e s o n d e o S N M P.
E n el c a s o d e o r d e n a d o r e s p e r s o n al e s, S N M P n o e st á di s p o ni bl e o r e q ui e r e c o n fi g u r a ci ó n a di ci o n al. A d e m á s, n o r m al m e nt e l o s di s p o siti v o s d e u s u a ri o e s- t á n d et r á s d e N A T s. E st o c a u s a p r o bl e m a s d a d o q u e l a m a y o rí a d e i nf o r m a ci ó n di s p o ni bl e e n S N M P s e o bti e n e s o n d e a n d o a l o s di s p o siti v o s d e s d e el s oft w a r e d e m e di ci ó n. C o m o c o m pli c a ci ó n a di ci o n al, e n el f ut u r o l o s u s u a ri o s p o d rí a n e st a r c o n e ct a d o s a s e r vi ci o s cl o u d e n l u g a r d e a u n c e nt r o d e d at o s c e nt r al d e s d e el q u e
1 3
1 4 C H A P T E R 2. I N T R O D U C CI Ó N s e p u e d a n r e ali z a r s o n d e o s S N M P. Fi n al m e nt e, l a s e g u ri d a d d e S N M P n o e s t a n ef e cti v a c o m o u s a r c o n e xi o n e s T L S cif r a d a s.
P o r e st a s r a z o n e s, di s e ñ a m o s y d e s a r r oll a m o s n u e st r o p r o pi o s oft w a r e d e m e di- ci ó n d e r e d q u e p u e d e s e r i n st al a d o c o n f a cili d a d, f u n ci o n a d et r á s d e N A T s y ti e n e m ej o r s e g u ri d a d. T a m bi é n d e s a r r oll a m o s u n s e r vi d o r p a r a r e c ol e ct a r t o d o s l o s d at o s d e u n g r a n n ú m e r o d e di s p o siti v o s. A di ci o n al m e nt e, i n v e sti g a m o s c ó m o r e- d u ci r l a c a nti d a d d e d at o s e n vi a d a d e s d e l o s di s p o siti v o s d e u s u a ri o, d a d o q u e g e sti o n a r t o d a l a i nf o r m a ci ó n p r o d u ci d a p o r el s oft w a r e d e m e di ci ó n p u e d e s e r m u y c o st o s o.
El s oft w a r e d e m e di ci ó n S N M P y el s e r vi d o r d e m e di ci ó n d e r e d p u e d e n s e r u s a d o s p a r a r e ci bi r d at o s d e s d e di sti nt o s ti p o s d e di s p o siti v o s y g u a r d a r e st a i n- f o r m a ci ó n e n u n l u g a r c e nt r ali z a d o, c o m o v e m o s e n l a Fi g u r a 2. 1.
D u r a nt e el d e s a r r oll o d el s oft w a r e d e m e di ci ó n S N M P y d el s e r vi d o r d e m e di- ci ó n d e r e d n o s e nf o c a m o s e n f a cilit a r l a s t a r e a s d e l o s a n ali st a s, c r e a n d o u n si s- t e m a s e n cill o d e u s a r y q u e e n c aj e f á cil m e nt e c o n s u s p r o c e s o s d e t r a b aj o.
2. 1 E x p e ri e n ci a d el a n ali st a
N u e st r a e x p e ri e n ci a i n di c a q u e l o s a n ali st a s p u e d e n t e n e r di sti nt o s ni v el e s d e e x p e ri e n ci a p r o g r a m a n d o y q u e, i n cl u s o c u a n d o ti e n e n m á s e x p e ri e n ci a, al g u n o s p r e fi e r e n p r o g r a m a r l o m e n o s p o si bl e c u a n d o r e ali z a n a n áli si s
P o r e st a r a z ó n l a s h e r r a mi e nt a s q u e d e s a r r oll a m o s e n n u e st r o l a b o r at o ri o d e i n v e sti g a ci ó n i m p ri m e n s u s r e s ult a d o s e n fi c h e r o s C S V. E st o s fi c h e r o s p u e d e n s e r p r o c e s a d o s c o n l e n g u aj e s d e p r o g r a m a ci ó n d e s c ri pti n g e n el c a s o d e a n ali st a s t é c- ni c o s o i m p o rt a d o s a b a s e s d e d at o s o p r o g r a m a s c o m o Mi c r o s oft E x c el p o r a n al- i st a s m e n o s t é c ni c o s. L a Fi g u r a 2. 2 m u e st r a e st e fl uj o d e t r a b aj o. P o r e st a r a z ó n, l o s p r o g r a m a s d e s a r r oll a d o s e n e st a t e si s i m p ri m e n s u s r e s ult a d o s a fi c h e r o s C S V p o r d ef e ct o.
2. 2 S N M P
S N M P e s u n p r ot o c ol o m u y e xt e n di d o p a r a g e sti o n a r y m o nit o ri z a r di s p o siti v o s d e r e d ( a g e nt e s S N M P).
E n e st a t e si s n o s i nt e r e s a s u c a p a ci d a d p a r a m o nit o ri z a r. L a i nf o r m a ci ó n di s p o ni bl e i n cl u y e d at o s s o b r e di sti nt o s p r ot o c ol o s d e r e d, p o r ej e m pl o l a s c o n e x-
2. 2. S N M P 1 5
i m g / s e r v e r s _ d a t a _ f l o w _ s p a n i s h . p d f
Fi g u r e 2. 1. Fl uj o d e d at o s
i o n e s T C P y U D P a bi e rt a s, t a bl a s d e r ut a s o c o n fi g u r a ci ó n d e c o rt af u e g o s. T a m- bi é n p r o v e e i nf o r m a ci ó n s o b r e el h a r d w a r e, c o m o el n ú m e r o d e C P U s y c ó m o d e c a r g a d a s e st á n, i nf o r m a ci ó n s o b r e l a m e m o ri a y l o s di s c o s d u r o s, i nf o r m a ci ó n s o- b r e f u e nt e s d e ali m e nt a ci ó n, et c
L o s v al o r e s q u e s e o bti e n e n d e S N M P e st á n i n d e x a d o s p o r u n a cl a v e (ll a m a d a OI D). C a d a v al o r p u e d e s e r u n e s c al a r , q u e si e m p r e ti e n e u n ú ni c o v al o r c o m o s e v e e n l a t a bl a 2. 1, o u n a t a bl a, q u e p u e d e t e n e r u n n ú m e r o v a ri a bl e d e e nt r a d a s c o m o m o st r a m o s e n l a T a bl a 2. 2.
1 6 C H A P T E R 2. I N T R O D U C CI Ó N
i m g / a n a l y s t _ w o r k f l o w _ s p a n i s h . p d f
Fi g u r e 2. 2. Fl uj o d e t r a b aj o d e l o s a n ali st a s
N o m b r e OI D V al o r d e ej e m pl o
s y s D e s c r 1. 3. 6. 1. 2. 1. 1. 1 S e r v e r 1 s y s U p Ti m e 1. 3. 6. 1. 2. 1. 1. 3 1 5 2 3 2 4
T a bl e 2. 1: Ej e m pl o d e v al o r e s e s c al a r e s
L a i nf o r m a ci ó n d e S N M P s e o r g a ni z a e n MI B s ( M a n a g e m e nt I nf o r m ati o n B a s e) , q u e p r o v e e n n o m b r e s y d e s c ri p ci o n e s p a r a c a d a ti p o d e d at o ( p o r ej e m pl o, l a s c o n e xi o n e s T C P). Al g u n a s d e e st a s MI B s e st á n e st a n d a ri z a d a s y n o r m al m e nt e
2. 2. S N M P 1 7 N o m b r e
d e t a bl a N o m b r e d el c a m p o OI D d el c a m p o V al o r d e ej e m pl o
if T a bl e
ifI n d e x 1. 3. 6. 1. 2. 1. 2. 2. 1. 1 2
if D e s c r 1. 3. 6. 1. 2. 1. 2. 2. 1. 2
I nt el C o r p o r ati o n 8 2 5 4 5 E M
Gi g a bit Et h e r n et C o nt r oll e r
( C o p p e r)
if T y p e 1. 3. 6. 1. 2. 1. 2. 2. 1. 3 6
if Mt u 1. 3. 6. 1. 2. 1. 2. 2. 1. 4 1 5 0 0
if S p e e d 1. 3. 6. 1. 2. 1. 2. 2. 1. 5 1 0 0 0 0 0 0 0 0 0
if P h y s A d d r e s s 1. 3. 6. 1. 2. 1. 2. 2. 1. 6 0 0 0 C 2 9 B D E 8 0 7 if A d mi n St at u s 1. 3. 6. 1. 2. 1. 2. 2. 1. 7 1
if O p e r St at u s 1. 3. 6. 1. 2. 1. 2. 2. 1. 8 1
if L a st C h a n g e 1. 3. 6. 1. 2. 1. 2. 2. 1. 9 0: 0 0: 0 0. 0 0 ifI n O ct et s 1. 3. 6. 1. 2. 1. 2. 2. 1. 1 0 3 3 4 4 4 4 7 8 5 4 ifI n U c a st P kt s 1. 3. 6. 1. 2. 1. 2. 2. 1. 1 1 3 0 4 5 1 2 4 ifI n N U c a st P kt s 1. 3. 6. 1. 2. 1. 2. 2. 1. 1 2 0
ifI n Di s c a r d s 1. 3. 6. 1. 2. 1. 2. 2. 1. 1 3 0 ifI n E r r o r s 1. 3. 6. 1. 2. 1. 2. 2. 1. 1 4 0 ifI n U n k n o w n P r ot o s 1. 3. 6. 1. 2. 1. 2. 2. 1. 1 5 0
if O ut O ct et s 1. 3. 6. 1. 2. 1. 2. 2. 1. 1 6 1 8 1 1 1 4 6 1 6 if O ut U c a st P kt s 1. 3. 6. 1. 2. 1. 2. 2. 1. 1 7
if O ut N U c a st P kt s 1. 3. 6. 1. 2. 1. 2. 2. 1. 1 8 6 0 8 0 4 3 if O ut Di s c a r d s 1. 3. 6. 1. 2. 1. 2. 2. 1. 1 9 0 if O ut E r r o r s 1. 3. 6. 1. 2. 1. 2. 2. 1. 2 0 0 if O ut Q L e n 1. 3. 6. 1. 2. 1. 2. 2. 1. 2 1 0 if S p e ci fi c 1. 3. 6. 1. 2. 1. 2. 2. 1. 2 2 c citt. 0
T a bl e 2. 2: Ej e m pl o d e t a bl a
s o n s o p o rt a d a s p o r l a m a y o rí a d el e q ui p a mi e nt o d e r e d. Ot r a s s o n c r e a d a s p o r l o s f a b ri c at e s d el e q ui p a mi e nt o.
C o m o c o n s e c u e n ci a, c a d a m a r c a y m o d el o d e e q ui p a mi e nt o ti e n e di sti nt a s MI B s. P o r ej e m pl o, u n r o ut e r t e n d r á i nf o r m a ci ó n s o b r e s u s t a bl a s d e r ut a s, u n c o rt af u e g o s t e n d r á MI B s n o e st á n d a r e s p a r a m o st r a r s u s r e gl a s y U P S s ( U ni nt e r- r u pti bl e P o w e r S u p pl y) t e n d r á i nf o r m a ci ó n a c e r c a d e s u s b at e rí a s.
P a r a t r at a r c o n u n g r a n n ú m e r o d e di s p o siti v o s, di sti nt a s MI B s y t r a n sf o r m a- ci o n e s y filt r a d o d e d at o s, p r o p o n e m o s l o s si g ui e nt e s r e q u e ri mi e nt o s:
• Fl e xi bili d a d p a r a s o p o rt a r t o d a s l a s MI B s q u e s e a n p o si bl e s, i n cl u y e n d o MI B s e st á n d a r e s y p r o pi et a ri a s. T a m bi é n q u e r e m o s s o p o rt a r c a s o s d e u s o
1 8 C H A P T E R 2. I N T R O D U C CI Ó N e n l o s q u e l o s r e s ult a d o s d e u n s o n d e o s o n n e c e s a ri o s p a r a r e ali z a r ot r o s s o n d e o s.
• C a p a ci d a d d e u ni fi c a r l o s d at o s d e v u elt o s p o r e q ui p a mi e nt o d e di sti nt o s f a b- ri c a nt e s. C o m o ej e m pl o, l a m a y o rí a d e f a b ri c a nt e s ti e n e n s u s p r o pi a s MI B s p r o pi et a ri a s p a r a o bt e n e r i nf o r m a ci ó n s o b r e l a C P U. E n e st o s c a s o s n o s i n- t e r e s a e x p o rt a r t o d o s l o s d at o s e n el mi s m o f o r m at o, l o q u e a y u d a a r e d u ci r l a c a r g a d e t r a b aj o d e l o s a n ali st a s.
• A pli c a r filt r a d o y t r a n sf o r m a ci o n e s a l o s d at o s p a r a q u e el a n áli si s p o st e ri o r s e a m á s s e n cill o. U n ej e m pl o e s l a m e di ci ó n d e l o s b yt e s q u e p a s a n a t r a v é s d e u n a i nt e rf a z d e r e d. L a m a y o rí a d e MI B s m a nti e n e n u n c o nt a d o r y p a r a c al c ul a r el a n c h o d e b a n d a h a y q u e r e st a r al v al o r a ct u al el v al o r p r e vi o. E n e st e c a s o q u e r e m o s q u e el s oft w a r e d e m e di ci ó n p r e- c al c ul e e st a s dif e r e n ci a s.
Ot r o ej e m pl o e s u ni r l a i nf o r m a ci ó n d e di sti nt a s t a bl a s S N M P, r e d u ci e n d o l a c o m pl eji d a d d e a n áli si s p o st e ri o r e s.
• C a p a ci d a d d e m o nit o ri z a r u n g r a n n ú m e r o d e a g e nt e s S N M P
• F a cili d a d d e u s o p o r p a rt e d e a n ali st a s si n e x p e ri e n ci a d e p r o g r a m a ci ó n.
2. 3 M e di ci o n e s d e r e d
El a n áli si s d e t r á fi c o d e r e d e s i m p o rt a nt e p a r a m e di r l a c ali d a d d e s e r vi ci o ( Q o S) y e v al u a ci o n e s d e s e g u ri d a d, p e r o n o e s u n a t a r e a f á cil e n l a s r e d e s d e alt a v el o ci d a d a ct u al e s. E n el c o r e ( c e nt r o) d e l a r e d, l a v el o ci d a d d e l o s e nl a c e s e st á c r e ci e n d o h a st a l o s 1 0 0 G b p s y m á s all á, l o q u e h a c e q u e l a s s o n d a s d e m e di ci ó n d e r e d s e a n m á s c o m pl ej a s y c a r a s. A d e m á s e s n e c e s a ri o i n st al a r m u c h a s d e e st a s s o n d a s, d a d o q u e el t r á fi c o d e u n u s u a ri o p u e d e e nt r a r y s ali r d el c o r e d e l a r e d p o r di s- ti nt o s c a mi n o s, d e bi d o a al g o rit m o s d e e n r ut a d o di n á mi c o s y t é c ni c a s d e b al a n c e o d e c a r g a. C o m o c o n s e c u e n ci a, e s n e c e s a ri o c o o r di n a r l a s dif e r e nt e s s o n d a s p a r a p o d e r c o r r el a r el t r á fi c o d e u n mi s m o u s u a ri o o b s e r v a d o e n di sti nt a s p a rt e s d e l a r e d. E st o h a c e q u e l a m o nit o ri z a ci ó n d e r e d s e a a ú n m á s c o m pli c a d a y c a r a. L a Fi g u r a 2. 3 m u e st r a u n ej e m pl o d e e st a a p r o xi m a ci ó n cl á si c a a l a m o nit o ri z a ci ó n d e r e d.
U n a s ol u ci ó n alt e r n ati v a e s u s a r u n a s o n d a p a r a m o nit o ri z a r e n el b o r d e d e l a r e d, c o m o v e m o s e n l a Fi g u r a 2. 4, u s a n d o r o ut e r s o di s p o siti v o s d e u s u a ri o.
2. 3. M E DI CI O N E S D E R E D 1 9
i m g / m o n i t o r _ c o r e _ s p a n i s h . p d f
Fi g u r e 2. 3. A p r o xi m a ci ó n cl á si c a a l a m o nit o ri z a ci ó n d e r e d
G r a ci a s a e st o el o p e r a d o r n o n e c e sit a rí a i n st al a r s o n d a s d e r e d d e alt a v el o ci d a d.
E st a a p r o xi m a ci ó n t a m bi é n ti e n e ot r a s v e nt aj a s. P o r ej e m pl o, e s p o si bl e di sti n g ui r e nt r e el t r á fi c o di ri gi d o a r e d e s WI FI, m ó vil o c a bl e a d a s, p e r miti e n d o h a c e r s u a n áli si s p o r s e p a r a d o. D e e st e m o d o p o d e m o s s a b e r si u n p r o bl e m a d e c ali d a d d e s e r vi ci o e st á c a u s a d o p o r m al a r e c e p ci ó n WI FI o p o r u n p r o bl e m a e n l a r e d d el o p e r a d o r. E st a e s u n a c u e sti ó n a l a q u e l o s o p e r a d o r e s d e r e d d e b e n e nf r e nt a r s e a m e n u d o, d a d o q u e l o s u s u a ri o s p r e s e nt a n q u ej a s q u e p o d rí a n e st a r c a u s a d a s p o r m al a r e c e p ci ó n WI FI e n l u g a r d e s e r u n p r o bl e m a d el o p e r a d o r.
Ot r o r et o e s q u e l o s u s u a ri o s s o n m á s m ó vil e s y s u s di s p o siti v o s c a m bi a n a u- t o m áti c a m e nt e d e r e d si n ni n g u n a i n di c a ci ó n. E st o o c u r r e c o n p o r ej e m pl o al g u n o s s m a rt p h o n e s q u e s e c o n e ct a n a dif e r e nt e s r e d e s, n o r m al m e nt e WI FI, si l a c o n e x- i ó n e s m á s f u e rt e. M o nit o ri z a r e st o s c a m bi o s e s d e i nt e r é s p a r a l o s o p e r a d o r e s d e r e d. P o r u n l a d o, l o s o p e r a d o r e s p u e d e n pl a n e a r i n v e r si o n e s f ut u r a s e n l u g a r e s d o n d e l o s u s u a ri o s c a m bi a n a di sti nt a s r e d e s f u e r a d el c o nt r ol d el o p e r a d o r. P o r ot r o l a d o, e st a i nf o r m a ci ó n p u e d e a y u d a r al o p e r a d o r e n c a s o s d o n d e l o s u s u a r-
