PHD THESIS
CHARACTERISATION SCHEMA
FOR SELECTING
SOFTWARE TESTING TECHNIQUES
AUTHOR: SIRA VEGAS
ADVISORS: VICTOR R. BASILI
(University of Maryland)
NATALIA JURISTO
(Universidad Politécnica de Madrid)
FACULTAD DE INFORMÁTICA
Departamento de Lenguajes y Sistemas Informáticos
e Ingeniería del Software
!
!
"
#$
# % & '
$ (
!
(
) *
++!,#% -
. ! / ' / % 0 !,
12! 34 ' 5
4
& ' #$ % & '
.
* 1
6 /
# 6
7 7 4 73 8 - . 8
3
8 Æ
1
'
+
2;
+ +
, $ + 9
+: 9
+:
+
1 + "
+
+
+ + "
);
,
1 1
+
, " +
$
( $
, (
+ $
(
+ , "
" +
<< / 1 =
<> ( ?
<= .* 4 + @
<? . A
<B .) 1 <C
<D E <>
>< <B
>> 1 <F
>= 1 4 =>
>? 4 1 ?D
=< . ?A
=> .) 1 B<
== 2 / % B=
?< E" / D<
?> 1 ( ' / DB
?= #$ ./ #$ DA
?? .) . @<
! "
B< . @@
B> ( )/ @A
B= . # F>
BB / 4 AF
BD & # 4 AF
#$ %&
D< 4 <<C
D> 1 <<?
D= / # <=D
D? # # <=D
' $ $ ' &
@< / <?A
@> # <B<
@= / <BB
@? <BB
( $ #)$ *+ &
F< G #$ <DC
F> G 1 ' <DC
F= 1 / <D=
F? ./ <@B
& #$ # (
A< 4 5 <F<
A> 1 / <F=
A= 4 # # <FA
% #)$ # &
<C< E" #$ <A<
<C> #$ . <A>
<C= #$ >C<
<C? 1 >C@
<CB 4 #$ # >BC
<CD 4 >B<
, * -
<<< 4 >BB
.$'
"'
. ! +" " /
< + >@B
> ' + 4 >@D
, * 01 " (
4< / + >F<
4> + >F=
4= 4 / . >FB
4? 4 + >F@
4B ' + >FA
4D / + >AC
4@ ' + >A>
4F E >A=
! #$ &
< & >AB
> 1 / >AB
= / 1 >AB
? / =<D
# #)$ *+
#< G #$ ./ =>@
#> 1 #$ =>@
#)$
%< ."4$ =D<
%> & =D=
<< / 1 =
<> ( ?
<>< ?
<>> . B
<= .* 4 + @
<? . A
<B .) 1 <C
<D E <>
>< <B
><< <D
><> / <D
><= 1 <@
><? <@
><B 4 ( 1 <F
>> 1 <F
>>< 4 <F
>>> /5 1 >>
>>>< / + >>
>>>> + >=
>>>= 4 / . )
+ >B
>>>? 4 + >D
>>>B ' + >@
>>>D / + >F
>>>@ ' + >A
>>>F E =<
>>= 4 1 =>
>=< 4 =>
>=> / 5 4 1 =F
>=>< / =F
>=>> 1 ?<
>=>= ?>
>== 4 1 4 ?B
>? 4 1 ?D
=< . ?A
=> .) 1 B<
== 2 / % B=
==< 52 B?
==> 52 BB
?< E" / D<
?> 1 ( ' / DB
?= #$ ./ #$ DA
?? .) . @<
??< % * @>
??> % * # @>
??= . * . . @?
??? * #$ ./ @?
??B # # @B
??D #$ # @B
! "
B< . @@
B> ( )/ @A
B= . # F>
B=< 7 F>
B=> E 7 F=
B? 1 F?
B?< E 7 FB
B?<< 1 FB
B?<> + F@
B?<= / 9 : A<
B?<? E" A=
B?>< E" AD
B?>> A@
BB / 4 AF
BD & # 4 AF
BD< .& / * AF
BD> & / * # <C=
BD>< . )# <CB
BD>> . )& # <CD
BD>= #. <CD
BD= & / * / <C@
BD? / 7 / <C@
#$ %&
D< 4 <<C
D<< 4 . / <<C
D<> 4 <<<
D<= <<=
D> 1 <<?
D>< 4 / <<B
D>> 1 / <<B
D>>< 7 # <<B
D>>> # # <><
D>>= 1 # <>?
D= / # <=D
D? # # <=D
D?< % <=D
D?> 1 <?C
D?= # <?D
' $ $ ' &
@< / <?A
@> # <B<
@>< / * 7 # . <B<
@>> / * 1 <B>
@>= / * #+ 1 <B>
@>? / * 1 <B=
@>?< ( <B=
@>?> %4 4 #$ <B?
@>?= 4 4 <B?
@= / <BB
( $ #)$ *+ &
F< G #$ <DC
F> G 1 ' <DC
F= 1 / <D=
F=< .<* / <D=
F=> .>* % G <D=
F=>< & <D=
F=>> #, <D?
F=>= & <D?
F== .=* 1 <DB
F==< / <DB
F==> <DD
F=== ; <D@
F==? 4 <DF
F==B <DA
F=? .?* # <DA
F=?< % <DA
F=?> 1H# / <@C
F=?= ; <@C
F=?? 4 <@C
F=?B <@C
F=B .B* 7 <@<
F=B< % <@<
F=B> # H7/ <@<
F=B= ; <@<
F=B? 4 <@<
F=BB <@>
F=D .D* E / <@>
F? ./ <@B
& #$ # (
A< 4 5 <F<
A<< <F>
A<> & <F>
A> 1 / <F=
A>< <F=
A><< . <F=
A><> 4 <FF
A= 4 # # <FA
% #)$ # &
<C< E" #$ <A<
<C> #$ . <A>
<C>< . <AB
<C>> 1 <A@
<C>>< ' <A@
<C>>> ." <AF
<C>= / <AA
<C= #$ >C<
<C=< ) / >C=
<C=> #$ >C=
<C== >CB
<C==< >CB
<C==> #$ >CD
<C? 1 >C@
<C?< 4 " >CA
<C?> #Æ ><C
<C?>< + ><C
<C?>> + ><>
<C?>= 4 ><=
<C?>? 4 #Æ ><?
<C?= & ><B
<C?=< . # ><B
<C?=> . # ><D
<C?== >><
<C?=? 1 4 >>>
<C?=B 4 & >>?
<C?? 4 >>B
<C??< 1 & >>B
<C??> & >>D
<C??= 1 ' >=<
<C??? ' >==
<C??B 4 4 >=@
<C?B #, >=@
<C?B< + 4 >=@
<C?B> + >=A
<C?B= + >?<
<C?B? 4 #, >?B
<C?@ 4 % >?D
<C?@< 1 7#, % < = >?@
<C?@> 1 #, ' % > ? >?F
<CB 4 #$ # >BC
<CD 4 >B<
, * -
<<< 4 >BB
<<> 7 / >B@
.$'
"'
. ! +" " /
< + >@B
> ' + 4 >@D
, * 01 " (
4< / + >F<
4<< / 5 >F<
4<> 5 %' ' >F<
4<= 4 . / I >F>
4<? >F>
4<B I >F>
4<D 5 >F=
4<@ 5 >F=
4> + >F=
4>< 5 >F=
4>> 5 >F?
4>= 8 >F?
4>? 2 % E >F?
4>B >FB
4= 4 / . >FB
4=< >FB
4=> 2 >FD
4== 2 >FD
4=? 5 ! >FD
4=B 4 J >F@
4=@ >F@
4? 4 + >F@
4?< ' >F@
4?> >FF
4?= 0 7 >FF
4?? 5 / ' >FF
4B ' + >FA
4B< E, 7 >FA
4B> E, / I >FA
4B= 5 2 >FA
4B? 5 ' >AC
4D / + >AC
4D< / 2 >AC
4D> / / >AC
4D= % 20 . / >A<
4D? >A<
4DB 5 27 1 >A<
4DD /&4 2 >A<
4D@ # ' / >A>
4DF 0 ./ >A>
4DA / 2 >A>
4D<C / 5 >A>
4@ ' + >A>
4@< 5 27 ' >A>
4@> /2E 2 >A=
4F E >A=
4F< 27 >A=
4F> >A=
4F= >A=
4F? 7 / >A?
! #$ &
< & >AB
> 1 / >AB
= / 1 >AB
? / =<D
# #)$ *+
#< G #$ ./ =>@
#> 1 #$ =>@
#)$
%< ."4$ =D<
%<< .% ."4$ =D<
%<> 7 1."4$ =D>
%<= ."4$ =D>
%<? 57' ."4$ =D=
%> & =D=
%= 1 E1 =D?
%=< #Æ =@F
%=> & =@F
%== 4 =@A
<< <<
>< + ><
=< / B<
?< .) DB
?> ( ( D@
?= ) ) DA
?? H ) $ @C
?B ) @=
B< . @F
B> F<
B= F=
B? . F=
BB F?
BD , + A<
B@ "
<C<
BF .) + <C>
BA /$
+ <C=
B<C + ) +
" <C?
B<< 4 +
<CB
B<> / <CF
D< 4 <<<
D> . <<>
D= G( <<=
D? 4 $ <<=
DD / <=A
D@ <?C
DF 1 <?<
DA 1 <?>
D<C / <??
D<< 1 <?B
D<> / <?B
D<= <?D
D<? <?@
@< <BC
@> <B@
F< / <@=
<C< # ><<
<C> # ><=
<C= # ><@
<C? # + ><F
<CB 4 ><A
<CD # + >>=
<C@ # + >>?
<CF # >>@
<CA # + >>A
<C<C4 >=C
<C<<# >==
<C<># + >=B
<C<=# + >=D
<C<?4 >=D
<C<B# + >=A
<C<D# + >?C
<C<@# + + >?=
<C<F4 + >?=
<C<A& 8 >B=
< 4 >AD
> . >A@
= / ( >AF
? / >AA
B / =CC
D / =C<
@ / ( =C>
A / =C?
<C/ =CB
<</ =CD
<>/ =C@
<=/ =CF
<?/ =CA
<B/ =<C
<D/ ( =<<
<@/ =<>
<F/ =<=
<A 9<HF: =<F
>C 9>HF: =<A
>< 9=HF: =>C
>> 9?HF: =><
>= 9BHF: =>>
>? 9DHF: =>=
>B 9@HF: =>?
>D 9FHF: =>B
#< G $ 9<HB: =>F
#> G $ 9>HB: =>A
#= G $ 9=HB: ==C
#? G $ 9?HB: ==<
#B G $ 9BHB: ==>
#D 1 $ <9<H?: ===
#@ 1 $ <9>H?: ==?
#F 1 $ <9=H?: ==B
#A 1 $ <9?H?: ==D
#<C 1 $ >9<H=: ==@
#<< 1 $ >9>H=: ==F
#<> 1 $ >9=H=: ==A
#<= 1 $ =9<H=: =?C
#<? 1 $ =9>H=: =?<
#<B 1 $ =9=H=: =?>
#<D 1 $ ?9<H=: =?=
#<@ 1 $ ?9>H=: =??
#<F 1 $ ?9=H=: =?B
%< #C 9<H>: =DB
%> #C 9>H>: =DD
%= #< 9<H>: =D@
%B #> 9<H>: =DA
%D #> 9>H>: =@C
%@ #= =@<
%F #? =@>
%A #B =@=
%<C #D =@?
%<< #@ =@B
%<> #F =@D
%<= #A =@@
%<? 1 E1 =@F
%<B 1 E1 =@F
%<D1 E1
=@A
%<@ 1 E1 =@A
%<F 1 E1 + =FC
%<A 1 E1 =FC
%>C 1 E1 =FC
%>< 1 E1 =F<
%>> 1 E1 + =F<
%>= 1 E1 =F<
%>? 1 E1 +
=F>
%>B 1 E1 + =F>
%>D 1 E1 + =F=
<< 4 9,: B
><
+ >=
>> ; + >?
>=
+ >D
>? + >@
>B + >F
>D + =C
>@ + =C
>F + =<
>A 9<H=: ==
><C 9>H=: =?
><< 9=H=: =B
><> ?<
><= ?=
><? ??
=< 1 BB
=> G %G' BF
B< 1 F@
B> 1 + A<
B= 1 A?
B? 1 " AD
BB 1 " A@
BD 1 AF
B@ AA
D< 4 9<HB: <<D
D> 4 9>HB: <<@
D= 4 9=HB: <<F
DB 4 9BHB: <>C
DD G " <><
D@ % + <>>
DF % + <>=
DA % + <>=
D<C % + <>?
D<< 1 " <>B
D<> 1 <>D
D<= 1 <>@
D<? 1 9<H>: <>F
D<B 1 9>H>: <>A
D<D 1 + 9<H=: <=C
D<@ 1 + 9>H=: <=<
D<F 1 + 9=H=: <=>
D<A 1 <==
D>C 1 " <=?
D>< 1 " <=B
D>> 1 <=B
D>= # <=@
@< / ( <B>
@> / <B=
@= / <B?
@? / <BB
@B / * <BD
F< $ 9<H=: <@D
F> $ 9>H=: <@@
F= $ 9=H=: <@F
A< G <F<
A> 1 <FF
<C< G $ <A>
<C> + <AD
<C= 4 " $ <AA
<C? #$ >CC
<CB 1 >C<
<CD ." >C>
<C@ 1 " >C=
<CF #$ >C=
<CA ' ><C
<C<<# ><<
<C<>' ><>
<C<=1 E1 ><>
<C<?# ><=
<C<B'
><?
<C<D1 E1 ><?
<C<@' ><B
<C<F1 E1 ><D
<C<A# ><D
<C>C ><@
<C><1 E1 + ><F
<C>>1 ><A
<C>=' >><
<C>?1 E1 >><
<C>B >>>
<C>D1 E1 + >>=
<C>@1 >>D
<C>F1 E1 >>D
<C>A# >>D
<C=C >>F
<C=<1 E1 + >>A
<C=>1 >=C
<C==' >=>
<C=?1 E1 >=>
<C=B# >=>
<C=D >=?
<C=@1 E1 + >=B
<C=F1
>=B
<C=A' + >=F
<C?C1 E1 + >=F
<C?<# + >=A
<C?>' + >=A
<C?=1 E1 + >?C
<C??# + >?C
<C?B + >?<
<C?D1 E1 + + >?>
<C?@1 + >?>
<C?F < = >?@
< =<?
> =<B
= % =<B
? =<D
B =<@
D =<@
< + =?F
> / + =?A
= + =BC
? + =B<
B . + =B>
D + =B=
@ 1) ) 8 + =B?
F 1)) + =BB
A 1)) + =BD
<C 1) + =B@
<< 1)) + =BF
<> '+ =BA
E
+ $
) K <AA>L
" K / <ADAL
$ " ( DC
$
$
E " +
) $ + '
/' G ,
1
8K8 <AACL +
* ,
(
+
+
9 :
. 4
" $
+
1 2 K2>CCCL
+ #
+ 1! K! <AAFL
$ 9 :
+:
, *
K >CC<L 2 ( ,
,
E
6
$
$
$
$ 9
$: + "
$
1 $ 9
$ ( :
9 :
2 9 : $
" $ + '
$
$
!"!#$
(
,
( ###K###<AF=L*
1 9:
9
:
*
1
1 1
* 9
: $ 9 :
9 :
*
$
+ 1 <<
K <AA=L
<<* 4 9,:
<< <C
$ + (
$
% # !&%%
1 "
+ E
( $
9 :
(
.)CB K.)CB<AA<L*
<
+
1 9 :
+
> (
+ (
= ,
( + $ $
9 : +
( 1
$
?
$ (
B # $
(
D $
1
$9 ( :
9 :
" $
9 $ ) :
K8 <AACL $(
;
9 >:
$
$ $
K' <A@AL $
K8 <AACL
K8 <AACL K4 <AFAL
Æ $
" $
+
$
"
+ "2 $ $ '
/
1 (
+ $ K 5 <AA<L
K 5 <AA=L K4 J<AADL +
5 , + M ,
$+ $,
+
2 2 K2<AFAL
9 +:Æ
Æ + (
+9 Æ
:
( +
" +
+
$
+
$ K 5<AA<L ,
+ 9 Æ ,
: (
+ " K2<A@@L
K 7 <AFFL K <AFFL K5 <AABL E
(
2 K2<AFAL$ *
Æ +
Æ
+ 9
K 5 <AA<L: "
+ 1 " *
< ,
> , ,
( ; (
$
+ +
Æ K <AFFL K5 <AACL K <AFFL
+
, Æ
+
,
5 ) 9 : +
M
+ K >CC<L
E
+ $ +
+ 1 $
K/ I<AFAL
1 + +
2
M )
, " ( $
+
, " $
8
+
$ +
K >CC<L*
+
, 9 :
+
+
+
+ +
$
"$ '
+ "
!"
+
$ 0
7 K0 7<AABL
+ 5
K5 <AABL ( ,
+ 7 K 7 <AFFL
$ +
1 K >CC<L
+ E2K2<A@FL
)( +
'8K8 <AACL
, ,
E
+
E +
K <AFFL
, + 2 K2<AFAL
+ + K <AF@L
, +
7 / K7 / <AFAL
1
+
+
/K/<AA>L
+
"$
$ $ 2
/ 2 $ /
+ # 3#4 $
# $% ""
9 +
+ : "*
+ " +
( + +
$
Æ
+
" 2 "
1 (
+ (
(
( +
"
(
+
$ + +
* 56
+ 9
+ :
+
+ +
+
+
<< +
Characterization
schema
T1
T2
Tn
Repository
{
Inst.
<<*
*
+ "
,
(
+ $
+ ( +
,
Æ +
"
2 ( $ +
, * (
9 :
$
(
9 :
$ $$ $' 78 5
$$ + /+ '
1+
,
*
"
& '
*
(
4<
)
4>$
$ 4 = (
( 4?
4B 4D
# 4 @
(
4 F (
$
4 A
4<C $
+ ( 4 << (
!
"
1 (
+ 4 <
Æ
2 "
E +
+ H E
,
+
9+ :
*
+ ,
+ (
,
/ $
1 Æ
"
! 5
( ,
(
½
,
+
+
$
% #
+ 1
+ (
+ *
+
; +
4 +
4 +
+
+
+
E
#
'%
/
/
"*
< " 1
9 $ :
G
(
> # $ $
+ (
+
+ H
=
"
,
(
( !)* &+&'%
E
" K% <AABL 1
#
1 $ )
, ,
5
( $
$
(
, &+ !"!#$ "&!
+
(Æ + "
$
+
" 4
+ +
"%%-&! !) + '.$ %
>< 2
,
*
H
, , +
"
9 : 9
:
,
$
$
%&/0
* 9 :
+ +
$ # $
' '$ ,
, + ,
+ *
;
, +
E
( E
$
+ *
9
( +
9 9 :
+
+
9 !
+ 9
:
+
+
$ , , +
( (
+
,
,
9
9 !
9 %
9 &
9 "
9
9 %
9
9 &
9
9 !'9 :
9 "
9 ( 9 :
9 %
9 "
9
9 9$ :
9 !
9 !)
9 & )
9 &
9
9 *
9
9 +
9
$ 1 $>
" / $
+
$ + *
9 " ,
9 # ,
9
9 #
9 %
9
9 !
9 *
9
9 *
9 %
9 -
9
9 #
$
$ 1 $<
#) +
Mutation
Standard (or strong)
Weak
Selective
Regression
DejaVu
TestTube
Retest-all
Random
Textual differencing
Control flow
Structural
Sentence coverage
Decision coverage
Condition coverage
Path coverage
Expressions
Functions
Data flow
All-dus
All-du-paths
All-uses
All-p-uses/some-c-uses
All-c-uses/some-p-uses
All-p-uses
All-c-uses
All-defs
Random testing
Functional
Equivalence partition
Boundary value analysis
Testing techniques
Partition
Operational
Minimisation
Priorisatión
Optimisation
><* +
+ ><
*
9 & E +
9 +
". 1!2 + % #
1 $ <
::: *$ + " /
)
, +
/ 5 K/ 5 <AF>L K/ 5 <AFBL 5
K5 <AFBL 4 K4 <AFBL K4 <AFAL
K <AFFL IKI <AFFL 5K 5 <AA<L
K 5<AA=L K 5 <AA=L
+ ; ;
+ 1 95 :
+ $
5 +
+ (
% (
+ 2
+
#$ 5 N $
1
, + '
9/ 5 5 4 :
$
(
9 : I 5
5
$ +
+ (
E 9 : $
+
$ $ 5
( (
>< , ,
1 $ 4<
!" # $ % % % & '
& &
$ % % % & '
"()! *+
%% ,
*% % &
*+ '
%#(- #( $ % % &
!.% % & '
' $ % % & ,%
% &
.% $ % /% 0 & ,%
% &
-1 % 2
-1 % 20
,#%!" # $ % -1 % 2 0 - ,%
-1 % 2
-1 % 2
,#%!" # *% ' % 2 0 & '
% &
><*
+
+ *
$ +
+
Æ 9
+ :
::: ! + " " /
>>><
; + ,
+
,
5 K5 <AFFL K5<AACL 5
K 5 <AA<LK 5 <AA<L K 5 <AA=L
8 K 8<AA>L 2 K2 <AA?L
K <AAFL $
8( 5 7
5
/ ,+
958:
9 5 2 :
92 : (
9 5 : 2 Æ
9 ( :
+ $
+9 8:
+ 95: +
9 5 2 :
>> , ,
1 $ 4>
" # *% /3 & '
-1 % &
,#%!" *% /32-1 % %& '
02-1 %
4!/% 3 *% /3 & '
,%
5 (, ( *% /3 & '
)!6 20 %&
/320
,#%! ' % &
## *% ' % 20 %& '
>>* ; +
( $ *
1 Æ
,
$
::: ,$ + * " " /
+ 9
: +
$
5 K <AF?L
2 K2<AF@L 2 K2 <AFFL
K2 <AACL 5 ! K5 ! <AA<L 4
J K4 J<AA?L K4 J<AADL K <AAFL
+
+ E
( +
1 $
$ 5 ! 2
2
2 4 J 5 !
922
5 ! 4 J: 9 :
9 4 J:
+ 9 :
+ $ $
$
5
9 2 5 !4 J:
9 :
(
9 : ( 9 :
>= , ,
1 $ 4=
( *
+
1 +
/% ' ,% ,%
!' -1 % -
*% 71% '
*% 0 '
5% $ % -1 % ,%
-
5% !$ % $ % -1 % ,%
-1 % -
" #!8 $ % -1 % ,%
-
!9 $ % -1 % '
-
!9 *% ' % ,%
-
' /% % ,%
-
>=*
+
$ (
2
+ +
::: ,$ + " /
, +
9 :
* ' K' <A@FL
K <AFBLK <AF?LK <AF@L0 7
K0 7<AABL 5 K5 <AA@L
, 9
: + '
" + +
+ 1
+ + , E
+ $
0 7 5 $
>? >?
, , 1 $4?
) , %
*% ' % / % '
$:;+<
' %
,%
,% , %
4%!/%1 *% % %& '
/
*+ 0
' %
= !> *% ,% , % '
/#%% %&
,%
' %
" ( ( *% ,% , % '
4 #!%% / %&
)
>?* +
( *
$
+
6
(
+
+
::: ; " " /
, +
5 E, 7 KE, 7 <AA<L KE, 7 <AA?L
E, KE, <AA=L KE, <AADL
+
K5 '<AABL $ + 9
; ; :
1 $
$
% ( ( ,
+ 2
9E, 7 E,
: 9E, 7:
$ 9E, 7: 9E, :
9 :
>B , ,
1 $ 4B
' #%%
6? !> *% /3 '
0
6? ( % *% ' '
!. ' #%%
,#%(" -1 % &
!5 *% ' #%% '
0
"! *% 71% '
%&
>B* +
( *
::: * " " /
/
,
'
$
' + $
/ 2 K/ 2<AA?L
K/ 2<AADL / 5
K/ 5<AA@L K/ 5<AA@L
1 $ $ #
K# >CCCL / 2
$
+
/ 2 K/2<AA@L
K/ 2<AA@L K/2<AAFL /
/ K/ /<AA@L K <AAAL
K <AAFL / 5
+
$ % K% <AAFL 0 K0 >CCCL
/
K/ <AAAL #
5 8 1
>D , ,
1 $ 4D
( *
( +
+ ( $ +
Æ
+
2 $
,+
::: ; " " /
+
$+ 9; ; :
+ $ +
$
, 5 K5 <AABL
K5 <AAAL ; +
% *% /3 '
!5% $
1% *% $ '
! % /3
)0(5%( /3
=(- *% ' % '
! %
7#%!,#% *% /3 '
$
"(5( /3
> *% '
0% -
%(
( *% ,% - '
!5%
*%1(
%0# *% ,% ,%
! %
=(- *% /3 '
! % ' %
% %
!5% $ % *Æ '
)% 1%
1% $ % /3 '
!" # *% $
>D* +
/
5 +
>@ , ,
1 $ 4@
"(5( *% /320 '
>! ' % 20 &
%(5%( *% ' % '
6 %!5 /3 %&
>@* +
Æ
$ $ +
2
Æ
:::( <
&
( "
), (
K <AAFL K2 <AA@L K <AF<L K <AF?L
K >CCCL7 /K7 / <AFAL
' $ $
$ + $
>F
, ,
1 $ 4F
,#%(5% ( 1
> % ! $ % %1% 6 % ,%
/
%
' *% ' #%% %& '
%&
,#%! *% %1% & '
6 %
' %
> 1 *% *? % & '
! %% 5& %&
0
>F* +
9: +
( ! &"'%! % ! + % #
>A ><C ><<
$
1 *
) +
$
, +
+ )$ 2
= $
+
, (
#
$ $
/
( %&/0
*
" "
"
(
$
<7 , #
$ 1
"
1 "
*
9 !
9
!" # $ % % % & '
& &
$ % % % & '
"()! *+
%% ,
*% % &
*+ '
%#(- #( $ % % &
!.% % & '
' $ % % & ,%
% &
.% $ % /% 0 & ,%
% &
-1 % 2
-1 % 20
,#%!" # $ % -1 % 2 0 - ,%
-1 % 2
-1 % 2
,#%!" # *% ' % 2 0 & '
% &
" # *% /3 & '
-1 % &
,#%!" *% /32-1 % % & '
02-1 %
4!/% 3 *% /3 & '
,%
5 (, ( *% /3 & '
)!6 20 % &
/320
,#%! ' % &
## *% ' % 20 % & '
/% ' ,% ,%
!' -1 % -
*% 71% '
*% 0 '
5% $ % -1 % ,%
-
5% !$ % $ % -1 % ,%
-1 % -
" #!8 $ % -1 % ,%
-
!9 $ % -1 % '@
-
!9 *% ' % ,%
-
' /% % ,%
-
) , %
*% ' % / % '
$ :;+<
' %
,%
,% , %
4% !/%1 *% % % & '
/
*+ 0
' %
= !> *% ,% , % '
/#%% % &
,%
' %
" ( ( *% ,% , % '
4 #!%% / % &
)
' #%%
6? !> *% /3 '
0
6? ( % *% ' '
!. ' #%%
,#%(" -1 % &
!5 *% ' #%% '
0
" ! *% 71% '
% &
% *% /3 '
!5% $
1% *% $ '
! % /3
)0(5%( /3
=(- *% ' % '
! %
7#%!,#% *% /3 '
$
"( 5( /3
> *% '
0% -
%(
( *% ,% - '
!5%
*%1(
%0# *% ,% ,%
! %
=(- *% /3 '
! % ' %
% %
!5% $ % *Æ '
)% 1%
1% $ % /3 '
!" # *% $
"(5( *% /320 '
>! ' % 20 &
%(5%( *% ' % '
6 %!5 /3 %&
,#%(5% ( 1
> % ! $ % %1% 6 % ,%
/
%
' *% ' #%% %& '
%&
,#%! *% %1% & '
6 %
' %
> 1 *% *? % & '
! %% 5& %&
0
><<* 9=H=:
9 ! +
9
9 #
9
9 + : 9
: +
"'$
9 *
+ 2
* 9<: 9 :
( ( 9>:
9 ! (
+ 1 ( 9 (
:
9 "
#
" (
*
9 , 5 9
: ;
" ; 9
:
9 # 5
$
,
9 :
"
9 ! 5
"
$ 9
:
$ ,
"
" "
"
"
*
9 -/
9
"
9 %
) 9 :
9
+
+
2 9 :
" (
*
9 0
(
9 :
9
9
$
9 1
2
!' (
5
*
9 # 1
9 :
9 !
( ". 1!2 + +&%!
::: + *
5 .)
3 8
/
2
::: : 5!
> ?
K.)3O8 <AFBL K.)3O8<AF@L K! .)3O8 <AFFL
K.)3O8 <AFAL K.)3O8 <AACL K.)3O8 <AA<L .) 3
8
2 "
( 9 : (
, "
$
( $ 9 :
,
* 9<: 9 : " 9>:
9 :
.)
3
8 ( ( "
( (
1
2 (
+
+ E
::: : . *
"
K/<AA>L K <AA?L /
K /<AFFL K /<AFFL K /<AACL
K /<AA<L
* +
9
$: E
;
( #
(
* 9": "
9:
9$:
+
/
# 1
;$
" 2+
( ( 9
+ : E
;
' /
/*
E
9 + :
"
::: : @
K2 <AABLK2 <AABLK2 <AABLK2 <AADL
,
( 9
:
$
;
* 9
:
" " "
1
#
2
$ K2 <AA@L
+ 1
;
><>;
><>
+ / 2
1
Æ " ( 5
! / / 61A /
% *0 >1
"#$ 61A
%& '( *0
-1%
)))* -1% / 61A /
*0
><>*
::: +
1 K% .<AABL
H
1 (
9$ ") :
+ $
9
:
$ , ,
2 ><=
1 1 91 ,1 : # 9# :
$
K% <AA=L K<AABL K<AABL
K %<AADLK 4 <AA@LK <AAFL
" *
"
( ,
,
9 :
" +
9$:
1
2
+ 1 " ( 9
:
E
* "
::: " '
5 0P
' / +
:::: .1 AB
K <AA@L K <AA@L K 0 <AAAL K 0 <AAAL
+
K/<AA>L
"
$
; 1
;
#
( $ $
(
; " (
+ 1
:::: ,*#
'/ K' /<AADL K14/#5 L
+
+ 1
5
$ 1 $
$
2 $
; "
1
+ +
+ 1 $ " (
9 :
9+ :
><=
+$ $% *0 *+ /
,-"'(# -1%
61A
% % -1% /
><=*
0P 2
+ 1 " (
+ + 1
0P ;
(( ! &"'%! % ! + !) +&%!
><?
1 ( *
( + E
(
+
,
5 ;$
$
9 " (:
E ( *
"
$
;$
+
E $
.
'
9 $: 2
;$
1 /
2
,
+ Æ $
+ E
2 9
( :
9 :
+
+
* 9<: +
9>: (
5 (
,
( +
$ " (
+
(
+
"
1 4 < +
*
+
K /<AA<L 1
+ +
+ K4J <AADL
K 5 <AA<L K 5 <AA=L
, +
, )$ K >CC<L
$ + ,
K <AFFL K5 <AACL
1 4 >
+ *
$ +
, +
)$
, &
( ,
, (
&
(
+
+
1 + 9 #
:
,
+ $
"
+ Æ "
2 ( "
+
)
$
4 <
+
" 2 +
" 1 (
*
< +
> (
+ "
5
+ ;
,+ +
"
" + "
+
" +
+
+
E
+ +
+
" "
"
5
+
5 "
+ +
, +
*
$ +
" + ;
( +
"
1
1
*
1 ( +
+
; + "
+
( +
+
$
+
) *
< 7 +
> 1 + "
+
? 4> = ) +
2
,
<$ +
+ 9
+
:
+ 9
(:
> $
+
+
E ( ) +
" 2
+
E +
+ $ +
+ , ( )
+ *
1 + +
"
+
9
+ : + "
$ +
(
+ : +
+
; =<
CONSUMER
-
Select techniques
- Use techniques
- Feedback for repository
Repository
Information
Information
Feedback
(feed)Back
PRODUCER
-
Create techniques
- Study techniques
LIBRARIAN
-
Maintain repository
Information
=<* /
*
+ $
$ 9 "(:
+ +
+
;
+
$% ""
+
/
+
+
+ "
+
/
+$7 + /
:
,
2 (
+
+ +
+
1
+ 9
+: + +
' $ '
+ *
9
+: ,
1 /N K/<AAFL
9 :
9 $ :
(
( (
;
$ 9
: Q$ +
(
$ E
9 : $ Q$ +
, $
$
+ )
Q$ Q$ *
% .
(
+ ;
$
9 Æ :
$ "
;
+ 1 )
Q$ +
)
)
; $ $
$
( E
(
$
) $
$
()" *
; *
2
2
/ "
" +
*
2
+
/
K /<AA<L*
1
( *
@:
/
) $ )
(( 1!2 # $/!+%%
2
@
)
@ ) *
@ +
@
+
@
$ +
@
+9 :
@
+
@
+
@
@
) ; +
,1% $1% 1
$1%
,%+1% $1%%% + 1
% $1 %% :%
< 1 #
*? 0 $% % 1 B 1 #
*Æ $1% 1 % % 1 #
1% $ 1 % % 1
% 1
$ #%
=<* 1
(( % # + 1!2 # $/!+%%
(
(
< ' 9
: $ 9
M: 9 M:
$
*
%
; 9
+ + :
" / +
+ 9 + :
+
> )' $ ;
, + $ +
4 > $
$ , +
+
$ +
= ,$
+
5
"
? #= ,
( +
+
+ +
+
+
+ "
B #Æ ' )
Æ
+
" $
D C' E ( KE)A>?<<AAFL * R $
, Æ
(" $ R
@ C (
* (
=> %G'K <AA<L
(
( ;$
, Æ
( => ,
*
&
7 + "
, *
1"
9 ;$:
4 A 9 , Æ
" # "
, (
+
K! <AA<L
.
(
9 :
,
( E (
#
2 #
, 9 :
9 :
" 5
$ 9
" K! <AA<L: +
$
7 ( (
'+%
( ,
/ K/ <AF=L ,
, /
( *
/
(
$ (
"
E # (
$ #
" +
>
(
( (
E
+ (
E #
9 $
+ :
$
+ $ 9 :
= ! $
/
+
$
#
'
FC
#
9 (
:
$
5
#
%& H 9
+:
9 4.&:
, (
( . < =
*
+ "
+
6 )
) 9
:
(
, '
*
< + +
> + (
2 (
+ 3
4 E
+ +
" ( 9 $ :
+ (
+
9
+ :
(
;
9 :
)
" * 9<:
6 9>:
(
(
"
E $
9 :
$
( *
( +
$ ()9 $
) :
,
+
)
1
.
4= $ ?<
)
$
Preliminary
schema
Improved
schema
Experimental
evaluation
Empirical
evaluation
Analysis of
producer and
consumer opinions
?<* .)
"" , -
) , (
9
: E
, (
, (
(
, (
8 K <D=@L
*
< E
> 1 (
= 9 :
? 7 9 :
8 8
( 9 =:
2 (
(
( (
$
=
2 *
5 $
1
'$ *
/
'$ 8
*
9 (
: $
( 9 :
(
8 K2 <ADDL*
< # ;
> E
= *
9:
9:
2
( +
( K% <AD@L
( K2 <ADDL K! <AA<L
?>
( ?>9
) :
Sciences
Empirical Sciences
Psychology
Natural Sciences
Physics
Chemistry
Biology
Borderline sciences
Social Sciences
Sociology
Politics
Anthropology
Historiography
Related sciences
Non-Empirical Sciences
Logic
Mathematics
?>* ( (
$ $ )
( $
* $
$ 2 )
5 ,
* 1
, "
2 "
# $
1 % K% <AD@L
$
( 9 :
Æ
+ 9 :
1 ( " (
+ ( +
(
2 (
1%
"
%
' )
1 % (
8
( (
. K. <A=<<ABFL ,
*
$ $ $
#
6
6
1
(
*
< # ;
9
:
> #
*
9: E
9: 1
=
?
?= +
( $
Improved
schema
Experimental
evaluation
Empirical
evaluation
Deductive
theoretical
schema
Analysis of
producer and
consumer opinions
Synthesis
Reflection by
investigator
HYPOTHESIS
GENERATION
HYPOTESIS
TESTING
Inductive
empirical
schema
Abductive
p
scheme
reliminary
?=* ) )
+
Æ +
" (
)
./" % % ./"
;
2 9 $ :
$ (
$
$ *
#
+ 2
;
#
$
9 :
$
??
Revised
schema
Improved
schema
Experimental
evaluation
Expert
peer review
HYPOTHESIS
GENERATION
HYPOTHESIS
TESTING
Empirical
evaluation
Deductive
theoretical
schema
Synthesis
Reflection by
investigator
Inductive
empirical
schema
Abductive
preliminary
schema
Analysis of
producer and
consumer opinions
$%
( ) *
5 + 2 ,
$ ,
,
*
< + 7 # !
"
+
+
> ! + 7 !
;
H
+
+
= ! % 7 % % !
;
? ! 7 %
$ (
(
5 1
1 ,
$ ,
< $
;$
> $
$
Æ Æ
1(
# $
,, 3% 0 ! 4 .'&0 +!&" &+
1 ( (
$
) +
(
.)
3
8 K.)3O8<AA<L $ +
1
, " ( ,
,
4 B
, +
,, &! . 0 ! 4 .'&0 /&" &+
( ;
; ) +
" 2
"
?B )
1 9+
: + H(
Empirical
schema i
Reference
set i-1
Prod/con
questions ii
Reference
set i-1
Analysis of
reference
set i
Update reference
set i-1
?B* )
+ H
H
H
'$
9 : H
* +
(9 :
1
H
1 )
H
8 (
% K% <AD@L
,
. H $ +
9 :
+ +
H 1
4 D $
,,( $ +%% !) %/&0%4 !/!%" !) + " $ &+
*
< 1+
> (
E
$ , "
4 @
,,, /!0 !) + &+4 5/ 0*
1
9
:
$
( 9 :
9 :
(
$
,, /&" 0"'!
(
9 : ;$
1 $
$ 4 A
,,6 5/ " 0"'!
$
" +
$ ,
, Æ
+ + $
$# %
# ! !
1
;
+
$ + 1
+ ;
+ * ,
; ,
+ N
#
1 + R +
+ "MR
( + * 9
: + 9
:
1 $ +
; 1 4<,
$
$
9 : *
