MÉTRICAS PARA LA ESTIMACIÓN DE LOS DEFECTOS DEL SOFTWARE

(1)

MÉTRICAS PARA LA ESTIMACIÓN DE

LOS DEFECTOS DEL SOFTWARE

Ramiro Carballo (GESEIN) r.carballo@gesein.com

21 y 22 Abril 2005

II Jornadas sobre Testeo de Software – ITI – UPV – Valencia

Asociación Española de Métricas de los

Sistemas Informáticos

www.aemes.org

Hasta un total de 50 miembros...

(2)

Como en otras fases del ciclo de vida, también la fase de pruebas debe

formar parte de un proceso definido, documentado y medido para

poder ser gestionada. Las métricas utilizadas durante la fase de

pruebas, junto con las técnicas de estimación adecuadas, nos darán

soporte para predecir y controlar los defectos esperados, la duración

de las pruebas, los recursos dedicados, el tiempo medio entre

defectos en distintos momentos de la entrega, los defectos

remanentes, etc. Ante la incapacidad para entregar un producto 100%

libre de defectos, durante el seguimiento del progreso de la fase de

pruebas podremos predecir las desviaciones y determinar las

acciones correctivas más convenientes para entregar el nivel calidad

tolerado por el cliente en los plazos de tiempo acordados.

Métricas de Defectos

Incapacidad para:

Estimar y planificar realístamente (sólo

opiniones).

Determinar el progreso (98%).

Evaluar la calidad (núm. defectos).

Reconocer mejoras.

En definitiva: pérdida de la posición

competitiva.

Mediendo los Procesos

(3)

GESTIONAR LA FASE DE PRUEBAS:

Imposibilidad para entregar software sin defectos

¿Cuántos recursos necesitamos para probar?

¿Cuánto costará la garantía del proyecto? ¿y el

mantenimiento correctivo?

Alto y desconocido coste de detección y

corrección de defectos

¿Cuándo acaban las pruebas?

Las pruebas pagan la imposibilidad de cumplir los

plazos

¿Cuantos defectos estoy entregando?

Imposible determinar la calidad tolerada por el

cliente

Imposibilidad de gestionar el riesgo de un paso a

produccíón

Necesidad de Predecir Defectos

DISCLAIMER:

;-)

Cualquier parecido con un proceso software real es pura

coincidencia

Ciclos de Vida: ISO 12.207

Libros de Ingeniería del Software o Gestión de Proyectos

Faltan procesos imprescindibles

Suficiente para planteamiento de problemática y solución

mediante medidas.

PROCESOS Y MEDIDAS

NECESIDAD DE PROCESO DEFINIDO Y MEDIDO

para PODER GESTIONAR

(4)

Un modelo teórico

Qué hacer

Cómo

_Cómo

Construir

_Construir

Probar

_Probar

Un modelo teórico

Qué hacer

REQUISITOS

E.R.S.

ESTUDIO

DE COSTES:

Oferta

Recursos

Gestión de

CAMBIOS

(5)

Medidas Ciclo de Vida

Qué hacer

Cómo

_Cómo

Construir

_Construir

Probar

_Probar

ERS

R

E

V

R

E

V

R

E

V

Diseño

Código

Result

R

E

V

a

l

i

d

a

V

a

l

i

d

a

Control

tamaño

defectos

esfuerzo

duración

Indice de Productividad = tamaño / esfuerzo

Tasa de defectos = defectos / tamaño

Estimación Ciclo de Vida

Qué hacer

ERS

tamaño

Indice de Productividad

Tasa de defectos

ESTIMACIÓN

defectos

esfuerzo

duración

(6)

Diseño

Código

Medidas en Pruebas

Qué

Probar

ERS

Control

tamaño

esfuerzo

duración

0 20 40 60 80 100 120 t1 t2 t3 t4 t5 t6 t7 t8 Defectos con Niveles de Criticidad

defectos

tiempo

0 2 4 6 8 10 12 t1 t2 t3 t4 t5 t6 t7 t8 Personas

staff

progreso

Size 0 20 40 60 80 100 120 S 2 3458769111012 13 1415 16 S 2 3 456 ESLOC (t hous ands ) 1 2 3 4 5 6 7 8 910111213141516171819 * Jan '95

FebMarAprMayJunJulAugSepOctNovDecJan '96

FebMarAprMayJunJul Actual Interpolated Plan Green CB Yellow CB S = Start 2 = G-CDR 3 = G-FCC 4 = C-CDR 5 = G-SIT 6 = C-FCC 7 = N-CDR 8 = CDR 9 = C-SIT 10 = FCC 11 = N-FCC 12 = N-SIT 13 = SIT 14 = UOST 15 = IOC 16 = FOC Size (ESLOC(K)) PI 14.1 MBI 4.1 Date 31/07/96 (19.00 mos)

Plan Actual %Diff 89.92 49.03 -45.5 Size 0 20 40 60 80 100 120 S 2 3458769111012 13 1415 16 S 2 3 456 ESLOC (t hous ands ) 1 2 3 4 5 6 7 8 9 10111213141516171819 * Jan '95

FebMarAprMayJunJulAugSepOctNovDecJan '96

FebMarAprMayJunJul Actual Interpolated Plan Green CB Yellow CB S = Start 2 = G-CDR 3 = G-FCC 4 = C-CDR 5 = G-SIT 6 = C-FCC 7 = N-CDR 8 = CDR 9 = C-SIT 10 = FCC 11 = N-FCC 12 = N-SIT 13 = SIT 14 = UOST 15 = IOC 16 = FOC Size (ESLOC(K)) PI 14.1 MBI 4.1 Date 31/07/96 (19.00 mos)

Plan Actual %Diff 89.92 49.03 -45.5

Monthly MTTD Total (Hrs)

68101214161820222426283032

Jul '99SepNovJan

'00MarMayJulSepNovJan '01MarMayJulSep

0 10 20 30 40 50 M TTD To tal ( H rs) 9 8 7 6 5 4 3 1

Project: Inc#2 Major capability 9...

hitos

complejidad

Estimación en Pruebas

Qué

tamaño

Indice de Productividad

Indicadores de la Fase

de Pruebas

ESTIMACIÓN

_defectos

esfuerzo

duración

Total Defect Estimate - Inc#2 Major capability 90% functional M onthly Defect Rate Total

<Current Solution> 6 912151821242730 Jul '99 Oct Jan '00 AprJulOct Jan

'01 AprJul 0 50 100 150 200 250 300 D e fe c t R a te T o tal 9 8 7 6 5 4 3 1

Monthly Defects Rem aining Total

<Current Solution> 6 912151821242730 Jul '99 Oct Jan '00 AprJulOct Jan

'01 AprJul 0 500 1000 1500 2000 2500 3000 3500 D efe c ts R e m a in in g T o ta l 9 8 7 6 5 4 3 1 M onthly MTTD Total (Hrs) <Current Solution> 6 912151821242730 Jul

'99Oct Jan'00AprJulOct Jan'01AprJul 0 10 20 30 40 50 M TTD To ta l ( H rs ) 9 8 7 6 5 4 3 1

M onthly Cum Defects Total

6 912151821242730 Jul

'99Oct Jan'00AprJulOct Jan'01AprJul 0 500 1000 1500 2000 2500 3000 3500 Cu m De fe c ts T o tal 9 8 7 6 5 4 3 1

Diseño

Código

complejidad

(7)

Métricas en la Fase de Pruebas

Total Defect Estimate - Inc#2 M ajor capability 90% functional

Monthly Defect Rate Total

<Current Solution> 6 9 12 15 18 21 24 27 30 Jul '99 Oct Jan '00

Apr Jul Oct Jan '01 Apr Jul 0 50 100 150 200 250 300 D e fe c t R a te T o tal 9 8 7 6 5 4 3 1

Monthly Defects Rem aining Total

Apr Jul Oct Jan '01 Apr Jul 0 500 1000 1500 2000 2500 3000 3500 D e fe c ts R e m a in in g T o ta l 9 8 7 6 5 4 3 1 Monthly MTTD Total (Hrs) <Current Solution> 6 9 12 15 18 21 24 27 30 Jul '99 Oct Jan '00

Apr Jul Oct Jan '01 Apr Jul 0 10 20 30 40 50 M T T D T o tal ( H rs ) 9 8 7 6 5 4 3 1

Monthly Cum Defects Total

Apr Jul Oct Jan '01 Apr Jul 0 500 1000 1500 2000 2500 3000 3500 Cu m De fe c ts T o ta l 9 8 7 6 5 4 3 1

Métricas en la Fase de Pruebas

Defect Discovery Rate by Severity - Inc#2 Major capability 90% functional

Monthly Defect Rate Priority 1 <Current Solution>

6 8 10 12 14 16 18 20 22 24 26 28 30 32 Jul

'99 Sep Nov Jan

'00

Mar May Jul Sep Nov Jan '01

Mar May Jul Sep 0 10 20 30 40 50De fe c t Ra te P rio rity 1 9 8 7 6 5 4 3 1

6 8 10 12 14 16 18 20 22 24 26 28 30 32 Jul

'99 Sep Nov Jan

'00

Mar May Jul Sep 0 20 40 60 80 100De fe c t Ra te P rio rity 2 9 8 7 6 5 4 3 1

6 8 10 12 14 16 18 20 22 24 26 28 30 32 Jul

'99 Sep Nov Jan

'00

Mar May Jul Sep 0 20 40 60 80De fe c t Ra te P rio rity 3 9 8 7 6 5 4 3 1

6 8 10 12 14 16 18 20 22 24 26 28 30 32 Jul

'99 Sep Nov Jan

'00

Mar May Jul Sep 0 5 10 15 20 25 30De fe c t Ra te P rio rity 4 9 8 7 6 5 4 3 1

6 8 10 12 14 16 18 20 22 24 26 28 30 32 Jul

'99 Sep Nov Jan

'00

Mar May Jul Sep 0 5 10 15 20 25 30De fe c t Ra te P rio rity 5 9 8 7 6 5 4 3 1

Monthly Defect Rate Total <Current Solution>

6 8 10 12 14 16 18 20 22 24 26 28 30 32 Jul

'99 Sep Nov Jan

'00

Mar May Jul Sep 0 50 100 150 200 250 300De fe c t Ra te To ta l 9 8 7 6 5 4 3 1

(8)

Métricas en la Fase de Pruebas

Mean Tim e To De fe ct by Seve rity - Inc#2 Major capability 90% functional

Monthly MTTD Priority 1 (Hrs) <Current Solution>

6 8 101214161820222426283032 Jul

'99 Sep Nov Jan

'00

Mar May Jul Sep 0 50 100 150 200 250 300MT T D Pri o ri ty 1 (H rs ) 9 8 7 6 5 4 3 1 Monthly MTTD Priority 2 (Hrs) <Current Solution> 6 8 101214161820222426283032 Jul '99 Sep Nov Jan

'00

Mar May Jul Sep 0 20 40 60 80 100 120MT T D Pri o ri ty 2 (H rs ) 9 8 7 6 5 4 3 1 Monthly MTTD Priority 3 (Hrs) <Current Solution> 6 8 101214161820222426283032 Jul '99 Sep Nov Jan

'00

Mar May Jul Sep 0 25 50 75 100 125 150MTT D P rio rity 3 ( H rs ) 9 8 7 6 5 4 3 1 Monthly MTTD Priority 4 (Hrs) <Current Solution> 6 8 101214161820222426283032 Jul '99 Sep Nov Jan

'00

Mar May Jul Sep 0 100 200 300 400 500MTT D P rio rity 4 ( H rs ) 9 8 7 6 5 4 3 1 Monthly MTTD Priority 5 (Hrs) <Current Solution> 6 8 101214161820222426283032 Jul '99 Sep Nov Jan

'00

Mar May Jul Sep 0 100 200 300 400 500MT_T D P rio ri ty 5 (H rs ) 9 8 7 6 5 4 3 1 Monthly MTTD Total (Hrs) <Current Solution> 6 8 101214161820222426283032 Jul '99 Sep Nov Jan

'00

Mar May Jul Sep 0 10 20 30 40 50M T T D T o ta l (H rs ) 9 8 7 6 5 4 3 1

Métricas en la Fase de Pruebas

Total Defects Rem aining by Severity - Inc#2 Major capability 90% functional

Monthly Defects Remaining Priority 1 <Current Solution>

6 8 10 12 14 16 18 20 22 24 26 28 30 32 Jul

'99 Sep Nov Jan

'00

Mar May Jul Sep 0 100 200 300 400 500 600 D e fe c ts R e m a in in g Pr io rit y 1 9 8 7 6 5 4 3 1

6 8 10 12 14 16 18 20 22 24 26 28 30 32 Jul

'99 Sep Nov Jan

'00

Mar May Jul Sep 0 200 400 600 800 1000 1200 D e fe c ts R e m a in in g Pr io rit y 2 9 8 7 6 5 4 3 1

6 8 10 12 14 16 18 20 22 24 26 28 30 32 Jul

'99 Sep Nov Jan

'00

Mar May Jul Sep 0 200 400 600 800 1000 D e fe ct s R e m a in in g P rio rit y 3 9 8 7 6 5 4 3 1

6 8 10 12 14 16 18 20 22 24 26 28 30 32 Jul

'99 Sep Nov Jan

'00

Mar May Jul Sep 0 100 200 300 D e fe ct s R e m a in in g P rio rit y 4 9 8 7 6 5 4 3 1

6 8 10 12 14 16 18 20 22 24 26 28 30 32 Jul

'99 Sep Nov Jan

'00

Mar May Jul Sep 0 100 200 300 D e fe c ts Re ma in in g P rio rity 5 9 8 7 6 5 4 3 1

Monthly Defects Remaining Total <Current Solution>

6 8 10 12 14 16 18 20 22 24 26 28 30 32 Jul

'99 Sep Nov Jan

'00

Mar May Jul Sep 0 1000 2000 3000 D e fe ct s R e m a in in g To ta l 9 8 7 6 5 4 3 1

(9)

Métricas en la Fase de Pruebas

Cost Plans - Inc#2 M ajor capability 90% functional

Monthly Cost Life Cycle ($) <Current Solution>

3 6 9 12 15 18 21 24 27 30 Jan

'99 Apr Jul Oct Jan

'00 Apr Jul Oct Jan

'01 Apr Jul 0 200 400 600 800 C o s t L ife C y c le ($ ) ( tho u. .. 9 8 7 6 5 4 3 2

Monthly Cum Cost Life Cycle ($) <Current Solution>

3 6 9 12 15 18 21 24 27 30 Jan

'99 Apr Jul Oct Jan

'00 Apr Jul Oct Jan

'01 Apr Jul 0 4 8 12 C u m C o s t Li fe C y c le ( $ )... 9 8 7 6 5 4 3 2

Cost by Skill Category - Inc#2 Major capability 90% functional <Current Solution> Skill Categories Requirements HL Design Det Design Coding Integration Testing Publication Cost ($) 1254807 1254807 2297874 1838300 1378725 1838300 459575 % 9.89 9.89 18.12 14.49 10.87 14.49 3.62

Cost by Skill Category <Current Solution> Requirements HL Design Det Design Coding Integration Testing Publication Management Maintenance S k ill C a te g o rie s 0 500 1000 1500 2000 2500 3000 Cost ($) (thousands)

Staffing & Cost Plans

This report shows the staffing plan both by phase and the aggregate for the project. It also shows the cumulative cost expenditure profile, monthly cash flow profile and the cost by labor category.

Métricas en la Fase de Pruebas

Product Reliability Plan - Inc#2 Major capability 90% functional

Monthly Defect Rate <Current Solution> 6 9 12 15 18 21 24 27 30 Jul '99 Oct Jan '00

Apr Jul Oct Jan '01 Apr Jul 0 100 200 300 D e fe c t R a te 9 8 7 6 5 4 3 1 Priority 1 Priority 2 Priority 3 Priority 4 Priority 5

Monthly Cum Defects <Current Solution> 6 9 12 15 18 21 24 27 30 Jul '99 Oct Jan '00

Apr Jul Oct Jan '01 Apr Jul 0 1000 2000 3000 Cu m De fe c ts 9 8 7 6 5 4 3 1 Priority 1 Priority 2 Priority 3 Priority 4 Priority 5

Monthly Defects Rem aining <Current Solution> 6 9 12 15 18 21 24 27 30 Jul '99 Oct Jan '00

Apr Jul Oct Jan '01 Apr Jul 0 1000 2000 3000 D e fe ct s R e m a in in g 9 8 7 6 5 4 3 1 Priority 1 Priority 2 Priority 3 Priority 4 Priority 5 Monthly MTTD (Hrs) <Current Solution> 6 9 12 15 18 21 24 27 30 Jul '99 Oct Jan '00

Apr Jul Oct Jan '01 Apr Jul 0 400 800 1200 M TTD ( H rs ) 9 8 7 6 5 4 3 1 Priority 1 Priority 2 Priority 3 Priority 4 Priority 5

Product Reliability Plan

This report shows the expected defect discovery rate and the expected Mean Time To Defect (MTTD) estimates for the recommended solution. At

the end of the development we expect the software to run for <MTTD value> <MTTD Units>.

(10)

Métricas en la Fase de Pruebas

MTTD Probability Profile - Inc#2 M ajor capability 90% functional

MTTD Total (Hrs) Risk Profile <Current Solution> 0 10 20 30 40 50 60 70 80 90 100 Assurance Level (%) 0 20 40 60 80 100 M TTD To ta l (H rs ) OT&E DT&E FQR TRR ST CSCIT

MTTD Total (Hrs) Risk Prof ile - Inc#2 Major capability 90% f unctional <Current Solution> MTTD Total (Hrs) Assurance Level (% ) 1 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 99 CSCIT 5.857 5.162 4.791 4.541 4.342 4.171 4.018 3.876 3.742 3.612 3.484 3.356 3.226 3.091 2.949 2.796 2.626 2.427 2.177 1.806 1.111 ST 7.828 6.899 6.403 6.069 5.803 5.575 5.371 5.181 5.001 4.827 4.656 4.485 4.312 4.132 3.942 3.737 3.509 3.244 2.909 2.414 1.485 TRR 13.205 11.638 10.802 10.238 9.790 9.405 9.060 8.740 8.437 8.143 7.855 7.567 7.273 6.970 6.650 6.305 5.920 5.472 4.908 4.072 2.505 FQ R 18.733 16.510 15.324 14.524 13.888 13.342 12.852 12.398 11.968 11.552 11.143 10.734 10.318 9.888 9.434 8.944 8.398 7.762 6.962 5.776 3.553 MTTD Probability Profile

This report shows the MTTD probability for the overall project and the key major milestones. The expected MTTD estimate is positioned at the 50% probability level. High assurance MTTD estimate would be in the 75% to 99% range.

EL REPOSITORIO

REPOSITORIO

la información almacenada en un repositorio de proyectos se puede considerar de varios

tipos:

• datos fundamentales para la estimación, son aquellos cuyas relaciones determinan los

indicadores de productividad y otros ratios,

• datos de búsqueda, utilizados para clasificar el proyecto y detectar situaciones

similares en el pasado,

• datos de entrada al proceso de estimación, que pueden estar incluidos en los datos de

búsqueda o en los fundamentales, y que se utilizan como datos de origen para el

cálculo,

• y datos de salida, los estimados, constituidos por el resto de información almacenada

en cada proyecto del repositorio que es susceptible de repetirse en nuevos proyectos.

(11)

EL REPOSITORIO DEL MODELO

DE PUTNAM (SLIM)

REPOSITORIO

Datos Fundamentales:

)

Tamaño

)

Esfuerzo

)

Duración

)

Defectos

Datos de Búsqueda:

)

Tamaño

)

Tipo de Proyecto (Gestión, Telecomunicaciones, Tiempo Real, etc.) (Infiere

Ratios del Grupo o Métricas : Productividad PI, Presión de tiempo MBI)

Datos de Entrada:

)

Tamaño

)

Productividad

)

Presión de Tiempo (opcional)

EL REPOSITORIO DEL

MODELO DE PUTNAM

(SLIM)

REPOSITORIO

Datos Salida:

)

Esfuerzo total y por cada fase

)

Distribución del esfuerzo en cada fase mediante curvas de Rayleigh

)

Distribución de esfuerzo por categorias profesionales

)

Número máximo de personas del equipo en cada fase

)

Duración total y distribuída por fases

•

Solapamiento entre fases

•

Fechas estimadas de hitos predefinidos

•

Defectos esperados en cada fase

•

Tiempo medio entre defectos (MTTD) al final de cada fase

(12)

M onthly Avg S ta ff (pe ople ) < Current S olution> 2 4 6 8 1 0 1 2 O c t '0 0 D e c F e b '0 1 Ap r J u n A u g O c t D e c 0 1 0 2 0 3 0 4 0 5 0 6 0 A vg S taf f (p e o p le ) 1 0 9 8 6 5 4 3 2 1 R & D D e & P r P _ M n t M ile s to n e s 0 - C S R 1 - S R R 2 - H L D R 3 - L L D R 4 - C U T 5 - IC 6 - S T C 7 - U A T 8 - FC R 9 - 9 7 R 1 0 - 9 9 R Pr o je c t: G O M

GESTIÓN CUANTITATIVA DEL SOFTWARE

TAMAÑO

PRODUCTIVIDAD

TIPO DE

PROYECTO

TIPO DE

PROYECTO

REPOSITORIO

Size

0 20 40 60 80 100 120 S 2 3 4587691110 12 13 1415 16 S 2 3 456 ESLOC ( thousands) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 * Jan '95

Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec Jan '96

Feb Mar Apr May Jun Jul Actual Interpolated Plan Green CB Yellow CB S = Start 2 = G-CDR 3 = G-FCC 4 = C-CDR 5 = G-SIT 6 = C-FCC 7 = N-CDR 8 = CDR 9 = C-SIT 10 = FCC 11 = N-FCC 12 = N-SIT 13 = SIT 14 = UOST 15 = IOC 16 = FOC Size (ESLOC(K)) PI 14.1 MBI 4.1 Date 31/07/96 (19.00 mos)

Size

0 20 40 60 80 100 120 S 2 3 4587691110 12 13 1415 16 S 2 3 456 ESLOC ( thousands) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 * Jan '95

Feb Mar Apr May Jun Jul Actual Interpolated Plan Green CB Yellow CB S = Start 2 = G-CDR 3 = G-FCC 4 = C-CDR 5 = G-SIT 6 = C-FCC 7 = N-CDR 8 = CDR 9 = C-SIT 10 = FCC 11 = N-FCC 12 = N-SIT 13 = SIT 14 = UOST 15 = IOC 16 = FOC Size (ESLOC(K)) PI 14.1 MBI 4.1 Date 31/07/96 (19.00 mos)

Evalúa el Progreso respecto del Plan

Los datos actuales están

fuera de las bandas de control

de la desviación

(13)

Size

0 20 40 60 80 100 120 S 2 3 4587691110 12 13 1415 16 S 2 3 456 87 9 1110 12 13 1415 16 ESLOC (t hous ands ) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 * Jan '95

Feb Mar Apr May Jun Jul Actual Interpolated Forecast Plan Green CB Yellow CB S = Start 2 = G-CDR 3 = G-FCC 4 = C-CDR 5 = G-SIT 6 = C-FCC 7 = N-CDR 8 = CDR 9 = C-SIT 10 = FCC 11 = N-FCC 12 = N-SIT 13 = SIT 14 = UOST 15 = IOC 16 = FOC Size (ESLOC(K)) PI 14.1 11.5 -18.2 MBI 4.1 3.1 -13.7 Date 31/07/96 (19.00 mos) Plan Actual/ Forecast %Diff 89.92 89.57 -0.4

Si la predicción es mala . . . se replanifica

QSM ajusta una curva a los datos

actuales para encontrar la nueva

fecha de finalización

Seguimiento del Progreso contra Estimación

inicial: Estimar, Controlar, y Predecir el final

usando SLIM Control

Gantt Chart

Maint MB S 247 S 24 7 3 9 15 21 27 * Jan '96 Jul Jan '97 JulJan '98 Jul

Aggregate Staffing Rate

0 50 100 150 S 247 S 24 7 People 3 9 15 21 27 * Jan '96 Jul Jan '97 Jul Jan '98 Jul

Total Cum Effort

0 1000 2000 S 247 S 24 7 PM 3 9 15 21 27 * Jan '96 Jul Jan '97 Jul Jan '98 Jul

Total Defect Rate

0 100 200 300 S 247 S 24 7 De fe cts 3 9 15 21 27 * Jan '96 Jul Jan '97 JulJan '98 Jul

Total Cum Normalized Defects

0 1000 2000 S 247 S 24 7 De fe cts 3 9 15 21 27 * Jan '96 Jul Jan '97 Jul Jan '98 Jul

Total MTTD

0 40 80 S 247 S 24 7 Da ys 3 9 15 21 27 * Jan '96 Jul Jan '97 Jul Jan '98 Jul

Size

0 200 400 600 S 247 S 24 7 ESLOC (t hous ands ) 3 9 15 21 27 * Jan '96 Jul Jan '97 JulJan '98 Jul

Total Cum Cost

0 20 40 60 S 247 S 24 7 $ (millions ) 3 9 15 21 27 * Jan '96 Jul Jan '97 Jul Jan '98 Jul Elapsed Months Agg. Staff Total Cum Effort (PM) Total Defect Rate Total Cum Normal Defects Total MTTD (Days) Size (ESLOC(K)) Total Cum Cost ($ M)

PI 18.6 16.8 -9.7 Date 12/6/97 (19.18 mos) Plan Actual/ Forecast %Diff 18.52 18.52 0.0 24.17 81.45 237.0 1338.99 1746.07 30.4 4 9 96.4 1622 1044 -35.6 5.06 2.53 -50.0 398.54 443.40 11.3 30 39 30.4

Current Plan Actual Interpolated Current Forecast Green Control Bound Yellow Control Bound Life Cycle includes MB, Maint S = Start, 2 = DDES, 4 = CUT, 7 = DEL

(14)