Generación de pruebas

La generación automática de pruebas de caja negra para una MP se basa completamente en la generación para su ME asociada.

Modelado y generación automática de pruebas para STR

Dada una MP, la generación de casos de prueba para la misma consistirá en obtener la ME asociada (caso de que la MP sea consistente), y después generar los casos de prueba para ella, tal y como se describió en la sección 2.1.2. Dado que en el presente trabajo solo se ha contemplado la generación de casos de prueba para ME deterministas y totalmente definidas56, habremos de comprobar primero que la MP es consistente, está totalmente definida y es determinista (en cuyo caso la ME asociada también tendrá esas propiedades).

Dicha comprobación pasaría por probar que, para cada posible combinación de entradas y condiciones (es decir, para cada posible valuación de la unión de los conjuntos de entradas y condiciones) de la MP, existe exactamente una combinación posible de salidas y postcondiciones. La complejidad computacional asociada a dicho chequeo es de orden exponencial. Incluso para MPs de pequeño tamaño, el tiempo de ejecución podría resultar excesivo (por ejemplo, en una MP con solo 10 condiciones y 10 entradas, el número de combinaciones a chequear sería de ʹଶ଴_{ൌ ͳǤͲͶͺǤͷ͹͸).}

Se presentan a continuación una técnica que ayuda a disminuir el tiempo de ejecución de dicho análisis. Dicha técnica consiste básicamente en reducir la libertad del modelador del sistema libertad a la hora de describirlo.

Definición 2.2.3.Forma Normal de Descomposición Funcional (FNDF) de una MP Diremos que una MP ܯ ൌ ۃܥǡ ܫǡ ܱǡ ܴǡ Ȱ_଴ۄ está expresada en FNDF sobre dos conjuntos no vacíos ܥԢ ك ܥ y ܱԢ ك ܱ si y solo si:

ƒ Ȱ଴ contiene una única fórmula de la forma

ሥ ݈_௖

௖א஼ᇲ

ǡ

ƒ y para toda regla ۃ߶௣௥௘ǡ ߶௜௡ǡ ߶௢௨௧ǡ ߶௣௢௦௧ۄ א ܴ, ߶௣௥௘ tiene la forma ሺ߶஼ᇲሻ ר ൫߶_஼തതതᇲ൯

y ߶_௢௨௧ y ߶_௣௢௦௧ son conjunciones de literales sobre ܱԢ ׫ ሼݐݎݑ݁ሽ y ܥԢ ׫ ሼݐݎݑ݁ሽ, respectivamente.

ז

Nótese que, por convención,

ሥ ߶_௖

௖א׎

؝ ݐݎݑ݁ǡ

Modelado y generación automática de pruebas para STR

por lo que si el conjunto ܥതതതᇱ _{de la anterior definición es vacío, la correspondiente} fórmula ߶௣௥௘ sería de la forma ሺ߶஼ᇲሻ ר ሺݐݎݑ݁ሻ.

Obsérvese que, a partir de la definición de una MP como un conjunto de MPs en Forma Normal de Descomposición Funcional, la complejidad asociada a la verificación de las propiedades de definición total y determinismo y la construcción de la parte ejecutable de la ME asociada se reduce drásticamente.

Primero, el chequeo de las condiciones enunciadas en el 2.2.21 para cada MP es sencillo. Habrá simplemente que chequear que, en cada regla, todas las condiciones y salidas pertenecientes a los conjuntos determinados aparecen en las fórmulas (conjunciones de literales) correspondientes, y que no lo hacen aquellas pertenecientes a los conjuntos no determinados (si la MP está correctamente descrita en FNDF, no se dará el caso de que dos reglas distintas difieran en las condiciones o salidas que aparecen). Bastará con recorrer una sola vez el conjunto de reglas y las fórmulas ߶௢௨௧ y

߶_௣௢௦௧ de cada una de ellas para verificar que (1), (2) y (3) se cumplen. Una vez hecho esto, el chequeo de las condiciones que aparecen en (a) y (b) es trivial. Si todas se cumplen, concluiremos que la MP unión es consistente y determinista (en caso contrario, este procedimiento no decide; obsérvese que las anteriores condiciones son suficientes pero no necesarias).

Modelado y generación automática de pruebas para STR

Algoritmo 2.2.4.Chequeo de MP en FNDF

Entradas: Una MP ܯ ൌ ۃܥǡ ܫǡ ܱǡ ܴǡ Ȱ_଴ۄ y dos conjuntos no vacíos ܥᇱ _{ك ܥ y ܱ}ᇱ_{ك ܱ.} Salidas: true si la MP está en FNDF sobre ܥᇱ _{y ܱ}ᇱ_{; false en otro caso.}

߶_଴ ؔ ߶ א Ȱ_଴Ǣ if ȁȰ଴ȁ ൐ ͳor߶଴ ് ٿ௖א஼ᇲ݈௖ then return ۃ݂݈ܽݏ݁ǡ Ȱ଴ۄ end if for eachݎ ൌ ۃ߶௣௥௘ǡ ߶௜௡ǡ ߶௢௨௧ǡ ߶௣௢௦௧ۄ א ܴ do if ߶_௣௥௘݊݋ݐ݈݂݅݁݊݁ܽ݋ݎ݉ܽሺ߶_஼ᇲሻ ר ൫߶_஼തതതᇲ൯or ߶_஼ᇲ݊݋݁ݏݑ݂݊ܽ×ݎ݉ݑ݈ܽݏ݋݈݋ݏ݋ܾݎ݁ܥᇱor ߶_஼തതതᇲ݊݋݁ݏݑ݂݊ܽ×ݎ݉ݑ݈ܽݏ݋݈݋ݏ݋ܾݎ݁ܥതതതᇱ or ߶_௢௨௧݊݋݁ݏݑ݊ܽܿ݋݆݊ݑ݊ܿ݅×݈݊݀݁݅ݐ݁ݎ݈ܽ݁ݏݏ݋݈݋ݏ݋ܾݎܱ݁ᇱ_{׫ ሼݐݎݑ݁ሽor} ߶_௣௢௦௧݊݋݁ݏݑ݊ܽܿ݋݆݊ݑ݊ܿ݅×݈݊݀݁݅ݐ݁ݎ݈ܽ݁ݏݏ݋݈݋ݏ݋ܾݎ݁ܥᇱ_{׫ ሼݐݎݑ݁ሽthen} return ۃ݂݈ܽݏ݁ǡ ݎۄ end if end do return ۃݐݎݑ݁ۄ ז

Nótese que bastará con recorrer una sola vez cada fórmula para chequear si tienen la forma esperada. Por ejemplo, para verificar ߶_௜௡ ് ٿ ݈௜אூ ௜ bastará con recorrer ߶௜௡ verificando todos los operadores que encontramos son “ר”, que dichos operadores solo aparecen entre literales (un solo símbolo proposicional o un símbolo precedido de un operador “൓”) y que cada símbolo proposicional aparece una sola vez y pertenece a ܫ.

Nótese además que el anterior algoritmo admite sencillas modificaciones que permitan devolver información más completa acerca de los motivos por los que la regla en cuestión viola no cumple la notación FNDF.

Modelado y generación automática de pruebas para STR

Algoritmo 2.2.5.Chequeo de propiedades de una MP

Entradas: Una MP ܯ ൌ ۃܥǡ ܫǡ ܱǡ ܴǡ Ȱ_଴ۄ en FNDF sobre ܥᇱ _{ك ܥ y ܱ}ᇱ _{ك ܱ.}

Salidas: true si la MP es virtualmente consistente, está virtualmente totalmente definida y es virtualmente determinista respecto de ܥᇱ _{y ܱ}ᇱ_{, y false en otro caso.}

ݏ_଴ ؔ ࣷ א ܵܽݐ_஼ᇲሺȰ_଴ሻǢܵ_{௥௘௔௖௛} ؔ ܵ_଴Ǣ ܵ_{௩௜௦௜௧} ؔ ׎Ǣ

ࣣ ؔ ܸ݈ܽሺܫሻǢ ࣝ ؔ ܸ݈ܽሺܥതതതሻǢᇱ while ܵ௥௘௔௖௛ ് ׎do

ݏ ؔ ࣷ א ܵ௥௘௔௖௛Ǣܵ௥௘௔௖௛ ؔ ܵ௥௘௔௖௛െ ሼݏሽǢܵ௩௜௦௜௧ ؔ ܵ௩௜௦௜௧׫ ሼݏሽǢ for eachݏᇱ_{א ࣝ and ࣻ א ࣣ do}

ܱݑݐ ؔ ׎Ǣ ܲ݋ݏݐ ؔ ׎ for eachݎ ൌ ۃ߶_௣௥௘ǡ ߶_௜௡ǡ ߶_௢௨௧ǡ ߶_௣௢௦௧ۄ א ܴ such that ݏ ׫ ݏᇱ_{٧ ߶} ௣௥௘ and ࣻ ٧ ߶௜௡ do ܱݑݐ ؔ ܱݑݐ ׫ ሼ߶௢௨௧ሽǢ ܲ݋ݏݐ ؔ ܲ݋ݏݐ ׫ ൛߶௣௢௦௧ൟǢ end do if ܱݑݐ ൌ ׎ then return ݂݈ܽݏ݁ if ( ݋ א ܮ݅ݐ݁ݎ݈ܽݏሺܱݑݐሻ and ൓݋ א ܮ݅ݐ݁ݎ݈ܽݏሺܱݑݐሻ ) or ( א ܮ݅ݐ݁ݎ݈ܽݏሺܲ݋ݏݐሻ and ൓ܿ א ܮ݅ݐ݁ݎ݈ܽݏሺܲ݋ݏݐሻ ) then return ݂݈ܽݏ݁ end if if ȁܵݕܾ݉݋݈ݏሺܱݑݐሻȁ ് ȁܱᇱ_{ȁ or ȁܵݕܾ݉݋݈ݏሺܲ݋ݏݐሻȁ ് ȁܥ}ᇱ_{ȁ then} return ݂݈ܽݏ݁ end if ݏᇱ_{ؔ ࣷ א ܵܽݐ} ஼ᇲሺܲ݋ݏݐሻǢ if ݏᇱ _{ב ܵ} ௩௜௦௜௧ then ܵ௥௘௔௖௛ ؔ ܵ௥௘௔௖௛׫ ሼݏᇱሽǢend if end do end do returnݐݎݑ݁ ז

Modelado y generación automática de pruebas para STR La sentencia ݒ ؔ ݒᇱ_{א ܵܽݐ}

௉ሺȰሻ significa que ݒ es una valuación cualquiera del conjunto de valuaciones ܵܽݐ௉ሺȰሻ (sobre el conjunto de variables proposicionales ܲ) que satisfacen el conjunto de fórmulas Ȱ. Obsérvese que, dado que ܯ está en FNDF, obtener las valuaciones del tipo ܵܽݐ_௉ሺȰሻ que aparecen en el algoritmo es trivial; bastará con recorrer las fórmulas de Ȱ una sola vez. Para las evaluaciones ݒ ٧ ߶ de las fórmulas será también suficiente recorrer las mismas una sola vez.

Si el anterior algoritmo devuelve ݐݎݑ݁, tenemos garantizado que la MP es virtualmente consistente, está virtualmente totalmente definida y es virtualmente determinista respecto de ܥᇱ _{y ܱ}ᇱ_{. Asumiendo que forma parte}

La construcción de la parte ejecutable de la ME asociada es también sencilla. Primero, generaremos la MP unión correspondiente (de la cual, como se explicó arriba, ya sabremos que es consistente y determinista). Obtendremos el estado inicial de dicha ME simplemente “leyendo” las fórmulas contenida en Ȱ_଴ (las cuales serán simples conjunciones de literales, ya que las MP originales estaban en FNDF). A partir de dicho estado (que representa una valuación concreta de las condiciones de la MP), se pueden ir recorriendo las reglas de la MP y, para todas aquellas que se disparan a partir del estado inicial (esto es, el estado inicial satisface ߶_௣௥௘), obtener las entradas que se han definido para ese estado (“leyendo” las fórmulas ߶_௜௡ de las reglas disparadas; cada entrada de la ME será una valuación concreta del conjunto de entradas), y para cada una de ellas obtener la salida y estado alcanzado correspondientes (“leyendo” respectivamente las fórmulas ߶௢௨௧ y ߶௣௢௦௧ de las reglas disparadas por el estado inicial y la correspondiente entrada). Cada una de las entradas obtenidas formará, junto al estado inicial y la salida y estado alcanzado asociados a los primeros, una transición de la ME. Repetiremos el proceso para cada uno de los estados alcanzados, hasta que no quede ningún estado alcanzado que no hayamos procesado. El resultado será una ME que representará la parte ejecutable de la ME asociada a la MP en cuestión.

Para obtener la parte no alcanzable de dicha ME, tendremos que obtener aquellas valuaciones del conjunto de condiciones (estados) que no hayan sido alcanzadas mediante el procedimiento anterior. En el peor de los casos, esto exige hallar todas las valuaciones de dicho conjunto, problema de complejidad exponencial, y hacer la diferencia con el conjunto alcanzado. Sin embargo, no estaremos en general interesados en construir la parte no alcanzable de la ME correspondiente, ya que, además de carecer de verdadero interés práctico, ésta no podrá en ningún caso evaluarse usando pruebas de caja negra.

Nótese que, durante el anterior procedimiento, también podremos comprobar si la ME está o no totalmente definida o no, simplemente observando si el conjunto de entradas “obtenidas” a partir de las reglas disparadas por un estado coincide con el conjunto total de entradas (el número total es conocido a priori: ʹȁூȁ_{, con ܫ el conjunto de entradas de}

Modelado y generación automática de pruebas para STR

la MP, por lo que simplemente tendremos que verificar si dicho número coincide con el número de entradas “obtenidas” para cierto estado).

Obsérvese que también se podrían determinar fácilmente las propiedades de consistencia y determinismo de la MP correspondiente según aplicamos este procedimiento. Sin embargo, hacerlo a partir del análisis de las MP que participan en la unión que genera la MP, permite deducir tales propiedades de manera rápida sin tener que consumir memoria generando la correspondiente ME asociada.

Modelado y generación automática de pruebas para STR

Algoritmo 2.2.6.Generación de la ME asociada a una MP bajo las asunciones de Entradas: Una MP ܯ ൌ ۃܥǡ ܫǡ ܱǡ ܴǡ Ȱ_଴ۄ consistente, determinista y totalmente definida, formada como la unión simple de un conjunto de MPs en FNDF.

Salidas: La parte ejecutable de la ME asociada a ܯ.

ݏ_଴ ؔ ݒ א ܵܽݐ_஼ሺȰ_଴ሻǢ ܵ ؔ ׎Ǣ ࣣ ؔ ܸ݈ܽሺܫሻǢ ࣩ ؔ ׎Ǣ ܶ ؔ ׎Ǣܵ_଴ ؔ ሼݏ_଴ሽǢ ܵ_{௥௘௔௖௛} ؔ ܵ_଴Ǣ while ܵ௥௘௔௖௛ ് ׎do ݏ ؔ ݏᇱ_{א ܵ} ௥௘௔௖௛Ǣܵ௥௘௔௖௛ ؔ ܵ௥௘௔௖௛െ ሼݏሽǢ for each ࣻ א ࣣdo ܱݑݐ ؔ ׎Ǣ ܲ݋ݏݐ ؔ ׎ for eachݎ ൌ ۃ߶௣௥௘ǡ ߶௜௡ǡ ߶௢௨௧ǡ ߶௣௢௦௧ۄ א ܴ such that ݏ ٧ ߶_௣௥௘ and ࣻ ٧ ߶_௜௡ do

ܱݑݐ ؔ ܱݑݐ ׫ ሼ߶_௢௨௧ሽǢ ܲ݋ݏݐ ؔ ܲ݋ݏݐ ׫ ൛߶_௣௢௦௧ൟǢ end do Մ ؔ ݒ א ܵܽݐைሺܱݑݐሻǢ ݏᇱ ؔ ࣷ א ܵܽݐ஼ሺܲ݋ݏݐሻǢ ܵ ؔ ܵ ׫ ሼݏሽǢ ࣩ ؔ ࣩ ׫ ሼՄሽǢ ܶ ؔ ܶ ׫ ሼۃݏǡ ࣻǡ Մǡ ݏᇱ_ۄሽǢ if ݏᇱ _{ב ܵthen ܵ} ௥௘௔௖௛ ؔ ܵ௥௘௔௖௛׫ ሼݏᇱሽǢend if end do end do return ۃܵǡ ࣣǡ ࣩǡ ܶǡ ܵ଴ۄ ז

La generación de los casos de prueba correspondientes de basaría en la Me construida usando el anterior algoritmo.

Para aquellas MP de las que dispongamos de una descomposición ortogonal, podremos ahorrar tiempo de ejecución generando los casos de prueba únicamente para las ME asociadas a cada MP de la descomposición ortogonal. Nótese que si tenemos una descomposición ortogonal con dos MP independientes ܯ_ଵ y ܯ_ଶ con conjuntos de entradas ܥଵ y ܥଶ, si construimos las ME asociadas a cada una de ellas en lugar de la ME

Modelado y generación automática de pruebas para STR

asociada a su MP unión, tendremos que explorar ʹȁ஼భȁ൅ ʹȁ஼మȁ൏ ʹȁ஼భ׫஼మȁ ൌ ʹȁ஼భȁʹȁ஼మȁ_,

cuando ȁܥଵȁ ൐ ͳ o ȁܥଶȁ ൐ ͳ. Incluso para conjuntos de condiciones de tamaño relativamente pequeño, hay una diferencia significativa (por ejemplo, para ȁܥଵȁ ൌ ͷ y

ȁܥଶȁ ൌ ͷ, tenemos ͸Ͷ ൌ ʹହ൅ ʹହ ൏ ʹଵ଴ൌ ͳͲʹͶ).

Teorema 2.2.7.Conjunto de casos de prueba completo bajo la asunción de tamaño Dada una MP ܯ, una descomposición ortogonal ൛ܯ_௝ൟ_௝ୀଵ௡ de ܯ y un conjunto de casos de prueba ൛ܶܥ_௝ൟ_௝ୀଵ௡ , con ݊ ൒ ͳ.

Si para todo ͳ ൑ ݆ ൑ ݊, ܶܥ௝ es un conjunto de casos de prueba completo (bajo la asunción de tamaño) para ܯܧ൫ܯ௝൯, entonces

ራ ܶܥ_௝ ௡ ௝ୀଵ ݁ݏݑ݊ܿ݋݆݊ݑ݊ݐ݋ܿ݋݉݌݈݁ݐ݋݀݁ܿܽݏ݋ݏ݀݁݌ݎݑܾ݁ܽ݌ܽݎܽܯܧ ቌራ ܯ_௝ ௡ ௝ୀଵ ቍ ז

Propuesta de diseño para herramienta de modelado y pruebas