ISO/IEC 14598

El estándar ISO/IEC 14598, denominado “Information technology - Software product evaluation”, consta de una serie de seis normas que proporcionan un marco de trabajo para evaluar la calidad de todos los tipos de productos de software e indica los requisitos para los métodos de medición y evaluación del proceso. El propósito de la evaluación de la calidad del software es hacer que tanto el desarrollo y la adquisición del software cumplan las expectativas y necesidades del usuario. Por lo tanto, esta norma define el proceso de evaluación y provee los requerimientos y las guías que conducen a evaluaciones de calidad.

Como se comentó en el primer párrafo, el estándar ISO/IEC 14598 consta de seis normas, que se detallan a continuación:

− La primer parte [ISO/IEC 14598-1, 1999], denominada “Information technology - Software product evaluation - Part 1: General overview”, provee una visión general de las otras cinco partes y explica la relación entre este estándar y el modelo de calidad definido por la ISO/IEC 9126. Adicionalmente, puntualiza los términos técnicos usados, contiene requerimientos generales para la especificación y evaluación de la calidad del software y clarifica los conceptos generales. Esta parte provee un marco para la evaluación de la calidad de todos los tipos de productos software prescribiendo un proceso de evaluación que se divide en los siguientes pasos: (1) Establecer los requerimientos de evaluación. (2) Especificar la evaluación. (3) Planear la evaluación. (4) Ejecutar la evaluación. (5) Obtener conclusiones sobre los resultados de la evaluación y sobre los métodos empleados. También enuncia los requisitos para los métodos de medición y evaluación de productos de software. La primer parte de la norma está dirigida a los desarrolladores, adquisidores y evaluadores independientes que estén encargados de la calidad del software. Los resultados de la evaluación pueden ser utilizados por una amplia gama de personas en la organización. La idea es que los resultados de la evaluación sean útiles a los analistas -los cuales pueden establecer relaciones entre las métricas internas y externas; y, al personal encargado de la mejora de procesos -los cuales a partir de la examinación de la información de calidad del producto pueden mejorar los procesos. Las guías presentadas por esta norma no son específicas del software por lo que pueden ser aplicadas a otros productos complejos.

− La segunda parte [ISO/IEC 14598-2, 2000], denominada “Software engineering - Product evaluation - Part 2: Planning and management” tiene como objetivo clarificar los requisitos que deberían ser provistos por la organización con el fin de asegurar el éxito de la evaluación. Brinda requerimientos, recomendaciones y guías para las funciones de soporte a la evaluación del producto software. Las

2

El objetivo de este estándar, conocido como VIM, es servir como referencia para estándares y metodologías relacionadas con la medición, armonizando de esta manera la nomenclatura actual. Para ello recopila un conjunto de definiciones y términos relacionados con la ciencia de la medición (metrología) en general, incluye diagramas conceptuales (muestran de manera más evidente las relaciones entre términos), ejemplos y todo tipo de información complementaria.

31

funciones de soporte abarcan: la gestión de la evaluación y la gestión de las tecnologías necesarias para la evaluación. Dentro de la gestión de la evaluación se debe motivar y entrenar a la gente para el desarrollo de las actividades de evaluación, preparar los documentos y métodos de evaluación adecuados y responder sobre las tecnologías de evaluación, todo dentro de un nivel organizacional y de proyecto. En cambio, la gestión de la tecnología está relacionada a la planificación y gestión de los procesos de evaluación de software, métricas y herramientas. Esto incluye la gestión del desarrollo, adquisición, estandarización, control, transferencia y retroalimentación de las experiencias tecnológicas con la organización. Esta parte de la norma está dirigida a personas responsables del aseguramiento de la calidad, aunque puede ser aplicado a administradores involucrados en otras actividades relacionadas al software.

− La tercera parte [ISO/IEC 14598-3, 2000], denominada “Software engineering - Product evaluation - Part 3: Process for developers”, está pensada para ser usada durante el desarrollo de software y está dirigida a las personas que miden y evalúan la calidad del software. Es aplicable a todas las fases del ciclo de vida del desarrollo en aquellas actividades que requieren un proceso disciplinado. Además, provee guías para clarificar los requerimientos de calidad, implementar y analizar las medidas de calidad del software. Se focaliza en la selección y reporte de los indicadores que son útiles para predecir la calidad del producto final mediante la medición de la calidad de los productos intermedios.

− La cuarta parte de la norma [ISO/IEC 14598-4, 1999], denominada “Software engineering - Product evaluation - Part 4: Process for acquirers”, contiene requerimientos, recomendaciones y guías para la medición y evaluación sistemática de la calidad de un producto software durante la adquisición o modificación de un producto software empaquetado («off-the-shelf»). Esta parte hace referencia al modelo de calidad descripto en ISO/IEC 9126, expande el proceso general de evaluación de calidad de software definido en su primera parte (ISO/IEC 14598-1) y usa el proceso para adquisición definido en la norma ISO/IEC 12207 [ISO/IEC 12207, 2008]. Puede ser usado junto con los siguientes documentos ISO/IEC 14598-2, ISO/IEC 14598-3 and ISO/IEC 14598-6. Los pasos del proceso de evaluación que presenta es similar al detallado en ISO/IEC 14598-5, sólo que el contexto de uso es bastante diferente. El proceso de evaluación descripto en esta parte ayuda a decidir la aceptación de un producto o la selección de un producto entre productos alternativos. El proceso de evaluación es flexible por lo que puede ser adaptado a la naturaleza del producto evaluado y de manera efectiva en su costo. Está dirigido a usuarios finales quienes planean adquirir productos software y a los proveedores de tales productos. En este último caso, especialmente a gerentes de proyectos, ingenieros involucrados en el desarrollo y mantenimiento de software.

− La quinta parte de la norma [ISO/IEC 14598-5, 1999], denominada “Information technology - Software product evaluation - Part 5: Process for evaluators”, provee requisitos y recomendaciones para la aplicación práctica de la evaluación de productos software cuando existen varias partes que necesitan entender, aceptar y confiar en los resultados de la evaluación. Los conceptos descriptos en ISO/IEC 9126 pueden aplicarse para este estándar. El proceso descripto en esta parte define las actividades necesarias para: (1) analizar los requerimientos de evaluación, (2) especificar, diseñar y llevar a cabo acciones de evaluación, y (3) concluir con la evaluación de cualquier tipo de producto software. El proceso presentado puede ser usado para evaluar productos existentes, componentes que necesitan ser provistos o productos en desarrollo. En caso de que la evaluación sea de un producto en desarrollo, el proceso de evaluación necesita ser sincronizado con el proceso de desarrollo de software y los componentes del producto son evaluados como entregables. Este estándar está dirigido a: evaluadores de laboratorios de testeo cuando proveen servicios de evaluación de productos software, proveedores de software cuando planifican la evaluación de sus productos incluso cuando el testeo esta previsto por empresas independientes, adquirentes de software cuando solicitan información de evaluación a los proveedores o a los laboratorios de

32

testeo, usuarios de software cuando evalúan productos o cuando utilizan los reportes provistos por los laboratorios de testeo, y cuerpos de certificación cuando definen esquemas para los productos de software.

− La última parte de la norma [ISO/IEC 14598-6, 2001], denominada “Software engineering - Product evaluation - Part 6: Documentation of evaluation modules” define la estructura y contenido de la documentación que se utiliza para describir los módulos de evaluación. Estos módulos se utilizan dentro del contexto de la ISO/IEC 9126 y el resto de las partes de esta norma. Esta parte del estándar está dirigida a los expertos en laboratorios de testeo, institutos de investigación y otros cuando producen nuevos módulos de evaluación.

Para el desarrollo de esta tesis se tomó en consideración únicamente la parte 1 y la 5 de este estándar. Como el lector pudo apreciar los estándares ISO/IEC 14598 e ISO/IEC 9126 están muy relacionados y más allá de que ambos comparten la misma terminología existen inconsistencias a raíz de la utilización de ciclos de vida separados para la especificación de requisitos y para la evaluación del producto. Por esta razón, surge el proyecto SQuaRE que trata de crear una convergencia entre ambos estándares (entre otras motivaciones) eliminando las distancias, conflictos y ambigüedades entre ellos. El resultado de este proyecto es el estándar ISO/IEC 25000, el cual se mencionó en la sección 2.1. y consiste de cinco divisiones: (1) Gestión de la calidad, (2) Modelo de calidad, (3) Medición de la calidad, (4) Requerimientos de calidad y (5) Evaluación de la calidad. Este estándar provee algunas de las siguientes ventajas respecto a sus predecesores:

− Coordinar las guías sobre medición y evaluación de calidad de producto software.

− Ofrecer una guía para la especificación de los requerimientos de calidad de producto software. Mientras que las principales diferencias entre las series de estándares internacionales ISO/IEC 9126, ISO/IEC 14598 y SQuaRE son:

− La introducción de un nuevo modelo de referencia general.

− La introducción de una guía detallada y dedicada para cada división.

− La introducción de elementos de medias de calidad dentro de la división de medición de la calidad.

− La introducción de la división requerimientos de calidad.

− La incorporación y revisión del proceso de evaluación.

− La introducción de guías de prácticas en forma de ejemplos.

− La coordinación y armonización con el contenido del ISO/IEC 15939.

El estándar SQuaRE provee términos y definiciones, modelos de referencia, guías generales y guías individuales para cada división y estándares internacionales para propósitos de especificación, planificación, gestión, medición y evaluación de requerimientos. Por lo que reemplaza las series de estándares ISO/IEC 14598 e ISO/IEC 9126. Este estándar no fue tomado en consideración en el momento de la medición ya que al momento de la recolección de los datos (de setiembre a diciembre de 2010) no se habían publicado algunos documentos claves de la serie.

Para ver el árbol de requerimientos donde se definieron los conceptos que evalúan a una estrategia integrada de M&E definidos a partir de lineamientos de estos estándares y de nuestra propia estrategia ver la sección 5.1.

33

Capítulo 4: Fundamentos de las Estrategias Integradas GOCAME y