Evaluación de Software
Produto OK!
Rodolfo Baccarelli, Josiane Falvo y Silvia Frick INSTITUTO DE ESTUDOS ECONÔMICOS EM
SOFTWARE
Evaluación de software
• Evaluación de software en Brasil
• Evaluación Produto OK!
• IEES
Evaluación de software en Brasil
• CMMI (proceso)
• mpsBr (proceso)
• Mede-Pros (producto)
• Produto OK! (producto)
• Modelo de evaluación de procesos
Software Engineering Institute (SEI) / Carnegie Mellon University
Evalúa madurez de la empresa desarrolladora según su adecuación a los procesos-clave
definidos por el propio modelo.
CMMI
Nivel 5 Nivel 4 Nivel 3 Nivel 2
CMMI: Empresas evaluadas
1 1
empresa
9 empresas
Hasta fines de 2004
• Proyecto brasileño de estructuración de empresas
– bajo costo
– compatible con patrones de calidad aceptados internacionalmente.
• 7 niveles de madurez (= 5 niveles del modelo CMMI)
• Fase experimental (ninguna empresa evaluada)
mpsBr
• Desarrollado por el CenPRA (Centro de Pesquisas Renato Archer) para contribuir con la mejoría de la calidad de productos de software.
• El método se basa en las normas:
– ISO/IEC 9126 (NBR 13596, 1996)
– ISO/IEC 12119 (NBR ISO/IEC 12119, 1997) – Serie de normas ISO/IEC 14598
Mede-Pros
Las normas en las que se apoya la metodología definen las características de calidad de
software que deben estar presentes en todos los productos:
Mede-Pros: Aspectos evaluados
mantenibilidad portabilidad confiabilidad eficiencia
El aspecto Funcionalidad envuelve:
• Adecuación de las funciones a tareas específicas
• Precisión (generación de resultados correctos)
• Interoperabilidad (capacidad de interactuar con otros sistemas)
• Conformidad con normas, convenciones y reglamentos
• Seguridad de acceso (capacidad de evitar acceso no
funcionalidad
Mede-Pros: Aspectos evaluados
El aspecto Confiabilidad envuelve:
• Madurez (frecuencia de fallas por defectos)
• Tolerancia a fallas (capacidad de mantener el nivel de
desempeño en caso de falla del software o violación de interfase)
• Recuperabilidad (capacidad de reestablecer su desempeño y restaurar datos después de una falla)
Mede-Pros: Aspectos evaluados confiabilidad
El aspecto Usabilidad envuelve:
• Grado de complejidad para que el usuario
– reconozca el concepto lógico y la aplicabilidad del software – aprenda su aplicación
– opere y controle la operación del software
Mede-Pros: Aspectos evaluados usabilidad
El aspecto Eficiencia envuelve:
• Comportamiento en relación al tiempo (tiempo de respuesta, de procesamiento y velocidad en la ejecución de funciones)
• Comportamiento en relación a los recursos (cantidad de recursos utilizados y duración de su uso)
Mede-Pros: Aspectos evaluados eficiencia
El aspecto Mantenibilidad envuelve:
• Propiedad de ser ‘analizable’ (grado de complejidad para diagnosticar deficiencia y causas de falla)
• Propiedad de ser modificable (grado de complejidad para realizar modificaciones)
• Estabilidad (ausencia de riesgos de efectos inesperados ocasionados por modificaciones)
• ‘Testabilidad’, facilidad de ser probado
Mede-Pros: Aspectos evaluados mantenibilidad
El aspecto Portabilidad envuelve:
• Adaptabilidad (capacidad de ser adaptado a ambientes diferentes)
• Capacidad de ser instalado
• Conformidad con patrones o convenciones de portabilidad
• Capacidad para sustituir otro software
Mede-Pros: Aspectos evaluados portabilidad
La metodología Mede-Pros se aplica a cualquier producto pero tiene mayor
utilidad en el caso de sistemas a medida, así como con productos que están siendo lanzados al mercado y no poseen, todavía,
Mede-Pros: Aplicación
• Premio Assespro (1994-1997)
• PNAFM (2002):
– 8 empresas evaluadas y 4 aprobadas
• Evaluaciones individuales
Mede-Pros: Usos
• PNAFM: Programa Nacional de Apoio à Gestão Administrativa e Fiscal dos Municípios Brasileiros.
• OBJETIVO: Auxiliar al gobierno brasileño a alcanzar estabilidad macroeconómica a través de un equilibrio fiscal auto-sustentable, fundamentado en una política
pública transparente e eficiente en la gestión de los ingresos y del gasto público
Mede-Pros: PNAFM
Mede-Pros: Adaptación al PNAFM
Doc.
Usuario
Interfase
Usuario Software Descripción
Producto Embalaje Completitud
Usabilidad
Funcionalidad
Usabilidad
Funcionalidad
Funcionalidad
Eficiencia
Confiabilidad
Completitud Funcionalidad
Usabilidad
Completitud
• MF/UCP – Ejecutor Nacional del Programa
• UNDP – Proceso de Homologación
• CenPRA – Coordinación de las Evaluaciones
• INSOFT, ITS y UNISINOS – Laboratorios
• BID – Otorgante del Financiamiento
• Caixa Econ. Federal – Agente Financiero
Mede-Pros: Participantes
Fue desarrollado por el IEES con el objetivo
principal de conocer el nivel de satisfacción de los clientes con el producto evaluado y con la empresa desarrolladora.
El método permite:
– Verificar el posicionamiento de la empresa en el mercado
– Orientar a la empresa en la mejoría de la calidad
Produto OK!
1997
Lanzamiento, en conjunto con el CenPRA, de la metodología Pacote OK!
• evaluación de productos según Norma ISO/IEC 12119.
• 170 productos evaluados e 70 aprobados
• Proyecto restricto (embalaje)
Produto OK!: Histórico
1998
A partir de los problemas encontrados en la metodología Pacote OK!, fue desarrollada la metodología Produto OK!, que sustituyó a la anterior.
Produto OK!: Histórico
(continuación)• Inicio de operación a mediados de 1998.
• Etapa piloto, realizada con un conjunto restricto de productos.
• 112 productos certificados hasta inicios de 2005
(aproximadamente 70% aprobado).
Produto OK!: Histórico
(continuación)Produto OK!: Motivación
inmediato para la empresa desarrolladora;
consistente y adaptable a las condiciones del mercado a largo plazo; e implementada por una institución exenta.
1
Establecer una metodología accesible apequeñas y medianas empresas; con retorno
Produto OK!: Motivación
(continuación)de evaluación de software fundamentados apenas en el análisis del proceso productivo
(CMM) o de la calidad del producto (Mede-Pros).
Complementar, con la visión de usuarios con experiencia (expertos), los modelos
2
Produto OK!: Metodología
• Investigación de campo cualitativa (entrevista estructurada)
• Entrevistados que actúan como evaluadores
– usuarios con experiencia (en el uso del producto y en el cargo que ocupan en la empresa),
• Resultados de las entrevistas analizados, comparados y convalidados de acuerdo con su convergencia
• La cantidad de entrevistas varía (10 a 15) de acuerdo con el grado de convergencia de los datos colectados
• La metodología PAQS/MPO se aplica
solamente a software-producto (aplicativo o sistema) con base instalada significativa
• No se aplica a software-servicio (para lo que se aplica la metodología Servicio OK!)
• No es recomendable para productos de uso
Produto OK!: Aplicación
Resultados
• Reconfiguración de productos (CPqD)
• Retirada de productos del mercado (WBA)
• Acciones comerciales junto a clientes (Bazevani)
• Refuerzo de estrategias tecnológicas (ABC71)
• Obtención de financiamiento (Prosoft)
• Participación en licitaciones (Cetil)
• Presentación en planes de negocios (Multidata, Astrein)
Ejemplo: Sistema de ERP
Ejemplo: Sistema de ERP
Ejemplo: Sistema de ERP
Ejemplo: Sistema de ERP
Ejemplo: Sistema de ERP
Ejemplo: Sistema de ERP
Problemas citados:
– Mucha dificultad para generar informes
– Falta de funciones importantes en nueva versión
(que estaban en la anterior)
– Bugs
– No permite hacer el cierre del año en fechas alternativas
Ejemplo: Sistema de ERP
Motivos de Insatisfacción:
– Dificultad para generar informes
– Falta de adaptación del producto a las
necesidades de la empresa (Ej.: generar informes en inglés)
– Falta de agilidad en el soporte técnico y en la solución de problemas (empresa matriz)
Ejemplo: Sistema de ERP
Conclusión:
– Aprender a oír al cliente – Estructurar informaciones – Trabajar con metodología
– Convalidar requisitos antes de lanzar una nueva versión (investigar demanda)
Ecosistema competitivo
Políticas
Consultoría estratégica
Financiamiento
Información
Generación de Empresas
IEES
Instituto de Estudos Econômicos em Software
• Fundado en 1997
• Actúa en cuatro frentes:
– Publicaciones para el sector de software – Consultorías / servicios para auxiliar en las
estrategias de las empresas – Asesoría en Financiamiento – Calidad
IEES: Publicaciones
• Revista Economia &
Tecnologia
• Kit de Informações
• Indicadores Financeiros do Setor de Software (IFSS)
IEES I F S S
IEES: Servicios
• Demanda
• Pré-venda
• Satisfacción
• Players
• Estudios sectoriales
IEES: Financiamiento
El IEES reúne informaciones completas sobre las diversas líneas de
financiamiento disponibles en Brasil y
asesora a las empresas de software en la
búsqueda y obtención de recursos.
IEES: Calidad
El IEES evalúa la calidad de los productos y de las empresas de software.
Producto: Produto OK!
Empresas: Informe individual IFSS
IEES: Calidad
El enfoque del IEES en calidad es de
mercado y no de tecnología o de políticas
sectoriales, llenando el vacío dejado por
instituciones como el CenPRA y la Softex.
IEES: Calidad
Enfoque del IEES: mercado y desempeño económico de las empresas
Enfoque de otros métodos (CMM, Mede-Pros): tecnología
Enfoque de otras instituciones (CenPRA, Softex, Assespro, gobierno): políticas de gobierno
IEES: Calidad
El IEES aprovecha los datos que levanta de las empresas de software y el
conocimiento que posee del mercado
IEES: Calidad
Banco de datos:
• 2.700 empresas brasileñas de software (70% del total)
– Datos financieros (Facturación, inversión, lucros, productividad…) – Número de empleados
– Área de actuación – Localización
– Exportación
• 1.900 productos de software
– Tipo de producto y descripción – Año de lanzamiento
