1. Introducción
2.2 Metodologías de evaluación de sistemas
2.2.4 Evaluación de la implementación
En la fase de evaluación de la implementación, dicha implementación puede ir desde un prototipo de simulación interactiva del sistema sin funcionalidad relevante, hasta un sistema completamente implementado, por lo que el usuario debe estar involucrado activamente en la evaluación.
Métodos empíricos (evaluación experimental): Uno de los métodos más poderosos para evaluar un diseño o un aspecto del mismo, es usar un experimento controlado. Esto provee evidencia empírica para avalar alguna hipótesis en particular.
El evaluador elige una hipótesis a probar, que se determina midiendo atributos o comportamientos ya definidos. Se considera un número experimental de condiciones, las cuales difieren solo en los valores de ciertas variables controladas. A continuación se describen los elementos involucrados en una evaluación experimental:
• Usuarios. La elección de usuarios es vital para el éxito de cualquier experimento. Deben ser elegidos de manera que coincidan lo mas posible con el prototipo de usuario el sistema. Si no son los usuarios reales, deben elegirse con características similares de edad, nivel de educación, experiencia con computadoras, experiencia y dominio en la tarea a evaluar. Otro aspecto, es el número de la muestra a evaluar, el número de personas debe ser suficiente como para representar al grupo real.
• Variables. Los experimentos manipulan y miden variables bajo condiciones controladas, con el propósito de probar hipótesis. Hay 2 tipos de variables, las que son manipuladas y las que son medidas. Las primeras son llamadas variables independientes, las segundas:
dependientes. Independientes: son características del experimento que son manipuladas para producir diferentes condiciones para comparación. Dependientes: Pueden ser medidas en el experimento, será afectada por la variable independiente y no será afectada por otros factores, en la medida de lo posible.
• Hipótesis. Predicción del resultado de un experimento. En términos de variables, se dice que la variación en la variable independiente, causará una diferencia en la variable dependiente. El propósito de un experimento es mostrar que dicha predicción es correcta.
• Diseño experimental. La primera fase en el diseño experimental es elegir la hipótesis: decidir exactamente qué se tratará de demostrar. Clarificar las variables independientes y las dependientes y se tiene que identificar lo que se va a manipular y los cambios esperados. Después es necesario decidir qué método de diseño experimental se usará.
• Medidas estadísticas. Las primeras dos reglas del análisis estadístico son ver los datos y guardar los datos. Mediante una gráfica, un histograma o una tabla de resultados puede exponer “outliers”, datos singulares que son muy diferentes del resto. Depende del tipo de datos y de los cuestionamientos a contestar. Vale la pena revisar los datos por un experto estadista pero en muchas ocasiones las pruebas estandar pueden ser utilizadas.
Técnicas observacionales:
• Pensar en voz alta y evaluación cooperativa: Una manera popular de recopilar información sobre el uso real de un sistema, es observar a los usuarios interactuando con él. Usualmente se les pide que completen un
conjunto de actividades predeterminadas, sin embargo, si la observación se realiza en el lugar de trabajo de los usuarios ellos pueden ser observados haciendo sus actividades cotidianas. El evaluador observa y graba las acciones del usuario. La observación por si sola rara vez es suficiente para determinar que tan bien se ajusta el sistema a los usuarios. Consecuentemente, se les pide que elaboren sus acciones pensando en voz alta: describiendo lo que creen que está pasando, porqué tomaron cierta acción, y qué están tratando de hacer. Esto les da la ventaja de la simpleza, requiere de experiencia para realizarse y poder obtener información útil sobre problemas con la interfaz. Sin embargo, la información es subjetiva y puede ser selectiva, dependiendo de las tareas realizadas. El proceso de observación puede alterar la manera de realizar las tareas, puesto que al sentir la presencia el usuario sentirá presión. La eficacia de este método depende directamente del método que se utilice para recopilar la información y del planteamiento que el evaluador presente al usuario.
Existen diferentes maneras de recopilar información, entre las cuales se encuentran:
o Papel y lápiz
o Grabación en audio o Grabación en video o Mediante computadora o Notas del usuario
• Herramientas de análisis de protocolo automático: El análisis de protocolo, aun el video, audio o sistemas computacionales, consumen tiempo y son tediosos a mano. Una solución posible para esto sería proveer herramientas de análisis automáticas para apoyar la actividad. Existen ya algunos sistemas de tipo experimental, pero ofrecen video editable, audio y sistemas de logs asi como una sincronización de todo para un análisis
detallado. Un ejemplo de esto es el Sistema EVA (Anotador de video experimental).
• Técnicas “query”: Son menos formales que la experimentación controlada, pero pueden ser útiles para obtener detalles del punto de vista del usuario hacia el sistema. La mejor manera que saber si el sistema se ajusta a las necesidades del usuario, es preguntárselo. La ventaja de estos métodos es que obtienen puntos de vista del usuario directamente y pueden revelar información que no ha sido considerada por el diseñador. Son relativamente simples y baratas de administrar. La información obtenida es necesariamente subjetiva, y puede ser razonada de acuerdo a los eventos y no en lo particular.
Ejemplos de estas técnicas son:
o Entrevistas o Cuestionarios o Preguntas abiertas o Escalares o Opción múltiple o De rangos
Elección de un método: Los aspectos a considerar al elegir un método de evaluación, son los siguientes:
• La etapa del ciclo en que se vaya a realizar la evaluación
• El estilo de evaluación
• El nivel necesario de subjetividad u objetividad de la técnica
• El tipo de medidas proveídas
• La información proveída
• La rapidez de los resultados
• El nivel de interferencia implicado
3. Metodología de investigación
En este capítulo se describe la metodología de investigación mediante la cual se condujo el proyecto. Se expone una breve descripción de las técnicas utilizadas para el análisis y recopilación de datos y se plantea el método de validación de resultados del proyecto.
3.1 Diseño de investigación
En nuestros días, hay dos paradigmas de investigación que ofrecen diversos procedimientos y herramientas, dependiendo del objeto de estudio y de los propósitos específicos del proyecto. Estos dos paradigmas son: la investigación cuantitativa y cualitativa. Para este proyecto se eligió la investigación cualitativa y a continuación se justifica esta decisión.
La investigación cuantitativa muestra los resultados en números duros y busca la manera de crear métricas numéricas para interpretar resultados, mientras que la investigación cualitativa le pone rostro a los números describiendo de manera elocuente las imágenes mentales de la percepción humana del hecho (Creswell, 2002).
Siendo consistente con el paradigma de investigación cualitativa, en este proyecto se realizó una descripción detallada de los procesos involucrados al diseñar un portal basándose en el paradigma de diseño participativo.
A continuación se describen los procedimientos de recopilación de datos, análisis de datos y validación de resultados utilizados en este proyecto.
3.2 Recopilación de datos
En la fase de recopilación de datos de este proyecto se realizó una investigación bibliográfica para identificar modelos basados en alguna de las siguientes perspectivas: (a) metodologías orientadas al proceso o (b) metodologías orientadas al usuario.
El proceso de investigación bibliográfica incluyó diversas fuentes de información tales como:
• Bases de datos bibliográficas en bibliotecas digitales
• Libros de texto
• Artículos de revistas arbitradas
• Memorias de conferencias
• Proyectos de tesis
• Sitios de web.
3.3 Análisis de datos
Después de identificar diferentes modelos de desarrollo de sistemas, se analizaron cuatro modelos que representan metodologías orientadas al proceso y dos que representan metodologías orientadas al usuario, posteriormente la investigación bibliográfica y el análisis de datos. Se seleccionó un modelo de desarrollo de sistemas ya existente que cumple con las siguientes características: (a) es un modelo completo que incluye las actividades de diseño, desarrollo y evaluación de sistemas y (b) se basa en el paradigma de diseño centrado en el usuario.
Cada fase del modelo seleccionado fue analizada en forma detallada, adaptando las actividades de diseño, desarrollo y evaluación en el modelo original a un proyecto de desarrollo de portales en web, enfatizando la naturaleza iterativa del proceso de desarrollo de un portal. Además, se extendió el modelo original al
identificar cuatro dimensiones para cada etapa (actividades de administración, actividades de diseño, herramientas y entregables) en lugar de tres. Finalmente, se agregaron actividades a cada dimensión, con el fin de extender aun mas el alcance del modelo para el desarrollo de portales.
3.4 Validación de resultados
Un proyecto de investigación cualitativa debe incluir procedimientos para validar las interpretaciones y los resultados obtenidos (Creswell, 2003). Una de las estrategias de validación tradicionales en la investigación cualitativa se conoce como Triangulación, que consiste en asegurar que la descripción y las interpretaciones que surgen de los datos recopilados son correctas, y realmente representan el fenómeno bajo estudio (Stake, 1995).
Diversas estrategias de triangulación en investigación cualitativa han sido identificadas en la literatura (Creswell, 2003; Stake, 1995). A continuación se describen las estrategias y procedimientos de triangulación de los resultados de este proyecto.
• Triangulación de teorías en el marco conceptual (Stake, 1995). Esta estrategia de triangulación involucra la definición de conceptos, procedimientos y perspectivas desde diferentes ángulos para asegurar que sean consistentes con las definiciones propias del objeto de estudio.
Con el fin de triangular definiciones y conceptos clave de este proyecto, se analizaron modelos de diseño, desarrollo y evaluación de sistemas orientados al proceso y orientados al usuario, para identificar aquellas características que mejor se adaptan a un proyecto de desarrollo de portales web.
• Triangulación de datos recopilados (Stake, 1995): Esta estrategia de triangulación involucra la recopilación de datos de diferentes fuentes para asegurar que el investigador ha incluido información relevante, diversa y representativa del fenómeno bajo estudio.
La investigación bibliográfica realizada para este proyecto se basó precisamente en esta estrategia de triangulación, pues se recopiló información detallada y relevante de diversos modelos de desarrollo de sistemas que representan diferentes perspectivas.
• “Peer debriefing” (Creswell, 2003): Esta estrategia de triangulación involucra uno o varios expertos que revisan y cuestionan cada fase del proyecto de investigación.
Para este proyecto, una profesora experta en el diseño y evaluación de aplicaciones en ambientes digitales (Lic. Moraima Campbell) y un profesionista de apoyo, experto en desarrollo de portales (Ing. Eduardo Mendoza) han participado como sinodales adoptando el rol de peers para revisar todas las etapas del proyecto. Todas las correcciones y sugerencias recibidas de los sinodales fueron integradas en cada fase correspondiente del proyecto.
• “External auditing” (Creswell, 2003): Esta estrategia de triangulación involucra uno o varios auditores ajenos al proyecto de investigación, que revisaron alguna fase especifica del proyecto, y las conclusiones del mismo. Para este proyecto, una profesora experta en el diseño y evaluación de aplicaciones de e-Commerce (Lic. Dolores Lankenau) y un profesionista de apoyo, experto en desarrollo de portales (Ing. Raúl Rodríguez) han participado como auditores externos, con el fin de validar la relevancia y
utilidad del modelo propuesto en esta investigación. Todas las correcciones y sugerencias recibidas de los auditores han sido incluidas en la fase de descripción de resultados del proyecto.
4. Resultados
Los portales web cada vez toman mayor importancia, pues se han convertido en la puerta de acceso electrónico a casi cualquier organización en la actualidad. Muchas de las cuales cuentan ya con su propio portal, pero generalmente se crean siguiendo una metodología orientada al proceso y no al usuario.
La finalidad de cualquier portal es que sea visitado por los usuarios para quienes está diseñado y que esto logre una mayor captación de usuarios para la organización; ya sea clientes, agremiados, alumnos o cualquier tipo de usuario dependiendo del giro del portal.
En base a una investigación bibliográfica realizada de forma exhaustiva, se encontró que no existe una metodología de desarrollo de sistemas específica para portales y centrada en el usuario. Por lo que se decidió integrar principios de algunas de las metodologías existentes para adaptar una nueva metodología que englobe todo lo necesario para diseño, desarrollo y evaluación de portales web.
La metodología propuesta en este proyecto se basa en la metodología LUCID para creación de sistemas orientados al usuario y además, integra principios del paradigma del Diseño Participativo. Adicionalmente, incorpora la característica básica del Modelo en Espiral: las iteraciones continuas. Se tomaron en cuenta también las sugerencias de investigaciones previas para la creación de un portal web (Cognetics, 2007).
Esta metodología integra el paradigma de Diseño Participativo, puesto que en cada fase se involucra al usuario como parte del equipo de desarrollo, además, incorpora al modelo en espiral porque la metodología es iterativa, una vez que termina una versión, vuelve a empezar con la fase inicial para mejorar mediante la retroalimentación de la versión recién liberada (Figura 4.1).
Figura 4.1 Metodología iterativa para creación de portales web
La figura 4.1 muestra la metodología propuesta, en la que se conservan las 6 fases de LUCID, pero se presentan de manera iterativa, puesto que se considera en este proyecto que un portal requiere de actualizaciones y de nuevas versiones enfocadas a las necesidades del usuario y del mercado, que por su naturaleza digital, tiene que adaptarse al rápido desarrollo de la tecnología y de un mundo de usuarios cada vez más exigentes. En cada fase se definen cuatro procesos, en los cuales se describen las actividades necesarias para cumplir la fase correspondiente.
En las secciones siguientes se describe detalladamente cada fase de la metodología propuesta como contribución de este proyecto de investigación.
4.1 Definición de la visión
En la fase de definición de la visión se busca definir el equipo líder del proyecto y entre ellos, la visión general de la empresa y la del portal a crear. A partir de la visión, se generarán todos los planes de trabajo y el equipo completo. La tabla 4.1 muestra las actividades a realizar o elementos a considerar para esta fase.
DEFINICIÓN DE LA VISIÓN
Actividades de Administración:
• Establecer un comité líder y definir los roles para cada integrante del mismo
• Definir las necesidades y razones por las que se desea crear el portal
• Reunir al comité y mediante opiniones individuales en lluvia de ideas, establecer la visión general del proyecto. Asegurar que todos los participantes del comité líder tienen clara la visión
• Definir al resto del equipo de trabajo completo y los roles que cada uno de los integrantes tomará
• Comunicar al resto de los integrantes del equipo la visión general definida
• Establecer un plan de proyecto. Incluyendo las estrategias generales para las
actividades de usabilidad de cada etapa
• Establecer criterios de Prioridad para cada actividad del proyecto
• Establecer un presupuesto y tiempos de entrega para cada fase del proyecto
Otras Actividades:
• Establecer metas de usabilidad preliminares
• Establecer los grupos de trabajo
• Asegurarse de que todos entendieron la visión
• Acordar el método de comunicación entre los integrantes de cada grupo y a la vez, entre los diferentes grupos
• Definir procesos y tiempos de entrega de cada grupo de trabajo
• Comprender las características técnicas y los recursos del proyecto
• Definir modelos de documentación de procesos.
• Reunir ideas de diseño del portal mediante esquemas conceptuales Herramientas • Grupos de trabajo • Modelos de documentación • Diagramas de actividades Entregables:
• Visión del proyecto
• Organigrama para el proyecto
• Diagrama de Prioridades
• Formato de asignación de roles y responsabilidades
• Presupuesto requerido para el proyecto
• Calendario de actividades
• Metas de usabilidad Tabla 4.1 Fase de definición de la visión
Esta fase se considera completa cuando todos los integrantes del equipo completo, tienen en claro la visión y la han documentado, así como también se han definido los roles para cada participante y las ideas iniciales para el diseño.
4.2 Exploración
En la fase de exploración se busca crear los diferentes perfiles de usuario. Se definen las estrategias de comunicación e interacción con el mismo. La tabla 4.2 muestra las actividades a realizar o elementos a considerar en esta fase.
EXPLORACIÓN
Actividades de Administración:
• Analizar el tipo de usuarios que visitará el portal y determinar sus necesidades de información
• Desarrollar perfiles de usuario y crear diferentes escenarios que involucren diferentes tipos de usuarios
• Apoyar a los diseñadores para llevar a cabo las actividades de análisis, particularmente en las áreas de recursos y acceso a los usuarios.
• Coordinar la revisión de los perfiles creados, escenarios y requerimientos de información
• Definir el objetivo que se desea alcanzar con el portal ( incrementar el mercado, compartir, mejorar la lealtad del cliente, crear mas presencia en el mercado, incrementar ventas, mejorar la posición competitiva, etc.)
• Identificar las razones por las que el usuario elegirá utilizar el portal y la temporada en que lo hará
• Intercambiar información con los miembros del equipo para verificaciones y
retroalimentación
• Analizar estrategias de comunicación con el usuario (entrevistas, encuestas con usuarios y proveedores) y en todo momento
mantenerlos cerca del proceso
• Determinar la experiencia del usuario, en base a los resultados de las entrevistas
Otras actividades:
• Crear los formatos para interacción con el usuario
• Realizar el análisis del usuario, a la hora de realizar las encuestas, entrevistas,
indagatorias
• Crear los perfiles, escenarios y
requerimientos que involucren usuarios
• Determinar la experiencia del usuario en base al análisis de su interacción con el portal
• Identificar las razones por las que el usuario regresa al portal
• Revisar y verificar los resultados con los usuarios, junto con los miembros del equipo
• Convertir las metas de usabilidad en métricas de usabilidad
Herramientas
• Análisis de las tareas
• Sugerencias de los usuarios
• Experiencia del usuario
Entregables
• Plan de exploración
• Perfil de Usuarios – Escenarios
• Requerimientos de usuario
• Métricas de usabilidad Tabla 4.2 Fase de exploración
Esta fase se considera completa cuando se han definido los perfiles de usuario, los escenarios y los requerimientos de alto nivel y queda definido el plan de diseño.
4.3 Diseño preliminar
En la fase de diseño preliminar se crean los prototipos de pantallas, se planean todas las actividades de diseño y se define la arquitectura del portal. La tabla 4.3 muestra las actividades a realizar o elementos a considerar durante esta fase.
DISEÑO PRELIMINAR
Actividades de Administración:
• Planear las actividades de diseño
• Considerar los elementos que deben estar plasmados dentro del portal
• Comunicar y coordinar el proceso de aprobación del prototipo de diseño
• Presentar el prototipo al personal administrativo para retroalimentación y aprobación
• Separar el contenido del portal del diseño visual, para su revisión y evaluación
• Considerar aspectos importantes a
considerar en cuanto al contenido, como el tipo de letra para que pueda visualizarse en cualquier plataforma o el acomodo del mismo.
• Preparar las evaluaciones de usabilidad de prototipos
• Analizar las necesidades a plasmar en las pantallas prototipo
Otras actividades:
• Crear un bosquejo del esquema visual del portal (Estilos) y un bosquejo de contenido
• Crear el diseño conceptual del portal
• Crear el diseño de contenido
• Establecer la definición de la navegación del portal
• Crear las primeras pantallas para mostrarse y evaluarse por el usuario
(diseño/contenido)
• Realizar las evaluaciones de usabilidad para cada pantalla en específico
• Crear instrucciones para cada pantalla y especificaciones detalladas para cada elemento de la pantalla del sitio
• Evitar asumir que existe solo una manera de diseñar el portal
• Desarrollar pruebas de usabilidad prototipo en papel, para irlas complementando y corrigiendo
Herramientas:
• Modelo mental deseado
• Guías de diseño y evaluación de usabilidad o Cognitive Walkthrough
o Evaluación Heurística