5.6 Principales actividades de SQA
5.6.1 Testing
El testing en este proyecto se llevó a cabo de dos maneras distintas, pero siempre focalizados en el testing funcional. Por un lado, los miembros del equipo hicieron testing
118 de las funcionalidades y los objetos diseñados por otro integrante. Además, se pidió a 30 jugadores que informalmente probaran distintas funcionalidades. Por último, se pidió en dos oportunidades a jugadores experimentados que jugaran y contestaran una encuesta con preguntas específicas en una instancia un poco más formal. Cada una de estas etapas tuvo sus particularidades que detallaremos a continuación.
Testing del equipo
En el flujo de trabajo, cada tarea que salía del backlog pasaba a la columna En Proceso en el Trello y era asignada a uno de los artistas o desarrolladores. Esta asignación era acordada en el Sprint Planning al inicio de cada sprint. Una vez finalizada, se pasaba a la columna de Testing en el que otro miembro del equipo lo probaba antes de pasarlo a Finalizado o volvía a En Proceso dependiendo del resultado del testing. En ese proceso, en general más de un miembro testeaba cada funcionalidad, y en caso de que los objetivos no estuviesen correctamente alcanzados o la experiencia de juego no fuese satisfactoria, se llevaba a la reunión de equipo y se decidía cómo seguir adelante.
Testing informal con jugadores
El otro tipo de testing fue el informal con amigos o conocidos. A estos se les pedía que jugaran ciertas funcionalidades específicas para evaluarlas y así tener más opiniones acerca de las funcionalidades implementadas. Una cosa particular de los videojuegos es que la percepción que cada jugador tiene es muy personal y subjetiva. Esto hizo que se buscaran muchas opiniones a lo largo del desarrollo, para no centrarnos sólo en la opinión del profesor o los compañeros de arte. Incluso, en algunos casos se observó a jugadores mientras jugaban, lo que nos llevó a detectar varias dificultades. En cualquier caso, al final del día se tomaban las decisiones en equipo y se respetaban para el desarrollo de las funcionalidades.
Testing formal con jugadores expertos
Por último, se dieron dos oportunidades un poco más formales de feedback externo y estas fueron las encuestas completadas por jugadores expertos. Estas instancias resultaron muy valiosas, sobre todo porque se buscaron jugadores externos al proyecto,
119 pero además se los instruyó en el tipo de feedback que necesitábamos: honesto, específico y concreto. Algunas de las respuestas eran de múltiple opción, para poder comparar fácilmente y obtener respuestas más concretas mientras que otras eran de respuesta abierta. En todos los casos, los insumos aportados por los jugadores expertos fueron claves para tomar decisiones. A modo de ejemplo, una de las decisiones difíciles que se tomaron fue la de cómo definir el movimiento del robot. Esta decisión resultó difícil ya que teníamos puntos a favor y en contra de ambas opciones. Finalmente se decidió que fuera necesario el utilizar el mouse para los giros pronunciados y esa fue una decisión tomada basándonos en retroalimentación de jugadores.
Las pruebas realizadas por el equipo se detallan a continuación. Un punto importante de aclarar es que, por cuestiones sobre todo relacionadas con el equipo de arte y sus condiciones de entrega, se priorizó aumentar el alcance del corte vertical aún a costa de la calidad final. Lo que queremos decir con esto es que, si bien las pruebas realizadas fueron satisfactorias, nos hubiese resultado importante diseñar más cantidad de pruebas y concentrarnos es obtener un producto de mejor calidad. Sin embargo, debimos priorizar el desarrollo de nuevas funcionalidades sobre generar más casos de prueba ya que el objetivo de un corte vertical es poder mostrar el potencial del juego.
Pruebas de menú principal, de pausa y de opciones Tabla 1.
Objetivo Resultado esperado Resultado
observado Despliegue y
funcionamiento del menú principal (MP)
El MP se despliega al inicio del juego ✓ El MP se despliega al hacer click en quit to main
menu del menú de pausa
✓
En el MP el jugador tiene control sobre la interfaz del menú, pero no del juego
✓
El MP tiene los siguientes botones: start, settings, credits y quit
✓
120 Al hacer click en start comienza el juego ✓ Al hacer click en settings se despliega el menú de
control
✓
Al hacer click en credits se despliega un gráfico con los créditos
✓
Al hacer click en el botón quit se termina el juego ✓ Despliegue y
funcionamiento del menú de pausa
El MP tiene las siguientes opciones: resume game, options, quit to main menu
✓
Cuando se activa el MP, el jugador pasa a tener control sobre la interfaz del menú y pierde control sobre el juego
✓
Cuando se desactiva el MP, el jugador vuelve a tener control sobre el juego
✓
Cuando se activa el MP, la pantalla queda
“borroneada” o con blur y cuando se desactiva vuelve la nitidez
✓
Al hacer click en el botón resume game se desactiva el menú de pausa y el jugador vuelve a tener control sobre el juego
✓
Al hacer click en el botón options se abre el menú de opciones
✓
Al hacer click en el botón quit to main menu se vuelve al menú principal
✓
El menú de opciones (MO) tiene los siguientes controles: sound, volume, controls y back
✓
121 Despliegue y
funcionamiento del menú de opciones
Al hacer click en sound se activa o desactiva el sonido
✓
Al mover la barra de volumen este sube o baja ✓ Al hacer click en controls, aparecen los controles
de movimiento y desaparecen a los 5 segundos
✓
Al hacer click en back se vuelve al menú de pausa ✓
Tabla 1 Testing de menús Pruebas de HUD (ejemplo día 1) – Tabla 2.
Objetivo Resultado esperado Resultado
observado En secuencia inicial El HUD muestra los comandos de control a la
izquierda al iniciar la secuencia inicial y desaparece a los 10 segundos
Mensaje a la izquierda (MI): Press ESC to skip intro…
✓
En presentación del juego
Día 1: Cuando termina la secuencia:
MI: Press “AWSD” to move – 10 segundos
Mensaje a la derecha (MD): Go to Communication Zone
✓
Al saltear la secuencia inicial
Si se saltea la secuencia:
MI: Press “AWSD” to move – 10 segundos
MD: Go to Communication Zone
✓
122 Al llegar a la zona
de comunicación
Día 1: Al llegar la sala de comunicación se actualiza MI: Restart nanobots system
✓
Al interactuar con el juego de ondas
Día 1: Si se interactúa con el juego de ondas, instrucciones de controles de juego:
MD: Press ESC to exit….
Si se sale del juego con pausa desaparece mensaje
✓
Día 1: Si se resuelve el puzle MD: Press enter to verify MI: Go back to the hull breach
✓
Al interactuar con la barrera
Día 1: Al interactuar con la barrera para activar los nanobots
MI: Return to recharge room to hibernate
✓
Sonidos Cada vez que cambia el mensaje del HUD suena un sonido.
✓
Los sonidos no aparecen cuando se saltean cinemáticas
Tabla 2 Pruebas de HUD Apertura y cierre de puertas - Tabla 3.
Objetivo Resultado esperado Resultado
observado Puerta pequeña Las puertas pequeñas pueden ser cerradas o
abiertas sin ninguna pre-condición
✓
123 Se reproduce un sonido (puerta pequeña y
mediana) tanto cuando se abren como cuando se cierran
✓
Delante de la puerta aparece el cartel de Press E to interact
✓
La puerta chica de la sala de recargas aparece cerrada al inicio de cada día
✓
Puerta mediana Las puertas medianas (sala de ingeniería y de control) aparecen rojas y no se puede interactuar con ellas el día 1
✓
Se reproduce un sonido (puerta pequeña y mediana) tanto cuando se abren como cuando se cierran
✓
Pre-condición: día 1 terminado
Delante de la puerta aparece el cartel de Press E to interact
La puerta está de color verde (se puede interactuar con ella)
✓
Puerta doble Las puertas dobles aparecen rojas y no se puede interactuar con ellas el día 1
✓
Pre-condición: día 1 terminado y puzle de fusibles completo
Delante de la puerta aparece el cartel de Press E to interact
✓
124 Pre-condición: día 1 terminado y puzle de fusibles
completo
Se pierde una energía al interactuar con la puerta la primera vez
✓
Pre-condición: día 1 terminado, puzle de fusibles completo y puerta arreglada
La puerta está de color verde (se puede interactuar con ella) se puede abrir y cerrar sin perder energía
✓
Se reproduce un sonido (puerta doble) tanto cuando se abren como cuando se cierran
✓
Tabla 3 Apertura y cierre de puertas Pruebas de colisiones - Tabla 4.
Objetivo Resultado esperado Resultado
observado Colisiones Robot se mantiene en nave al caminar por toda la
nave (en los espacios habilitados cada día)
✓
Robot no traspasa objetos, en especial: paredes, cajas y otros objetos del a nave, puertas…
✓
Robot no se sube en objetos asemejando la
“realidad”. Por ejemplo, en el panel de control del charge room o la sala de control, cajas (que no sea la roja con la que interactúa), paredes etc.
✓
125 Robot empuja las dos cajas rojas, pero no puede
empujar ninguna otra caja
✓
Tabla 4 Pruebas de colisiones
Prueba de animación - robot gira en el lugar sin velocidad - Tabla 5
Objetivo Resultado esperado Resultado
observado Dentro de los
espacios
transitables de la nave
El robot gira en el mismo lugar sin velocidad ✓
La cámara acompaña el movimiento de rotación del robot.
✓
Al estar sobre una pared y girar, la cámara se adelanta permitiendo ver en todo momento al robot.
✓
Al estar parado sobre objetos y dejarse caer la cámara no supera el techo y siempre acompaña el movimiento del robot
✓
No se reproduce ningún sonido al rotar ✓
Tabla 5 Prueba de animación en el lugar
Prueba de animación - robot camina y corre en todas las direcciones - Tabla 6
Objetivo Resultado esperado Resultado
observado
126 Dentro de los
espacios
transitables de la nave
El robot camina y corre en todas las direcciones donde no tenga colisiones
✓
La cámara acompaña el movimiento del robot al correr
✓
La animación del robot se ajusta con la velocidad (al aumentar la velocidad el robot se va
“agachando”
✓
Al estar parado sobre objetos y dejarse caer la cámara no supera el techo y siempre acompaña el movimiento del robot
✓
Se reproduce un sonido de “oruga” al moverse el robot
✓
Tabla 6 Prueba de animación en movimiento Prueba de función ESC para cinemáticas y pausa - Tabla 7
Objetivo Resultado esperado Resultado
observado La tecla ESC
funciona tanto para saltear cinemáticas como para pausar el juego
Se pausa el juego cuando se presiona ESC ✓
Se saltean las cinemáticas al presionar ESC ✓
Los mensajes del HUD se actualizan al saltear las cinemáticas
✓
Tabla 7 Pruebas tecla ESC Pruebas de cámara - Tabla 8
127
Objetivo Resultado esperado Resultado
observado Pruebas de la
cámara
La cámara no clipea al acercarse a una pared ✓
La cámara evita obstáculos ✓
Tabla 8 Pruebas de cámara
Pruebas de mensajes de HUD - Tabla 9
Objetivo Resultado esperado Resultado
observado Los mensajes del
HUD se muestran en el momento correcto, por el lapso de tiempo correcto
Los mensajes de la izquierda se utilizan para dar mensajes sobre las herramientas del juego
✓
Los mensajes de la derecha se utilizan para dar instrucciones sobre los pasos a seguir
✓
Los mensajes de la izquierda desaparecen a los 10 segundos
✓
Los mensajes del centro son los que representan los lugares de la nave donde se encuentra el robot
✓/ *
Tabla 9 Pruebas del HUD
* Sobre los mensajes del centro, en algunas ocasiones no se actualizan correctamente.
Pruebas puzle de fusibles - Tabla 10
Objetivo Resultado esperado Resultado
observado
128 Pruebas puzle de
fusibles
El puzle de fusibles se activa al presionar E y se desactiva con ESC
✓
El puzle de fusibles se maneja con el mouse y haciendo drag and drop
✓
Los fusibles se pueden mover al lado correcto o al lugar original
✓
Una vez resuelto el acertijo se resuelve al mover la perilla hacia abajo
✓
Tabla 10 Pruebas puzle de fusibles Pruebas puzle de ondas - Tabla 11
Objetivo Resultado esperado Resultado
observado Pruebas puzle de
ondas
El puzle de ondas se activa al presionar E y se desactiva con ESC
✓
El puzle de ondas funciona con las teclas A, D, IZQ, DER
✓
Las ondas se igualan cuando se acercan a la solución
✓
Cuando las ondas se igualan, al presionar la tecla enter se resuelve el puzle
✓
Tabla 11 Pruebas puzle de ondas Pruebas de la carrera - Tabla 12
129
Objetivo Resultado esperado Resultado
observado La carrera funciona
correctamente
Se activa el cronómetro ✓
Se desactiva el cronómetro ✓
Se cierra la puerta si se pasa el tiempo máximo ✓
Tabla 12 Pruebas de la carrera Prueba de lógica de la energía - Tabla 13
Objetivo Resultado esperado Resultado
observado La energía se
pierde
correctamente
Se consume energía sólo en las puertas dobles ✓
No se consume energía al cerrar ningún tipo de puertas
✓
Tabla 13 Prueba de lógica de la energía
5.7 Definición de métricas