Comunidades virtuales a evaluar

Una vez obtenidos los resultados de la encuesta. Estos se utilizarán para identificar indicadores de usabilidad y credibilidad junto con los estudios y la bibliografía disponible al respecto, algo que podrá verse en la sección IV de análisis de resultados. Así mismo con el fin de evidenciar algunos de los indicadores hallados, las comunidades virtuales que se escogieron para evaluar fueron las siguientes:

47  Crunchyroll9 - Anime

 Gnome-Look10

El motivo por el cual fueron escogidas estas comunidades virtuales es porque cada una de ellas tiene elementos característicos en sus sistemas de calificación que la generalidad de los mismos no poseo y se tiene la hipótesis de que éstos pueden constituir parte fundamental de la propuesta a la que se busca llegar por medio de la presente investigación. En la tabla 4 se muestran las características más relevantes de cada uno de los sistemas de calificación escogidos con el código del sistema de calificación asociado visto en la tabla 2.

Comunidad

Virtual Calificación Sistema de Componentes de análisis

Rotten

Tomatoes CR/A

Tipos de calificadores. El sistema de calificación maneja dos tipos de usuarios, la audiencia conformada por todos los usuarios registrados en la página de internet, y los críticos, conformado por expertos en el cine los cuales están agrupados por diferentes sociedades norte americanas dedicadas a la evaluación del cine.

Presentación de resultados. El sistema de calificación muestra dos tipos de calificación, correspondiente a las calificaciones de los dos tipos de usuarios. Las calificaciones de los críticos están basadas en un promedio de calificación de una escala de 10 puntos en donde se muestra el porcentaje y la cantidad de críticos que aprueban la película. Por otro lado las calificaciones de la audiencia maneja una escala de 5 y muestra el porcentaje de usuarios que calificaron la película con más de 3.5, así mismo muestra la cantidad total de calificaciones realizadas.

Revisiones. Cada tipo de usuario puede realizar comentarios y mostrar la calificación que le da a cada película. No es posible realizar comentarios, sin emitir un veredicto al respecto. La página de internet permite filtrar las revisiones por críticos o por usuarios, pero nunca mezcla las dos, siempre mantiene para los dos

9_{http://www.crunchyroll.com/anime} 10_{http://www.gnome-look.org}

48

una separación de tal forma sean excluyentes sus votaciones.

Clasificación. En la comunidad se pueden realizar filtros por año, por formato de video, por género, etc. Y todos estos se realizan con base a la opinión de los críticos, pudo observarse que a pesar de que un porcentaje de más del 90% de la audiencia la califique como una película buena, si esta tenía una apreciación de mala calidad por parte de los críticos, esta película nunca va a estar dentro de las películas mejor calificadas.

Sistema de calificación base. Si bien la presentación de los resultados es excluyente entre ambos tipos de calificadores, la forma de emitir una calificación es la misma para ambos y se hace por medio del sistema SSP, pudiendo escoger entre 10 posibles opciones: 1 estrella, 1 estrella y media, 2 estrellas, etc.

Revisiones de Usuarios. Es posible consultar un calificador y ver las calificaciones que ha hecho y los comentarios que ha realizado a diferentes películas.

Corrección de resultados. Si por error o por cambio de opinión es posible que la apreciación de una película cambie, es posible cambiar la calificación en cualquier momento, sin embargo la actualización se verá reflejada en horas o incluso días.

Crunchyroll SCX

Revisiones. Existen diferentes formas de interactuar con el contenido presente en la página web. Existe un espacio para revisiones en el que se muestra la calificación emitida por un usuario, sus comentarios al respecto (párrafos por lo general), y la cantidad de personas que aprueban dicha revisión. Es posible emitir comentarios (de líneas) sin calificación y también establecer temas de discusión por medio de un foro, estas últimas dos alternativas no mejoran ni empeoran la calificación que se le da a determinada serie.

Comentarios. Si no se quiere emitir una calificación, existe la posibilidad de comentar la publicación sin afectar la calificación actual del contenido.

Tipos de calificadores. Existen dos tipos de usuario (no excluyentes): el usuario Premium y el Normal. La

49

diferencia radica en que el primero se suscribió como usuario pagando una cuantía de dinero mensual a cambio de servicios adicionales otorgados por la página, sin embargo su incidencia en la calificación es la misma que un usuario Normal.

Presentación de resultados. Una vez se emite una calificación el sistema actualiza de forma inmediata los resultados actuales incluyendo el nuevo voto. Sin embargo, una vez uno emite una calificación si con el paso del tiempo uno quiere revisar que y cuanto fue lo que calificó no es posible hacerlo, y es posible cambiar su propia calificación pero esta vez, sin tener en cuenta la calificación que se había dado anteriormente. El sistema de calificación muestra la cantidad numérica de calificadores pero no muestra porcentajes de aprobación o desaprobación.

Sistema de calificación base. Como se puede observar en la columna de la izquierda, el sistema de calificación base para esta comunidad es SCX, el cual está constituido por 5 posibles calificaciones a través del sistema de 5 estrellas (pudiendo elegir entre 10 calificaciones diferentes: una estrella, estrella y media, dos estrellas, etc). La particularidad de este sistema de calificación, es que es posible calificar la generalidad de la publicación y aspectos específicos (música, historia, personajes, animación) por separado, algunos de ellos o todos sin que uno incida en los otros. Más adelante se verá que implicaciones y comportamientos produce esto.

Clasificación. La clasificación de contenido en esta comunidad viene dada por las calificaciones generales únicamente y las fechas de publicación. No es posible filtrar por aspectos específicos, por ejemplo, clasificaciones por mejor animación.

Gnome-

Look TU/TD

Presentación de resultados. Los resultados después de emitir un voto se actualizan inmediatamente y se hacen por medio de una barra de aprobación que muestra el porcentaje de calificaciones positivas. A pesar de que su actualización es inmediata, cuando se emite una calificación, el incremento en la cantidad de calificadores se realiza en múltiplos de 100 y no de 1.

50

espera que uno no pueda cambiar de opinión, de esta forma una vez emitida una calificación no es posible cambiar. El sistema de calificación asume que la calificación se dé una vez se mira el contenido, pero no admite cambios en el futuro.

Coeficiente de reputación. Cada usuario maneja un puntaje denominado nivel de actividad según la comunidad. Este coeficiente es establecido en base a los votos buenos y malos que el usuario obtiene de sus publicaciones, de las calificaciones que se le den a sus comentarios, y la calidad de las preguntas y respuestas que dé en el foro.

Foro. Existe la posibilidad de tratar diferentes temas relacionados con las publicaciones, sin embargo lo que ocurre allí únicamente afecta el coeficiente de reputación de los usuarios más no sus publicaciones.

Revisiones. Es posible realizar comentarios a las diferentes publicaciones, sin embargo los comentarios realizados no van acompañados de la calificación que se le dio, en este sentido se otorga un anonimato a la calificación emitida. Dichos comentarios pueden ser calificados y a diferencia de las publicaciones, el incremento en la cantidad de calificaciones es de 1 y no de 100.

Tabla 4. Características más relevantes de cada uno de los sistemas de calificación escogidos para estudio

3.1.3.5 Diseño de herramienta de evaluación

Después de haber realizado la encuesta, se buscó abarcar la mayor parte de los posibles comportamientos y relaciones de los diferentes contenidos con respecto a factores como su popularidad, fecha de publicación, reputación de su autor, calificaciones emitidas, revisiones y comentarios hechos a la publicación, por lo que a cada comunidad virtual se le aplicó un esquema diferente de tabulación, todas hechas durante la misma cantidad de días (12).

El motivo de utilizar una herramienta diferente para cada comunidad virtual fue la diferencia en varios de los componentes y características del sistema de calificación utilizado por cada uno, de esta forma si se adoptaba una única forma de tabular datos si bien se podía lograr consistencia en algunos patrones de comportamiento, se estarían omitiendo posibles conductas de características específicas de un sistema de calificación, por ejemplo, Gnome-Look es el único

51

de las 3 comunidades virtuales que utiliza un coeficiente de reputación con base a la interacción de los usuarios, luego utilizar un esquema de tabulación que no incluya esta característica omite los resultados que de ésta se puedan sacar como veremos más adelante.

A continuación se presentan los formatos de tabulación de datos escogidos para cada una de las tres comunidades virtuales.

 Rotten tomatoes _– Películas mejor calificadas

Método de selección de películas

Se ingresó en la sección de mejores películas y se escogieron las 10 películas

mejor votadas el día 10 de Octubre de 2011 (sección “Today's Top Rated Movies”)

según los críticos (recordemos que por la configuración de la comunidad no es posible hacerlo por medio de la calificación de los usuarios). Una vez elegidas, diariamente se tabuló la información del porcentaje de aprobación otorgado tanto por el público como por los críticos, la cantidad de calificadores (Raters) y así mismo la cantidad de personas de la audiencia que dejaron comentarios (Reviewers) en la película.

Objetivos de la selección

i. Determinar patrones de comportamiento en publicaciones (películas) de altas calificaciones.

ii. Encontrar qué relación existe entre los calificadores y los revisadores de las películas con el porcentaje de audiencia que la califica bien.

iii. Detectar y evidenciar falencias o vicios en el sistema de calificación en relación a los calificadores y las calificaciones presentadas.

 Crunchyroll _– Series peor calificadas

Método de selección de series

Se realizó un filtro para ver las series más populares con base a la clasificación de la página, que como se mencionó solo tiene en cuenta las calificaciones sobre el componente general de la serie. De los resultados se escogieron las últimas 10 series de la última página, es decir, las series menos famosas y peor calificadas al 10 de Octubre de 2011. Una vez elegidas, diariamente se tabuló la información de su calificación, tanto la general como la específica de cada componente de la serie así como la cantidad de votantes para cada aspecto.

52

i. Determinar patrones de comportamiento de los usuarios para contenidos

que son catalogados como “malos” o “no populares”.

ii. Encontrar relaciones entre los diferentes componentes de calificación de una serie con respecto a su calificación general.

iii. Detectar y evidenciar falencias o vicios en el sistema de calificación en relación a los calificadores y las calificaciones presentadas.

 Gnome-Look – Publicaciones más nuevas

Método de selección de contenido

Se realizó un filtro para ver los contenidos más recientes (ya sean actualizaciones o publicaciones por vez primera). De los resultados se escogieron los 10 primeros al 13 de Octubre de 2011. Una vez elegidas, diariamente se tabuló la información de su calificación, la cantidad de calificadores y las interacciones que hay en el contenido (comentarios que se hacen de la publicación).

Objetivos de la selección

i. Identificar patrones de comportamiento para publicaciones nuevas y para actualizaciones de contenido.

ii. Hallar comportamientos en la relación que hay con respecto a la cantidad de personas que interactúan con la publicación y la calificación de la misma.

iii. Determinar relaciones entre el coeficiente de reputación de un usuario y el comportamiento que se dio a lo largo de los 10 días de tabulación con sus publicaciones.

iv. Detectar y evidenciar falencias o vicios en el sistema de calificación en relación a los calificadores y las calificaciones presentadas.