A TRAVÉS DEL USO DE REDES SOCIALES.
“Propuesta de Investigación”
ANGIE CATALINA CARRILLO CHAPPE JUAN CAMILO URUEÑA GARCÍA
JULIÁN DAVID FORERO ARÉVALO LUIS EDUARDO CAICEDO ORTIZ
TRABAJO DE GRADO
Requisito para obtener el título de INGENIERO(A) INDUSTRIAL
Director del Proyecto
JORGE ANDRÉS ALVARADO VALENCIA M.S Analytics, Master en Educación, Ph.D Ingeniería
PONTIFICIA UNIVERSIDAD JAVERIANA FACULTAD DE INGENIERÍA
CARRERA DE INGENIERÍA INDUSTRIAL BOGOTÁ D.C., Noviembre de 2015
Glosario de Términos y Abreviaciones
Microblogging: Servicio que ofrece a los usuarios enviar, publicar y leer mensajes cortos, generalmente de sólo texto.
Corpus: Base de datos sobre la cual se extraerán los datos.
NLP: Natural Language Processing.
Natural Language Processing: Es una técnica utilizada para reducir la distancia entre las máquinas y los seres humanos con el fin de facilitar la comunicación entre ellos. (Surabhi, 2013).
Computational Linguistics: Desarrollo de modelos computacionales de tipo knowledge-based o de tipo data-driven, para el estudio del lenguaje. (Asociation for Computational Linguistics).
Text Mining: Técnica utilizada para el análisis de un gran volumen de datos de tipo texto ya sean estructurados o no estructurados, con el fin de encontrar información relevante acerca de determinado tema (Verma, Ranjan, & Mishra, 2015).
Tokenization: Identificar todos los términos del texto mediante la segmentación de las palabras de una frase, aquellos segmentos son llamados tokens.
Stopwords removal: Eliminar palabras frecuentes tales como preposiciones o artículos.
Stemming: Lematización en español, método para reducir las palabras a su raíz y realizar una agrupación de ellas para estandarizarlas.
Document representation: Ponderar las palabras de acuerdo a su ocurrencia dentro del texto y la frecuencia con la cual ocurren.
Feature selection: Elección de la base de datos a trabajar.
Lexicon Based Approach: Técnica basada en un diccionario que califica los tweets de acuerdo a la cantidad de palabras positivas o negativas en este y que no necesita de aprendizaje.
CNE: Consejo Nacional Electoral.
ACEI: Asociación Colombiana de Investigación de Mercados y Opinión Pública.
CRISP-DM: Cross Industry Standard Process for Data Mining.
Ruido: Aquello en una señal o información en general, que no es de interés, la degrada o distorsiona e impide o limita un estudio o un uso de tal información.
Retweet: Copiar un tweet ya sea propio o de otra persona.
Hashtag: Etiqueta que indica una cadena de caracteres.
Resumen Ejecutivo
El auge de las redes sociales en la actualidad y los diferentes debates de opinión que se generan en torno al ámbito político del país hace que el análisis de datos que se generan en dichas redes sobre las elecciones de alcalde de la capital se vea como una oportunidad de indagar sobre el comportamiento de la opinión de los usuarios acerca de los candidatos, sus respectivas propuestas y el desarrollo de sus campañas y la imagen pública que proyectan durante todo el proceso de campaña electoral.
La elaboración de un seguimiento del comportamiento de los usuarios de redes sociales basados en todos los acontecimientos que suceden en la escena política del país ante una campaña electoral es una oportunidad interesante para determinar si la medición del sentimiento de los usuarios frente a un partido o un candidato tiene relevancia en la intención de voto o en el resultado de sondeos de opinión más importantes del país. El presente trabajo se dividió en tres objetivos:
En el primero se realizó un análisis de sentimiento que permitió medir los efectos de la opinión pública presente en las redes sociales acerca de las elecciones para la alcaldía de Bogotá de 2015 a lo largo del tiempo mediante la implementación de la metodología Cross Industry StandardProcess for Data Mining (CRISP-DM), se obtuvieron cinco productos de
este objetivo: un diccionario de sentimiento en español adaptado al contexto político colombiano, un software de limpieza de datos, un software de análisis de sentimiento, un software de detección de candidato y una línea del tiempo en donde se observa la incidencia de los eventos noticiosos en las menciones de cada uno de los candidatos y en el sentimiento hacia cada uno de ellos.
El segundo objetivo tuvo como resultado un diseño en el que se reflejaban las distintas métricas existentes en las redes sociales Facebook, YouTube e Instagram que tuvo
como finalidad realizar un seguimiento de cada candidato en cada una de estas redes. Esto se desarrolló a través del seguimiento de una metodología de diseño de producto.
Por último, para el tercer objetivo, se compararon los resultados del análisis de sentimiento con los sondeos de opinión más importantes del país, para lo cual se aplicó un modelo de correlaciones estadísticas para cada uno de los candidatos teniendo en cuenta distintas variables tales como: menciones, sentimientos positivos, sentimientos negativos y SIMScore. Esto se desarrolló con el fin de determinar si había alguna relación entre la información producida y los sondeos de opinión.
Contenido
Resumen Ejecutivo...3
1. Formulación del Problema...8
2. Objetivos...9
2.1. Objetivo G eneral...9
2.2. Objetivos Específicos...9
3. Antecedentes... 10
3.1. Colombia y el Microblogging... 10
3.2. Redes Sociales y el Microblogging... 11
3.3. Política y la Minería de Texto... 12
4. Métodos... 16
4.1. Primer O bjetivo... 16
4.1.1. Detección del sentimiento...16
4.1.2. Recopilación Noticias Importantes... 23
4.1.3. Relación de información... 25
4.2. Segundo objetivo...25
4.2.1. Estrategia de nuevo producto... 26
4.2.2. Generación de ideas... 29
4.2.3. Filtración de ideas... 29
4.2.4. Desarrollo...30
4.2.5. Prueba de Mercado... 36
4.2.5. Comercialización. 37
4.3. Tercer Objetivo...38
4.3.1. Inventario de Sondeos...38
4.3.2 Recolección de datos de menciones en redes sociales... 39
4.3.3 Correlación...40
4.3.3.1 Calculo del SIM Score...40
4.3.3.2 Calculo de las correlaciones...40
5. Resultados... 42
5.1. Propuesta Definitiva de Solución al Problem a...42
5.1.1. Objetivo 1...42
5.1.2. Objetivo 2... 51
5.1.3. Objetivo 3... 60
5.2. Restricciones de la Solución...64
5.2.1. Software de limpieza... 65
5.2.2. Software de detección de candidatos... 65
5.2.3. Software de análisis de sentimiento... 66
5.2.4. Descarga de datos... 68
5.3. Validación de la solución...69
5.3.1. Estándar ISO/IEC 25000... 69
5.3.2. Normas APA... 69
5.3.3. Normas ISO/IEC 27000... 70
5.3.4. Decreto 2033 de 2015 artículo 7. 70
5.4. Evaluación del impacto de la solución propuesta...70
6. Conclusiones y recomendaciones...72
7. Bibliografía...74
8. Anexos del documento...78
8.1. Anexo N° 1 ...78
8.2. Anexo N °2...79
8.3. Anexo N °3...80
8.4. Anexo N °4...82
8.5. Anexo N °5...83
8.6. Anexo N °7...88
8.7. Anexo N °8...89
8.8. Anexo N °9...94
8.9. Anexo N°10...95
8.10. Anexo N°11...96
8.11. Anexo N°12...97
9. Anexos de la biblioteca...98
9.1. Anexo 2 ... 98
9.2. Anexo 3 100
1. Formulación del Problema
Durante la realización del proyecto se buscó responder a la siguiente pregunta: ¿Cómo aprovechar la oportunidad resultante de la publicación de opinión en redes sociales para generar productos de información basados en minería de texto en español en el contexto de las elecciones de la alcaldía de Bogotá en 2015 de forma que sean útiles para los analistas de opinión y sirvan de base para futuras comparaciones con los sondeos de opinión?
2. Objetivos
2.1. Objetivo General
Diseñar productos de información útiles para analistas de opinión basadas en minería de datos que a la vez permitan hacer comparaciones con encuestas de opinión basadas en los datos disponibles en las redes sociales para las elecciones de la alcaldía de Bogotá en 2015.
2.2. Objetivos Específicos
1. Desarrollar una línea de tiempo basada en el análisis de sentimiento de los usuarios de las redes sociales acerca del proceso de elecciones de la alcaldía de Bogotá y su relación con los acontecimientos noticiosos relevantes.
2. Diseñar un cuadro de métricas en las redes sociales a estudiar para determinar qué concordancia hay entre las tendencias políticas en cada una estas redes.
3. Evaluar la relación existente entre la información producida por los productos diseñados y los sondeos de opinión más importantes.
3. Antecedentes
A diario millones de personas expresan opiniones, reseñas y comentarios acerca de diferentes temáticas a través de las diferentes redes sociales, expresiones que van desde una crítica social hasta la recomendación o juicio de un producto específico, dicho cambio de
fuente de información ha hecho que diferentes compañías o entidades académicas hayan sido atraídas por la oportunidad de negocio y la oportunidad de obtener información valiosa que han formado las redes sociales.
3.1. Colombia y el Microblogging
En el año 2014 se reveló que 8 de cada 10 colombianos usan internet y además de ello 6 de cada 10 colombianos usan redes sociales y el 31% de éstos usan Twitter (Ipsos -
Napoleón Franco, 2012) lo que significa que en promedio el 18,6% de los colombianos usan Twitter habitualmente y si se toma en cuenta que la abstención de votantes está alrededor del 60% esto significa que el porcentaje de colombianos que usan Twitter tienen un valor
significativo (Ministerio del Interior, 2014).
En el año 2014 tuvieron lugar las elecciones presidenciales; en ese año la actividad en redes sociales fue intensificada dado que el modelo de campañas electorales ha tenido un cambio en el cual se redirigen muchos esfuerzos en captar la atención de los internautas, dicha situación fue captada por los diferentes medios. SocialBakers fue una de las plataformas que captó dicha contienda computando las interacciones totales de cada
candidato en las diferentes redes sociales; sus publicaciones más importantes, la importancia de las interacciones, su número total de seguidores, la distribución de las interacciones, etc.
3.2. Redes Sociales y el Microblogging
A lo largo de los últimos años del boom tecnológico el significado de las palabras
“redes sociales” se ha tergiversado de tal manera que la idea de ‘red social’ es siempre relacionada con redes sociales en internet. Este cambio de significado social demuestra la importancia que han logrado dichas redes virtuales en poco tiempo. Por esto gran parte de los estudios de los últimos años en el análisis de sentimientos han concentrado sus
investigaciones en entender el uso de las redes sociales (Huberman, Romero & Wu, 2009).
El microblogging ha captado la atención de muchos investigadores (Honeycutt & Herring, 2009), dichos estudios dan la noción del porqué la gente usa los microblogs y además de cómo los usan y cuáles son sus fines.
Es imperativo analizar los diferentes tipos de usuarios que existen y sus motivaciones al interactuar en un microblog. En cuanto a Twitter se han identificado las siguientes tres categorías de usuarios:
1. Fuentes de información: son las cuentas de usuario que generalmente publican noticias, artículos o diferentes tipos de información relevante para sus seguidores.
Estas cuentas normalmente tienen un amplio número de seguidores.
2. Amigos: Esta categoría abarca la mayoría de los usuarios existentes. Comprende colegas, familia, amigos y desconocidos.
3. Exploradores de información: Estos usuarios rara vez publican algo pero siempre están siguiendo otras cuentas para obtener información de estas mismas (Honeycutt &
Herring, 2009).
También se han identificado 4 categorías de la intención del uso de Twitter:
1. Publicador diario: es el usuario que publica todo tipo de pensamientos y actividades que tiene durante el día.
2. Compartir información: como su nombre lo dice, se tiene la intención de comunicar cualquier tipo de información que se crea que es relevante para los lectores.
3. Reportar Noticias o Eventos: Se reportan noticias de la escena global o nacional ya sea por un usuario común o por medio de una cuenta autómata que publica noticias basados en una programación que facilita la red social Twitter.
4. Conversación: Son las publicaciones que tienen @ para etiquetar una cuenta con el fin de generar una conversación (Honeycutt & Herring, 2009).
Estas identificaciones de usuarios e intenciones han hecho más fácil para los investigadores realizar análisis de sentimiento basado en la información publicada por los usuarios al poder hacer una clasificación en el público y poder extraer información más focalizada para su posterior análisis.
3.3. Política y la Minería de Texto
Twitter y Facebook han actuado como escenarios sociales importantes en el contexto político, específicamente en la forma en la cual los votantes reciben información de las tendencias políticas actuales y el seguimiento de los eventos noticiosos en cuanto a las elecciones (Smith, 2014). A partir de ello se han realizado diferentes estudios en relación al análisis de sentimiento, los microbloggings, las diferentes redes sociales y la política
alrededor del mundo, aunque es importante resaltar que no se encontraron estudios de minería de texto con enfoque político en español.
Alrededor del mundo político el análisis de sentimiento ha tomado una importancia en distintos países. En 2009, en Alemania se realizaron diversos estudios en Twitter para
conocer si la popularidad de un partido político podría ser medida por medio de dicha red social (Tumasjan, Sprenger, Sandner & Welpe, 2010), para ello se tomaron en análisis 140,300 tweets políticos entre agosto y septiembre de 2009, de mensajes que contenían el
nombre de alguno de los seis partidos políticos más grandes de Alemania y de sus más importantes representantes y para el análisis de sentimiento usaron el programa LIWC2007 (Pennebaker, Booth & Francis, 2007), el cual es un software de análisis de texto que utiliza un diccionario para calcular la categoría de sentimiento a la cual pertenecen las palabras de un texto. Después de haber computado los tweets, fueron comparados con los resultados de las elecciones dando un error en promedio por partido del 1.65%, tomando como posible votación la participación del tráfico de tweets con respecto a algún partido en específico, es decir el mero hecho de un tweet mencionando un partido político puede reflejar un voto en potencia.
Una investigación realizada por el Centro Nacional para la Minería de Texto en la Universidad de Manchester del sentimiento político de las personas acerca del referendo del voto alternativo en el Reino Unido, en donde se pretendía determinar la favorabilidad de las personas hacia la propuesta del referendo (Black, Procter, Gray & Ananiadou, 2012). Se utilizó Twitter como plataforma de datos y se extrajeron un poco menos de 25000 tweets para una sola temática, posteriormente se realizaron una serie de pasos que en conjunto conformaban lo que es conocido como un análisis de trabajo UIMA; este proceso consistió en la tokenización de cada uno de los tweets, luego se realizó la categorización de cada una de las frases, de acuerdo a un algoritmo denominado Brill’s transformation-based rule-learning algorithm. De acuerdo a eso, y a la búsqueda de las palabras en un diccionario específico, se realizó el análisis de los datos determinando cómo es el sentimiento del usuario de Twitter.
En 2013 en Australia se creó un programa llamado Australian Election Tracker, que tenía como objetivo monitorear la cantidad de tweets que se refieren a cada uno de los partidos políticos, el sentimiento hacia cada uno de ellos y su número de “me gusta” en Facebook (Lepage, 2013).
En Estados Unidos se creó un programa llamado Social Bakers mediante el apoyo de la herramienta Analytics Pro, en este se realizó una comparación de la popularidad en
Facebook, YouTube y Twitter de los candidatos a la presidencia de Estados Unidos en el año 2012, Obama y Romney, y por medio del simple análisis de seguidores, y de tweet con mayor número de réplicas se puede llegar a concluir qué posiciones de los candidatos son las más acertadas y populares y además de cual es un porcentaje aproximado de personas con intención de voto.
En Italia, Policount desarrolló la herramienta PoliticRanks en el cual se hace una comparación entre 300 políticos que además de su popularidad en Twitter, Facebook y YouTube incluía los valores que Google y Bing le asignaban a cada uno; en este mismo país el Instituto de Informática y Telemática impulsó la creación de la herramienta Social Trends, con la cual se analizan dos factores: Influencia y popularidad, no solo de los políticos más importantes, sino de famosos y medios de comunicación, siendo el corpus los datos obtenidos de Facebook, YouTube y Twitter (Tolsan, 2012).
Otro programa que ha sido creada con el fin de monitorear el comportamiento las campañas electorales en las redes sociales se llama QueenslandElection Social Index, en esta se evidencian las tendencias de la población hacia cada uno de los partidos políticos y sus principales candidatos para las elecciones de Queensland (Trapnell, 2015).
Por último, se explicará otro programa llamado Scytl Social Media Monitoring, el cual hace un análisis de cada uno de los tópicos importantes antes de las elecciones, el día de las elecciones y después de las mismas (Scytl, 2015).
La elaboración de programas de análisis de sentimientos ha llegado al ámbito del alcance del común en internet, es decir algunas organizaciones han intentado llevar el análisis de sentimiento al público en general en un escenario internacional, este es el caso de Twitrratr
(Alzaid, 2015) y Social Mention (Socialmention, 2015), que ofrecen el servicio de análisis de sentimientos en la web.
4. Métodos
4.1. Primer Objetivo
El desarrollo del primer objetivo se compuso de tres partes fundamentales: detección del sentimiento presente en los tweets, búsqueda de noticias relevantes acerca de las
elecciones a la alcaldía de Bogotá 2015 y sistematización de los datos obtenidos para el desarrollo de una línea de tendencia que relacionara el sentimiento detectado hacia los candidatos
4.1.1. Detección del sentimiento.
Para la detección del sentimiento hacia los candidatos se utilizó la metodología CRISP-DM que es la más usada en el campo de la minería de datos, por ende fue la
metodología escogida para el desarrollo de este objetivo (Azevedo, 2008; Moine, Haedo &
Gordillo, 2011).
Para cumplir el enfoque de la metodología fue necesario realizar un proceso iterativo ya que algunas fases del modelo debían realizarse repetidamente, además era necesario revisar algunas de las fases por las que ya se había pasado con el fin de mejorar el modelo propuesto. La metodología CRISP-DM se compone de seis fases, en la siguiente imagen se muestran cada una de estas fases así como las iteraciones posibles de la metodología (Franco, Pera & Puello, 2012).
Figura 1 - A visual guide to Crisp-DMmethodology. (2009). Recuperado de hitos: exde.files.wordpress.com 2009 03 crisp visualguide.pdf.
A continuación se explicarán los procesos que se siguieron en el desarrollo del proyecto en cada una de las fases de la metodología.
4.1.1.1. Fase 1: Entendimiento del negocio.
Se realizó una búsqueda bibliográfica con el fin de determinar cómo es el
funcionamiento general de los sentimientos en las diferentes redes sociales así como los objetivos que tendría el proyecto. Esta etapa se puede consultar en la sección de Antecedentes 4.1.1.2. Fase 2: Entendimiento de los datos
Inicialmente se hizo un análisis de las páginas web existentes para descargar tweets y después de ello se compró una suscripción a seis meses con TweetArchivist que mediante un query dado bajaba todos los tweets que contuvieran el nombre, el usuario o el slogan de alguno de los candidatos o el nombre de los partidos políticos. Es importante resaltar que debido a las restricciones de tamaño de cada query no fue posible incluir a todos los
candidatos, por ello se decidió que sólo se incluirían aquellos que en las encuestas superaran el umbral dispuesto por nosotros del 1% en la intención de voto. El query se puede visualizar en el Anexo 1.
Los datos obtenidos por medio del proveedor de información poseen las siguientes variables principales que fueron analizadas en detalle una por una y su posible uso a futuro en el Anexo N°2 se puede observar el formato completo:
• ID: Número representativo y descriptivo del tweet.
• UserName: El nombre de la cuenta de Twitter de quien postea.
• Text: el texto neto del tweet excepto cuando existe un RT o una respuesta a un tweet en los cuales se incluye información al inicio del tweet y por ende el proveedor no nos muestra ciertas palabras completas al final.
• Language: el idioma en el que está el tweet.
• Follower Count: Losfollower’s que posee cada usuario.
• Name: Nombre asociado a la cuenta por ejemplo @ClaraLopezObre - Clara López Obregón.
4.1.1.3. Fase 3: Preparación de los datos.
Esta fase consistió en dos etapas, la primera corresponde al diseño de un software de limpieza de datos, y la segunda al pre-procesamiento de datos.
41.1.3.1. Diseño de software de limpieza
Se desarrolló un software de limpieza de datos con el fin de obtener solamente los tweets que contuvieran información relevante acerca de las elecciones para la Alcaldía de Bogotá 2015, este software eliminaba datos repetidos, quitaba aquellos tweets que no fueran en español y además borraba los tweets procedentes de personas con apellidos que generarán ruido, en el Anexo N°3 se muestra el manual de uso del software.
Pre-procesamiento de datos
El siguiente paso de la preparación de los datos consistió en desarrollar las etapas del pre-procesamiento de datos, esto se realizó mediante la utilización de un software llamado Treetagger que realiza la etapa de tokenization y de stemming.
4.1.1.4. Fase 4: Modelado.
La fase de modelado consistió de cuatro partes fundamentales: la realización de un diccionario de sentimiento que fue utilizado como herramienta base para la calificación de los tweets, el desarrollo del modelo de calificación de los tweets, el diseño de un software de detección de sentimiento que usara el modelo desarrollado en la etapa anterior y el diseño de un software que determinara hacia qué candidato iba dirigido el sentimiento presente en cada tweet.
41.1.4.1. Diccionario.
Debido a la necesidad de poseer un diccionario adaptado al contexto colombiano, se decidió realizar un diccionario de sentimientos, el cual no se limitó al solo uso de adjetivos, ya que los sustantivos, verbos y adverbios también pueden generar sentimientos (Nasukawa
& Yi, 2003) la realización del diccionario consistió en las siguientes etapas:
• Tomar una muestra de tweets y limpiarla
• Encontrar la frecuencia para cada palabra
• Tomar las más significativas por medio de un diagrama de Pareto
• Calificar las palabras
• Verificar
Se extrajeron tweets desde el 9 de mayo hasta el 3 de julio y posterior a la limpieza se obtuvieron un total de 426.059 palabras totales, de las cuales 9.636 eran palabras distintas, se decidió que las palabras que conformaron el diccionario serían aquellas que representaron las
mayores frecuencias en los tweets para ello se realizó un Pareto en el cual se escogieron 1638 palabras, es decir 17% de las palabras diferentes que representaban un 80% del peso de las palabras totales. Todos los integrantes del grupo calificaron cada una de las palabras utilizando el siguiente criterio:
siendo -2 muy negativo y +2 muy positivo, donde x es la palabra calificada.
La palabra se calificó en el contexto político de las elecciones a la alcaldía, por lo que el diccionario puede ser usado únicamente para el contexto político local, posteriormente se examinaron todas aquellas palabras que tenían distintas calificaciones y con el consenso de todos los integrantes del grupo se determinó una sola calificación para todas las palabras restantes.
Por último se hizo una validación del diccionario, para ello se tomó una muestra aleatoria de 100 palabras y estas fueron calificadas por Juan Sebastián Simbaqueba,
estudiante de último semestre de Ciencia Política, y por Iván Mauricio Lucena, estudiante de último semestre de Licenciatura en Lenguas Modernas. Posteriormente se comparó la calificación obtenida por cada uno de ellos contra la calificación dada por los integrantes del grupo y se obtuvo un porcentaje de acierto de 85% y 76% respectivamente, en el anexo N°4 se pueden observar las calificaciones otorgadas por los estudiantes.
4.1.1.4.2. Modelo.
Para el desarrollo del modelo se decidió utilizar bag o f words, que consiste en sumar la calificación de cada palabra del tweet para darle el sentimiento correspondiente, si la suma resultante era menor a cero, el sentimiento era negativo; si era igual a cero, el sentimiento era neutro y si era mayor a cero, el sentimiento era positivo.
ni
F i = X x p Vi
j=i
Donde:
• Conjuntos: l=(tweets) , J= (Palabras del tweet)
• Fi= Sentimiento hacia el candidato del tweet i
• xj= palabra j del tweet
• n= cantidad de palabras n en el tweet i
4.1.1.4.3. Software Sentiment Analysis.
Para la aplicación de este modelo se diseñó un software de detección de sentimiento que tiene como objetivo realizar la suma correspondiente para cada tweet, en el anexo N°5 se muestra el manual de uso del software.
4.1.1.4.4. Software Detección de Candidato.
Si bien el modelo utilizado proporcionaba el sentimiento, no indicaba hacia cuál candidato se refería el tweet, por ello se diseñó un software que indicaba el nombre o los nombres de los candidatos al que se refiere el tweet analizado. El software funciona por medio de un algoritmo de búsqueda dentro de una lista. Se tienen los tweets, y cuando se encuentra un nombre o un apodo se busca en la lista de nombres y apodos y se asigna el candidato del cual se está hablando al tweet. Tanto la lista de nombres como el manual del software se encuentran en el anexo N°6.
El software de detección de candidato detecta todos los candidatos presentes en cada tweet y se detectó que la proporción de tweets que contenían a dos o más candidatos no era significativa, por lo tanto se decidió que este tipo de tweets fueran excluidos del análisis.
Aunque el software detecta todos los candidatos presentes en el tweet, el modelo utilizado para el análisis de sentimiento no puede proporcionar qué sentimiento corresponde a
cada candidato en los tweets que nombran a dos o más candidatos, sin embargo se encontró que la proporción de tweets con más de un candidato no era significativa pues representaba un 5,15% de los tweets, por lo tanto se decidió excluir ese tipo de tweets del análisis.
4.1.1.5. Fase 5: Evaluación.
Para la evaluación del modelo se realizaron dos comparaciones de los resultados, la primera con un software actual del mercado, y la segunda por un experto en el área. Este propósito debe realizarse según una muestra que sea la misma en los tres casos.
Para nuestro modelo se realizó la comparación de los resultados del software con uno ya existente llamado Textalytics, para esto se escogió una muestra de 800 tweets que
posteriormente Yolima Herrera, analista política de la emisora Todelar Radio en el programa La Voz de Bogotá calificó con el fin de tener esta calificación como base para evaluar el modelo, esta muestra calificada se puede encontrar en el Anexo N°7.
Para determinar el tiempo de procesamiento se cronometró el tiempo que tanto Textalytics como el software propio tardaron en calificar los 800 tweets, el tiempo de
procesamiento del software propio está compuesto por la suma del tiempo que tardó en correr el software de análisis de sentimiento más el tiempo correspondiente al procesamiento de los tweets en el software de detección de candidato.
Para determinar el porcentaje de aciertos del software propio y de Textalytics se halló la cantidad de tweets en la que cada uno proporcionaba el mismo sentimiento que la analista política y esa cantidad se dividió sobre el total de tweets.
% De Aciertos = Total Sentimientos Predichos/Total Sentimientos Observados
Además se realizó la comparación de cuáles sentimientos se encontraban calificados mal y su proporción, esta proporción se obtuvo usando como dividendo el total del resultado
del experto, ya sea en sentimientos positivos, negativos o neutros siendo enfatizados de la siguiente manera:
Tabla N°1 - Colores y Significados
4.1.1.6. Fase 6: Despliegue.
Finalmente se realizó una macro en Excel que contó los sentimientos positivos, negativos y neutros obtenidos para cada uno de los candidatos, además de las menciones de los partidos políticos y los hashtags con el fin de desarrollar la línea del tiempo.
Paralelamente se iba desarrollando el objetivo 2 en el cual los ya se había diseñado una página de fans y una página web para la prueba de mercado final, una vez realizada la línea del tiempo, se posteó tanto en la página de Facebook como en la página web.
4.1.2. Recopilación Noticias Importantes.
Con la intención de buscar posibles eventos noticiosos que puedan provocar fluctuaciones de opinión a través de las redes sociales, se realizaron tomas de datos para análisis a partir de la semana del 25 de julio del 2015, fecha en la cual tuvo lugar el inicio de campañas electorales y el cierre de inscripciones en la carrera por la alcaldía de Bogotá, hasta el día de las elecciones el 25 de octubre del 2015. Hubo dos formas de inventariado de
eventos que son explicados a continuación.
4.1.2.1. Inventariado de información a priori.
Para obtener la información sobre eventos relevantes en el ámbito político se debió realizar una toma de datos semanal con el fin de poder tener un inventario de los posibles eventos noticiosos incidentes en los datos. Para esto se procedió de esta manera:
• Las noticias fueron sacadas de los tres sitios web más visitados destinados a noticias en Colombia, teniendo en cuenta que los tres primeros sitios poseen el 57% de participación como se observa en la tabla dos.
• Cada semana se tomaron un máximo de seis noticias dependiendo de la cantidad de eventos noticiosos, las noticias deberán tener en sus tags o el nombre de alguno de los candidatos vigentes o de las palabras asociadas a las elecciones de la alcaldía de Bogotá.
• En caso de noticias similares se tomaba la más relevante y dicha relevancia fue sustentada con la métrica de amplificación.
Tabla N°2 - Rating de páginas de noticias
traffic ostimatE A le xa
Webisite
rt visitantes Ultimos 30 díasja px¡
Ranking #
Colombia Acumula do
e It i err p u. c om 6969900,00 12 2456
e le sp ect ad nr. c nm 6552000,00 13 47%
semana.cDm 2373500,00 26 57%
minutDSO.CDm 2359000,00 16 65%
nDtii ¡a srm.com 2407400,00 32 73%
Ias2 orillas.: o 2227700,00 40 31%
elcDlorrbiano.com 1300000,00 39 37%
elpais.CDm.CD 1295000,00 52 91%
varguardia.com 1155003 65 96%
pulso.com 1234500,00 76 103%
23974000,00
Datnstsm adus el a de agoste- del 2015, Fuente A laxa
Con la intención de usar la información recopilada es necesario hacer un escalafón de eventos noticiosos según su importancia, que en este caso será la mayor frecuencia a lo largo del tiempo medido en Twitter, para posteriormente identificar su fecha y su característica asociada al evento ingresando en el enlace correspondiente.
Con la finalización de las elecciones regionales se procedió a hacer un conteo de los links compartidos por medio de Twitter, por medio del uso de tablas dinámicas se
encontraron las noticias más compartidas, sus respectivas fechas y cuántas veces se
compartió cada uno de los links, y conocer su origen, su temática y su fecha de publicación, con intención de analizarlo en la línea de tendencia.
4.1.3. Relación de información.
Para la relación de información es necesario primero generar la sistematización de información semanal para cada candidato para ser usada posteriormente en una línea de tendencia, se une la información semanal obtenida de Twitter y la información más relevante para cada semana, obtenida en los inventariados de eventos según las fluctuaciones en más importantes en las gráficas se procede a realizar un análisis.
4.2. Segundo objetivo
Para el desarrollo del segundo objetivo se utilizó un modelo de diseño de producto.
Este modelo fue propuesto por Lamb y Hair en el Libro Marketing (Lamb, Hair & McDaniel, 2015). El modelo consta de seis pasos: Estrategia de nuevo producto, generación de ideas, filtración de ideas, desarrollo, prueba de mercado y comercialización; a continuación se explica el proceso seguido en cada una de las fases propuestas por el modelo.
4.I.2.2. Inventariado de información a posteriori.
4.2.1. Estrategia de nuevo producto.
Se desarrolló una entrevista a un experto con el fin de determinar los requerimientos del cliente que existen a la hora de publicar contenido de índole política en alguna red social para el posterior desarrollo de un QFD. En el Anexo N°8 se muestra la entrevista realizada.
Los requerimientos del cliente son los siguientes:
Impacto: El impacto es como el usuario toma la información que está viendo le da un valor de penetración en la sociedad. Esto quiere decir, que tan importante es la información y como esta puede cambiar la opinión pública en general,
Creatividad: Que tan innovador y diferente es el contenido referente a todo lo que ya existe. Para este caso ser creativo es jugar con la información que se quiere presentar y combinarla con manera de reflejarlas. Es importante tener muy en cuenta que para contenidos políticos hay que manejar balances entre innovación y sobriedad.
Utilidad: Los contenidos políticos se caracterizan por ser informativos o publicitarios. Este aspecto se refiere a cómo los usuarios le dan alguna utilidad a esta información y teniendo en cuenta el impacto como esta puede llegar a cambiar todo tipo de opinión.
Diseño: Como se presenta la información. Encontrar un estilo propio y trabajar sobre este estilo. Como los usuarios relacionan imágenes, colores fuentes a un contenido en
específico y a un producto en particular.
Constante: Que tan habitual son publicados los contenidos. Dependiendo del tipo de información hay que encontrar un equilibrio de tiempo entre publicaciones para que este sea exitoso y genere mayor audiencia.
Medios: Se refiere a la capacidad que debe tener un producto para poder llegar a la mayor cantidad de personas. En la actualidad todo se vale y hay que encontrar el mejor tipo de medio para el tipo de contenido.
Diversidad: Hay que tener en cuenta que en este país existe gran variedad de culturas y sociedades. Este requerimiento pretende encontrar la capacidad para generar contenido que aglutina diversidad.
Confiabilidad: Debido a la cantidad de contenidos falsos que se publican cada segundo en medios y redes, para generar confianza, es necesario incluir fuentes o explicar métodos de recolección de información para que la audiencia tome en serio el contenido.
Refleje la Realidad: De cierta manera, cuando se trata de temas de opinión y la fuente principal de recolección de datos son los propios ciudadanos, es importante que exista alguna relación entre la opinión pública y lo que se publica en el contenido. Este
Requerimiento hace que exista un relación de interés y seguridad por parte del espectador (usuario).
Actualizado: Debido a que lo que se publica en el contenido es el resultado de proceso y este proceso se realiza constantemente, hay que tener siempre el producto lo más actualizado posible para poder reflejar tanto calidad como coherencia.
Interacción: Debido a que lo que se publica en el contenido es el resultado de proceso y este proceso se realiza constantemente, hay que tener siempre el producto lo más actualizado posible para poder reflejar tanto calidad como coherencia.
Valor: Es importante encontrar la forma de salirse de los parámetros y poder llegar al público de maneras diferentes. A diferencia de la creatividad que es la manera de manejar el contenido el valor se refiere a cómo podemos pensar por fuera de la caja y entregarle al usuario algo que no estaba esperando pero que encuentra interesante, divertido y útil.
Con estos requerimientos del cliente se plantearon los siguientes requerimientos técnicos.
Color: Identidad de color. Contrastes entre colores.
Plantilla de Diseño: Tener un diseño en plantilla para generar identidad en el contenido y generar recordación
Periodicidad: método para programar cuando se van a publicar los contenidos.
Lenguaje Sencillo: Manejar lenguaje que se apto para todo el público que haga que el contenido genere empatía con el consumidor
Validación de fuentes y Métodos: Demostrar de dónde se sacan los datos
Material Inédito: Generar material extra para cautivar atención y expandir el producto.
Contenido abierto a Opinión: Generar espacios para opinión entre contenido y audiencia
Cobertura: Manejar el producto en varios canales de comunicación
Relacionamiento de Eventos y Resultados: Relacionar Acontecimientos con Resultados obtenidos
Media: Integrar resultados de contenido con todo tipo de material audiovisual.
Inicialmente se realizó una búsqueda bibliográfica de las posibles métricas a realizar que fueran relevantes en la medición de comportamientos y posiciones frente a los temas de interés, la lista de métricas obtenidas con su correspondiente cálculo se puede observar en el Anexo N°9.
Es importante recalcar que no se tuvo en cuenta la métrica de Conversation Rate para YouTube ya que la mayor parte de los candidatos tenía bloqueada la opción de comentar los videos, por lo tanto no había datos disponibles para el desarrollo de esta métrica
Como resultado se obtuvo que las métricas escogidas eran las siguientes:
• Amplification rate (total de compartidos/total de publicaciones) para Facebook
• Applause rate (total de “me gusta’Vtotal de publicaciones) para Facebook, YouTube e Instagram
• Conversation rate (total de comentarios/total de publicaciones) para Facebook e Instagram
• Engagement rate (total de “no me gusta”/ total de publicaciones) para YouTube
• Views rate (total de visitas/total de publicaciones) para YouTube
4.2.3. Filtración de ideas.
En esta etapa se determinaron las especificaciones de diseño mediante la evaluación de las diferentes métricas con la aplicación de un QFD en el que se buscaba evidenciar la importancia de requisitos técnicos y de diseño que deben tener las métricas que recopilan el 4.2.2. Generación de ideas.
resultado de los datos obtenidos de las métricas para que además de ser informativa, genere una mejor empatia y el impacto que se genere con este producto sea el deseado por el equipo.
Figura N°2 - Diagrama QFD para producto final
4.2.4. Desarrollo.
El desarrollo del producto se dividió en dos partes fundamentales, la primera corresponde a la elaboración de las métricas escogidas y la segunda se refiere al diseño del producto en sí.
4.2.4.I. Primera parte.
En esta parte se elaboraron cada una de las métricas escogidas en la fase de generación de ideas. Inicialmente se recopilaron los datos necesarios para desarrollar cada
una de las métricas, este proceso se hizo de manera mensual ya que no todos los candidatos realizaban publicaciones semanales.
Los datos obtenidos de las redes sociales escogidas fueron aquellos relativos a las publicaciones hechas por los candidatos a lo largo de la campaña, para esto se dividieron los datos de manera mensual, así el mes 1 termina el 24 de Agosto, el mes 2 termina el 24 de Septiembre y el mes 3 el 25 de Octubre.
Se tuvo en cuenta el análisis hecho con el QFD y los resultados donde se evidenció que para contenidos políticos las personas lo que más buscan es principalmente que la
información se propague en diferentes medios de comunicación y en lo que se refiere a el uso de los datos para relacionarlos con eventos reales. Para esto las métricas fueron publicadas Facebook en primera instancia y para reforzar la calidad del estudio en una página web en segunda instancia. Debido a que el producto es de carácter visual se han escogido estos dos medios para la publicación para llegar al público interesado. En cuanto a la relación de los datos con eventos se llevó un registro periódico de los resultados para determinar una posible incidencia de eventos sobre los resultados reflejados y se ha hecho un gráfico que relacione fechas específicas, comportamiento del resultado de los datos y eventos altamente
comentados y compartidos en redes sociales para el posterior contraste y posible explicación del comportamiento de los datos. Ya que lo que las personas buscan en este tipo de
contenidos es validación de fuentes y fuentes confiables, se ha explicado el propósito del estudio en los medios de publicación y se ha explicado brevemente como se ha hecho el estudio en la página web para demostrar la seriedad del mismo y poder generar confianza entre las personas interesadas en este tipo de contenidos.
4.2.4.2. Segunda Parte.
En esta parte se realizó una plantilla personalizada de diseño de los resultados de las métricas para generar identidad en la forma en la que se presentan los resultados. Se quiso
impactar en el diseño de las métricas y de esta misma manera mostrar los resultados de forma dinámica, fácil de entender y con imágenes realizadas por nosotros mismos.
La plantilla comprende un resumen de las métricas obtenidas para cada red social, en ella se observa la cara de cada candidato, a su derecha se encuentra el medidor
correspondiente que expresa las distintas métricas calculadas.
Para el diseño de las caras, se plasmaron los rostros de cada candidato en ilustraciones realizadas con el software Adobe Illustrator. El color del fondo de la cara del candidato corresponde al color representativo de la campaña de cada uno, a continuación se muestran los diseños obtenidos.
Figura N°3 - Símbolo de cada uno de los candidatos
Posteriormente se diseñaron los medidores en los que se representan las métricas escogidas.
Figura N°4 - Tipos de medidor de sentimiento y de aceptación positiva en las redes sociales
El primer tipo de Medidor es unidireccional y contiene una barra de medición, un puntaje en el lado superior derecho del medidor y una o dos pestañas dependiendo de la red social que se encuentran bajo la barra del medidor. Este tipo de medidor es usado en las plantillas de Facebook e Instagram.
La barra muestra la métrica Applause rate en Facebook o en Instagram, en la plantilla de Facebook está representada mediante el color azul y la de Instagram está representada por el color verde. El puntaje que aparece en el costado superior derecho del medidor representa numéricamente el valor de la barra.
En la plantilla de Facebook hay dos pestañas bajo el medidor, la de color morado que se encuentra en el costado izquierdo corresponde a la métrica de Amplification rate y la de color rosado que se encuentra en el costado derecho representa a la métrica de Conversation
rate; en la plantilla de Instagram, la pestaña existente representa a la métrica Conversation rate.
El segundo tipo de medidores es bidireccional y contiene dos barras que crecen en dirección opuesta, también contiene un puntaje en el lado superior derecho del medidor y una o dos pestañas bajo la barra del medidor.
La barra de color verde que se encuentra a la derecha de la cara del candidato representa el total de tweets positivos en el caso de Twitter y la métrica Applause rate en el caso de YouTube. La barra de color rojo que está a la izquierda del candidato corresponde al total de tweets negativos en Twitter y la métrica Engagement rate en YouTube.
Para el caso de Twitter, el puntaje que está al lado superior derecho de la barra corresponde a la resta de tweets positivos y tweets negativos, para hallar dicho puntaje se utilizó la siguiente fórmula:
en donde:
• El conjunto I representa el conjunto de candidatos
• El conjunto J representa el conjunto de sentimientos asociados a los tweets
• ' ’ representa el puntaje para el candidato i x.
• B~'' representa una variable binaria que toma el valor de 1 si el tweet es positivo para el candidato i y 0 si no
j r -
■;i representa otra variable binaria que toma el valor de 1 si el tweet es negativo y 0 si no; se refiere al número de trinos positivos y negativos que tiene el candidato i.
B
En el caso de YouTube representa la resta entre el promedio de “me gusta” y el promedio de “no me gusta” para cada candidato.
Con respecto a las pestañas, en la plantilla de Twitter la pestaña que se encuentra al costado derecho representa numéricamente el total de tweets positivos y la que se encuentra al lado izquierdo representa el total de tweets negativos del candidato; en la plantilla de YouTube la pestaña indica la métrica Views rate.
En la parte inferior de cada plantilla se encuentran las convenciones de colores correspondientes a los colores que tienen las pestañas de los medidores en cada una de las plantillas. Adicionalmente existe una escala que funciona de guía para entender la barra en el medidor.
Las gráficas de mediciones de sentimiento se identificaron por color según la red social, a continuación se muestran las plantillas descritas.
Figura N°5 - Formato por Red Social del producto de medición de sentimiento El canal de difusión de estas imágenes fue en primera instancia la creación de una página de fans en Facebook llamada “Feeling Político” que actualmente cuenta con 194 seguidores y en segunda instancia la página web. Para la página web se eligió un diseñador de páginas web bastante simple pero intuitivo que ayudó a compactar la idea del diseño de las métricas con el diseño general de la página web y así darle fuerza a la marca de “Feeling Político”.
4.2.5. Prueba de Mercado.
Se publicaron en internet los prototipos desarrollados anteriormente a través de la página de fans en Facebook (https://www.Facebook.com/feelingpolitico15/) y la página web diseñada (http://site9197515.91.webydo.com/), esto se hizo con el fin de observar la
percepción del público hacia los prototipos desarrollados. A continuación se muestra el alcance obtenido de cada una de las publicaciones hechas:
Alcance: orgámco/pagado ▼
Fecha ▼ Publicación
25/10/2015 10:15
25/10/2015
24/10/2015
21/10/2015
21/10/2015
21/10/2015
04/10/2015
04/10/2015 20:14
04/10/2015
04/10/2015
Linea de tiempo de la cantidad de menciones del candidato en twitter
Proporción de las menciones de los partidos políticos en Twitter entre ay
Están hablando mejor en Twitter de Clara López. Acá los Resultados de
En el debate del 22 de Octubre de c aracol noticias se hizo un análisis e
FEELIN G POLÍTICO Mañana siendo el día de las elecciones para la Alca
Del 23 de Septiembre al 4 de Octub
Del 14 al 22 de sepriembre
Sentimiento Político en Facebook d el 14 de Septiembre al 22 de Septie
Sentimiento Político en Youtube del 14 de Septiembre al 22 de Septiem
Sentimiento Político en Instagram d el 14 de Septiembre al 22 de Septie
Durante estas semanas antes del di a de la votación, estaremos publica
Foto de portada de Feeling Político
Sentimiento Político Vía Twitter!
Durante estas semanas antes del di a de la votación, estaremos publica
Feeling Político
I Clics en publicaciones ■ Me gusta, coméntanos y veces que se compartió
Promocionar
Promocionar publicación
Tipo Segmentación Alcance Participación
lo * 156 371 i
i
IB *d 411 436 i
i
lo * 1.4K 24515 i
lo * 961 14111 ■
£ * 1.6K 6025 i
i
IB 1.6K 82225 i
IB 884 38410 1
IB id 356 450 i
i
IB id 324 370 i
i
IB id 303 291 i
i
P id 563 22 i
i
IB id 65 621 i
i
IB »d 1.2K 2338 i
P id 349 00
i i
IB <d 0 230 i
i
Promocionar publicación
Promocionar publicación
Promocionar publicación
Promocionar publicación
Promocionar publicación
Promocionar publicación
Promocionar publicación
Promocionar publicación
Promocionar publicación
Promocionar publicación
Promocionar publicación
Figura N°6 - Alcance obtenido en la página de fans de Facebook
Se obtuvo que el mayor alcance obtenido fue de una publicación hecha el 21 de Octubre, en ella se postearon el conjunto de productos de métricas diseñados para cada red
social; la siguiente publicación con mayor alcance fue el primer prototipo de producto publicado el 04 de Octubre, seguido de otra publicación hecha el 21 de Octubre referente a otro conjunto de productos que muestran las métricas para cada red social.
De lo anterior se puede inferir que las personas prefirieron las publicaciones en conjunto frente a las publicaciones individuales, por ende es preferible que las publicaciones tengan la mayor cantidad de contenido en ellas.
4.2.5. Comercialización.
De la prueba de mercado se obtuvo que era preferible que las publicaciones lograran que el espectador capte la mayor cantidad de información en un diseño simple. Por lo tanto se decidió simplificar el diseño unificando la plantilla para YouTube y Twitter (barra bi-
direccional) y para Instagram y Facebook (barra uni-direccional).
En el caso particular de Facebook, los diseños publicados eran de este tipo:
Figura N°7 - Primera versión plantilla Facebook
Finalmente se decidió simplificar el diseño y unificarlo con el de Instagram para eliminar la doble barra y dejar la misma cantidad de información en un diseño más sencillo.
4.3. Tercer Objetivo
Con el fin de poder llegar a encontrar si existe una relación entre los sondeos de opinión y la información producida por los productos diseñados se realizó una correlación entre ellos.
4.3.1. Inventario de Sondeos.
Para la realización del análisis de comportamiento y el sentimiento de usuarios de redes sociales con respecto a los resultados de distintos sondeos de opinión, se realizó un seguimiento a cinco sondeos tradicionales. Estos son:
• Datexco
• Ipsos Napoleón Franco
• Cifras & Conceptos
• Gallup
• Centro Nacional de Consultoría
Los sondeos encontrados son de intención de voto. Se realiza un análisis de los datos de las encuestas y se dividen en semanas para realizar correlaciones con los datos
encontrados en redes sociales y analizadas por medio de los distintos aplicativos desarrollados.
La siguiente es la tabla correspondiente a los resultados de los sondeos anteriormente mencionados.
Tabla N°3 - Publicación de resultados por semana por parte de las empresas seleccionadas.
25 a 31 de Jul 01 a 07 Ago 22 a 28 Ago 05 a 11 Sep 12 a 18 Sep 03 a 09 Oct 10 a 16 Oct 17 a 23 Oct
Datexco X X X X
Gallup X X X
Centro Nacional de Consultoría X X X
Cifras & Conceptos X X X X
Ipsos Napoleón Franco X X X
Se separaron los datos por semana, en el caso que en una semana existiera la participación de más de un sondeo de opinión se realizó un promedio con el fin de tener la certeza que la correlación se realiza con todos los sondeos de opinión elegidos y no con alguna empresa directamente. La ponderación se realizó tomando cada uno de los resultados de los sondeos de opinión de la semana elegida, haciendo un promedio sencillo, se sumaron los resultados de los sondeos de opinión y se dividió en la cantidad de sondeos participantes en dicha ponderación.
Como los sondeos de opinión no arrojan resultados semanalmente, no era posible realizar la correlación con los datos de todas las semanas. Pero se eligieron empresas de sondeos que alcanzaran a cubrir la mayor cantidad de semanas posibles y las cuales tuvieran una gran influencia en los medios de comunicación. De esta manera asegurar que aquellos que interactúan en redes sociales logren alcanzar la información de dichos sondeos de opinión y sean herramientas complementarias.
Se realiza para cada uno de los candidatos con mayor influencia, un filtro determinando que sondeos tendrán en cuenta todos los candidatos. Para cada candidato se realizó un análisis de correlación entre los resultados de los sondeos y los resultados obtenidos a través de redes sociales. Para determinar la influencia que tienen los sondeos de intención de voto en las menciones hacia cada uno de los candidatos de las Elecciones, con el fin de evaluar y de revisar si el mercado objetivo de los sondeos de opinión puede ser el mismo que el de aquellos que interactúan en redes sociales.
4.3.2 Recolección de datos de menciones en redes sociales.
Como los datos recolectados por medio de TweetArchivist son datos cualitativos, se usará el Software Detección de Candidato, con el fin de determinar hacia cuál de los candidatos hace mención dicho tweet. Luego de tener la detección de los candidatos mencionados en cada uno de los tweets, se debe realizar un conteo de la cantidad de veces que es mencionado dicho
candidato en la muestra seleccionada. Una vez se conoce la cantidad de veces que son mencionados cada uno de los candidatos a lo largo de la semana en las redes sociales, se suman estos datos para tener un total, y poder pasar dichos datos a un formato similar al de los sondeos de opinión seleccionados.
4.3.3 Correlación
Una vez obtenidos los datos de menciones, sentimientos positivos y sentimientos negativos en redes sociales y los resultados de los sondeos de opinión, se realiza una correlación entre la información de todas las semanas para cada uno de los candidatos.
Los datos de los sondeos de intención de voto se encuentran en porcentajes, así que se realizó una relación en redes sociales a cada candidato expresadas en porcentaje, y la intención de voto reflejada en los sondeos.
4.3.3.1 Calculo del SIM Score
Se calculó un indicador llamado SIM Score (Marsden, 2010), en donde se halla el sentimiento neto para cada candidato, la fórmula utilizada es la siguiente:
SIM Score = (Sentimiento positivo + Sentimiento neutro - Sentimiento Negativo)/Total tweets
4.3.3.2 Calculo de las correlaciones
Una vez se tienen los datos de las menciones, los tweets positivos, tweets negativos y el SIM Score, tal y como son requeridos, se procede a determinar el coeficiente de correlación entre los porcentajes de favorabilidad para cada uno de los candidatos y los porcentajes de tweets positivos, negativos o neutros, igualmente por candidato. Esta correlación evalúa los datos teniendo en cuenta sólo aquellas semanas donde se realizaron publicaciones por parte de las empresas que proporcionan los resultados de los sondeos de intención de voto.
Tamaño de la correlación_____________Interpretación____________
.90 a 1.00 (-.90 a -1.00) Correlación muy alta positiva (negativa) .70 a .90 (-.70 a -.90) Correlación alta positiva (negativa) .50 a .70 (-.50 a -.70) Correlación moderada positiva (negativa) .30 a .50 (-.30 a -.50) Correlación baja positiva (negativa)
.00 a .30 (.00 a -.30)________ Correlación muy baja o inexistente
Tabla N°4 - Coeficientes de correlación.
Fuente: (Marsden, 2010)
Determinar el coeficiente de correlación permitió concluir acerca de la relación existente entre los resultados de sondeos de opinión tradicionales, y las menciones de cada candidato en las redes sociales evaluadas.
5. Resultados
5.1. Propuesta Definitiva de Solución al Problema
5.1.1. Objetivo 1.
En el desarrollo de este objetivo se obtuvieron cinco productos: El software de
limpieza de datos, el diccionario, el software de Sentiment Analysis, el software de detección de candidato (los tres softwares se encuentran en los archivos anexos al presente escrito).
5.1.1.1. Diccionario
El diccionario después de haber sido calificado y verificado, tuvo los resultados mostrados en la siguiente tabla:
Tabla N°5 - Resumen de calificación de palabras del diccionario
Sentimiento Muy Negativo Negativo Neutro Positivo Muy Positivo
Frecuencia 143 117 1022 2 83 73
El diccionario completo se encuentra en el anexo N°10.
5.1.1.2. Validación del software de sentimiento y detección
Se obtuvo un desempeño similar al software comercial por nuestra parte, pero es importante señalar la gran diferencia en el tiempo de procesamiento, los resultados se pueden observar en las siguientes tablas:
Tabla N°6 - Validación de Resultados
Resultados Propios Textalytics Evaluador Experto
Cantidad total de tweets procesados 800 300 300
Cantidad total de tweets negativos 333 313 341
Cantidad total detweets positivos 316 337 317
Cantidad total detweets neutros 351 361 343
% de adertos negativos 44,37% 33,33% 100,00%
% de adertos positivos 43,36% 53,91% 100,00%
% de adertos neutros 4$ 76% 4Q0S% 100,00%
% de adertos totales 45,50% 45,33% 100,00%
Tiempo de procesamiento(segundos) 2,3 730 33040
Tabla N°7 - Validación de Predichos Vs. Observados
Nuestros Resultados
Observados
NEGATIVOS NEUTROS POSITIVOS
Predichos
NEGATIVOS 153 44,37% 54 33,31% 26 11,98%
NEUTROS 135 39,59% 118 48,76% 98 45,16%
POSITIVOS 53 15,54% 70 38,93% 93 42,86%
Evaluador Experto 341 343 217
Resultados Textalytics
Observados
NEGATIVOS NEUTROS POSITIVOS
Predichos
NEGATIVOS 136 39,38% 45 18,60% 31 14,29%
NEUTROS 108 31,67% 97 40,08% 56 25,81%
POSITIVOS 97 28,45% 100 41,33% 130 59,91%
Evaluador Experto 341 342 217
Además de tener un buen desempeño en el tiempo de procesamiento también se logró un mejor desempeño en cuanto a falsos positivos y falsos negativos versus Textalytics, obteniendo 45% falsos negativos menos y 16% falsos positivos menos que Textalytics. Las posibles causas de la clasificación errónea de tweets pueden ser las siguientes para cada caso:
Falsos negativos: En algunos casos dos palabras negativas juntas tienen una connotación positiva, pero Bag o f words no permite calcular la distancia entre palabras por ello en esas situaciones el software no determinará que la unión de dos palabras negativas corresponde a una frase positiva; esta restricción se ampliará en la sección 5.2.3.3., correspondiente a las restricciones del software de análisis de sentimiento.
Falsos positivos: En muchas ocasiones los tweets contienen sarcasmo lo que es fácil de identificar para un ser humano, sin embargo el modelo usado para el análisis de
sentimiento no permite la detección de estos sarcasmos presentes en los tweets, por ende en algunas ocasiones tweets que deberían ser negativos por contener sarcasmo, el software los clasifica como positivos. La ampliación de esta restricción se puede ver en la sección 5.2.3.4.
5.1.1.1. Línea del tiempo
Con la conclusión de la campaña electoral se terminó el inventariado de noticias y se cruzaron las dos formas para ser procesadas, se obtuvieron 62 noticias relevantes por el primer método y por el segundo después de computar la información y la verificación de cada uno de los links de la tabla en la cual se encontraron 30719 diferentes links compartidos un total de 171737 veces en total (Ver Anexo N°11 & N°12). El link más compartido en todas las fechas fue el video #NoVoyANegarteMiVotoBogotá de Peñalosa con un total 2133 en dos links diferentes.
Por último se realizó la línea de tiempo que refleja un total de 870.961 tweets procesados, en dicha línea se muestra cómo se comportan los usuarios de las redes sociales encaminado a conocer el sentimiento político hacía el respectivo candidato, a continuación se muestra una tabla resumen del acumulado de tweets para cada sentimiento a lo largo de la campaña.
Tabla N°8 - Resumen de acumulado de tweets
Sentimiento Frecuencia
Negativo 49040
Neutro 464853
Positivo____________ 357068
Por consiguiente el primer gráfico nos muestra cómo fue el comportamiento de los sentimientos positivos y negativos junto con eventos noticiosos relevantes a través del tiempo.
