Análisis de sentimiento a las opiniones generadas en la red social twitter: Marketing Político

Abstract

Abstract: The opinions generated in the social network Twitter are emotionally charged content that, due to its unstructured nature, require to be analyzed and explored using techniques to analyze sentiment, in order to extract the emotions expressed by its users. Keywords: Sentimental Analysis; Opinion Analysis; Data Mining; Social Networking, Political Marketing. Introducción Esta investigación analiza las opiniones generadas por los usuarios de la red social Twitter, a través, de técnicas para el análisis y segmentación de sentimientos basadas en los enfoques de léxico y de aprendizaje automático (Medhat, Hassan, & Korashy, 2014), con el fin de encontrar tendencias y patrones de comportamiento entre sus usuarios que permitan determinar cuáles son las emociones básicas que definen un proceso electoral y cómo éstas pueden aportar valor en la disciplina del marketing político. A partir de este corpus, para cada candidato se seleccionan los 5000 mensajes que tienen el mayor número de favoritos y que mencionan al candidato.

Headnote

Resumen: Las opiniones que se generan en la red social Twitter son un contenido con carga emocional que, por su naturaleza no estructurada, requieren ser analizadas y exploradas mediante la utilización de técnicas para el análisis de sentimiento, con el fin extraer las emociones que expresan sus usuarios. Esta investigación busca determinar cuáles son las emociones básicas que definen un proceso electoral y cómo éstas pueden aportar valor en la disciplina del marketing político. Como caso de estudio se analizaron opiniones relacionadas con la campaña a la presidencia de Colombia 2018.

Palabras-clave: Análisis de sentimientos; análisis de opiniones; minería de datos; redes sociales, marketing político.

Abstract: The opinions generated in the social network Twitter are emotionally charged content that, due to its unstructured nature, require to be analyzed and explored using techniques to analyze sentiment, in order to extract the emotions expressed by its users. This research seeks to determine what are the basic emotions that define an electoral process and how these can add value in the discipline of political marketing. As a case study, opinions related to the campaign for the presidency of Colombia 2018 were analyzed.

Keywords: Sentimental Analysis; Opinion Analysis; Data Mining; Social Networking, Political Marketing.

(ProQuest: ... denotes formulae omitted.)

1. Introducción

Esta investigación analiza las opiniones generadas por los usuarios de la red social Twitter, a través, de técnicas para el análisis y segmentación de sentimientos basadas en los enfoques de léxico y de aprendizaje automático (Medhat, Hassan, & Korashy, 2014), con el fin de encontrar tendencias y patrones de comportamiento entre sus usuarios que permitan determinar cuáles son las emociones básicas que definen un proceso electoral y cómo éstas pueden aportar valor en la disciplina del marketing político. Como caso de estudio se utiliza un corpus de 5.654.800 mensajes generados entre el 16 de febrero y el 17 de junio de 2018 relacionados con la campaña electoral para la presidencia de Colombia 2018 y en los que se mencionan a los candidatos Gustavo Petro, Iván Duque, Sergio Fajardo y Germán Vargas Lleras. A partir de este corpus, para cada candidato se seleccionan los 5000 mensajes que tienen el mayor número de favoritos y que mencionan al candidato.

En el enfoque orientado a léxico, se creó un diccionario en español con 28.972 palabras, las cuales fueron categorizadas según la emoción básica que transmiten y que corresponden a las expuestas por (Plutchik, 2003) en su trabajo sobre la rueda de las emociones (alegría, confianza, miedo, sorpresa, tristeza, aversión, ira, anticipación). En el enfoque basado en aprendizaje automático, a partir del léxico creado, los mensajes fueron clasificados mediante el clasificador probabilístico de aprendizaje supervisado Naive Bayes (Medhat, Hassan, & Korashy, 2014). Mediante estas técnicas se determinó el tipo de emoción que transmitió el mensaje de cada tweet analizado.

2. Conceptos

Marketing Político: Es el proceso mediante el cual los candidatos políticos y las ideas son dirigidas a los votantes en orden de satisfacer sus necesidades políticas y ganar su apoyo al candidato y sus ideas (Shama. A, 1976). Una de las estrategias más importante en Marketing político consiste en fortalecer la presencia de los candidatos y partidos políticos en las redes sociales y por supuesto a partir del contenido generado en ellas, analizar el mercado electoral.

Minería de Medios Sociales: En los últimos años, ha surgido una nueva disciplina encargada de tratar el problema del análisis computacional de las opiniones llamada minería a los medios sociales (Guellil & Boukhalfa, 2015) que se enfoca en tres grandes campos: los datos, las relaciones y el contenido que genera el usuario. Esta disciplina busca a través de diferentes técnicas computacionales relacionadas con la minería de opinión, extraer las emociones que una persona transmite en los mensajes que escribe en un medio social (Zafarini, Ali Abbasi, & Huan, 2014).

La minería de opinión y/o el análisis de sentimiento: Es el campo de la minería que estudia los puntos de vista u opiniones de las personas hacia un tema de su interés que puede estar relacionado con individuos, organizaciones, productos, servicios, problemas sociales, eventos, entre otros (Palanisamy, Yadav, & Elchuri, 2013). La minería de opinión se centra en el contenido que expresa o implica emociones y sentimientos (Liu, Sentiment Analysis and Opinion Mining, 2012). Su principal objetivo está en utilizar técnicas automáticas capaces de extraer información subjetiva (emociones y sentimientos) de un texto, a fin de crear conocimiento estructurado y procesable para ser utilizado ya sea por un sistema de soporte de decisión o por un tomador de decisiones (Pozzi, Fersini, Messina, & Liu, 2017).

La opinión: Se entiende como punto de vista, creencia, convicción, persuasión o sentimiento (Pang & Lee, 2008). Desde el enfoque de la minería de opinión, (Liu, Sentiment Analysis and Opinion Mining, 2012), en la ecuación (1) define una opinión como un conjunto de cinco piezas de información que deben corresponderse entre sí. Es decir, la opinión debe ser emitida por el titular de opinión sobre el aspecto de la entidad ei en el momento. Cualquier desajuste es un error

... (1)

La ecuación (1) es básicamente un esquema de base de datos, en función del cual las opiniones extraídas se pueden colocar en una tabla de base de datos para luego realizar un amplio conjunto de análisis de opiniones cualitativos, cuantitativos y de tendencias. Esta definición proporciona un marco para transformar texto no estructurado en datos estructurados.

Las emociones: Son sentimientos humanos, son similares y también diferentes de las opiniones. Una opinión expresa una evaluación o valoración sobre algunos objetos, mientras que una emoción expresa un sentimiento interno humano (Sammut & Webb, 2017). En la figura 1, (Plutchik, 2003), uno de los teóricos con mayor influencia en las investigaciones sobre las emociones, muestra la interrelación de las emociones humanas en lo que se conoce como la rueda de las emociones.

Para esta investigación, se tienen en cuenta las categorías emocionales expuestas en la tabla 1, que corresponden a las de mayor frecuencia según el trabajo de (Ortony & Turner, 1990) y al segundo nivel de la rueda de emociones de (Plutchik, 2003).

Técnicas de Clasificación de Sentimientos: Captar el sentimiento o las emociones que se transmiten en una opinión depende de la construcción sintáctica y el contenido semántico. A partir de estos, se desarrollan diferentes técnicas (Medhat, Hassan, & Korashy, 2014): una se enfoca en el aprendizaje automático supervisado mediante el procesamiento de lenguaje natural, y la otra emplea diccionarios con carga emocional (Baviera, 2016). En la figura 2 se resaltan con triángulos las técnicas de clasificación utilizadas en esta investigación. Posteriormente se explicada cada una de ellas.

Enfoque basado en aprendizaje automático (máquina): Utiliza algoritmos de aprendizaje automático para soportar las tareas relacionadas con la minería de opinión como un problema de clasificación de textos naturales o regulares que utiliza características sintácticas y/o lingüísticas, y que generalmente se toma para abarcar procedimientos de computación automáticos basados en operaciones lógicas o binarias, que aprenden una tarea de una serie de entrenamientos. Este enfoque principalmente se soporta en los algoritmos de clasificación, que para este caso corresponde a la clasificación de textos (Fragos, Belsis, & Skourlas, 2014), y que tienen como objetivo generar expresiones de clasificación lo suficientemente simples como para que el ser humano las pueda entender fácilmente. Para esta investigación, cuando se usa el término clasificación, se está hablando de aprendizaje supervisado, es decir, se sabe con seguridad que hay tantas clases, que se puede clasificar una nueva observación en una de las ya existentes.

Clasificador probabilístico: Es un clasificador que es capaz de predecir, dada una observación de entrada, una distribución de probabilidad sobre un conjunto de clases, en lugar de emitir la clase más probable a la que debería pertenecer la observación.

Clasificador Probabilístico Naive Bayes: Utiliza el teorema que lleva su propio nombre "Bayes" para hallar la probabilidad de que un conjunto de características dado pertenezca a una clase en particular. El modelo funciona con la extracción de características "Bag of Words" (BOW) o bolsa de palabras, es decir, no tiene en cuenta estas palabras en el análisis (Medhat, Hassan, & Korashy, 2014).

El teorema de Bayes proporciona una forma de calcular la probabilidad posterior P (c | x), a partir de P (c), P (x) y P (x | c). El clasificador de Bayes supone que el impacto del valor de un predictor (x) en una clase (c) es independiente de los valores de otros predictores. La ecuación (2) refleja este supuesto denominado independencia condicional de clase. En la tabla 2 se explica cada uno de los componentes del teorema de Bayes.

... (2)

En la ecuación (3) se muestra cómo podría reescribirse la ecuación (2), dado el supuesto de Naive Bayes, que indica que la totalidad de características son siempre independientes, para un documento x compuesto de xi, x2, x3, ..., xn palabras o características (Russell, 2013).

... (3)

Enfoque basado en léxico: Utilizan como base de conocimientos los recursos léxicos llamados léxico de opinión (Taboada, Brooke, Tofiloski, & Otros, 2010), que asocian las palabras a su orientación sentimental o emocional representada, por ejemplo, por "puntajes" positivos y negativos. Su uso en la investigación del análisis de sentimientos parte del supuesto de que las palabras individuales pueden considerarse como una unidad de información de opinión y, por lo tanto, pueden proporcionar indicaciones para detectar sentimientos y subjetividad en los documentos (Chiavetta, Lo Bosco, & Pilato, 2016). La efectividad del enfoque depende principalmente de la exactitud de los pasos de pre procesamiento y de la consistencia y la calidad del léxico de opinión y la cantidad de términos que contiene. Los principales desafíos para el análisis de sentimientos de los microblogs como Twitter son los mensajes cortos, palabras informales, acortamiento de palabras, variación ortográfica y emoticones (Palanisamy, Yadav, & Elchuri, 2013).

A nivel de léxico se encuentran los enfoques basados en diccionario y en corpus. En el enfoque basado en diccionario un grupo pequeño de palabras de opinión se recopila de forma manual con carga emocional conocida. En el enfoque basado en documento (corpus) se facilita la tarea de encontrar palabras de opinión con cargas emocionales específicas del contexto (Medhat, Hassan, & Korashy, 2014).

Enfoque Basado En Diccionario: Un diccionario para medir el sentimiento contiene una lista de palabras que se clasifican como positivas o negativas (Rice & Zorn, 2013) y también a través de una categoría emocional que puede ser alegría, confianza, miedo, sorpresa, tristeza, aversión, ira o anticipación. El uso de los diccionarios es relativamente fácil (Bhonde, Bhagwat, Ingulkar, & Pande, 2015) y económico (Quinn, Monroe, & Colaresi , 2010) de aplicar en una variedad de problemas como identificar palabras que separan categorías y medir la frecuencia con que aparecen en los textos, entre otras (Grimmer & Stewart, 2013).

La figura 3 muestra el funcionamiento de una técnica léxica, donde el texto de entrada es convertido en tokens por el Tokenizer. Cada token se empareja con en el diccionario y si hay coincidencias, la puntuación aumenta, de lo contrario disminuye. La clasificación de un texto depende de la puntuación total que logre (Thakkar & Patel, 2016).

La ecuación (4) representa formalmente el funcionamiento de una técnica léxica. Cada palabra m (m = 1, ..., M) tendrá una puntuación asociada Sm. Para las medidas más simples, Sm = -1 si la palabra no está asociada con una emoción o tiene un tono negativo y Sm = 1 si está asociada con una emoción o tiene un tono positivo. cada corresponde al número de veces que aparece la palabra m-ésima en el i-ésimo documento. Si palabras que se usan en el documento i, entonces los métodos de diccionario pueden medir el tono (sentimiento o emoción) de cualquier documento ti (Grimmer & Stewart, 2013).

... (4)

Para las tareas de minería de opinión o análisis de sentimiento, hay una serie de diccionarios pre construidos y disponibles públicamente como LIWC y SentiWordNet que a pesar de su facilidad de uso no se adaptan a todos los contextos, lo que potencialmente conduce a errores en los procesos analíticos (Grimmer & Stewart, 2013) . Para subsanar en parte estos errores, es posible construir diccionarios especializados y adaptados a un contexto en particular, como por ejemplo la política (Rice & Zorn, 2013).

3.Metodología

Construcción de léxico emocional: Para el enfoque de análisis de sentimiento basado en diccionario, se construyó un léxico en español con 28.972 palabras debidamente clasificadas según la emoción propuesta por (Plutchik, 2003) y expuestas en la tabla 1 (alegría, confianza, miedo, sorpresa, tristeza, aversión, ira, anticipación) . La tabla 3 muestra un ejemplo del léxico creado.

Para su construcción, se utilizan 1.600.000 tweets, con los que se crea un corpus de documentos y mediante un proceso de tokenización se obtienen 304.210 palabras (unigramas) con su respectiva frecuencia. Se extraen los unigramas con una frecuencia mayor o igual a 10, verificando a través de un revisor ortográfico, que cada uno de ellos corresponda a una palabra en español válida. En este proceso se obtienen 27.041 palabras en español válidas, a las que se le adicionan 1.931 palabras obtenidas de otros léxicos en español para análisis de sentimiento propuestos por (Pérez Rosas, Banea, & Mihalcea, 2012) y (San Vicente & Saralegi, 2013), para completar un total de 28.972 palabras. Posteriormente, cada una de las palabras, es clasificada manualmente según la emoción que expresan desde la perspectiva del autor de este trabajo.

Proceso de minería de opinión: Se realiza de acuerdo con la metodología "Proceso estándar de la industria para la minería de datos" o CRISP-DM (del inglés Cross Industry Standard Process for Data Mining):

Fase 1. Comprensión del negocio: El contexto de análisis corresponde a las elecciones presidenciales de Colombia en el año 2018 y el objetivo principal es el de analizar un conjunto de opiniones (tweets) para detectar cuáles son las emociones que pueden definir un proceso electoral.

Fase 2. Comprensión de datos: Fuente de datos: Las opiniones (tweets) se extraen de la plataforma Twitter utilizando el lenguaje de programación R durante el periodo que va del 16 de febrero al 17 de junio de 2018 mediante los criterios de búsqueda @sergio_ fajardo, @petrogustavo, @German_Vargas e @IvanDuque que corresponden a las cuentas oficiales de Twitter para los candidatos Sergio Fajardo, Gustavo Petro, Germán Vargas Lleras e Iván Duque, respectivamente. En la tabla 4 aparece una relación de la cantidad de opiniones (tweets) extraídas en las que se menciona al candidato según criterio de consulta.

Al consultar la API de Twitter se obtiene un dataset con varias columnas, de las cuales, para efectos de esta investigación solo se utilizan las columnas text y favoriteCount que corresponden a la opinión (mensaje) y a la cantidad de favoritos que obtuvo el mensaje. De la totalidad de los mensajes obtenidos según la tabla 4, se obtiene una muestra representativa del 1%, es decir, 56.548 mensajes que corresponde a los mensajes con mayor número de favoriteCount. De igual manera, para cada uno de los 4 candidatos, se obtienen los 5.000 mensajes con mayor número de favoriteCount.

Fase 3. Limpieza y preparación de datos: Cada uno de los tweets recolectados tiene asignado un valor en las columnas text y favoriteCount. Los datos son de buena calidad. En cuanto al atributo "text" que corresponde al contenido del mensaje (tweet), por su naturaleza, posee palabras vacías o "stop words" y otros elementos (caracteres especiales) que deben ser removidos o transformados a través de un algoritmo de pre procesamiento. Un ejemplo de este proceso se puede observar en la figura 4.

Fase 4. Modelamiento, evaluación y despliegue: Para la clasificación de emociones de los 56.548 mensajes objeto de análisis, se utilizó el clasificador probabilístico Naive Bayes utilizando algoritmos desarrollados en el lenguaje de programación R. Se tomó cada uno de los mensajes y a cada una de las palabras del mensaje se le buscó su coincidencia en el léxico, según el algoritmo del funcionamiento de la técnica léxica de la figura 3. La tabla 5 muestra la clasificación de emociones para los 10 primeros mensajes, donde el atributo BEST_FIT corresponde a la emoción que obtuvo el mejor puntaje.

En la tabla 6 se muestran los 10 primeros mensajes, con la categoría emocional asignada a cada mensaje según el resultado BEST_FIT de la tabla 5.

La tabla 7 y figura 5 muestra el resultado del proceso de clasificación de emociones, para los 56.548 mensajes analizados, indicando para cada categoría la cantidad y el porcentaje obtenido.

De los 56.548 mensajes analizados, se obtiene que un 42.72% se clasifican dentro de la categoría de confianza y un 23.13% dentro de la categoría de alegría, reflejando la realidad de la mayoría de los mensajes que obtuvieron el mayor número de favoritos o aceptación, lo que los enmarca dentro de un ambiente de positivismo.

4.Resultados

Siguiendo la misma metodología se analizan los 5.000 mensajes con mayor número de favoritos que obtuvo cada uno de los candidatos. La tabla 8 muestra los resultados de clasificación de emociones básicas para cada uno de los candidatos.

Estos resultados reflejan entre otras conclusiones, por ejemplo:

* Gustavo Petro es el candidato que más genera alegría (24.2%), sorpresa (2.34%) y miedo (1.78%); es el que menos genera confianza (40.06%), ira (0.66%) y anticipación (11.56%).

* Iván Duque es el candidato que menos genera sorpresa (1.86%) y tristeza (2.74%). Es el segundo candidato que más genera confianza (44.40%) y anticipación (11.78%).

* Sergio Fajardo es el candidato que más genera confianza (44.46%) y el que menos genera aversión (14.40%) y miedo (0.92%).

* Germán Vargas es el candidato que más genera anticipación (12.72%), aversión (17.38%), ira (1.22%) y tristeza (4.78%). Es el que menos genera alegría (19.60%).

Teniendo en cuenta la rueda de las emociones de (Plutchik, 2003) expuesta en la figura 1 donde una emoción es el producto de la combinación de otras, las emociones obtenidas por los candidatos permiten concluir aspectos como:

* El candidato Gustavo Petro genera temor, distracción y susto, producto de combinar las emociones sorpresa y miedo.

* El candidato Iván Duque genera optimismo, al ser el que menos genera sorpresa y tristeza.

* El candidato Sergio Fajardo genera optimismo, producto de ser el que más genera confianza y el que menos genera rechazo y miedo.

* El candidato Germán Vargas genera enfado, desprecio y remordimiento, producto de la combinación de las emociones anticipación, ira, aversión y tristeza.

Estos resultados pueden explicarse en el sentido que el conjunto de datos evaluado para cada candidato corresponde a los mensajes en los que tenían el mayor número de favoritos, es decir, mensajes cargados con más positivismo y aceptación. La figura 6 permite determinar que las emociones más representativas para el grupo de candidatos son: confianza, alegría, aversión y anticipación.

En la tabla 9 y figura 7 se analizan para la segunda vuelta, los candidatos Iván Duque y Gustavo Petro, en la que salió como ganador el candidato Iván Duque. Se puede concluir que la confianza (44.40%), la anticipación (11.78%), el miedo (1.32%), la sorpresa (1.86%) y la tristeza (2.74%) son determinantes para que un candidato sea el ganador de un proceso electoral. Es decir, entre más confianza y anticipación, menos miedo, menos sorpresa y menos tristeza genere un candidato, tiene mayor opción de triunfar. Es importante destacar los resultados obtenidos por el candidato Sergio Fajardo a nivel de emociones, en el sentido, que para para la primera vuelta obtuvo un mayor nivel de confianza. Sin embargo, su número de menciones en Twitter fue significativamente menor a la obtenida por los dos candidatos finalistas de la primera vuelta como se registra en la tabla 4.

La figura 7 permite visualizar que la emoción relacionada con la confianza es la de mayor relevancia en un proceso electoral.

5.Conclusiones

Un léxico en español categorizado con carga emocional permite clasificar las opiniones de los usuarios de acuerdo con su percepción sobre un determinado tema. Se pudo determinar que en el 42.32% de las opiniones, la emoción de confianza es la de mayor relevancia en un proceso electoral, seguida de la emoción de alegría con un 21.67% (tabla 8). Aquellos candidatos que generen más confianza, más aceptación, menos miedo, menos tristeza, menos incertidumbre y menos sentimientos negativos, están llamado al triunfo, como fue el caso del candidato Iván Duque que ganó la presidencia de Colombia 2018.

El contenido que generan los usuarios en un medio social como Twitter, contiene una carga emocional que, al ser analizado mediante técnicas para la clasificación de sentimientos, arroja resultados prometedores para tener en cuenta a la hora de medir tendencias y encontrar patrones de comportamiento entre los usuarios de esta red social. Este contenido, en su mayoría, corresponde a texto libre sin estructurar o no estructurado, por lo que el procesamiento automático y el análisis de las opiniones requiere de técnicas avanzadas para el análisis y clasificación de sentimientos basadas en procesamiento del lenguaje natural. Analizar las opiniones de las personas no es una tarea fácil, depende de muchos factores como el contexto, el idioma, la cultura, el nivel de educación, entre otros. Las personas utilizan diferentes palabras o frases para expresar sentimientos y emociones hacia un tema de interés, ya sea, un producto, una marca, un partido político, una persona, o un comentario.

La construcción de un léxico en español, con carga emocional, permitió clasificar las opiniones de las personas en 8 categorías emocionales pudiendo de esta manera identificar cuáles son las emociones que pueden influir en los resultados de un proceso electoral.

El análisis de campañas electorales a través de las redes sociales vislumbra que la red tiene capacidad de influir en un efecto positivo en los resultados electorales y que los candidatos con mejor posicionamiento en las redes sociales pueden aventajar a sus oponentes. Este análisis, se convierte en una de las principales estrategias que pueden ser aplicadas en Marketing Político como una forma de ayudar a mejorar la producción política y a enriquecer la oferta electoral. El marketing político es un mecanismo de creación, de nuevas ideas, de nuevas imágenes y, sobre todo, de seducción. Sin embargo, la comprensión de la realidad en un proceso electoral no es tan básica ni tan fácil de prever en este campo, existen muchas variables a tener en cuenta. Para obtener mejores resultados es muy importante profundizar en técnicas y algoritmos avanzados de procesamiento de lenguaje natural y soportar estos estudios en el campo de la Inteligencia Artificial.

La minería de opinión o como también se le conoce, análisis de sentimiento, está aún en sus inicios y las expectativas sobre sus utilidades son inmensas por los beneficios que podría representar el hecho de poder identificar las emociones y sentimientos que expresan las personas en su interacción con las redes sociales. En esta investigación se realizó un proceso de minería de opinión o análisis de sentimiento a las opiniones expresadas por usuarios de la red social Twitter haciendo uso de los enfoques de aprendizaje automático y basado en léxico.

References

Referencias

Baviera, T. (2016). Técnicas para el Análisis de Sentimiento en Twitter: Aprendizaje Automático Supervisado y SentiStrength. DIGITOS - Revista de Comunicación Digital.

Bhonde, R., Bhagwat, B., Ingulkar, S., & Pande, A. (2015). Sentiment Analysis Based on Dictionary Approach. International Journal of Emerging Engineering Research and Technology, 51-55.

Chiavetta, F., Lo Bosco, G., & Pilato, G. (2016). A Lexicon-based Approach for Sentiment Classification of Amazon Books Reviews in Italian Language. WEBIST 2016 - 12th International Conference on Web Information Systems and Technologies (págs. 159-170). Palermo: ResearchGate.

Fragos, K., Belsis, P., & Skourlas, C. (2014). Combining Probabilistic Classifiers for Text Classification. Procedía - Social and Behavioral Sciences 147, 307 - 312 .

Grimmer, J., & Stewart, B. M. (2013). Text as Data: The Promise and Pitfalls of Automatic Content Analysis Methods for Political Texts. Oxford University Press on behalf of the Society for Political Methodology, 1-31.

Guellil, I., & Boukhalfa, K. (April de 2015). Social big data mining: A survey focused on opinion mining and sentiments analysis. 201512th International Symposium on Programming and Systems (ISPS), (págs. 1-10). doi:i0.ii09/ISPS.20i5.7244976

Liu, B. (2012). Sentiment Analysis and Opinion Mining. Morgan & Claypool Publishers.

Medhat, W., Hassan, A., & Korashy, H. (2014). Sentiment analysis algorithms and applications. 1093-1113.

Medhat, W., Hassan, A., & Korashy, H. (2014). Sentiment analysis algorithms and applications: A survey . Ain Shams Engineering Journal, 5, 1093-1113. doi:https://doi.org/10.1016/j.asej.2014.04.011

Ortony, A., & Turner, T. (1990). What's Basic About Basic Emotions? Psychological Review, 315-331.

Palanisamy, P., Yadav, V., & Elchuri, H. (2013). Simple and Practical lexicon based approach to Sentiment Analysis. Association for Computational Linguistics, 543-548.

Pang, B., & Lee, L. (2008). Opinion mining and sentiment analysis. U.S.A.: Foundations and Trends in Information Retrieval.

Pérez Rosas, V., Banea, C., & Mihalcea, R. (2012). Sentiment Lexicons in Spanish. Proceedings of the 8th International Conference on Language Resources and Evaluation (LREC'12).

Plutchik, R. (2003). Emotions and Life: Perspectives from Psychology, Biology, and Evolution. American Psychological Association.

Pozzi, F., Fersini, E., Messina, E., & Liu, B. (2017). Sentiment Analysis in Social Networks. Cambridge: Elsevier.

Quinn, K. M., Monroe, B. L., & Colaresi , M. (2010). How to Analyze Political Attention with Minimal Assumptions and Costs. American Journal of Political Science, 209-228.

Rice, D. R., & Zorn, C. (19 de September de 2013). Corpus-Based Dictionaries for Sentiment Analysis of Specialized Vocabularies. London, England: New Directions in Analyzing Text as Data Workshop.

Russell, M. A. (2013). Mining The Social Web. United States of America: O'Reilly Media.

Sammut, C., & Webb, G. (2017). Encyclopedia of Machine Learning and Data Mining. New York: Springer Science+Business Media.

San Vicente , I., & Saralegi, X. (2013). Elhuyar at TASS 2013. In Proceedings of "XXIX Congreso de la Sociedad Española de Procesamiento de lenguaje natural". Workshop on Sentiment Analysis at SEPLN (TASS2013), 143-150.

Shama, A. (1976). The marketing of political candidates. JAMS 4, 764-777. https://doi.org/10.1007/BF02729836

Taboada, M., Brooke, J., Tofiloski, M., & Otros. (2010). Lexicon-Based Methods for Sentiment Analysis. Association for Computational Linguistics.

Thakkar, H., & Patel, D. (2016). Approaches for Sentiment Analysis on Twitter: A State-of-Art study. Department of Computer Engineering, National Institute of Technology.

Zafarini, R., Ali Abbasi, M., & Huan, L. (2014). Social Media Mining. Cambridge: Cambridge University.