Analítica de Twitter para el estudio de las emociones primarias durante el terremoto de México 2017

Abstract

Net-savvy citizens' co-production of time-critical public information services. Geographic Situational Awareness: Mining Tweets for Disaster Preparedness, Emergency Response, Impact, and Recovery. Toward a Publics-Driven, Emotion-Based Conceptualization in Crisis Communication: Unearthing Dominant Emotions in Multi-Staged Testing of the Integrated Crisis Mapping (ICM) Model. Volunteered Geographic Information in Natural Hazard Analysis: A Systematic Literature Review of Current Approaches with a Focus on Preparedness and Mitigation.

Headnote

Resumen: La gestión de emergencias usa Twitter como herramienta valiosa porque proporciona datos sobre ubicación, tiempo, contenidos y propagación del mensaje. Este trabajo analizó 59 416 tuits del terremoto de México, organizados en dos datasets: DSMI, tuits emitidos por usuarios particulares mediante la etiqueta #terremoto; y DCMI, tuits que mencionan a organismos de emergencia durante el terremoto. El propósito es identificar las emociones primarias expresadas, su evolución en el tiempo, y los patrones de propagación comparando los dos datasets. El análisis se hizo con técnicas de minería de datos. Se concluye que las emociones se expresan con mayor profusión en DSMI que en DCMI. El sentimiento que predomina es la ira y se transforma con el tiempo, en DSMI tiene un curso decreciente, mientras en DCMI evidencia picos de mensajes. Los mensajes más propagados independientemente del dataset son los que expresan ira y alegría, emociones polarizadas.

Palabras-clave: analítica; Twitter; emociones; terremoto; minería de datos.

Abstract: Emergency management uses Twitter as a valuable tool because it provides data on location, time, content and message propagation. This work analyzed 59416 tweets from the Mexican earthquake organized in two datasets: DSMI, tweets issued by private users through the label #terremoto and DCMI, tweets that mention emergency agencies during the earthquake. The purpose is to identify the expressed primary emotions, their evolution over time, and the propagation patterns by comparing the two datasets. The analysis was done with data mining techniques. It is concluded that emotions are expressed more widely in DSMI than in DCMI. The emotion that predominates is the anger and it is transformed with time, in DSMI it has a decreasing course while in DCMI it shows peaks of messages. The most propagated messages independently of the dataset are those that express anger and joy, polarized emotions.

Keywords: Analytics; twitter; emotions; earthquake; data mining.

1.Introducción

Las plataformas de redes sociales se han convertido en espacios digitales donde los usuarios publican y diseminan información de manera espontánea y voluntaria. Twitter por su característica versatilidad, rapidez y sistema de difusión de mensajes está siendo muy utilizado por instituciones gubernamentales y no gubernamentales para gestionar eventos que involucren directamente a la ciudadanía (Henríquez-Coronel, García García & Herrera-Tapia, 2019), como es el caso de desastres naturales, y otros tipos de crisis como lo explican los autores Acar & Muraki (2011); Chatfield, Scholl & Brajawidagda (2013); Porto de Albuquerque et al. (2015). De acuerdo con Liu, Fraustino & Jin (2015); Starbird & Palen (2010), durante una emergencia la cantidad de mensajes (tuits) enviados por los usuarios se incrementa de manera exponencial, causando confusión y desorientación a la ciudadanía. En este escenario, las instituciones desempeñan un rol protagónico, a través de la difusión de información oficial, incluyendo indicaciones útiles para gestionar la crisis, tal como lo argumentan los autores Qu et al (2011); Starbird & Palen (2010).

El volumen de información generada en las redes sociales está basada en el modelo Volunteered Geographic Information (VGI) que, aparte del contenido de los mensajes, ofrece datos de referenciación geográfica, pudiendo ser utilizados en un sinnúmero de aplicaciones (Klonner et al., 2016; Stojanovski et al., 2016). Esta metadata es creada por las aplicaciones en los teléfonos inteligentes que cuentan, entre su principal electrónica, con sensores de posicionamiento geográfico, comúnmente conocidos como GPS, y obtenida en tiempo real. El procesamiento de estos datos en un futuro cercano ofrecerá muchos beneficios en la gestión de desastres, especialmente, si se utiliza de manera proactiva en la toma de decisiones (Wang & Ye, 2017; Huang & Xiao, 2015; Veil, Buehner & Palenchar, 2011).

Según Wang & Ye (2017) se analizan cuatro dimensiones, de los tuits que brindan información sensible para la gestión de desastres: espacio, tiempo, contenido y red de difusión. El estudio de los contenidos de los mensajes (tuits) durante la crisis permite conocer la actitud, el estado de ánimo, reacción, y percepción de la ciudadanía afectada por este tipo de eventos. El análisis de sentimientos, como se denomina, es un área de estudio novedosa que ya reporta numerosas investigaciones, sumándose Hussein (2018); Shook & Turner (2016); Wolny (2016); Caragea et al. (2014).

De acuerdo con Ekman (1992), las emociones primarias o básicas son: ira, miedo, tristeza, alegría, asco y sorpresa. En cambio, los autores Jin, Pang & Cameron (2012) consideran que las emociones: ira, miedo, ansiedad y tristeza serían las dominantes en una crisis. En esta investigación, se usará de la clasificación de Ekman, debido a la variedad de tipos que este expone.

Este trabajo estuvo orientado al análisis de las emociones de las personas en las diferentes fases de crisis durante el terremoto de México 2017, tomando como referencia inicial los trabajos de Ekman (1992); Henríquez-Coronel et al. (2018). Se consideró la información que circuló en Twitter en dos conjuntos de datos: Data Con Menciones Institucionales (DCMI), conformado por los tuits que mencionan organismos gubernamentales y no gubernamentales que actuaron en la gestión del terremoto de México; y Data Sin Menciones Institucionales (DSMI), emitidos por usuarios individuales. Se intentó responder las siguientes preguntas:

* ¿Qué emociones primarias predominan en los tuits analizados?

* ¿Influye el tipo de dataset analizado (con o sin menciones a organismos oficiales) en las emociones predominantes?

* ¿Hay patrones que caractericen la transformación de las emociones en función del tiempo transcurrido?

* ¿Existe algún patrón respecto a la propagación de tuits y el tipo de emoción?

En tiempo de crisis, especialmente las causadas por desastres naturales, la información fresca y de primera mano ya no proviene de medios de comunicación tradicionales como la radio y/o televisión; con la masificación de internet, las redes sociales se han convertido en esa fuente primaria de noticias. También se utilizan modelos de transmisión de datos no convencionales, basados en redes oportunísticas. Los autores Hernández-Orallo et al. (2015); Herrera-Tapia et al. (2016) explican cómo se realiza la diseminación de mensajes entre dispositivos móviles que no requieren infraestructura fija de telecomunicaciones y con diferente densidad de usuarios (Chancay-Garcia et al., 2018). Como argumentan los autores Yin et al. (2012), la utilización de los canales de comunicación digital como las plataformas de Facebook, Instagram, WhatsApp y, especialmente, Twitter, ofrecen datos oportunos de diferentes individuos u organizaciones que están siendo o no afectados por el evento (desastre natural), y que cumplen el rol de emisores. A través del envío o reenvío de mensajes, se incrementa significativamente la cantidad de información en tiempo real, permitiendo contrastar y verificar lo que está sucediendo, con el objetivo evitar los rumores, dando lugar a que las organizaciones gubernamentales y no-gubernamentales gestionen la crisis con un mayor criterio (Graham, Avery & Park, 2015; Oh, Agrawal & Rao, 2013).

Respecto al estudio de la propagación de tuits y sus variables influyentes, Lin, Lachlan & Spence (2016) analizaron las conductas de propagación de tuits de forma comparada entre ciudadanos chinos y estadounidenses, encontrando similitudes y diferencias en los grupos comparados. Así, según el estudio desplegado en China se retuiteó más contenido informativo (70%), que aquel, que tienen que ver con las emociones.

En base a la estructura de los mensajes en Twitter, y con la utilización de la herramienta Twitter Analytics (Twitter, 2011), se encontraron distintos trabajos de investigación. Los autores Qu et al. (2011) presentaron un estudio acerca del popular Weibo, para investigar cómo los usuarios de internet en China utilizaron esta red social en respuesta a un desastre natural, como fue el terremoto de Yushu, de 2010. Estos investigadores combinaron múltiples métodos de análisis, especialmente de contenido en los mensajes en Weibo, observación de tendencias de diferentes temas, y de la información del proceso de difusión. Este trabajo complementó a los existentes con una exploración de un sistema sociocultural no occidental, como es el uso de servicios de microblogging por usuarios chinos en respuesta a un terremoto. En este mismo contexto, investigadores como Morales et al. (2018), examinaron los contenidos de Twitter durante el terremoto de Iquique, en Chile, para "describir las funciones que cumplían los mensajes emitidos por los usuarios del servicio de Twitter, durante el mes, inmediatamente posterior de acontecido el fenómeno natural" (pág. 343). El método fue de análisis cualitativo de datos en torno a cinco categorías que ellos establecieron. Los autores argumentan que los usuarios emplearon Twitter como plataforma para expresar opinión, convocar a la acción social y manifestar sus emociones.

La diversidad lingüística encontrada en los mensajes, que es una expresión de las emociones, estado de ánimo, acciones y reacciones espontáneas de la ciudadanía atravesando una crisis, permite investigaciones más focalizadas sobre el contenido; que utilizando técnicas de minería de datos dan lugar al concepto de análisis de sentimientos. En los trabajos de Mäntylä, Graziotin & Kuutila (2018); Medhat, Hassan & Korashy (2014) se presentan un amplio estado del arte acerca de las técnicas para el análisis de sentimientos y las metodologías utilizadas para tal efecto.

Bifet et al. (2011) proponen MOA-TweetReader, un sistema en tiempo real para leer los tuits y determinar el cambio de sentimiento en base a las alteraciones más frecuentes en el contenido de los mensajes. De acuerdo con los autores, MOATweetReader es una extensión de la plataforma Massive Online Analysis (MOA), que sirve para la implementación de algoritmos de aprendizaje en línea, basado en cadenas de texto. Aparte del uso de aplicaciones para sondear los sentimientos en Twitter, en el artículo de Pandey, Rajpoot & Saraswat (2017), los autores plantean un nuevo método metaheurístico, denominado (CSK), que se fundamenta en el uso de técnicas de clusterización, fundadas en el método K-medias (k-means), y en el algoritmo de búsqueda y optimización Cukoo. Los resultados prueban la eficacia y el rendimiento de este método para analizar la información en redes sociales.

Debido a la importancia del comportamiento de las personas, el análisis de sentimientos es también aplicado a escenarios laborales, como es el caso de Toyota. Los investigadores Stieglitz & Krüger (2011) argumentan que las herramientas de análisis de sentimientos no consideran la dinámica de las discusiones en un determinado entorno. Su estudio se basa en un conjunto de 730 000 tuits publicados en un tiempo de 19 semanas; empleando métodos lingüísticos, clasificaron sentimientos en diferentes fases de la crisis que atravesó esta importante corporación. Otro tipo de crisis que está muy presente en las sociedades actuales es la de los refugiados. En sendos estudios, Öztürk & Ayvaz (2018); Pope & Griffith (2016) expusieron una indagación de las reacciones; fundamentado en la crisis de refugiados de Siria, se recolectaron un total de 2'381 297 tuits, tanto en el idioma turco como en el inglés y, en la segunda investigación, más de 1'600 000 tuits en alemán e inglés. En estas investigaciones se evidenciaron las reacciones de los países cercanos a la crisis migratoria y, por otro lado, las reacciones de países alejados geográficamente, pero que tienen relación con este proceso migratorio.

En esta investigación se efectuó el análisis de sentimientos de las personas que han sido afectadas por un desastre natural, específicamente por el terremoto de PueblaMéxico, en el 2017, considerando: a) la variación de las emociones y reacciones durante y después de los días de clímax de la crisis; b) patrones en relación con el tipo de tuits (si proviene de organismos o de particulares); y c) patrones de propagación de tuits (retuits) dependiendo del tipo de emoción.

Este documento está organizado de la siguiente forma: luego de esta introducción, que contiene trabajos relacionados a la temática; sigue la sección dos, con la metodología empleada para el análisis de datos; la sección tres con los resultados; y, finalmente, la sección cuatro de la discusión.

2. Metodología

Este trabajo analiza el uso de Twitter para la gestión de las emergencias en el terremoto de México, basado en la evolución de los sentimientos durante un desastre natural, específicamente en la fase de impacto, donde se dispone de la más alta concentración de mensajes, como lo argumentan Méndez et al. (2010). El terremoto del Estado de Puebla, en México, fue de magnitud de 7.1 Mw, y se registró el 19 de septiembre de 2017, a las 13:14, hora local (Diario Excelsior, 2017).

Para el estudio se utilizaron dos dataset. El primero fue adquirido por el equipo de investigación a la empresa Twitter, conteniendo menciones a instituciones mexicanas de atención de emergencias. El segundo fue descargado, utilizando el complemento Twitter Archiver con el hasgtag #terremoto, y cuya localización fue cercana a Puebla, México. En este artículo se denomina Data Con Menciones Institucionales (DCMI) al primer dataset, y Data Sin Menciones Institucionales (DSMI) al segundo.

DCMI es un dataset con un total de 158 706 tuits y retuits, enviados entre el 19/09/2017, a las 13:00 y el 22/09/2017, a las 19:00. Por su parte, DSMI es un dataset de 40 051 tuits y retuits entre el 20/09/2017, a la 01:00 y el 25/09/2017, a las 12:00. El análisis combinado de datasets es una forma de procesamiento sugerida en muchas investigaciones por su carácter comprehensivo (Acar & Muraki, 2011; Gurman & Ellenberger, 2015; HenríquezCoronel et al., 2019; Mendoza, Poblete & Castillo, 2010).

El procesamiento de la información responde a los esquemas generales de la minería de datos. En primer lugar, se clasificó la data en la que tanto DCMI y DSMI coincidían, es decir, entre el 20/09/2017, a las 01:00 y el 22/09/2017, a las 19h00. Desde DSMI se extrajeron los tuits sin duplicados. Un equipo de codificadores, previamente capacitados, se encargó de categorizar manualmente las emociones primarias de cada tuit. En el caso de DCMI, debido a su gran tamaño, se usó un mecanismo de muestreo aleatorio para seleccionar una cantidad similar de tuits sin duplicados, los cuales fueron categorizados de igual manera que en el primer caso.

A continuación, las emociones categorizadas en los tuits sin duplicados fueron replicadas en sus respectivos duplicados para conservar el volumen original de tuits y retuits. Finalmente, DCMI quedó con un total de 31 581 tuits y retuits, mientras que DSMI quedó con 27 835 tuits y retuits.

El análisis de contenidos se lo hizo con el método clásico de libro de códigos, fundamentado en la teoría de Glaser. Específicamente, se partió de la lista de emociones recomendadas por Ekman (1992); Jin et al. (2012); cuarenta codificadores realizaron la codificación manual y se realizó una verificación doble. Previo al análisis masivo de los datos, se seleccionaron 100 tuits al azar que fueron codificados por cada persona, se compararon los códigos asignados y se depuraron los criterios de los codificadores.

3. Resultados

En esta sección se presenta la evolución de las emociones que se expresaron por Twitter durante los tres días siguientes al terremoto de México. Siguiendo la línea de análisis establecida en las preguntas de la investigación, es interesante encontrar las emociones que predominan, los posibles patrones en la evolución temporal de las emociones expresadas en los tuits y los patrones de propagación. Además, surge el cuestionamiento de, si el hecho de que los tuits tuviesen menciones de organismos oficiales, podría influir o no en la emoción que predomina. Los tuits cuyo contenido fue clasificado como de emociones primarias representaron un 29% del total de tuits del DCMI, y 69% del DSMI. Otras investigaciones han encontrado porcentajes menores, como en Morales et al. (2018), con un 7,2%; Acar & Muraki, (2011), con 16%; y Lin et al. (2016), con 39%.

En el conglomerado de los días, el sentimiento que más se repite en los tuits es la ira, para los dos conjuntos de tuits. En el caso de tuits con mención a organismos oficiales (DCMI), la ira está presente en el 42% de los mensajes, mientras en los tuits emitidos por particulares, usando la etiqueta terremoto y que no mencionan organismos oficiales (DSMI), la ira aparece en un 62%. Estas diferencias se aprecian en la Tabla 1.

Se observa la tendencia a un mayor contenido emocional en los tuits de DSMI, que en los de DCMI. La Figura 1 permite apreciar que en DSMI se encuentra una mayor proporción de contenido relativo a la ira y tristeza.

Para facilitar el análisis relacionado a la evolución de sentimientos en el tiempo, se ha dividido cada uno de los tres días estudiados en cuatro bloques horarios (seis horas, cada uno), señalados como P1, P2, P3 y P4.

La Figura 2 muestra la evolución de las emociones en los tres días analizados para el grupo de tuits que no tenían mención a organismos oficiales (DSMI). Se aprecia con claridad que, mientras la reacción de ira experimenta un descenso sostenido en la medida que avanza el tiempo, otras emociones como alegría o tristeza tienen picos que probablemente coinciden con acontecimientos puntuales en el mundo real.

En cambio, para los tuits que contenían mención institucional (DCMI), se observan picos en todas las emociones como se puede apreciar en la Figura 3.

Tal como argumentan los autores Pope & Griffith (2016), los picos asociados a las emociones suelen estar relacionados con eventos del mundo real. En este caso, se observa que DCMI tiene un pico de alegría en el día 20, hecho que podría ser explicado debido a que, a través de la cuenta @gobmx, se compartió la lista de personas que se encontraban en los hospitales, ver Figura 4.

En un segundo análisis se intentó localizar patrones de variación de las emociones en el tiempo. Analizando en detalle la reacción que predomina, es la ira. En la Figura 5 se observa cierta inversión en las curvas. Mientras en DCMI (tuits de organismos), la ira parece ir en aumento conforme pasan las horas y días. En DSMI hay una tendencia a la disminución de la ira presente en los tuits.

El miedo, segunda emoción negativa dominante, evidencia curvas más homogéneas. Ver Figura 6.

Respecto a la tristeza, de acuerdo a la Figura 7, se repite la tendencia con la aparición de picos en fechas y horas específicas. DSMI tiene un pico de tristeza en el día 21, probablemente a que se hizo viral una noticia sobre un niño que nunca fue rescatado en el terremoto de México, de 1985.

Finalmente, es interesante averiguar los patrones de propagación de los tuits, para esto se procedió a comparar el número de retuits obtenidos para cada emoción. Se observa en la Figura 8, que para DCMI la emoción negativa que más se retuitea es la ira, seguida del miedo. En cambio, en el DSMI, se retuitea la ira, seguida de tristeza y con porcentaje mucho más alto que los de DCMI.

Otro patrón que analizar es el temporal, para determinar si hay diferencias en los retuits en la medida que avanza el tiempo. Las Figuras 9 y 10 muestran la evolución temporal para DCMI y DSMI. Tal como se observa en los gráficos, mientras en el dataset DCMI se observan picos irregulares, en DSMI hay mayor homogeneidad en cuanto al porcentaje de retuits, que fluctúa entre 60% y 100% para todas las emociones.

Finalmente, se indaga si la franja horaria influye en el número de tuits emitidos. Se calcularon los promedios de tuits por cada franja, P1, P2, P3 y P4, con independencia de las emociones. Se obtuvo que, para el dataset DCMI, los promedios de tuits de las cuatro franjas horarias eran bastante similares, con una desviación estándar de 0,02; y, siendo P2, la franja de mayor tuiteo, con 52%. Respecto al dataset DSMI, P2 es la franja de más retuits con 68%.

4.Discusión

Este estudio ha permitido responder las preguntas base y comprobar hallazgos de otros investigadores, a la vez que ha abierto nuevas interrogantes y líneas para un trabajo futuro. Los tuits que mencionan organismos, DCMI, tienen menos contenido emocional que aquellos tuits del DSMI. Probablemente, lo expuesto por algunos autores, respecto a que algunas personas entrevistadas por ellos opinaron que las etiquetas de Twitter -en caso de terremoto- deberían ser usadas solo para acciones concretas de ayuda y no para expresión de emociones, podría explicar estas opiniones del público. Sin embargo, otros autores confirman la importancia de las emociones como mediadores de las respuestas del público hacia las crisis.

En el caso de desastres naturales como los terremotos, las emociones que se hacen presentes en las primeras horas del terremoto son ira, miedo y tristeza, como ya evidenciaron distintos autores. Sin embargo, en los dataset analizados su distribucion en el tiempo no está normalizada, sino que parece responder a acontecimientos externos que actúan como activadores de la emoción. En el caso de la principal emoción, la ira, lleva un curso decreciente conforme pasa el tiempo para el DSMI, mientras presenta picos para el dataset DCMI.

En los conjuntos de datos de este trabajo se observa una tendencia a retuitear preferentemente las emociones de ira y alegría, y se retituea más en DSMI que en DCMI. En cuanto a temporalidad, en los tuits emitidos por particulares (DSMI) hay mayor regularidad y fluctúa entre el 60% y 100%. En DCMI parece que las fluctuaciones no siguen un patrón. La franja horaria donde más se tuitea es en P2, de 06:00 a 12:00, en ambos datasets. En síntesis, los patrones de redistribución de tuits están más asociados a la emoción que al tiempo.

Todas las emociones generan una actitud. Es importante medir y precisar cómo evolucionan esas emociones para enviar mensajes apropiados y lograr una gestión más adecuada de las crisis. Debido a que, en los primeros momentos de la crisis, la gente necesita ganar tiempo para entender la situación antes de estar disponible para organizarse y participar. Así que las emociones de estos primeros momentos pueden ser mediadores importantes en la disposición posterior a la acción.

Aunque en este trabajo se analizó un grupo amplio de tuits y fueron escogidos aleatoriamente; futuras investigaciones deberán plantear modelos de regresión que permita identificar las variables que condicionan los patrones de propagación de los tuits en las crisis por desastres naturales. Otro reto para futuros trabajos es analizar la relación entre las emociones primarias y secundarias, y su papel mediador en la comunicación de crisis, utilizando técnicas de minería de texto.

References

Referencias

Acar, A., & Muraki, Y. (2011). Twitter for crisis communication: lessons learned from Japan's tsunami disaster. International Journal of Web Based Communities, 7(3), 392. doi.org/10.1504/IJWBC.2011.041206

Bifet, A., Holmes, G., Pfahringer, B., Gavalda, R., & Figuerol. (2011). Detecting sentiment change in Twitter streaming data. Journal of Machine, 17, 5-11. doi.org/ıo.ıoı6/j. eswa.2012.07.059

Chancay-Garcia, L., Herrera-Tapia, J., Manzoni, P., Hernandez-Orallo, E., Calafate, C. T., & Cano, J.-C. (2018). Evaluation of Routing Protocols for Opportunistic Networks in Scenarios with High Degree of People Renewal. In 2018 IEEE 32nd International Conference on Advanced Information Networking and Applications (AINA) (pp. 228-235). IEEE. DOI: 10.1109/AINA.2018.00044

Chatfield, A. T., Scholl, H. J. J., & Brajawidagda, U. (2013). Tsunami early warnings via Twitter in government: Net-savvy citizens' co-production of time-critical public information services. Government Information Quarterly, 30(4), 377-386. DOI: 10.1016/j.giq.2013.05.021

Ekman, P. (1992). An Argument for Basic Emotions. Cognition and Emotion, 6(May 2013), 169-200.

Graham, M. W., Avery, E. J., & Park, S. (2015). The role of social media in local government crisis communications. Public Relations Review, 41(3). DOI: 10.1016/j. pubrev.2015.02.001

Gurman, T. A., & Ellenberger, N. (2015). Reaching the global community during disasters: Findings from a content analysis of the organizational use of twitter after the 2010 haiti earthquake. Journal of Health Communication, 20(6), 687-696. DOI: 10.1080/10810730.2015.1018566

Henríquez-Coronel, P., Barredo-Ibáñez, D., & Trámpuz, J. P. (2018). El papel del medio y las emociones en la comunicación en crisis. Estudio experimental de Twitter, Facebook y ELCOMERCIO.com en Ecuador / The role of media and emotions in crisis communication: Experimental study about Twitter, Facebook and ELCOMERCIO. com. Revista Internacional de Relaciones Públicas, 8(16), 187-206. DOI: 10.5783/ REVRRPP.V8I16.537

Henríquez-Coronel, P., García García, J., & Herrera-Tapia, J. (2019). Management of Natural Disasters Based on Twitter Analytics. 2017 Mexico Earthquake (pp. 3-12). Springer, Cham. DOI: 10.1007/978-3-030-11890-7_1

Hernandez-Orallo, E., Herrera-Tapia, J., Cano, J. C., Calafate, C. T., & Manzoni, P. (2015). Evaluating the Impact of Data Transfer Time in Contact-Based Messaging Applications. IEEE Communications Letters, 19(10), 1814-1817. DOI: 10.1109/ LCOMM.2015.2472407

Herrera-Tapia, J., Hernández-Orallo, E., Tomás, A., Manzoni, P., Calafate, C. T., & Cano, J. C. (2016). Friendly-sharing: Improving the performance of city sensoring through contact-based messaging applications. Sensors (Switzerland), 16(9). DOI: 10.3390/s16091523

Huang, Q., & Xiao, Y. (2015). Geographic Situational Awareness: Mining Tweets for Disaster Preparedness, Emergency Response, Impact, and Recovery. ISPRS International Journal of Geo-Information, 4(3), 1549-1568. DOI: 10.3390/ ijgi4031549

Hussein, D. M. E. D. M. (2018). A survey on sentiment analysis challenges. Journal of King Saud University - Engineering Sciences, 30(4), 330-338. DOI: 10.1016/j. jksues.2016.04.002

Jin, Y., Pang, A., & Cameron, G. T. (2012). Toward a Publics-Driven, Emotion-Based Conceptualization in Crisis Communication: Unearthing Dominant Emotions in Multi-Staged Testing of the Integrated Crisis Mapping (ICM) Model. Journal of Public Relations Research, 24(3), 266-298. DOI: 10.1080/1062726X.2012.676747

Klonner, C., Marx, S., Usón, T., Porto de Albuquerque, J., & Höfle, B. (2016). Volunteered Geographic Information in Natural Hazard Analysis: A Systematic Literature Review of Current Approaches with a Focus on Preparedness and Mitigation. ISPRS International Journal of Geo-Information, 5(7), 103. DOI: 10.3390/^5070103

Lin, X., Lachlan, K. A., & Spence, P. R. (2016). Exploring extreme events on social media: A comparison of user reposting/retweeting behaviors on Twitter and Weibo. Computers in Human Behavior, 65(July), 576-581. DOI: 10.1016/j. chb.2016.04.032

Liu, B. F., Fraustino, J. D., & Jin, Y. (2015). How Disaster Information Form, Source, Type, and Prior Disaster Exposure Affect Public Outcomes: Jumping on the Social Media Bandwagon? Journal of Applied Communication Research, 43(1), 44-65. doi.org/10.1080/00909882.2014.982685

Mäntylä, M. V., Graziotin, D., & Kuutila, M. (2018). The evolution of sentiment analysis-A review of research topics, venues, and top cited papers. Computer Science Review, 27, 16-32. DOI: 10.1016Zj.cosrev.2017.10.002

Medhat, W., Hassan, A., & Korashy, H. (2014). Sentiment analysis algorithms and applications: A survey. Ain Shams Engineering Journal, 5(4), 1093-1113. DOI: 10.1016/j.asej.2014.04.011

Méndez, M. D., Leiva, M. C., Bustos, C. B., Ramos, N. A., & Moyano-Díaz, E. (2010). Mapa exploratorio de intervenciones psicosociales frente al terremoto del 27 de Febrero de 2010 en la Zona Centro-Sur de Chile. Terapia Psicológica, 28(2), 193202. DOI: 10.4067/S0718-48082010000200008

Mendoza, M., Poblete, B., & Castillo, C. (2010). Twitter Under Crisis: Can we trust what we RT?

Morales, M. C., Cabezas, N. G., Jaime, K., & Rendić, F. (2018). Uso De Twitter En Desastres: El Terremoto De Iquique. Interciencia, 43(May), 343-350.

Oh, O., Agrawal, M., & Rao, H. R. (2013). Community Intelligence and Social Media Services: A Rumor Theoretic Analysis of Tweets During Social Crises. MIS Quarterly, 37(2), 407-426. DOI: 10.25300/MISQ/2013/37.2.05

Öztürk, N., & Ayvaz, S. (2018). Sentiment analysis on Twitter: A text mining approach to the Syrian refugee crisis. Telematics and Informatics. DOI: 10.1016/j. tele.2017.10.006

Pandey, A. C., Rajpoot, D. S., & Saraswat, M. (2017). Twitter sentiment analysis using hybrid cuckoo search method. Information Processing and Management, 53(4), 764-779. DOI: 10.1016/j.ipm.2017.02.004

Pope, D., & Griffith, J. (2016). An Analysis of Online Twitter Sentiment Surrounding the European Refugee Crisis. Proceedings of the 8th International Joint Conference on Knowledge Discovery, Knowledge Engineering and Knowledge Management, 1(Ic3k), 299-306. DOI: 10.5220/0006051902990306

Porto de Albuquerque, J., Herfort, B., Brenning, A., & Zipf, A. (2015). A geographic approach for combining social media and authoritative data towards identifying useful information for disaster management. International Journal of Geographical Information Science, 29(4), 667-689. DOI: 10.1080/13658816.2014.996567

Qu, Y., Huang, C., Zhang, P., & Zhang, J. (2011). Microblogging after a major disaster in China. Proceedings of the ACM 2011 Conference on Computer Supported Cooperative Work - CSCW'11, (July 2016), 25. DOI: 10.1145/1958824.1958830

Starbird, K., & Palen, L. (2010). Pass it on?: Retweeting in mass emergency. Proceedings of the 7th International ISCRAM Conference, (December 2004), 1-10. DOI: 10.1111/j.1556-4029.2009.01231.x

Stieglitz, S., & Krüger, N. (2011). Analysis of sentiments in corporate Twitter communication-A case study on an issue of Toyota. Analysis, 1, 1-2011.

Stojanovski, D., Chorbev, I., Dimitrovski, I., & Madjarov, G. (2016). Social Networks VGI : Twitter Sentiment Analysis of Social Hotspots. European Handbook of Crowdsourced Geographic Information, 223-235.

Twitter, I. (2011). Twitter Analytics. DOI: 10.1360/zd-2013-43-6-1064

Wang, Z., & Ye, X. (2017). Social media analytics for natural disaster management. International Journal of Geographical Information Science, 32(1), 49-72. DOI: 10.1080/13658816.2017.1367003

Wolny, W. (2016). Emotion analysis of twitter data that use emoticons and emoji ideograms. In 25thInternational Conference on Information Systems Development, ISD 2016.

Yin, J., Lampert, A., Cameron, M., Robinson, B., & Power, R. (2012). Using social media to enhance emergency situation awareness. IEEE Intelligent Systems, 27(6), 52-59. DOI: 10.1109/MIS.2012.6