La comunicación entre investigadores en Twitter. Una etnografía virtual en el ámbito de las ciencias de la documentación/Researchers' communication on Twitter. A virtual ethnography in the area of information science

Abstract

The present article analyzes the scientific communication that takes place on Twitter. Its aim is to understand and describe the types of scientific activities that occur on this platform, by identifying the type of information exchanged and the activities that researchers perform. Thus we attempt to better understand the number of times that research work is mentioned within a specific context. We followed a group of researchers and professionals with Twitter profiles who had published at least 3 articles in the journal EPI between 2009 and 2013. The research methodology was qualitative using virtual ethnography based on non-participant observation. Among the main conclusions, we found that researchers use Twitter mostly as a way to make their professional activity public and to disseminate their own research works or those of close collaborators, in order to give them more visibility and impact.

Headnote

Resumen: La presente investigación se centra en el estudio de la comunicación científica en Twitter. Pretende conocer y describir el tipo de actividad científica que tiene lugar en esta plataforma, identificando el tipo de información que se difunde y el tipo de actividad que realizan los científicos estudiados.Se analiza una muestra de investigadores del área de ByD que publicaron al menos 3 artículos en la revista EPI en el periodo 2009-2013 y con presencia en Twitter. Para ello empleamos una metodología de tipo cualitativo, utilizando el método de la etnografía virtual, basada en la técnica de la observación no participante. Como principales conclusiones encontramos que los investigadores utilizan Twitter fundamentalmente para una comunicación científica informal, así como para dar a conocer su actividad profesional y difundir sus propias publicaciones científicas, para darles así mayor visibilidad e impacto.

Palabras clave: comunicación científica; etnografía virtual; altmétricas; Twitter; web social.

Researchers' communication on Twitter. A virtual ethnography in the area of information science

Abstract: The present article analyzes the scientific communication that takes place on Twitter. Its aim is to understand and describe the types of scientific activities that occur on this platform, by identifying the type of information exchanged and the activities that researchers perform. Thus we attempt to better understand the number of times that research work is mentioned within a specific context. We followed a group of researchers and professionals with Twitter profiles who had published at least 3 articles in the journal EPI between 2009 and 2013. The research methodology was qualitative using virtual ethnography based on non-participant observation. Among the main conclusions, we found that researchers use Twitter mostly as a way to make their professional activity public and to disseminate their own research works or those of close collaborators, in order to give them more visibility and impact.

Keywords: Scientific communication; virtual ethnography; altmetrics; Twitter; social web; information science.

Copyright: © 2016 CSIC. Este es un artículo de acceso abierto distribuido bajo los términos de la licencia Creative Commons Attribution (CC BY) España 3.0.

1. INTRODUCCIÓN

En los últimos años, la comunicación científica ha experimentado un cambio muy significativo gracias al desarrollo de Internet y los medios digitales. La consolidación del movimiento de Acceso Abierto a la literatura científica y la aparición de las herramientas de la Web 2.0 y su aceptación por parte de la comunidad científica han supuesto el paso de la publicación en papel al formato electrónico, así como la ampliación de los distintos canales de comunicación (Robinson García y otros, 2011). Paralelamente, en el ámbito de la evaluación de la ciencia, muchos indicadores bibliométricos tradicionales, empezando por el factor de impacto, se perciben como cada vez más inadecuados para captar el auténtico valor del trabajo científico (Aleixandre Benavent y otros, 2007; Priem y otros, 2010; Torres Salinas y otros, 2013). En este contexto, la comunidad científica se ha planteado la posibilidad de establecer nuevos indicadores para medir y evaluar la actividad investigadora y su impacto (Priem y Hemminger, 2010; Torres Salinas y otros, 2013). El movimiento de las altmétricas considera que estos nuevos indicadores pueden encontrarse en la web social, en la actividad que muchos científicos desarrollan en plataformas como Twitter, Facebook, blogs, o la Wikipedia (Priem y Costello, 2010). La web 2.0 permite estudiar los rastros de la comunicación científica informal que hace un tiempo era prácticamente imposible reconstruir, porque tenían lugar en un espacio privado (Priem, 2014). Los objetos de medición varían dependiendo de la plataforma, pudiendo ser las menciones de un trabajo o de un autor en Twitter, Facebook o en un blog, o las estadísticas de lectura que ofrece el gestor de referencias Mendeley (Priem y Hemminger, 2010).

Mucha literatura sobre altmétricas ha estudiado su significado en comparación con los indicadores tradicionales, concretamente las citas, a través de análisis de correlación. La mayoría de los trabajos realizados en este sentido confirma que, aunque altmétricas y citaciones pueden presentar una correlación positiva, en el sentido de que los trabajos muy mencionados en la web social también suelen ser trabajos muy citados, esta relación es más bien débil, apuntando a que las altmétricas miden otro tipo de impacto respecto a las citas (Cabezas Clavijo y Torres Salinas, 2010; Eysenbach, 2011; Thelwall y otros, 2013; Shuai y otros, 2012; Costas y otros, 2014).

Debido a que la investigación sobre altmétricas ha utilizado ampliamente las pruebas de correlación, algunos autores subrayan la necesidad de decantarse por estrategias de análisis diferentes, que permitan comprender a fondo el potencial de las altmétricas cara a los procesos de evaluación de la ciencia, como entrevistas y cuestionarios sobre las razones para mencionar la investigación en la web social (Sud y Thelwall, 2014). En este sentido, Priem (2014) insiste sobre la necesidad de conocer con mayor profundidad el uso que la comunidad académica asigna a las herramientas de las que se obtienen los indicadores alternativos, porque en este contexto se define la naturaleza de los propios indicadores y su significado en el marco de la comunicación científica.

La presente investigación tiene como objeto el estudio de la comunicación científica en Twitter, y concretamente pretende conocer y describir el tipo de actividad científica que tiene lugar en esta plataforma, identificando el tipo de información que se difunde y el tipo de actividad que realizan los científicos analizados. Para lograr estos objetivos, nos proponemos investigar a un grupo de investigadores y profesionales del ámbito de la documentación y la información con presencia en Twitter, una de las principales plataformas para la difusión de la actividad científica e investigadora, cuya utilización por parte de científicos y profesionales es cada vez mayor (Arroyo, 2012). Se trata además de la plataforma más estudiada en el ámbito de la literatura altmétrica (Priem y Costello, 2010; Weller y otros, 2011; Holmberg y Thelwall, 2014). Sin embargo, muchos de los trabajos que tratan de Twitter como plataforma para la comunicación científica informal se han realizado mediante la recopilación automática y aleatoria de tuits empleando algún tipo de software o desarrollando los APIs de Twitter, y analizando los contenidos así recopilados (Letierce y otros, 2010; Holmberg y Thelwall, 2014). En estos casos, el análisis de contenido como estrategia de estudio se centra en grandes cantidades de textos y en la clasificación de tuits seleccionados aleatoriamente, dejando de lado el contexto comunicativo en el cual se intercambian. Sin tener en cuenta que algunos de estos trabajos, como por ejemplo el de Holmberg y Thelwall (2014), concluyen exponiendo la necesidad de realizar estudios cualitativos que contribuyan a la consolidación de un marco teórico. En esta investigación, nos proponemos abordar la temática desde un punto de vista cualitativo con la intención de conocer con mayor profundidad la naturaleza de la comunicación científica en Twitter y, además, corroborar y, en su caso, complementar las conclusiones a las que otros investigadores han llegado en trabajos previos.

2. METODOLOGÍA

Para la realización de esta investigación hemos empleado una metodología cualitativa, utilizando para ello el método de la etnografía virtual basada en la técnica de la observación no participante. La etnografía virtual, también llamada etnografía digital o netnografía, surge como una nueva estrategia metodológica desarrollada para entender la realidad social que tiene lugar en el ciberespacio, donde se crean vínculos y relaciones entre personas, grupos y comunidades (Fresno, 2011). En un contexto social online, el investigador practica la observación pudiendo decidir si ésta es participante o no participante, es decir si piensa intervenir o no en las dinámicas del grupo estudiado. A diferencia de la etnografía tradicional, la netnografía permite generar conocimiento relevante sin que el investigador entre a formar parte del campo objeto de estudio, evitando así la posibilidad de interferir y modificar la conducta o el modo de actuar de los miembros de la comunidad estudiada (Casas Romeo y otros, 2008). Hine (2015) recomienda la interacción y la observación participante para la etnografía virtual, aunque reconoce que no existe una única fórmula y que cada caso exige estrategias adaptables. En el presente estudio, la decisión de realizar una observación no participante se tomó teniendo en cuenta la escasa interactividad que observamos en la comunidad estudiada y de la dificultad de integrarse en la plataforma a la par con los participantes. Optamos, en línea con las directrices metodológicas descritas por Kozinets (2009), por añadir a las notas de campo derivadas de la observación otros datos, concretamente algunos datos estadísticos relativos a los participantes, las actividades realizadas y los trabajos científicos mencionados, según indicamos más adelante.

Para la selección de la muestra de investigadores objeto de estudio descartamos la estrategia adoptada en Calvillo (2013). Calvillo genera una muestra de todos los miembros de la comunidad documental en Twitter, seleccionando a todos aquellos que en su respectivo perfil se autodefinen como documentalistas, bibliotecarios o archiveros y que hayan publicado algún tuit en español durante el periodo de etnografía. Sin embargo, es común que los profesionales de la documentación se presenten con diferentes denominaciones, como content curator, community manager, bibliómetras, entre otras. Por otro lado, queríamos seleccionar una muestra suficientemente manejable en un estudio de tipo cualitativo y que presentara cierto grado de conexión interna, pues la etnografía se centra en estudiar las interacciones dentro de grupos reducidos de participantes. Por estas razones, la muestra se seleccionó a partir de un trabajo previo de Torres Salinas y Milanés Guisado (2014), en el cual los autores, para analizar la presencia de un grupo de investigadores y profesionales del ámbito de la información y la documentación en diferentes redes sociales, toman como muestra a los investigadores que han publicado al menos tres artículos en la revista El Profesional de la Información entre los años 2009 y 2013, 47 en total, de los cuales 26 disponen de un perfil en Twitter. Por tanto, nuestra muestra está compuesta por los 26 investigadores identificados por los autores de este trabajo (Tabla I). Como puede apreciarse en la Tabla I, los autores están afiliados con 14 instituciones diferentes, aunque destacan dos instituciones catalanas, la Universidad Pompeu Fabra (6) y la Universitat de Barcelona (3). La muestra está compuesta principalmente por investigadores de sexo masculino, - 24 frente a 2 de sexo femenino - que suman, en conjunto, un total de 29.249 seguidores - muchos de los cuales puede que sigan a más autores de la muestra. Entendemos que estos seguidores, considerando la naturaleza fundamentalmente profesional y de investigación de los tuits intercambiados, está interesada en contenidos relacionados con la documentación e información. En el periodo estudiado, se publicaron un total de 3492 tuits.

Entendimos que los investigadores participantes, al haber publicado intensamente en la misma revista, presentarían cierto grado de conexión recíproca para poderles calificar como grupo o comunidad. La existencia de relaciones recíprocas quedó confirmada en el análisis de redes que realizamos, importando datos sobre las relaciones que los usuarios establecen en Twitter a través de la opción "Seguir" (Figura 1). Los datos para la elaboración del mapa se extrajeron el día 13 de noviembre de 2014 utilizando el programa informático NodeXL y se editaron con Gephi. En la Figura 1, los investigadores de la muestra se dividen en 6 comunidades, cada una de un color, en función de las relaciones recíprocas que establecen en Twitter. Dos de éstas solo cuentan con un investigador. El tamaño de los nodos representa el número de seguidores totales de cada investigador en Twitter. Con carácter general, es posible apreciar que las distintas comunidades reúnen a investigadores de áreas afines, aunque con algunas excepciones. La comunidad de color fucsia, por ejemplo, representa al área de bibliometría, la verde periodismo y comunicación, la turquesa tecnología, siendo la roja la más heterogénea, con predominio de investigadores y profesionales del ámbito de las bibliotecas y fuentes de información.

Una vez identificados y seleccionados los investigadores que conforman la muestra, procedimos a crear un perfil en Twitter, incluyendo nombre y apellidos reales, así como una breve descripción de nuestros intereses profesionales y académicos, para poder ser claramente identificados. A continuación, buscamos y comenzamos a seguir a los diferentes usuarios que forman parte de la muestra. El periodo de observación ha tenido, finalmente, una duración de 3 meses, entre el 1 de diciembre de 2014 y el 28 de febrero de 2015. El procedimiento que hemos seguido ha sido el siguiente: durante este periodo de tiempo, una de las dos autoras ha observado diariamente todos los tuits que los investigadores iban publicando en sus perfiles de Twitter y tomando notas en un diario que asciende a un total de 79 páginas. En las notas de campo se resumían diariamente los eventos comunicativos más destacados, incluyendo información contextual, como por ejemplo referencias a acontecimientos de actualidad, generales o de la disciplina, o a otros usuarios de Twitter. Asimismo, el diario nos ha permitido asimilar la avalancha de tuits diarios y ha funcionado como un espacio en el que se ha ido definiendo el esquema clasificatorio que aplicamos a los resultados. Para analizar los resultados, optamos por clasificar el tipo de comunicación que observamos a posteriori, una vez recogidos todos los datos, caracterizando las actividades más comunes y recurrentes durante el período estudiado. Finalizado el periodo de observación y definido el esquema de clasificación, procedimos a clasificar una muestra aleatoria correspondiente al 10% de los tuis publicados. En el siguiente apartado, presentamos los resultados de esa clasificación así como una descripción de las diferentes actividades comunicativas a través de ejemplos significativos.

2.1. Cuestiones éticas

A la hora de presentar los resultados nos enfrentamos con varias problemáticas de tipo ético. Por un lado, el rigor de la investigación cualitativa requiere que los datos - en este caso los tuits y las acciones emprendidas por los autores de la muestra - se presenten en abundancia y con detalles (Tracy, 2010); por otro, en este caso concreto es difícil desvincular los datos de las personas que los produjeron. En los trabajos etnográficos, los contenidos sensibles, como transcripciones de entrevistas, suelen reproducirse a través de pseudónimos. Sin embargo, en este caso, dada la publicidad de Twitter, el anonimato no sería garantía para los participantes, ni para nuestra libertad, como autores, de interpretar los resultados. Actualmente, no existen directrices claras y oficiales sobre la ética aplicada a la investigación en el ámbito de las ciencias de la documentación. En otras áreas, las directrices éticas disponibles sugieren por lo menos la necesidad de informar a los individuos que van a ser analizados y de solicitar su consentimiento, como en la guía elaborada por The British Psychological Society (2013). Pickard (2012) considera que todas las investigaciones etnográficas y netnográficas deben realizarse de forma abierta, por lo que el investigador debería informar a los miembros de las comunidades objeto de estudio sobre el propósito, los objetivos y el proceso de la investigación a la que están siendo sometidos. Si bien es cierto que Twitter es una plataforma pública en la que cualquier individuo, incluso sin tener una cuenta creada, puede acceder a los contenidos que los usuarios publican, en las redes sociales la línea de separación entre lo público y lo privado puede no estar del todo clara (Casas Romeo y otros, 2014). Además, cabe añadir para el presente caso que, aunque es verdad que los autores optan voluntariamente por la publicidad de su comunicación, algunos comportamientos o formas de participar en esta comunicación informal pueden verse como negativos. El ejemplo más obvio es la actitud narcisista que mucha literatura sobre comunicación científica en Twitter ha destacado (Boyd y otros, 2010). Con la diferencia de que, en estudios previos, el análisis se ha realizado a partir de muestras aleatorias de tuis, presentando de esta forma un componente ético menos problemático. Con todas estas consideraciones decidimos proceder de la siguiente manera. Por un lado, solicitamos el consentimiento de los investigadores que fueron activos en el periodo de observación (5 quedaron inactivos), y recibimos su consentimiento en todos los casos excepto uno, que no contestó y cuya participación no queda reflejada en los resultados. Por otro lado, en el análisis de los resultados, se incluyen transcripciones de algunos tuits, indicando el autor o autores de los mismos, con el objetivo de ejemplificar y justificar la descripción que proponemos de la comunicación científica en la muestra estudiada. Sin embargo, en la narración enfatizamos más bien las actividades realizadas, los eventos, o los objetos mencionados, sin centrarnos en personas en concreto. De esta forma, intentamos garantizar la credibilidad de nuestra investigación y a la vez proteger a las personas involucradas.

3. RESULTADOS

Los investigadores analizados utilizan Twitter fundamentalmente como plataforma para la difusión de contenidos científicos y de interés para documentalistas y otros profesionales de la información y la comunicación. Adicionalmente, pueden utilizar la plataforma para difundir contenidos no científicos e interactuar con otros usuarios. La actividad de los investigadores estudiados puede caracterizarse fundamentalmente de cuatro maneras: 1) difusión de contenidos de carácter científico, 2) difusión de contenidos relevantes para la disciplina, 3) difusión de contenidos no científicos, y 4) interacción de los investigadores con otros usuarios. Estas actividades se han cuantificado clasificando una muestra del 10% de los tuits publicados en el periodo de estudio (Tabla II). Las referencias a la literatura científica representan solo un 16,6 % de los tuits, mientras que la difusión de contenidos relevantes para la disciplina de corte más bien profesional acaparan un 29,7% de toda la actividad comunicativa.

A continuación, describimos a través de ejemplos las diferentes actividades comunicativas.

3.1. Difusión de contenidos de carácter científico

a) Eventos científicos

Los miembros de la comunidad estudiada utilizan Twitter como plataforma para la difusión de diferentes acontecimientos de tipo académico como congresos científicos, seminarios de investigación, conferencias o jornadas profesionales. Los investigadores pueden anunciar y difundir los programas de conferencias, congresos o jornadas, informar sobre los plazos de aceptación de comunicaciones e inscripciones o enlazar con el sitio web a través del cual se pueden seguir en streaming, como puede verse en los siguientes tuits de Jorge Serrano:

"Un montón de comunicaciones en el Congreso comunica2gandía.com/blog organizado por el @mastercalsi en Social Media de la UPV"

"¡Ya está! Online el streaming del congreso de Redes Sociales/Social Media de #comunica2 en comunica2gandia.com"

A veces la información sobre congresos o jornadas se anuncia en repetidas ocasiones, a través del retuiteo de otras fuentes. Este es el caso, por ejemplo, del XIV Workshop REBIUN de Proyectos Digitales, Los horizontes de los Repositorios, retuiteado por José Antonio Merlo a través del perfil de Rebiun o del Observatorio del Libro:

"Workshop/Jornadas Los horizontes de los repositorios. Propuestas de comunicaciones hasta el 25 de enero de 2015: uco.es/rebiunworkshop..."

Además de difundir información previa, algunos investigadores publicaron tuits en tiempo real durante la celebración de los congresos, difundiendo ideas o mensajes extraídos de las comunicaciones y ponencias con la intención de utilizar Twitter a modo de foro de debate. En estos casos, lo habitual es que desde la organización del congreso se comunique el hashtag oficial del congreso, para que todos aquellos interesados en participar con sus comentarios a través de Twitter puedan incluirlo en sus tuits, algo que podemos apreciar en el siguiente tuit de Lluis Codina:

"@acj2015: Check out this reading list eventum. upf.edu/event_detail/1... Participants are welcome to take part in the discussion using #ACJ2015"

Algunas veces Twitter puede servir para enlazar con contenidos más amplios, como la crónica del congreso o un resumen de los temas abordados en él, publicados en otro lugar como un blog o una página web. Por ejemplo, la crónica de la VII Jornada Profesional de la RBIC "Big data y bibliotecas: convertir datos en conocimiento", celebrada el día 11 de diciembre de 2014, se publicó en el blog de la revista El Profesional de la Información, al que se remite al lector a través de un tuit:

"Crónica de la #viijornadarbic sobre #bigdatapor @cirolluecaen blog de @revista_EPIelprofesionaldelainformacion. com/notas/cronica..."

b) Contenidos científicos

Otra actividad común en la muestra de investigadores estudiados es difundir y compartir trabajos y productos científicos con otros usuarios de la red, tanto los artículos de científicos realizados por el propio investigador que lo publica en Twitter o por miembros y compañeros de su grupo de investigación, como trabajos firmados por otros autores. Consideramos artículos científicos aquellos que se publican en revistas científicas tras pasar por un proceso de revisión por pares. Quedan incluidas en este grupo las tesis doctorales y trabajos de fin de máster dirigidos por investigadores de la muestra estudiada.

Durante el período de estudio, los investigadores que forman parte de la muestra han publicado tuits que enlazaban tanto con sus propios trabajos científicos, sobre todo artículos o monografías, o los de compañeros del mismo grupo de investigación, como con artículos de investigadores menos próximos. Son algo menos frecuentes los casos en los cuales los autores enlazan con artículos científicos de autores menos próximos (Tabla III).

A continuación se muestra un ejemplo de un tuit de Álvaro Cabezas en el que se da a conocer el trabajo de otros compañeros o investigadores que forman parte del mismo grupo de investigación que su autor:

"1a app bibliométrica basada en perfiles de Google Scholar para la UGR, creada por @torressalinas y @EveryTech apps.ugr.es/app_ ugrinvestiga...."

En ocasiones, los artículos de investigación que se difunden a través de Twitter son, habitualmente, versiones pre-print archivadas en repositorios que permiten a los usuarios el acceso al documento a texto completo, aunque también encontramos algunos que llevan a la página web de la revista que lo publica y requiere suscripción para poder consultarlos.

La gran cantidad de monografías recomendadas, muchas veces en bloque, a través de Twitter se debe, en este caso concreto, a la iniciativa de un investigador de la muestra, con lo cual estos datos deben relativizarse. Por otro lado, hay que tener en cuenta que entre los artículos tuiteados por los autores de la muestra destacan los artículos científicos y las monografías publicados y editados por las revistas El profesional de la Información (EPI) y BiD: Textos Universitaris de Biblioteconomia i Documentaciò. En la difusión de estas publicaciones entendemos que los investigadores actúan en su rol de editores o miembros de los respectivos comités científicos, pues la mayoría de los investigadores que tuitean estas publicaciones forman parte del equipo editorial de EPI o de BiD.

En el período que duró la observación, varios usuarios han retuiteado mensajes publicados en el perfil de EPI o de BiD, en los que se anunciaba la publicación de artículos, enlazando con la página web de la revista, según podemos apreciar en los siguientes tuits publicados por Enrique Orduña y Mario Pérez-Montoro:

"Los sexenios de investigación, de @acabezas y @torressalinas, ya está en imprenta y pronto se podrá adquirir"

"Nou número de la @revistaBiDdedicat a @contingutsaudiovisuals", cordinat per @guallar"

Además de artículos científicos, algunos investigadores también difunden monografías y libros profesionales de diversas disciplinas, por ejemplo, a través de blogs académicos, como podemos ver en este tuit de Julio Alonso, en el que difunde una monografía sobre altmétricas en el blog Universo Abierto de la Universidad de Salamanca:

"Altmetrics y comunicación de la investigación médica http://www.universoabierto.com/18384/ almetrics..."

Además de artículos y productos científicos, algunos de los investigadores seleccionados dan a conocer tesis doctorales que han dirigido, que pueden estar almacenadas en repositorios institucionales.

La sintaxis de los tuits que difunden publicaciones científicas puede variar. En ocasiones, en los tuits se incluye el título del artículo, a veces mencionando a su autor, incluso si es el mismo usuario que lo tuitea, y un enlace al documento:

"'A review of Theory and Practice in Scientometrics' by John Mingers and Loet Leydesdorffis now available as fb.me/4fi9gFXSD"

Otras veces, el autor incluye, en vez del título, una idea extraída del propio artículo que la persona que lo tuitea considera relevante o, incluso, su propia opinión:

"Interesting state-of-the-art on the field of #scientometrics arxiv.org/abs/1501.05462 by @LoetLeydesdorff"

También hemos observado que algunos investigadores utilizan Twitter para informar a sus seguidores sobre los proyectos en los que están trabajando y anunciar próximas publicaciones científicas, como en los ejemplos que siguen de Daniel Torres Salinas y Nicolás Robinson:

"Ultimando un nuevo #ugrinvestiga con perfiles de investigadores y grupos #ugr>ejm: investigacion. ugr.es/ugrinvestiga.."

"Soon in @jasist @torressalinas 'Analyzing data citation patterns according to the Data Citation Index' #ec3metrics"

3.2. Difusión de contenidos relevantes para la disciplina

Twitter es también una plataforma que los investigadores estudiados utilizan para publicar contenidos que, si bien no son puramente científicos, sí son interesantes y relevantes para la disciplina.

a) Difusión de información práctica y consejos útiles para investigadores y científicos

Una de las actividades que tiene lugar en esta plataforma de microblogging es la difusión de información práctica dirigida a investigadores y científicos. Por ejemplo, los primeros días de la observación y recogida de información han coincidido con la publicación en el Boletín Oficial del Estado de los criterios específicos de evaluación de la Comisión Nacional Evaluadora de la Actividad Investigadora (CNEAI) y han sido varios los investigadores estudiados que se han hecho eco de esta noticia, tuiteando o retuiteando información al respecto, como por ejemplo Nicolás Robinson y José Antonio Merlo, que publicaron sendos tuits:

"RT @sexenios: Publicados los criterios específicos por áreas para la solicitud de #sexenios #cneai 2014"

"Convocatoria de sexenios 2014 boe.es/diario_ boe/txt... Consulte el servicio impacto y calidad de @bibliotecausal"

Por otro lado, algunos usuarios de la muestra seleccionada han tuiteado artículos publicados en blogs con consejos de utilidad para investigadores. Tal es el caso de Félix de Moya, quien difundió el siguiente tuit:

"Serious researchers likely to ignore papers published in suspicious journal, these papers may not be read or cited tiny.cc/yh4erx" Por último, hemos observado otro tipo de contenidos de interés para científicos que los investigadores publican en Twitter: llamadas de artículos de revistas científicas. Algunos investigadores han difundido en varias ocasiones mensajes publicados en perfiles de revistas científicas realizando llamadas de artículos para próximos números, según observamos en el siguiente tuit publicado por Javier Guallar:

"Buscamos artículos sobre "Información científica" en @revista_EPI http://ow.ly/IqWQv"

b) Recomendación de herramientas informáticas y recursos web de utilidad para profesionales

Los investigadores, a través de sus cuentas, recomiendan diversas herramientas y aplicaciones informáticas, tanto para móviles como para ordenador, que pueden ser de utilidad para otros profesionales de la información y la comunicación. Durante los tres meses que ha durado la investigación, muchos de los usuarios cuya actividad en Twitter hemos estudiado, han difundido enlaces a diferentes tipos de aplicaciones web y software informáticos relacionadas con diversos ámbitos profesionales, así como enlaces a entradas de blogs en los que sus autores hacen recomendaciones y recopilaciones de este tipo de herramientas.

Entre los tipos de aplicaciones más difundidas destacan, fundamentalmente, las herramientas SEO para mejorar el posicionamiento de sitios web en buscadores, como en los ejemplos que siguen:

"SEMrush, aprende a usar la Mejor Herramienta SEO |Blogger 3.0"

"103 herramientas SEO gratuitas para sitios de Comunicación (o intensivos en información) lluiscodina.com/103-herramientas..."

Otro tipo de recursos web que los usuarios analizados difunden frecuentemente a través de Twitter son aquellos que sirven para la creación de contenidos, o herramientas relacionadas con el periodismo digital:

"The Experts: A Journalism Tools Special zite. to/1x9GwWL"

Puesto que la comunidad que hemos analizado está compuesta por investigadores y profesionales del ámbito de la biblioteconomía y documentación y la comunicación, no es de extrañar que otro tipo de herramientas web y aplicaciones para móviles que difunden sus miembros son aquellas creadas por y para bibliotecas:

"La Biblioteca de la Universidad de Castilla-La Mancha @BUCLM lanza una nueva app biblioteca. uclm.es/app.html @bibliomovilidad"

"GRIAL Plataforma préstamo intercambio ebook creada Consorcio B Universitarias Castilla León, Bucle y Xercode #XeBook"

Además de estos recursos especialmente destinados a profesionales de la información y la comunicación, algunos investigadores han utilizado Twitter para difundir otros tipos de software y aplicaciones informáticas que pueden ser de utilidad para un público más amplio, no necesariamente profesionales o investigadores:

"Más de 1200 herramientas... Open Source Software List: 2015 Ultimate List - Datamation datamation.com/open-source..."

"8 apps originales para gestionar mejor el tiempo economia.elpais.es/economia2015/..."

c) Difusión de información y datos de interés para profesionales

Los investigadores estudiados, además de las herramientas informáticas que hemos visto, también difunden a través de sus perfiles de Twitter contenidos relevantes para profesionales del ámbito de la documentación y la información, como artículos y entradas de blogs con consejos y recomendaciones especialmente dirigidos a diseñadores web, documentalistas y profesionales de la información y la comunicación. Para ello, incluyen habitualmente en sus tuits enlaces a blogs profesionales y, algunos, a sus propios blogs o sitios web personales. En estos casos, los investigadores tienen sus propios sitios web en los que publican todo tipo de artículos e información relacionada con sus líneas de trabajo y utilizan sus cuentas de Twitter para darles mayor difusión. Véase, por ejemplo, los siguientes tuits de Javier Guallar:

"New post on my blog: Decálogo ético para el content curator. 10 condiciones de una buena curación de contenidos http://ift.tt/1y2Gcyk"

"Los 50 mejores artículos de periodismo de 2014, buen ejemplo de #contentcuration de @ mik1977 http://po.st/AOpica vía @paperblog_es"

Otros contenidos que se difunden en Twitter son informes y estudios estadísticos realizados por organismos públicos o instituciones privadas sobre diferentes temáticas. Muchos de los informes que se han tuiteado en este periodo tienen que ver con la lectura y la implantación de servicios de préstamo de libros electrónicos en bibliotecas y su aprovechamiento por parte de los usuarios:

"@observalibro Balance de los primeros meses del proyecto eBiblio http://bit.ly/15KI4jJ #ebook #bibliotecas"

"Bibliotecas escolares ¿entre interrogantes? Un informe de autoevaluación elaborado por La CTC #Bibliotecas escolares http://goo.gl/rbsOum"

También nos encontramos con algunos estudios relacionados con los libros y la lectura, como el informe Los libros infantiles y juveniles en España, elaborado y publicado en Twitter por el Observatorio de la Lectura y el Libro, y retuiteado por autores de la muestra:

"Publicamos una nueva actualización del informe Los libros infantiles y juveniles en España #LIJ http://bit.ly/1zIgYTu"

Además de informes de organismos públicos españoles, algunos de los investigadores analizados también han tuiteado otros estudios realizados por instituciones privadas que tratan, fundamentalmente, sobre innovación, tecnología, web 2.0 o redes sociales, como, por ejemplo, en este tuit de Antonio Fumero:

"VI Estudio Anual de Redes Sociales de IAB Spain y Elogia - Elogia https://lnkd.in/d-Qjg77"

d) Cursos

Aunque con menos frecuencia que otro tipo de información, los autores estudiados difunden información sobre cursos impartidos tanto en las instituciones a las que pertenecen, como en otras, tal y como podemos ver en los ejemplos que siguen, de Mari Carmen Marcos y Lluis Codina:

"Calentando motores, queda poco para comenzar el @postgradoUX, #UX #usabilidad, http://postgradoUX.com #UPF #IDEC"

"210 cursos universitarios, online y gratuitos que inician en enero wwwhatsnews. com/2014/12/19/210... vía @wwwhatsnew"

3.3. Difusión de información no científica

Aparte de contenidos científicos e información interesante o relevante para la disciplina, muchos de los investigadores seleccionados difunden a través de Twitter contenidos generales de interés para un tipo de público más amplio, más allá de la comunidad de documentalistas y profesionales de la información. Incluimos en este apartado, fundamentalmente, la difusión de noticias y artículos de actualidad publicados en prensa y revistas generalistas. A lo largo de la investigación, han sido muchos los investigadores que se han hecho eco de diferentes noticias publicadas en los medios de comunicación sobre diversos temas como cultura, universidad e investigación, avances tecnológicos e innovación, entre otros, así como noticias relacionadas con las políticas del Gobierno de España en diversas materias.

En estos tres meses, ha tenido especial protagonismo la aprobación de la reforma de Ley de Propiedad Intelectual, que entró en vigor el día 1 de enero de 2015. Esta ley, en su artículo 32.2, obliga a los servicios electrónicos de agregadores de noticias a pagar una tasa a los editores titulares de los derechos de autor (lo que se conoce como "canon AEDE"). Este artículo afectaba a muchos agregadores de noticias pero el caso más mediático ha sido el de Google, que tomó la decisión de cerrar su servicio de noticias en España, Google News. Durante el periodo que ha durado la investigación, varios de los investigadores han difundido noticias y artículos de opinión referentes a la llamada Tasa Google y a la desaparición de Google News, entre otros, Javier Díaz Noci y Natalia Arroyo:

"Google tax in Spain: probably reconsider it like Germany or France http://m.elcorreo.com/ alava/tecnolog..."

"Google News desaparecerá en España el 16 de diciembre http://flip.it/VoOrE "

Puesto que varios de los investigadores que forman parte de la muestra provienen del ámbito académico y universitario, algunos de ellos difunden a través de sus perfiles de Twitter noticias relacionadas con la situación de las universidades públicas y las políticas del Gobierno en esta materia. A primeros de diciembre, el diario El País publicó un artículo sobre la endogamia en las universidades que tuvo bastante repercusión entre los investigadores analizados, ya que fueron varios los que difundieron la noticia retuiteando el enlace a través de las cuentas de otros usuarios:

"'Endogamia universitaria: efectos y remedios' http://politica.elpais.com/politi..."

"El 73% de los docentes de la universidad española estudió en la que dan clase. Oh, qué descubrimiento! http://politica.elpais.com/politica/ 2014..."

Por otro lado, también se han difundido muchas noticias relacionadas con la innovación, el comercio electrónico y el uso de la tecnología móvil publicadas en diversos medios de comunicación, como en los siguientes ejemplos:

"Facebook expands into the office http://www. bbc.co.uk/news/technology-30819036 ..."

"El comercio electrónico creció un 20% estas navidades http://ow.ly/HzSsY"

Por último, cabe destacar que, si bien la mayoría de los investigadores publica en Twitter únicamente contenidos relacionados con la disciplina, algunos de ellos también le da un uso personal, compartiendo con sus seguidores videos musicales y fotografías y otros contenidos de interés más bien particular.

3.4. Interacción con otros investigadores y profesionales

A lo largo de la investigación hemos observado que las formas más habituales de interactuar con otros usuarios que tienen los investigadores analizados se realizan fundamentalmente a través del retuiteo (RT) y de la mención (@usuario). Sin embargo, los casos de debate, posibles mediante la opción de "responder" a los tuits enviados por otros usuarios han sido muy escasos. En la Figura 2 mostramos un ejemplo de debate entre un investigador y otros usuarios de su red sobre un artículo relacionado con la evaluación de la ciencia y la bibliometría.

Un caso particular de retuiteo, que se ha dado en el presente estudio también, se produce cuando los investigadores retuitean tuits en los que se les menciona o se recomienda su propio trabajo o proyecto de investigación. Este tipo de retuiteo puede reflejar, según algunos autores, una especie de narcisismo (Boyd y otros, 2010), pero también podemos interpretarlo como una forma de agradecer al usuario que le menciona por hablar de él y difundir su trabajo.

Como ya hemos comentado, Twitter es una plataforma que permite establecer nuevas relaciones y contactar con otros colegas de profesión de manera rápida y sencilla. No obstante, en estos tres meses solamente hemos podido documentar un caso en el que uno de los usuarios objeto de estudio haya establecido contacto con otro profesional de su ámbito.

4. CONCLUSIONES

Los resultados producidos a lo largo de este estudio nos permiten describir lo que pasa en la comunicación científica informal mediatizada por la plataforma Twitter en un conjunto de investigadores del área de documentación e información cercanos a la revista EPI. Los investigadores estudiados utilizan Twitter principalmente como plataforma para la difusión de información, sobre todo científica y profesional, aunque pueden hacerse eco de noticias y eventos de actualidad. Las interacciones con otros usuarios y los debates son eventos esporádicos, a pesar de que, en el conjunto, los 26 participantes reúnen a un numeroso público de seguidores. Es posible que el reducido número de caracteres permitidos en los tuits impida entablar debates más amplios y que éstos se trasladen a otros foros, como, por ejemplo, a los blogs científicos u otros sitios web, que a lo largo de esta investigación han ido apareciendo como espacios que complementan y desarrollan los contenidos e ideas publicados en Twitter. En este sentido se confirman los resultados de Holmberg y Thelwall (2014) que subrayan la tendencia del colectivo de académicos a compartir enlaces y a retuitear más que el resto de colectivos usuarios de Twitter.

Un aspecto destacable en cuanto al tipo de contenidos difundidos a través de Twitter por la muestra estudiada es la alta incidencia de referencias al trabajo propio o al trabajo de compañeros de equipo en los tuits publicados (cerca de la mitad de los artículos, según los datos de la Tabla III), o incluso retuiteados. En el contexto de las altmétricas o indicadores alternativos, tuitear o retuitear una publicación científica o incluir una URL enlazando con este tipo de publicaciones pueden considerarse como una cita (Priem y Costello, 2010; Weller y otros, 2011). Sin embargo, en palabras de Priem y Costello (2010), una cita en Twitter se diferencia de una cita tradicional en que no se utiliza para apoyar un argumento expuesto en un trabajo científico, sino más bien para recomendarlo por considerarlo interesante. Una cita tradicional supone un esfuerzo intelectual mucho mayor que una cita en Twitter puesto que se entiende que el investigador que cita un artículo científico lo ha leído previamente. La difusión en Twitter por parte de los investigadores de sus propias publicaciones científicas, podría considerarse como una auto-cita, y su alta incidencia en este estudio puede poner en cuestión que las menciones a trabajos de investigación en la web social puedan considerarse indicadores genuinos de impacto. Al respecto, Robinson García y otros (2011) consideran que las herramientas de la web social contribuyen al aumento de la visibilidad y de la autoridad del investigador en el contexto científico pero que el impacto de las publicaciones se sigue produciendo a través de los canales de comunicación científica tradicionales. Un aspecto interesante para desarrollar en estudios posteriores sería caracterizar aún más los artículos mencionados, por ejemplo en términos de tipología o de tipo de acceso, para comprender aún mejor las razones para recomendarlos y mencionarlos.

Una parte importante de los tuits intercambiados por los autores de la muestra (el 29,7% según los datos de la Tabla II) incluye referencias a blogs, informes y otros tipos de datos, incluso producidos fuera del ámbito académico. Sin embargo, mucha literatura altmétrica considera que, en la web social, puede hablarse de comunicación científica informal solo cuando se mencionan trabajos de investigación publicados formalmente en revistas o repositorios. Por ejemplo, el hecho de que los investigadores de economía tiendan a intercambiar en Twitter enlaces a estadísticas y conjuntos de datos se interpreta como que en esta disciplina la plataforma no tiene un uso científico (Holmberg y Thelwall, 2014). Todo esto a pesar de que estadísticas y conjuntos de datos se reconocen cada vez más como productos científicos autónomos (Torres Salinas y otros, 2012; Torres Salinas y otros, 2014), y que en este estudio también aparecen en los tuits publicados por los autores de la muestra. Parece una paradoja que la búsqueda de indicadores alternativos a las métricas tradicionales descarte productos científicos diferentes al producto científico más tradicional, el artículo de investigación. Twitter es un espacio en el que, como hemos visto, se mezclan tanto contenidos científicos como contenidos técnicos y noticias de interés para la sociedad en general y que, además, son producidos y publicados no solo por investigadores, sino también por profesionales y otros actores sociales. En este contexto, se produce un encuentro entre ciencia y sociedad, puesto que contenidos producidos por distintos actores sociales confluyen en un único espacio en el que se influyen mutuamente. De alguna manera, las necesidades de la sociedad, que quedan reflejadas a través de noticias, informes, estadísticas, software y otras publicaciones difundidas en Twitter, adquieren el potencial de condicionar los objetivos de la investigación científica, por el mero hecho de mezclarse con otros contenidos científicos en el ámbito de las transacciones informacionales de una comunidad profesional y académica especializada. Investigaciones futuras podrían involucrar a los propios participantes, tanto científicos como seguidores, para comprender con mayor profundidad las dinámicas de interacción e influencia recíproca que se producen en Twitter. Asimismo, quedan por averiguar las razones del escaso aprovechamiento de la plataforma como espacio para el debate, que mencionábamos arriba.

En este sentido, podríamos decir que los participantes en la comunidad académica y profesional que hemos estudiado, a través de la selección y difusión de la información que tuitean y retuitean tanto del ámbito académico como de otros ámbitos sociales, asumen la responsabilidad de definir la imagen pública de la disciplina dirigiéndose a un amplio público de seguidores. Según Priem y Costello (2010), investigadores y académicos son totalmente conscientes de su rol dentro de la plataforma y de las expectativas de sus seguidores, por lo que tuitean contenidos que saben que pueden ser útiles y relevantes para los usuarios que les siguen y que, además, éstos esperan que tuiteen. Twitter sería en este sentido como una fuente de información de gran valor, porque la información que se difunde es de alguna manera objeto de una revisión colectiva. Sin embargo, cabe añadir que, en general, la participación de la comunidad académica en la web social es más bien escasa (Holmberg y Thelwall, 2014; Mas-Bleda y otros, 2014) para poder hablar de revisión colectiva de la información difundida. Lo que sí podemos concluir con relación al presente estudio es que los investigadores que participan activamente en la web social, como muchos de los que se han estudiado aquí, definen ante la sociedad y de forma pública y conjunta, porque forman parte de una comunidad en la que los unos siguen a los otros, lo que es importante, recomendable e interesante. Aunque no la hayamos contemplado entre las actividades comunicativas incluidas en los resultados, quizás sea ésta la actividad comunicativa más destacable.

Sidebar

Cómo citar este artículo/Citation: Álvarez-Bornstein, B.; Montesi, M. (2016). La comunicación entre investigadores en Twitter. Una etnografía virtual en el ámbito de las ciencias de la documentación. Revista Española de Documentación Científica, 39(4): e156. doi: http://dx.doi.org/10.3989/redc.2016.4.1352

References

5. REFERENCIAS

Aleixandre Benavent, R.; Valderrama Zurián, J. C.; González Alca, G. (2007). El factor de impacto de las revistas científicas: limitaciones e indicadores alternativos. El profesional de la información, vol. 16(1), 4-11. Recuperado de: http://goo.gl/VFv3wz http://dx.doi.org/10.3145/epi.2007.jan.01

Arroyo Vázquez, N. (2012). Contenidos profesionales en Twitter: cuando menos es más. Anuario ThinkEPI, vol. 6, 258-263.

Boyd, D.; Golder, S.; Lotan, G. (2010). Tweet, tweet, retweet: Conversational aspects of retweeting on twitter. Proceedings 43rd Annual Hawai International Conference on Systems Science (HICSS-43), pp. 1-10. Kolua, Hawai: IEEE. Recuperado de: http://goo.gl/EhXyqH. http://dx.doi.org/10.1109/ hicss.2010.412

Cabezas Clavijo, Á.; Torres Salinas, D. (2010). Indicadores de uso y participación en las revistas científicas 2.0: el caso de PLoSOne. El profesional de la información, vol. 19(4), 431-434. Recuperado de: http://eprints.rclis.org/14801/

Calvillo Jiménez, R. (2013). La comunidad de documentalistas en español de Twitter: estudio etnográfico (Trabajo Fin de Grado). Salamanca: Universidad de Salamanca. Recuperado de: http://goo.gl/ l3vhsn

Casas Romeo, A.; Gázquez Abad, J.C.; Forgas Coll, S.; Huertas García, R. (2014). La netnografía como herramienta de investigación en contextos on-line: una aplicación al análisis de la imagen de los servicios públicos de transporte. Innovar, vol. 24(52), 89-102. Recuperado de: http://goo.gl/M5M6XO. http://dx.doi.org/10.15446/innovar.v24n52.42525

Costas, R.; Zahedi, Z.; Wouters, P. (2014). Do "altmetrics" correlate with citations? Extensive comparison of altmetric indicators with citations from a multidisciplinary perspective. Journal of the Association for Information Science and Technology, vol. 66 (10), 2003-2019. Recuperado de: http://goo.gl/7NRhPb

Eysenbach, G. (2011). Can tweets predict citations? Metrics of social impact based on Twitter and correlation with traditional metrics of scientific impact. Journal of Medical Internet Research, vol. 13(4).Recuperado de: http://goo.gl/behhPa. http://dx.doi.org/10.2196/jmir.2012

Fresno García, M. (2011). Netnografía. Barcelona: Editorial UOC, p. 106.

Hine, C. (2015). Ethnography for the Internet. Embedded, embodied and everyday. Londres: Bloomsbury, p. 221

Holmberg, K.; Thelwall, M. (2014). Disciplinary differences in Twitter scholarly communication. Scientometrics, vol. 101(2), 1027-1042. Recuperado de: http://goo.gl/0sRNGH. http:// dx.doi.org/10.1007/s11192-014-1229-3

Kozinets, R.V. (2009). Netnography. Doing ethnographic research online. Londres: Sage Publications Ltd.

Letierce, J.; Passant, A.; Breslin, J.; Decker, S. (2010). Understanding how Twitter is used to spread scientific messages. Proceedings of the WebSci10: Extending the Frontiers of Society On-Line. Raleigh, NC: US. Recuperado de: http://journal.webscience.org/314/

Mas-Bleda, A.; Thelwall, M.; Kousha, K.; Aguillo, I. (2014). Do highly cited researchers successfully use the social web? Scientometrics, vol. 101(1), 337-356. Recuperado de: http://goo.gl/z2v3QG

Pickard, A. (2012). Research methods in information. London: Facet Publishing, p. 329.

Priem, J. (2014). Altmetrics. En Cronin, B y Sugimoto, C.R. (editores.) Beyond bibliometrics: Harnessing multi-dimensional indicators of performance,263-287, Massachusetts: MIT Press.

Priem, J.; Taraborelli, D.; Groth, P.; Neylon, C. (2010). Altmetrics: A manifesto. Recuperado de: http:// altmetrics.org/manifesto/

Priem, J.; Costello, K. L. (2010). How and why scholars cite on Twitter. Proceedings of the American Society for Information Science and Technology, vol. 47(1), 1-4. Recuperado de: http://goo.gl/YoRRQd. http:// dx.doi.org/10.1002/meet.14504701201

Priem, J.; Hemminger, B. H. (2010).Scientometrics 2.0: New metrics of scholarly impact on the social Web. First Monday, vol. 15(7). Recuperado de: http://goo.gl/5FUanH

Robinson García, N.; Delgado López-Cózar, E.; Torres Salinas, D. (2011). Cómo comunicar y diseminar información científica en Internet para obtener mayor visibilidad e impacto. Aula Abierta, vol. 39(3), 41-50. Recuperado de: http://hdl.handle. net/10481/19199

Shuai, X.; Pepe, A.; Bollen, J. (2012). How the scientific community reacts to newly submitted preprints: Article downloads, twitter mentions, and citations. PLoSONE, vol. 7(11). Recuperado de: http://goo.gl/Wz2iam. http://dx.doi.org/10.1371/ journal.pone.0047523

Sud, P.; Thelwall, M. (2014). Evaluating altmetrics. Scientometrics, vol. 98(2), 1131-1143. Recuperado de: http://goo.gl/lfvNmZ. http://dx.doi. org/10.1007/s11192-013-1117-2

The British Psychological Society. (2013). Ethics Guidelines for Internet-mediated Research. Recuperado de: http://goo.gl/8g2TxL

Thelwall, M.; Haustein, S.; Larivière, V.; Sugimoto, C. R. (2013). Do altmetrics work? Twitter and ten other social web services. PLoSONE, vol. 8(5). Recuperado de: http://goo.gl/35if4i. http://dx.doi. org/10.1371/journal.pone.0064841

Torres Salinas, D.; Cabezas Clavijo, Á.; Jiménez Contreras, E. (2013). Altmetrics: nuevos indicadores para la comunicación científica en la Web 2.0. Comunicar, vol. 21(41), 53-60. Recuperado de: http://goo.gl/3bJa1n. http://dx.doi.org/10.3916/ c41-2013-05

Torres Salinas, D.; Robinson García, N.; Cabezas Clavijo, A. (2012), Compartir los datos de investigación en ciencia: introducción al data sharing. El Profesional de la Información, vol. 21(2), 173-184. Recuperado de: http://goo.gl/Rjlkai. http://dx.doi. org/10.3145/epi.2012.mar.08

Torres Salinas, D.; Milanés Guisado, Y. (2014). Presencia en redes sociales y altmétricas de los principales autores de la revista "El Profesional de la Información". El Profesional de la Información, vol. 23(4), 367-372. Recuperado de: http://hdl.handle. net/10481/32932. http://dx.doi.org/10.3145/ epi.2014.jul.04

Torres Salinas, D.; Martín Martín, A.; Fuente Gutiérrez, E. (2014). Analysis of the coverage of the Data Citation Index-Thomson Reuters: disciplines, document types and repositories. Revista Española de Documentación Científica, vol. 37(1). Recuperado de: http://goo.gl/CyvW8d. http://dx.doi. org/10.3989/redc.2014.1.1114

Tracy, S. J. (2010). Qualitative quality: Eight "bigtent" criteria for excellent qualitative research. Qualitative Inquiry, vol. 16(10), 837-851. Recuperado de: http://goo.gl/qsoFZ9. http://dx.doi. org/10.1177/1077800410383121

Weller, K.; Dröge, E.; Puschmann, C. (2011). Citation Analysis in Twitter: Approaches for Defining and Measuring Information Flows within Tweets during Scientific Conferences. 1st Workshop on Making Sense of Microposts. Recuperado de: http:// journal.webscience.org/500/1/153_paper.pdf