Descargar los tuit de un hashtag de Twitter con Twitter Archive - Magic Words of Intelligence

Transformación digital para Analistas de Inteligencia #OSINT desde 2011.

Breaking

miércoles, 6 de febrero de 2019

Descargar los tuit de un hashtag de Twitter con Twitter Archive



Muy buenas! Pues ya estamos aquí con el nuevo post de este mes de febrero de 2019. Yo sigo tuzando contra la misma piedra, que en este caso es prepararnos para el boom de fake news y campañas políticas de todo tipo que buscarán manipular a la opinión pública en las próximas elecciones en España y en Europa.

En esta ocasión, mis palabras mágicas van dirigidas a centrarme en la relevancia y utilidad de poder descargar todos los tuit y su información de un hashtag de Twitter. Aunque ya hemos hablado de ello en el post de NODEXL, que también te puede servir para ello, hoy vengo con algo más sencillo todavía.

Como recordarás, los hashtag de Twitter suelen servir como lemas de campaña, y cuando se convierten en virales, pasan a denominarse Trend Topic. Te he hablado un poco de ello en el post sobre el uso de la herramienta Trends Map. Es en ese momento cuando adquieren un gran alcance e impacto sobre la ciudadanía.

Si estás en una unidad de Inteligencia con tecnología que te lo permite, o dispones de un miembro técnico en tu unidad que te programe un pequeño código en python para ello, es posible que este post no te sirva de mucho más allá de recordatorio de toda la información que puedes evaluar y utilizar para tus informes basada en este tipo de descargas.

Para los analistas e investigadores que estáis un poco más "solos ante el peligro", creo que os puede ayudar mucho. No sé, ya me lo diréis :-D

La aplicación gratuita se llama Twitter Archiver y es una extensión que funciona para el navegador Chrome. Utiliza el Google Sheet del Google Drive y en su versión gratuita, ya descarga de un plumazo los tuit del hashtag que queráis, junto con la información del perfil que lo ha lanzado. Por otro lado, su versión de pago vienen a ser unos 25€ al año y tienes múltiples opciones todavía más interesantes, así que quizá quieras pensártelo. Además, puedes crear reglas de descarga más allá de bajar sólo todo el hashtag. Ahora lo verás. 

Lo sé, lo sé, es la nube de Google, pero bueno... En este caso tampoco vamos a panicar. Podemos descargarnos la info y luego trabajarla en nuestro propio ordenador, fuera de Google, que es donde está el verdadero valor. Nos pasaría lo mismo si usáramos NODEXL, o R, etc. Cualquier herramienta no desarrollada directamente por nosotros, tendrá en su log la descarga que hemos hecho. E incluso Twitter, también registra la descarga y la asocia al perfil que hemos vinculado para realizarla.

Venga, vamos allá!

Instalación de Twitter Archive

La instalación es muy sencilla. Simplemente vas con el navegador chrome a Twitter Archiver y haces clic sobre "instalar".

Tras pulsar en "instalar" se abrirá una ventana que te pedirá que conectes a una cuenta de Gmail. Elige aquella sobre la que quieras trabajar este tema. Recuerda que se guardará en el espacio del Drive de esa cuenta de Gmail.

Una vez seleccionada y validada la cuenta, se abrirá el Sheet en el Google Drive y será el momento de autorizar a Google a usar los datos de Twitter. Como sabes, siempre que trabajamos con las redes sociales para extraer o analizar datos, las herramientas necesitan un punto de entrada a la red. Puedes elegir el perfil que quieras.

Para conectar sigue los siguientes pasos:

PASO 1 - Añadir el Add-on de Twitter

Despliega el menú de "Add-on", selecciona "document add-ons" y verás que se abre una ventana a la derecha con un botón azul que pone "USE":


PASO 2 - Autorizar a Twitter

Haz clic sobre "USE" y pulsa sobre "Authorize Twitter". Verás que se abre un pop-up en el centro que te vuelve a pedir que pulses sobre "Authorize Twitter".


Una vez que lo hayas hecho, te lleva a la tradicional ventana de autorización de la red Twitter. Deberás introducir el usuario y contraseña del perfil que quieres usar para las descargas. Una vez hecho te saldrá un mensaje diciéndote que la conexión se ha realizado satisfactoriamente.

Puedes cerrar esa pestaña y volver a la hoja Excel de Google para empezar a trabajar.

Descargar el contenido de un hashtag

Para empezar a trabajar tenemos que crear una regla para las descargas. Para conseguirlo debemos utilizar de nuevo la opción Add-on. En el menú encontrarás una ficha para crear una regla sobre cómo quieres que sea la descarga.

Las opciones son muy diversas. Por ejemplo, puedes bajar directamente todo lo que se dice en un hashtag, pero también puedes decidir bajar sólo cuando se mencione alguna palabra o frase. Incluso te puedes bajar los hashtag que mencionan determinadas cuentas de Twitter, si lo que quieres es analizar la viralidad "con nombre y apellidos" (un caso típico serían los perfiles de los partidos políticos).

Sea como fuere, éstos son los pasos que debes dar y todos los campos que tienes a tu disposición.

Finalmente, haz clic en el botón "Create Search Rule".


Ten paciencia en la descarga porque le lleva un rato, sobre todo, si el hashtag tiene mucho contenido.

Una vez que finaliza el proceso de la descarga, verás que se abren dos pestañas en la parte de abajo de la hoja. Una en la que verás la descripción del log y otra en la que verás toda la información que se ha descargado.

Así verás el log:


Así verás la información que te has descargado, entre ella puedes consultar la id de usuario de Twitter, la fecha desde que abrió el perfil, el mensaje, los enlaces asociados al contenido, la biografía, si el perfil está verificado, etc.


Una vez creada una regla, ésta seguirá funcionando descargando mensajes cada hora hasta que la borres. Esto significa que si la dejas durante días, la aplicación seguirá descargando el contenido en el Google Sheet. Si quieres reducir los tiempos de descarga, puedes pagar los 20 euros al año de la licencia premium y cada 15 minutos volverá a refrescar la excel con los nuevos contenidos. Además de poder crear más reglas...

Borrar una regla para liberar la herramienta

Tanto si estás utilizando la versión free, que sólo te permite una regla, como si usas la premium y ya está saturada o simplemente el hashtag que estabas descargando ya no te interesa, puedes borrar la regla de la siguiente manera.

Vuelve a la opción del menú principal "add-on", despliega el menú de "Twitter Archive" y desde ahí, elige la opción "Manage Rules". Se abrirá una ventana que te permitirá elegir la regla que quieres borrar mediante un desplegable y finalmente pulsar el botón "Delete":



Y ya está! Espero que te haya gustado este post y te animo a probarlo para ver hasta dónde puede resultarte útil, especialmente si no dispones de herramientas que ya te automaticen este tipo de procesos.

Nos leemos en las próximas palabras mágicas!