¿Cuánto cambio realmente nuestra relación con los datos de las RRSS?

Según Tromble (2021), poco. En sus palabras: “La relación subyacente entre los investigadores, las plataformas y los datos digitales sigue siendo en gran medida la misma. Las plataformas y sus API siempre han sido cajas negras propietarias, nunca pensadas para uso académico. Incluso cuando los investigadores podían extraer datos de forma aparentemente interminable, rara vez sabíamos qué tipo o calidad de datos teníamos a mano. Es más, la generosidad de la era API permitió a muchos investigadores realizar su trabajo con poco respeto por el rigor, la ética o el enfoque en el valor social que deberíamos esperar de la investigación académica. En otras palabras, nuestros procesos y resultados de investigación digital no siempre han ocupado un lugar destacado. En lugar de ver el año 2018 y a Cambridge Analytica como una profunda disyuntiva y pérdida, sugiero que los investigadores digitales deben adoptar una mirada más crítica sobre cómo nuestra comunidad recopiló y analizó datos cuando todavía parecían tan abundantes, y utilizar estas reflexiones para informar nuestros enfoques en el futuro.”

El renacer del Web Scraping

El web scraping, una técnica tradicionalmente utilizada para extraer datos directamente desde sitios web, ha ganado relevancia como solución alternativa frente a las restricciones de las APIs. Aunque históricamente subestimado en la investigación social, el scraping ha demostrado ser un recurso esencial para recolectar datos tanto en tiempo real como históricos de plataformas de redes sociales.

Con las APIs restringidas, el scraping ofrece a lxs investigadorxs una forma accesible y flexible para continuar obteniendo datos relevantes para el análisis social. Sin embargo, también presenta desafíos, tanto éticos como legales, en cuanto a la privacidad de lxs usuarixs y el cumplimiento de los términos de servicio de las plataformas.

Tjaden (2023) sostiene que “a medida que los grandes proveedores de datos digitales como Facebook o Twitter restringen cada vez más el acceso a sus datos para los investigadores, el web scraping cobrará mayor importancia en el futuro y merece su lugar en la caja de herramientas de los académicos de migración y movilidad.”

Desafíos de la era post-API

El principal desafío que plantea la era post-API es el acceso a los datos. Las APIs, que antes permitían a lxs investigadorxs obtener información estructurada y autorizada de las redes sociales, ahora exigen pagos considerables o han reducido sus funcionalidades gratuitas. Esto ha creado una barrera de entrada para los estudios de datos sociales a gran escala, particularmente para aquellos con recursos limitados.

En este nuevo contexto, el scraping se ha posicionado como una alternativa viable, pero no sin sus dificultades. La necesidad de cumplir con las normativas de privacidad y evitar el bloqueo por parte de las plataformas requiere de enfoques más sofisticados.

Función para leer documentos HTML

La función read_html() es originaria del paquete xml2 que trabaja con archivos XML y usa una interfaz simple y consistente. El paquete xml2 fue diseñado en base al paquete libxml2 del lenguaje C. La función read_html() convierte un documento XML/HTML (o nodo o conjunto de nodos) en una lista R equivalente.

Función para extraer nodos

Las funciones html_element() y html_elements() permiten extraer con facilidad fragmentos de documentos HTML mediante los selectores XPath y CSS.

Argumentos

Función para extraer texto

Hay dos formas de recuperar texto de un elemento html: html_text() y html_text2(). La función html_text() es una fina envoltura alrededor de la función xml2::xml_text() que devuelve solo el texto subyacente sin procesar. Por su parte, html_text2() simula cómo se ve el texto en un navegador y utiliza un enfoque inspirado en la función innerText() de JavaScript. En términos generales, convierte la etiqueta <br /> en \n, agrega líneas en blanco alrededor de las etiquetas <p> y formatea ligeramente los datos tabulares.

Vale aclarar que html_text2() suele devolver lo que se desea en la forma en que se desea, pero es mucho más lento que html_text(). Por esta razón es recomendable usar html_text() para raspados de mayor volumen.

Función para extraer atributos de elementos HTML

html_attr() obtiene un solo atributo; html_attrs() obtiene todos los atributos.

library(rvest)
minimal_html('<ul><li><a href="https://a.com" class="important">a</a></li></ul>') |> 
  html_elements("a") |> html_attr("href")

## [1] "https://a.com"

Función para extraer tablas

La función html_table transforma una tabla html en un marco de datos.

library(rvest)
minimal_html("<table><tr><th>Col A</th><th>Col B</th></tr>
  <tr><td>1</td><td>x</td></tr><tr><td>4</td><td>y</td></tr>
  <tr><td>10</td><td>z</td></tr></table>") |> 
  html_element("table") |> html_table()

## # A tibble: 3 × 2
##   `Col A` `Col B`
##     <int> <chr>  
## 1       1 x      
## 2       4 y      
## 3      10 z

Introducción al ciclo for

{purrr} un paquete de funciones para iterar

El paquete {purrr} mejora el conjunto de herramientas de programación funcional de R al proporcionar un conjunto completo y consistente de herramientas para trabajar con funciones y vectores. Este paquete tiene funciones que le permiten reemplazar muchos bucles for con código más breve y más fácil de leer.

La función map_df()

Las funciones map transforman su entrada aplicando una función a cada elemento de una lista o vector atómico y devolviendo un objeto de la misma longitud que la entrada.

library(purrr)
map_vec(1:9, sqrt)

## [1] 1.000000 1.414214 1.732051 2.000000 2.236068 2.449490 2.645751 2.828427
## [9] 3.000000

{httr} un paquete complementario para {rvest}

Este paquete contiene herramientas útiles para trabajar con HTTP organizado por verbos HTTP (GET(), POST(), etc). Las funciones de configuración facilitan el control de componentes de solicitud adicionales.