Web Scrapping con R

Capítulo 5: Lenguaje XPATH

1. Introducción al lenguaje XPATH

XPATH significa lenguaje XML Path, y nos permite, como su nombre lo indica, atravesar un camino en un árbol HTML, dándonos un enfoque alternativo a los selectores CSS.

En particular, este no solo navega hacia abajo en un árbol HTML, sino también hacia arriba. Además nos permite seleccionar nodos basados en las propiedades de otros nodos, logrando así que selecciones más avanzadas y customizadas sean posibles.

3. ¿Cómo seleccionar nodos con XPATH?

La forma más sencilla de seleccionar nodos con XPATH es usando el tipo de nodo. Para esto escribiremos el tipo de nodo antecedido por //. Veamos un ejemplo.

library(rvest)
library(tidyverse)

Registered S3 methods overwritten by 'dbplyr':
  method         from
  print.tbl_lazy     
  print.tbl_sql      
── Attaching packages ──────────────────────────────────────────────────────── tidyverse 1.3.1 ──
✓ ggplot2 3.3.4     ✓ purrr   0.3.4
✓ tibble  3.1.2     ✓ dplyr   1.0.7
✓ tidyr   1.1.3     ✓ stringr 1.4.0
✓ readr   1.4.0     ✓ forcats 0.5.1
── Conflicts ─────────────────────────────────────────────────────────── tidyverse_conflicts() ──
x dplyr::filter()         masks stats::filter()
x readr::guess_encoding() masks rvest::guess_encoding()
x dplyr::lag()            masks stats::lag()

url <- "https://www.york.ac.uk/teaching/cws/wws/webpage1.html"
html <- url %>% read_html()
html %>% 
  html_element(xpath = "//ul") %>% 
  html_text()

[1] "create your own simple pages\nread and appreciate pages created by others\ndevelop an understanding of the creative and literary implications of web-texts\nhave the confidence to branch out into more complex web design \n"

La selección que acabamos de hacer es equivalente a tomar el selector ul:

html %>% 
  html_element(css = "ul") %>% 
  html_text()

[1] "create your own simple pages\nread and appreciate pages created by others\ndevelop an understanding of the creative and literary implications of web-texts\nhave the confidence to branch out into more complex web design \n"

Para seleccionar la descendencia de un nodo, tan solo lo añadiremos al XPATH el tipo de nodo hijo, precedido de un /. Veamos un ejemplo.

html %>% 
  html_element(xpath = "//ul/li") %>% 
  html_text()

[1] "create your own simple pages\n"

Si lo hacemos con CSS, tendríamos:

html %>% 
  html_element(css = "ul > li") %>% 
  html_text()

[1] "create your own simple pages\n"

Ahora, seleccionemos un nodo en base a la característica de un hijo (algo que solo es posible con XPATH). Específicamente, seleccionemos aquellos nodos p que tienen un hijo a. Para ello, denotaremos la característica del nodo entre [].

html %>% 
  html_elements(xpath = "//p[a]")

{xml_nodeset (1)}
[1] <p>start formatting in <a href="webpage2.html">lesson two</a>\n<br><a href="col3.html">bac ...

Así, la sintaxis general de XPATH viene definida por ejes, pasos y predicados. Los ejes corresponden a los símbolos // o / que ya hemos utilizado y definen la relación entre nodos. / corresponde una relación de hijo, mientras que // corresponde a una relación general de descendencia. Los pasos por otro lado, se definen entre los ejes y corresponden a un elemento HTML. Finalmente, los predicados se especifican entre [] y declaran condiciones que deben ser cumplidas por elemento HTML que le preceda.

Al igual que en el código CSS, el operador * selecciona todos los elementos HTML encontrados.

4. Funciones XPATH y predicados avanzados

Además de los ejes, pasos y predicados, otra parte fundamental del lenguaje XPATH son las funciones. Con estas, el obtener elementos específicos de un sitio web se vuelve aún más fácil. Para ello, revisaremos algunas funciones.

• La función position() nos ayuda a referenciar la posición un elemento HTML que estemos buscando, utilizándola dentro de un predicado, como se muestra a continuación. Cabe notar que esta funciona similar a la pseudo-clase nth-child, sin embargo, esta permita usar operadores como >, <, != y = para ampliar el espectro de selección.

html %>% 
  html_elements(xpath = "//p[position()=2]") %>% 
  html_text()

[1] "HTML isn't computer code, but is a language that uses US English to enable texts (words, images, sounds) to be inserted and formatting such as colo(u)r and centre/ering to be written in. The process is fairly simple; the main difficulties often lie in small mistakes - if you slip up while word processing your reader may pick up your typos, but the page will still be legible. However, if your HTML is inaccurate the page may not appear - writing web pages is, at the least, very good practice for proof reading!"

html %>% 
  html_elements(xpath = "//p[position()<=2]") %>% 
  html_text()

[1] "There are lots of ways to create web pages using already coded programmes. These lessons will teach you how to use the underlying HyperText Markup Language -  HTML. \n"                                                                                                                                                                                                                                                                                                                                                          
[2] "HTML isn't computer code, but is a language that uses US English to enable texts (words, images, sounds) to be inserted and formatting such as colo(u)r and centre/ering to be written in. The process is fairly simple; the main difficulties often lie in small mistakes - if you slip up while word processing your reader may pick up your typos, but the page will still be legible. However, if your HTML is inaccurate the page may not appear - writing web pages is, at the least, very good practice for proof reading!"

• La función count() nos ayuda a buscar los nodos que tienen un número específico de hijos de un determinado tipo. Veamos un ejemplo.

html %>% 
  html_element(xpath = "//ul[count(li)=4]")

{html_node}
<ul>
[1] <li>create your own simple pages\n</li>\n
[2] <li>read and appreciate pages created by others\n</li>\n
[3] <li>develop an understanding of the creative and literary implications of web-texts\n</li>\n
[4] <li>have the confidence to branch out into more complex web design \n</li>

html %>% 
  html_element(xpath = "//ul[count(li)=3]")

{xml_missing}
<NA>

En esta selección, hemos ubicado a los elementos ul con 4 hijos de tipo li, si cambiamos a 3, este no encuentra nada, dado que en la página web de ejemplo no existen ul con menos o más de 4 li. Nótese que esta función también puede ser utilizada con los operadores >, <, != y =.

• La función text() nos ayuda a buscar nodos que contengan un determinado texto. Veámoslo en acción.

html %>% 
  html_elements(xpath = "//li[text()='create your own simple pages\n']")

{xml_nodeset (1)}
[1] <li>create your own simple pages\n</li>\n

Esta función también nos permite hacer la búsqueda de un nodo por texto, omitiendo clases y demás características.

html %>% 
  html_elements(xpath = "//*[text()='create your own simple pages\n']")

{xml_nodeset (1)}
[1] <li>create your own simple pages\n</li>\n

• En el mismo sentido, la función contains() nos permite buscar el nodo con una coincidencia parcial de texto.

html %>% 
  html_elements(xpath = "//*[contains(text(),'HEAD')]")

{xml_nodeset (1)}
[1] <li>&lt; HEAD &gt; this is a kind of preface of vital information that doesn't appear on t ...

5. Otras opciones en XPATH

Usando XPATH también podemos combinar varias condiciones dentro de un predicado, sea usando el operador and u or. A continuación un ejemplo.

html %>% 
  html_elements(xpath = "//*[contains(text(),'vital information') or contains(text(),'understanding of the creative')]") %>% 
  html_text()

[1] "develop an understanding of the creative and literary implications of web-texts\n"            
[2] "< HEAD > this is a kind of preface of vital information that doesn't appear on the screen. \n"

Finalmente, podemos seleccionar elementos padre de un nodo a través del operador .., como se muestra a continuación.

html %>% 
  html_elements(xpath = "//*[text()='create your own simple pages\n']") %>% 
  html_elements(xpath = "..")

{xml_nodeset (1)}
[1] <ul>\n<li>create your own simple pages\n</li>\n<li>read and appreciate pages created by ot ...

Con este capítulo cerramos los conocimientos necesarios para utilizar rvest y pasaremos a los ejercicios.