library(rvest)
library(httr)

# Url di Base
url_base <- "https://www.borsaitaliana.it"

# Path as vector
url_path <- c("borsa", "azioni", "listino-a-z.html")

# Query as named list
url_query <- list(initial = "A", lang = "it")

# Url Finale 
url_completo <- httr::modify_url(url_base, path = url_path, query = url_query)
    
# Lettura dell' HTML
html <- rvest::read_html(url_completo)

html

library(stringr)
library(purrr)

singola_pagina <- function(html){
  
  # Estrazione Url
  stock_url <- rvest::html_nodes(html, xpath = "//table/tr/td[1]/a")
  
  # Estrazione Nomi dagli Url 
  stock_name <- rvest::html_text(stock_url)
  stock_name <- stringr::str_trim(stock_name)
  
  # Composizione Url finale 
  stock_url <- rvest::html_attr(stock_url, "href")
  stock_url <- paste0(url_base, stock_url)
  
  # Estrazione ISIN dagli Url 
  stock_isin <- unlist(stringr::str_extract_all(stock_url, "scheda/.*"))
  stock_isin <- stringr::str_remove_all(stock_isin, "scheda/|\\.html\\?lang=it")
    
  # Estrazione Mercato 
  stock_market <- rvest::html_nodes(html, xpath = "//table/tr/td[1]/a/span/span")
  stock_market <- rvest::html_text(stock_market)
  
  # Rimozione del nome del Mercato dal nome delle azioni.
  stock_name <- purrr::map_chr(stock_name, ~stringr::str_remove_all(.x, paste(stock_market, collapse = "|")))
  stock_name <- stringr::str_trim(stock_name)
  
  # Dataset finale 
  out_data <- dplyr::tibble(Isin = stock_isin,
                            Market = stock_market,
                            Name = stock_name, 
                            Url = stock_url)
  out_data
  
}

singola_pagina(html)

find_next_page <- function(html){
  
  # Identificazione di tutti i nodi
  next_page_button <- rvest::html_nodes(html, css = "li a")
  
  # Filtro individuando l'indice con nodo con attributo title="Successiva"
  index_button <- which(rvest::html_attr(next_page_button, "title") == "Successiva")
  
  # Restituisce l'xpath del nodo selezionato o NULL
  if(purrr::is_empty(index_button)){
    NULL
  } else {
    next_page_button <- next_page_button[index_button]
    xml2::xml_path(next_page_button)
  }
}

find_next_page(html)

singola_lettera <- function(initial = "A"){
  
  # Url di Base
  url_base <- "https://www.borsaitaliana.it"
  
  # Path as vector
  url_path <- c("borsa", "azioni", "listino-a-z.html")
  
  # Query as named list
  url_query <- list(initial = initial, lang = "it")
  
  # Url Finale 
  url_completo <- httr::modify_url(url_base, path = url_path, query = url_query)
      
  # Apertura della sessione 
  sess <- rvest::session(url_completo)
  
  # Lettura iniziale dell' HTML
  html <- rvest::read_html(sess)
  
  # Inizializziamo una lista dove salvare le pagine 
  all_pages <- list()
  
  # Il primo elemento può essere importato subito 
  all_pages[[1]] <- singola_pagina(html)
  
  # Cerchiamo il pulsante "successivo" sarà la condizione per il  ciclo while 
  next_page <- find_next_page(html)
  condition <- !is.null(next_page)
  page <- 2
  
  # Se la condizione è vera il ciclo inizia 
  while(condition){
    
    # Cambio sessione 
    sess <- rvest::session_follow_link(sess, xpath = next_page)
    
    # Lettura del nuovo HTML
    html <- rvest::read_html(sess)
    
    # Importazione della pagina       
    all_pages[[page]] <- singola_pagina(html)
      
    # Cerchiamo il pulsante "successivo" sarà la condizione per il  ciclo while     
    next_page <- find_next_page(html)
    condition <- !is.null(next_page)
    page <- page + 1
  } 
  
  all_pages <- dplyr::bind_rows(all_pages)

  all_pages
  
}

singola_lettera(initial = "A") %>%
  head(n = 5)

get_listino_azionario <- function(){
  
  # definiamo una funzione "safe" per evitare che il ciclo si possa bloccare:  
  safe_singola_lettera <- purrr::safely(singola_lettera)
  
  all_letters <- purrr::map(LETTERS, ~safe_singola_lettera(initial = .x)$result)
  
  dplyr::bind_rows(all_letters)
}

listino_azionario <- get_listino_azionario() 

head(listino_azionario, n = 5)

get_listino_azionario_old <- function(){

  # Inizializzazione lista per le lettere 
  i <- 1
  all_stocks <- list()
  
  # Url di Base
  url_base <- "https://www.borsaitaliana.it"
  
  # Path as vector
  url_path <- c("borsa", "azioni", "listino-a-z.html")
  
  # For loop for all the Letters 
  for(i in 1:length(LETTERS)){
    
    # Query Dinamica 
    url_query <- list(initial = LETTERS[i], lang = "it")
 
    # Url Finale 
    url_completo <- httr::modify_url(url_base, path = url_path, query = url_query)
    
    # Inizio la Sessione
    sess <- rvest::session(url_completo)
    
    # Lettura dell' HTML
    html <- rvest::read_html(sess)
    
    # Inizializziamo una lista dove salvare le pagine 
    all_pages <- list()
  
    # Il primo elemento può essere importato subito 
    all_pages[[1]] <- singola_pagina(html)
    
    # Cerchiamo il pulsante "successivo" sarà la condizione per il  ciclo while 
    next_page <- find_next_page(html)
    condition <- !is.null(next_page)
    page <- 2
    
    # Se la condizione è vera il ciclo inizia 
    while(condition){
      
      # Cambio sessione 
      sess <- rvest::session_follow_link(sess, xpath = next_page)
      
      # Lettura del nuovo HTML
      html <- rvest::read_html(sess)
      
      # Importazione della pagina       
      all_pages[[page]] <- singola_pagina(html)
        
      # Cerchiamo il pulsante "successivo" sarà la condizione per il  ciclo while     
      next_page <- find_next_page(html)
      condition <- !is.null(next_page)
      page <- page + 1
    } 

    all_stocks[[i]] <- dplyr::bind_rows(all_pages)
    
  }
  
  dplyr::bind_rows(all_stocks)
  
}

find_prev_page <- function(html){
  
  # Identificazione di tutti i nodi
  prev_page_button <- rvest::html_nodes(html, css = "li a")
  
  # Filtro individuando l'indice con nodo con attributo title="Precedente"
  index_button <- which(rvest::html_attr(prev_page_button, "title") == "Precedente")
  
  # Restituisce l'xpath del nodo selezionato o NULL
  if(purrr::is_empty(index_button)){
    NULL
  } else {
    prev_page_button <- prev_page_button[index_button]
    xml2::xml_path(prev_page_button)
  }
}

find_max_page <- function(html){
  
  # Identificazione di tutti i nodi
  prev_page_button <- rvest::html_nodes(html, css = "li.m-pagination__item a")
  
  # Filtro individuando tutti i numeri delle pagine
  index_button <- as.integer(rvest::html_text(prev_page_button))
  
  # Restituisce il numero massimo di pagine o NULL
  if(purrr::is_empty(index_button)){
    NULL
  } else {
    max(index_button, na.rm = TRUE)
  }
}