Eva “Usin” Masin on esimeses praktikumis kohatud Mati “Raha” Masina vastand. Talle meeldib rutiinsus, andmete tuim kopeerimine ja sisestamine. Vabal ajal meeldib talle lugeda romaanisarja “Tõde ja õigus” - eelmine nädal luges ta kokku tähekombinatsiooni “pa” esinemissageduse. Homme pärast tööd jätkab ta “pb” esinemissageduse leidmisega.
Õnneks oli eelnev tekst fiktsioon ja Eva-laadsed kopeerijad surid välja koos neandertaallastega. Selles praktikumis vaatame, kuidas R-is ellu äratada tehis-Eva, kes oskab veebilehtedelt automaatselt infot eraldada ja selle transformeerida struktureeritud andmestikuks.
Täpsemalt, uurime
Kaks esimest ülesannet õpetavad paketi rvest funktsionaalsust ja annavad sissejuhatuse veebikraapimisse minimalistlike veebilehtede põhjal.
Eralda html
koodis sinisena olev tekst muutujasse tekst. Kasuta
paketti rvest.
Vastava html koodiga saad mängida siin.
Loe lühiülevaadet, millest koosnevad veebilehed ja uuri paketi rvest minimalistlikku näidet siit.
Minimalistliku näite põhjal peaksid oskama eraldada lähtekoodis olevad 4 lõiku. Et eraldada lõik, kus id=“p01”, pead teadma, kuidas CSS-is tähistatakse id-sid. Suur vihje on olemas eelneva html koodi < style > blokis. Abiks võib-olla ka CSS selektorite interaktiivne testnäide.
Uuri paketi rvest
dokumentatsiooni. Kasuks tulevad funktsioonid
read_html, html_node, html_nodes
ja html_text.
Lõpptulemus peaks olema selline:
tekst = c("I am different.")
# Ülesanne 1.1
url = "https://andmeteadus.github.io/2023/examples/html1.html"
library(rvest)
## Warning: package 'rvest' was built under R version 4.3.3
library(dplyr)
##
## Attaching package: 'dplyr'
## The following objects are masked from 'package:stats':
##
## filter, lag
## The following objects are masked from 'package:base':
##
## intersect, setdiff, setequal, union
page = read_html(url)
tekst <- page %>%
html_nodes("[id=p01]") %>%
html_text()
tekst
## [1] "I am different."
SINU VASTUS: 1) table 2) bento 3) #fancy 4) plate apple 5) #fancy pickle 6) .small
Eralda html
koodis punaselt olev tekst muutujasse tekst. Kasuta
paketti rvest.
Vastava html koodiga saad mängida siin.
Lõpptulemuse peaks olema selline:
tekst = c("I am different.", "I am different too.")
# Ülesanne 1.2
url = "https://andmeteadus.github.io/2023/examples/html2.html"
page = read_html(url)
tekst <- page %>%
html_nodes("p.error") %>%
html_text()
tekst
## [1] "I am different." "I am different too."
Margus “Maru” Rahvus on aus Eesti mees - ta aretab aias sini-must-valgeid ülaseid; mobiiltelefoni helinaks on tal “Eestlane olen ja eestlaseks jään” ja maksud on tal juba 3 aasta jagu ette ära makstud, et ikka kodumaa õitseks. Veebruaris 2021 oli ta pühaviha täis kui sai teada, et Riigikogus lükkas tagasi eelnõu, mis oleks ometi viinud ta lähemale Eesti Vabariigi presidendi otsevalimisteni. Juba aastaid on ta tahtnud valida selleks oma kalli naise Eevi “Emakaru” Rahvuse, et siis uhketel paraadidel ja ballidel kaasas käia, nautida esihärra head elu ja Kadriorus Pätsi pronksbüsti pead paitada.
Margusel on plaanis kirjutada kiri kõikidele rahvasaadikutele, kes eelnõu vastu hääletasid, et pärida nende otsuse tagamaad. Ta pöördub Eva “Usin” Masina poole, kes on copy-paste vallas kibe käpp.
Automatiseeri see protsess. Eralda ülal toodud Riigikogu hääletamistulemuste veebilehelt (lähtekoodi nägemiseks paremklikk ja Wiew Page Source), mitu saadikut hääletas Marguse ammuihaldatud eelnõu:
Praktikumis tutvusime, kuidas brauseri veebiarenduse tööriistadega leida üles lähtekoodist vajalikud kohad. Variandid olid:
- Chrome’is vajuta parem klikk ja “inspekteeri elementi”. Alernatiivid on klahvikombinatsioon Ctrl + Shift + I või klahv F12.
- vahendiga selectorgadget
Need muudavad lähtekoodis õige klassi, id või sildi leidmise oluliselt lihtsamaks. Mõnes olukorras on kasulikum üks variant, mõnes teine.
Vihjed:
Väärtuste eraldamiseks kasuta atribuuti href. Uuri, kuidas eraldada atribuute CSS-i õppimise tutorialist http://flukeout.github.io/ (alates levelist 27).
Kasutada paketi stringr funktsiooni
str_extract() kui sa ei taha regulaaravaldistega mässata.
Vaata näiteks, mida teeb järgmine koodirida
"Kokku: 101 liiget" %>% str_extract("\\d+")
# Ülesanne 1.3
url = "https://www.riigikogu.ee/tegevus/tooulevaade/haaletused/haaletustulemused-kohalolekukontroll/905a7f22-99c0-4188-8bb6-0fe9125127a2"
library(stringr)
page = read_html(url)
haaletused <- function(html, haaletus) {
tulemus <- html %>%
html_nodes(sprintf("[href$=%s] span", haaletus)) %>%
html_text() %>%
str_extract("\\d+") %>%
as.numeric()
return(tulemus)
}
poolt <- haaletused(page, "poolt")
vastu <- haaletused(page, "vastu")
erapooletud <- haaletused(page, "erapooletu")
ei_haaletanud <- haaletused(page, "ei-haaletanud")
c(poolt, vastu, erapooletud, ei_haaletanud)
## [1] 62 19 0 14
Eralda eelnõu hääletamistulemuste andmetabel, kus on 101 rida ja tunnused Nimi, Otsus ja Fraktsioon.
Vihjed:
html_table,str_split_fixed().# Ülesanne 1.4
haaletused_table <- page %>%
html_node("table") %>%
html_table() %>%
mutate(Otsus = str_split_fixed(Otsus, " \n\n", 2)[,1])
head(haaletused_table)
## # A tibble: 6 × 3
## Nimi Otsus Fraktsioon
## <chr> <chr> <chr>
## 1 Merry Aart Vastu Eesti Konservatiivse Rahvaerakonna fraktsioon
## 2 Annely Akkermann Poolt Eesti Reformierakonna fraktsioon
## 3 Yoko Alender Poolt Eesti Reformierakonna fraktsioon
## 4 Riho Breivel Puudub Eesti Konservatiivse Rahvaerakonna fraktsioon
## 5 Dmitri Dmitrijev Poolt Eesti Keskerakonna fraktsioon
## 6 Ivi Eenmaa Poolt Eesti Reformierakonna fraktsioon
Visualiseeri, kuidas jaotusid otsused fraktsioonide lõikes.
# Ülesanne 1.5
library(reshape2)
## Warning: package 'reshape2' was built under R version 4.3.3
library(ggplot2)
frak <- haaletused_table %>%
group_by(Fraktsioon) %>%
summarize(Vastu = sum(Otsus == "Vastu"),
Poolt = sum(Otsus == "Poolt"),
Erapooletud = sum(Otsus == "Erapooletud"),
"Ei hääletanud" = sum(Otsus == "Ei hääletanud")) %>%
melt(measure.vars = 2:5)
names(frak)[names(frak) == "variable"] <- "Otsus"
names(frak)[names(frak) == "value"] <- "Mitu"
frak$Fraktsioon[frak$Fraktsioon == "Eesti Keskerakonna fraktsioon"] <- "KE"
frak$Fraktsioon[frak$Fraktsioon == "Eesti Konservatiivse Rahvaerakonna fraktsioon"] <- "EKRE"
frak$Fraktsioon[frak$Fraktsioon == "Eesti Reformierakonna fraktsioon"] <- "RE"
frak$Fraktsioon[frak$Fraktsioon == "Isamaa fraktsioon"] <- "Isamaa"
frak$Fraktsioon[frak$Fraktsioon == "Sotsiaaldemokraatliku Erakonna fraktsioon"] <- "SDE"
frak <- frak[frak$Fraktsioon != "Fraktsiooni mittekuuluvad Riigikogu liikmed", ]
ggplot(data = frak, aes(x = Fraktsioon, y = Mitu, fill = Otsus)) +
geom_bar(stat="identity") + scale_fill_brewer(palette = "Set3")
Eva “Usin” Masin töötab start-upis, mis lubab Eesti turule tuua unikaalse personaalse uudisterakenduse, mis filtreerib uudiseid vastavalt kasutaja soovidele. Eva “Usin” Masin pandi koostama andmebaasi Postimehe esilehe uudiste kohta. Eva teab, kuidas karjääriredelis ülespoole ronida: “Bossi käsu peale olgu uudiste pealkirjad võimalikult kiiresti olemas”.
Automatiseeri seesama protsess. Tagasta kõik Postimehe esilehe uudiste pealkirjad (joonisel näidatud kollasega).
# Ülesanne 1.6
url = "http://www.postimees.ee/"
page = read_html(url)
tekst <- page %>%
html_nodes(".list-article__headline") %>%
html_text()
head(tekst)
## [1] "VIDEOD Moskva kontserdimajas toimus tulistamine, Vene meedia teatel on kümneid hukkunuid (11)"
## [2] "Printsess Catherine: mul on vähk (1)"
## [3] "POSTIMEES UKRAINAS Zelenskõi nõuandja: Lääne käitumine julgustas Putinit raketirünnakuid hoogustama (1)"
## [4] "JUHTKIRI Suur privileeg"
## [5] "Juurikas. Stenbocki maja kummitus (1)"
## [6] "Juurikas. Juhtkiri: suhkrumaks teeb elu magusaks"
Eva “Usin” Masinal on suur huvi ilmaandmete vastu. Kümme minutit pärast iga täistundi märgib ta Ilmateenistuse vaatlusandmeid oma märkmikku, et hiljem analüüsi teha.
Automatiseeri seesama protsess.
Juhised:
Näpunäide:
# Ülesanne 1.7
page = read_html("observations.xml")
rohk <- page %>%
html_nodes("airpressure") %>%
html_text()
tuul <- page %>%
html_nodes("windspeed") %>%
html_text()
ilm <- data.frame(rohk, tuul)
ilm <- ilm[ilm$rohk != "" & ilm$tuul != "", ]
ggplot(ilm, aes(x=rohk, y=tuul)) + geom_point()
Eva “Usin” Masin on lotohuviline, aga ta pole aastaid Eurojackpotiga võitnud. Ta arvab, et lototulemused pole päris juhuslikud ning lotos on võimalik statistiline eelis saada. Seepärast märgib ta iga lotokolmapäev Eurojackpoti loositud numbrid üles ja uurib, kas number kahtesid loositakse rohkem välja, kui juhus lubaks.
# Ülesanne 1.8
url <- "https://www.euro-jackpot.net/et/statistika/numbrite-sagedused"
page <- read_html(url)
bingo_table <- page %>%
html_node("table") %>%
html_table(header=T)
names(bingo_table) <- as.character(unlist(bingo_table[1,]))
bingo_table <- bingo_table[-1,]
bingo_table$Number <- as.numeric(bingo_table$Number)
bingo_table$Sagedus <- as.numeric(bingo_table$Sagedus)
ggplot(data = bingo_table, aes(x = Number, y = Sagedus)) +
geom_bar(stat = "identity")
Alusta suvaliselt veebilehelt. Eralda kõik väljuvad lingid. Vali üks neist linkidest suvaliselt. Hüppa sellele lingile. Kui sellel leheküljel pole ühtegi väljuvat linki, mine tagasi. Kui väljuvaid linke on mitmeid, vali jälle välja suvaline ja hüppa sinna. Kui jõudsid Facebooki, on katse lõppenud. Korda seda protsessi mitu korda ja erinevate alglehtedega. Uuri, mitmel juhul jõudsid FBsse.
Näpunäide: Abiks on paketi rvest funktsioon
follow_link().
Järgmises praktikumis kasutame peakomponentanalüüsi, seetõttu seisneb kodutöö II osa peakomponentanalüüsiga tutvumises.
(2 punkti) Vaata videot PCA 1: curse of dimensionality
SINU VASTUS: Andmestikus võib mitut tunnust ühendada üks ühtne tunnus, st tunnuste arv on üleliigne. Näiteks võivad kaks tunnust esitada sama fakti, lihtsalt erineval kujul, näiteks on pikkuse puhul kasutatud kord sentimeetreid, kord tolle. Veel võib üks üldine asjaolu selgitada mitut tunnust. Näiteks kui mõõdetud on jää tõttu tekkinud autoavariide arvu ja kuumarabanduste arvu mingil perioodil, on mõlemad tunnused otseselt sõltuvad temperatuurist, mis on vaid üks tunnus.
(1 punkt) Vaata videot PCA 3: direction of greatest variance
SINU VASTUS: Esimene peakomponent valitakse selliselt, et mööda seda joont on andmete dispersioon maksimaalne.
(1 punkt) Vaata Stanfordi masinõppe kursuse videot Principal Component Analysis Problem Formulation
SINU VASTUS: Sain selgema arusaama peakomponentanalüüsi põhimõttest, sealjuures faktist, et peakomponendid on järjestatud kõige tähtsamast kõige vähem tähtsamani. Samuti sain teada, kuidas jõuti järelduseni, et suurima dispersiooniga joone valimine säilitab kõige rohkem infot ning miks valitakse teine peakomponent esimesega risti. Üldiselt meeldis teine video rohkem. Selgituses kasutati kaasaegsemaid meetodeid nagu animatsioonid. Samuti alustas video iga selgitust motiveeriva küsimusega ning alles siis selgitas kasutatavaid meetodeid.
Lisaks võid uurida Explained Visually: Principal Component Analysis