Rselenium & crawling

Rselenium 설치

[참고] https://github.com/Leeyua-airim/shiny_repo

Leeyua-airim/shiny_repo 에서 Update 셀레니움_다운로드_주소 파일을 클릭(아래와 같음)

세 가지 주소가 있음. 먼저 c 드라이브에 C::폴더 만들기

• https://github.com/mozilla/geckodriver/releases/tag/v0.17.0
• https://sites.google.com/a/chromium.org/chromedriver/
• https://www.seleniumhq.org/download/ (Download version 3.141.59 다운)

1.2 는 압축풀고 나서 selenium 폴더 에 저장.

3은 압축풀지 말고 selenium 폴더에 저장

윈도우 cmd 에서 C::폴더 로 이동 후

java -Dwebdriver.gecko.driver=“geckodriver.exe” -jar selenium-server-standalone-3.141.59.jar -port 4445 입력(3번 압축 버전과 일치 시킬 것)

서버 동작 후 R studio에서 분석 실시

# 패키지 설치 

# library(rvest)
# library(httr)
# library(RSelenium)

유튜브 제목 수집

# remD <- remoteDriver(port=4445L, browserName="chrome")

# remD$open() #서버에 연결

# title <- "이승환"
# remD$navigate(paste0("https://www.youtube.com/watch?v=",title)) #이 홈페이지로 이동 

# html <- remD$getPageSource()[[1]]
# html <- read_html(html)

# title_res <- html %>% html_nodes("#video-title") %>% html_text()    # SelectorGadget 설치 

# title_res <- gsub("\n", "", title_res)  # 불용어 처리
# title_res <- trimws(title_res)          # 공백 처리 

# title_res

유튜브 댓글 수집

# remD$open() #서버에 연결

# remD$navigate("https://youtu.be/tZooW6PritE") ##이 홈페이지로 이동

# btn <- remD$findElement(using = "css selector",
#                         value = ".html5-main-video")
# btn$clickElement()

# 홈페이지 스크롤
# remD$executeScript("window.scrollTo(0,500)")
# remD$executeScript("window.scrollTo(5000,1000)")
# remD$executeScript("window.scrollTo(10000,1500)")


# html <- remD$getPageSource()[[1]]
# html <- read_html(html)  # 페이지 소스 읽어오기

# ytube_comments <- html %>% html_nodes("#content-text") %>% html_text()    # SelectorGadget 설치. 댓글의 CSS 찾기 
# ytube_comments <- ytube_comments[1:50]

# head(ytube_comments)

# ytube_comments <- gsub("\n", "", ytube_comments)
# ytube_comments <- trimws(ytube_comments)

# ytube_comments

# write.table(ytube_comments,
#             file = "D:/R/comments.txt",
#             sep = ",",
#             row.names = FALSE,
#             quote = FALSE)

네이버 뉴스 제목 수집

# remD$open() #서버에 연결

# name <- "이승환"
# remD$navigate(paste0("https://search.naver.com/search.naver?where=news&sm=tab_jum&query=", name))

# btn <- remD$findElement(using = "css selector",
#                        value = ".html5-main-video")
# btn$clickElement()

# 홈페이지 스크롤
# remD$executeScript("window.scrollTo(0,500)")
# remD$executeScript("window.scrollTo(5000,1000)")
# remD$executeScript("window.scrollTo(10000,1500)")

# html <- remD$getPageSource()[[1]]
# html <- read_html(html)  # 페이지 소스 읽어오기

# lee_factory <- html %>% html_nodes("._sp_each_title") %>% html_text()    # SelectorGadget 설치. 댓글의 CSS 찾기 
# lee_factory <- lee_factory[1:10]   # 페이지 넘어가는 방법 확인할 것 

# head(lee_factory)

# lee_factory <- gsub("\n", "", lee_factory)
# lee_factory <- trimws(lee_factory)

# lee_factory