Naver News Crawling

0. 필요한 패키지 다운로드

library(rvest)
library(httr)
library(tidyverse)

1. url 파악

url <- "https://finance.naver.com/news/news_list.nhn?mode=LSS2D&section_id=101&section_id2=258"  

2. url GET/POST 형식 파악 후, 페이지의 모든 정보 다운로드

• 주소가 &, ? 등으로 바뀌는 것으로 보아 GET 형식
• charset 뒤에 나오는 인코딩 형식 파악할 것

data <- GET(url)

data

## Response [https://finance.naver.com/news/news_list.nhn?mode=LSS2D&section_id=101&section_id2=258]
##   Date: 2019-08-10 15:19
##   Status: 200
##   Content-Type: text/html;charset=EUC-KR
##   Size: 57.2 kB
## 
## 
## 
## 
## 
## 
## 
## 
## <!--  global include -->
## 
## ...

3. 얻어온 모든 정보에서 html을 읽어낸 뒤, 필요한 부분만 추출할 것

data_title <-
  data %>% 
  read_html(encoding = "EUC-KR") %>% #위에서 알아낸 인코딩 형식
  html_nodes("dl") %>% 
  html_nodes(".articleSubject") %>% 
  html_nodes("a") %>% 
  html_attr("title")                 #attribute이므로 attr

data_title

##  [1] "모아종합건설, 대구MBC 부지 매입자금 조달"                                    
##  [2] "코인빗 글로벌 거래소로의 도약, '코인빗 2.0' 런칭 성공"                       
##  [3] "사상 첫 적자 이마트…10만원선 지켜낼까"                                      
##  [4] "제이콘텐트리, 올해 '영화·콘텐츠' 둘 다 잡는다"                              
##  [5] "[주목!e해외주식]서비스나우, 계약갱신 몰리는 하반기 기대감↑"                 
##  [6] "[주목!e해외주식]도요타, 엔화강세 `부담`…투자매력 `글쎄`"                    
##  [7] "“월트 디즈니, 장기 성장 동력은 강하지만 단기 투자에 유의해야”"             
##  [8] "[주간추천주]SK증권"                                                          
##  [9] "[주간추천주]KB증권"                                                          
## [10] "[주간추천주]유안타증권"                                                      
## [11] "[주간추천주]하나금융투자"                                                    
## [12] "현대·기아차, '리콜 은폐'에 긴장"                                            
## [13] "\"위안·달러 7.5위안 넘으면 韓증시 변동성 확대…다음주 1900~1950pt\""        
## [14] "[뉴욕증시] 중 무역분쟁 우려 지속… 다우, 소폭 하락마감"                      
## [15] "[주간증시전망] \"위안화 환율 변수에 따라 주가 움직여…1900선 하방지지 시험\""
## [16] "[주목! e스몰캡]삼익악기, 중국에 울려퍼지는 피아노 선율"                      
## [17] "[펀드와치]韓주식형 펀드 큰폭↓…글로벌은 활짝"                               
## [18] "[마켓인]국민연금 대체투자 자문사 선정나서…6개 부문 36개사"                  
## [19] "[거꾸로읽는증시]역대 사이드카, 하락때가 상승때를 압도"                       
## [20] "안양시, 일본 수출규제 피해 업체에 100억 특례보증"