AJAX

HTML

Markup language for structuring content on the Web
Static display of content in a page layout
Inability to create more dynamic displays of information
Once an HTML document is downloaded, the visual appearance will not change.

***Three elements to provide content dynamically
1. a mechanism to register user behavior in the browser
2. a scripting engine to formulate responses to those events
3. a more versatile data requesting mechanism for fetching information asynchronously

AJAX (Asynchronous JavaScript and XML): A Web technology turning static into dynamic HTML

GET function from httr package does not work well with AJAX-enriched websites in data collection, where information is loaded iteratively after the site has been requested.

JavaScript
- JavaScript functionality enhances HTML using special purpose libraries like R’s packaging system.
- JavaScript code is organized with HTML elements in various ways, but a JavaScript-enhanced HTML file requires the browser to not only parse the HTML content and construct the DOM, but also to read the JavaScript code and carry out its commands.
- A popular application for JavaScript is to create some kind of alteration of the information or apperance of the current browser display: DOM manipulation for generating dynamic browser display.
```
- HTML elements may either be removed, added or shifted
- Attributes to any HTML element can be added or changed
- CSS styles can be modified
```

library(RCurl)
fortune1 <- getURL("http://www.r-datacollection.com/materials/ch-6-ajax/fortunes/fortunes1.html")

library(XML)
parsed_fortune1 <- htmlParse(fortune1, encoding = "UTF-8")
parsed_fortune1

## <!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML//EN">
## <html>
## <head>
## <script type="text/javascript" src="jquery-1.8.0.min.js"></script><script type="text/javascript" src="script1.js"></script><title>Collected R wisdoms</title>
## </head>
## <body>
## <div id="R Inventor" lang="english" date="June/2003">
##   <h1>Robert Gentleman</h1>
##   <p><i>'What we have is nice, but we need something very different'</i></p>
##   <p><b>Source: </b>Statistical Computing 2003, Reisensburg</p>
## </div>
## 
## <div lang="english" date="October/2011">
##   <h1>Rolf Turner</h1>
##   <p><i>'R is wonderful, but it cannot work magic'</i> <br><emph>answering a request for automatic generation of 'data from a known mean and 95% CI'</emph></p>
##   <p><b>Source: </b><a href="https://stat.ethz.ch/mailman/listinfo/r-help">R-help</a></p>
## </div>
## 
## <address><a href="http://www.r-datacollection.com"><i>The book homepage</i></a></address>
## </body>
## </html>
##

<script type="text/javascript" src="script1.js"></script> makes a reference to the file script1.js, which includes the code responsible for the DOM alterations.

This illustrates that the underlying HTML code and the information displayed in the browser do not necessarily coincide in a JavaScript-enriched website.

What are the implications of this technology for scraping information from this page?

XMLHttpRequest (XHR)

A limitation of the HTTP protocol is that communication b/w client and server necessarily follows a synchronous request-response pattern. Synchronous communication means that the user’s interaction with the browser is being disabled while a request is received, processed, and a new page is delivered by the web server.

XMLHttpRequest(XHR): An interface initiates HTTP or HTTPS requests to a web server in an asynchronous manner. This allows for a continuous exchange of information b/w the browser and the web server to fetch additional information in the background without interfering with the user’s behavior on the page.

The user-server communication process using the XMLHttpRequest

fortune2 <- getURL("http://www.r-datacollection.com/materials/ch-6-ajax/fortunes/fortunes2.html")

parsed_fortune2 <- htmlParse(fortune2, encoding = "UTF-8")
parsed_fortune2

## <!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML//EN">
## <html>
## <head>
## <script type="text/javascript" src="jquery-1.8.0.min.js"></script><script type="text/javascript" src="script2.js"></script><title>Collected R wisdoms</title>
## </head>
## <body>
## 
## <address><a href="http://www.r-datacollection.com"><i>The book homepage</i></a></address>
## </body>
## </html>
##

Exploring AJAX with Web Developer Tools

fortunes_xhr <- getURL("http://www.r-datacollection.com/materials/ch-6-ajax/fortunes/quotes/quotes.html")

htmlParse(fortunes_xhr)

## <!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN" "http://www.w3.org/TR/REC-html40/loose.dtd">
## <html><body>
## <div id="R Inventor" lang="english" date="June/2003">
##   <h1>Robert Gentleman</h1>
##   <p><i>'What we have is nice, but we need something very different'</i></p>
##   <p><b>Source: </b>Statistical Computing 2003, Reisensburg</p>
## </div>
## 
## <div lang="english" date="October/2011">
##   <h1>Rolf Turner</h1>
##   <p><i>'R is wonderful, but it cannot work magic'</i> <br><emph>answering a request for automatic generation of 'data from a known mean and 95% CI'</emph></p>
##   <p><b>Source: </b><a href="https://stat.ethz.ch/mailman/listinfo/r-help">R-help</a></p>
## </div>
## </body></html>
##

Regular expressions (Regex)

library(XML)

news <- readLines("https://news.naver.com/main/ranking/read.nhn?mid=etc&sid1=111&rankingType=popular_day&oid=018&aid=0004756242&date=20201011&type=1&rankingSeq=2&rankingSectionId=105")

## Warning in readLines("https://news.naver.com/main/ranking/read.nhn?
## mid=etc&sid1=111&rankingType=popular_day&oid=018&aid=0004756242&date=20201011&type=1&rankingSeq=2&rankingSectionId=105"):
## 'https://news.naver.com/main/ranking/read.nhn?
## mid=etc&sid1=111&rankingType=popular_day&oid=018&aid=0004756242&date=20201011&type=1&rankingSeq=2&rankingSectionId=105'에
## 서 불완전한 마지막 행이 발견되었습니다

parsed_news <- htmlParse(news)


library(tidyverse)

## -- Attaching packages ---------------------------------------- tidyverse 1.3.0 --

## √ ggplot2 3.3.0     √ purrr   0.3.4
## √ tibble  3.0.0     √ dplyr   1.0.1
## √ tidyr   1.0.2     √ stringr 1.4.0
## √ readr   1.3.1     √ forcats 0.5.0

## -- Conflicts ------------------------------------------- tidyverse_conflicts() --
## x tidyr::complete() masks RCurl::complete()
## x dplyr::filter()   masks stats::filter()
## x dplyr::lag()      masks stats::lag()

library(rvest)

## Loading required package: xml2

## 
## Attaching package: 'rvest'

## The following object is masked from 'package:purrr':
## 
##     pluck

## The following object is masked from 'package:readr':
## 
##     guess_encoding

## The following object is masked from 'package:XML':
## 
##     xml

time <- xpathSApply(parsed_news, '//*[@id="main_content"]/div[1]/div[3]/div/span', xmlValue) %>% repair_encoding(from="utf-8")
time

## [1] "2020.10.11. 오전 9:29"

class(time)

## [1] "character"

library(stringr)
str_extract(time, " [가-힣]+ [^[:alpha:]]+:[^[:alpha:]]+$")

## [1] " 오전 9:29"

str_extract(time, " [가-힣]+ [[:digit:]]+:[[:digit:]]+$")

## [1] " 오전 9:29"

str_replace_all(time, " [가-힣]+ [[:digit:]]+:[[:digit:]]+$", "")

## [1] "2020.10.11."

time <- str_remove_all(time, " [가-힣]+ [[:digit:]]+:[[:digit:]]+$")
class(time)

## [1] "character"

one <- "2020.10.11"
two <- "2020.10.10"

time <- as.Date(time, "%Y.%m.%d")
time

## [1] "2020-10-11"

class(time)

## [1] "Date"

content <- repair_encoding(xpathSApply(parsed_news, '//*[@id="articleBodyContents"]/text()', fun=xmlValue), from="UTF-8")
content

##  [1] "\n\t"                                                                                                                                                                                                                                                                                                                                                                         
##  [2] "\n\t"                                                                                                                                                                                                                                                                                                                                                                         
##  [3] "\n\n"                                                                                                                                                                                                                                                                                                                                                                         
##  [4] "\n"                                                                                                                                                                                                                                                                                                                                                                           
##  [5] "[이데일리 장영은 기자] ‘아이폰12’(가칭) 이번주에 드디어 베일을 벗는다. 예년보다 아이폰 신작의 공개 및 출시 일정이 한달 가량 늦어지면서 ‘애플 팬’들의 기대감은 더 높아져 있는 상태다. "                                                                                                                                                                                    
##  [6] "아이폰 12 시리즈는 △아이폰12 미니(5.4인치) △아이폰12(6.1인치) △아이폰12 프로(6.1인치) △아이폰12 프로 맥스(6.7인치) 등 4종으로 출시될 예정이다. 역대 라인업 중 가장 많은 모델로 구성된다. "                                                                                                                                                                                
##  [7] "우선 가장 크게 주목을 받고 있는 부분은 애플의 첫번째 5G폰이라는 점이다. 삼성전자(005930)가 세계 최초 5G폰인 ‘갤럭시S10’을 출시한지 1년 7개월만이다. 그동안 업계에서는 ‘완벽하지 않으면 내지 않는다’는 애플의 철학 때문에 5G폰 출시가 늦어지는 것이라는 해석도 나왔다. "                                                                                                   
##  [8] "국내에 출시되는 아이폰12 시리즈는 4종 모두 6기가헤르츠(GHz) 대역 이하(서브6) 5G 모델로 출시될 것으로 알려졌다. 다만, 최상위 모델인 ‘아이폰12 프로 맥스’의 미국 출시 모델에는 28Ghz의 초고주파(mmWave) 대역 안테나가 탑재될 것이란 전망이 나온다. 배터리 절감 차원에서 4G와 5G를 선택할 수 있는 스마트 데이터모드가 도입된다. "                                              
##  [9] "애플의 최신형 칩셋 ‘A14 바이오닉’이 보여줄 강력한 성능에도 이목이 쏠린다. 애플은 자체 어플리케이션 프로세서(AP)의 성능이 동급 최강이라는 자부하고 있다.  애플 최초로 ‘5나노미터’ 공정 기술이 적용된 A14는 A13보다 중앙처리장치(CPU)와 그래픽처리장치(GPU)의 속도를 각각 16%, 8.3% 향상시킬 것으로 예상되고 있다. A12와 비교하면 CPU 속도는 40%, GPU는 30% 각각 향상된다. "
## [10] "디자인 측면에서는 과거로 회귀할 것이라는 전망이다. 기기의 가장자리에 ‘깻잎 통조림’이라는 별칭을 얻었던 ‘아이폰4’와 ‘아이폰5’ 처럼 평평한 금속 테두리를 적용할 것으로 알려졌다. 전작의 인기 색상이었던 ‘미드나잇 그린’을 대체할 색상으로 다크 블루 색상을 채택하고 액정을 보호하기 위한 ‘세라믹 쉴드’ 코딩도 새롭게 적용된다. "                                      
## [11] "이밖에도 아이폰12에서는 충전방식이 라이트닝에서 USB-C 타입으로 바뀌고, 원가절감과 환경 보호를 위해 기본 구성품으로 제공되던 유선이어폰(이어팟)과 충전기가 빠진다. "                                                                                                                                                                                                           
## [12] "아이폰12는 미국을 포함한 1차 출시국에 이르면 23일께 공식 출시될 것으로 예상된다. 아이폰12 프로 맥스는 부품 수급 등 문제로 11월에 따로 출시될 가능성도 있다."                                                                                                                                                                                                                  
## [13] "특히 올해는 아이폰 신작의 국내 출시 일정이 획기적으로 앞당겨질 것이라는 소식이다. 첫 5G폰인 만큼 세계 최초로 5G 서비스를 상용화한 국내에 1차 출시국에 준하는 일정으로 이달 말께 선보인다는 것이다. "                                                                                                                                                                          
## [14] "가격은 가장 저렴한 ‘아이폰12 미니’ 기준으로 649달러부터 749달러까지 다양한 관측이 나오고 있는 상황이다. "                                                                                                                                                                                                                                                                   
## [15] "업계에서는 아이폰12이 아이폰 사용자들의 교체 수요를 자극해 예년보다 많이 판매될 것으로 예상하고 있다. 전 세계에서 사용되는 아이폰 약 9억5000만대 중 3억5000만대가 1년 안에 교체될 가능성이 높은 구형 제품인데다, 애플의 첫 5G폰이기 때문이다. "                                                                                                                               
## [16] "또 미국 중고 휴대폰 셀셀닷컴이 미국 안드로이드 스마트폰 사용자 2000명을 대상으로 실시한 설문조사에 따르면 응답자의 33%가 아이폰12로 교체를 희망하는 것으로 나타났다. "                                                                                                                                                                                                        
## [17] "한편, 애플은 오는 13일(현지시간) 미국 샌프란시스코 본사에서 온라인으로 아이폰12 공개 행사를 진행할 계획이다. 행사는 애플 홈페이지를 통해 실시간으로 시청할 수 있다."                                                                                                                                                                                                          
## [18] "장영은 (bluerain@edaily.co.kr)"                                                                                                                                                                                                                                                                                                                                               
## [19] "\n\t"                                                                                                                                                                                                                                                                                                                                                                         
## [20] "\n\t"

content <- paste(content, collapse = " ")
content

## [1] "\n\t \n\t \n\n \n [이데일리 장영은 기자] ‘아이폰12’(가칭) 이번주에 드디어 베일을 벗는다. 예년보다 아이폰 신작의 공개 및 출시 일정이 한달 가량 늦어지면서 ‘애플 팬’들의 기대감은 더 높아져 있는 상태다.  아이폰 12 시리즈는 △아이폰12 미니(5.4인치) △아이폰12(6.1인치) △아이폰12 프로(6.1인치) △아이폰12 프로 맥스(6.7인치) 등 4종으로 출시될 예정이다. 역대 라인업 중 가장 많은 모델로 구성된다.  우선 가장 크게 주목을 받고 있는 부분은 애플의 첫번째 5G폰이라는 점이다. 삼성전자(005930)가 세계 최초 5G폰인 ‘갤럭시S10’을 출시한지 1년 7개월만이다. 그동안 업계에서는 ‘완벽하지 않으면 내지 않는다’는 애플의 철학 때문에 5G폰 출시가 늦어지는 것이라는 해석도 나왔다.  국내에 출시되는 아이폰12 시리즈는 4종 모두 6기가헤르츠(GHz) 대역 이하(서브6) 5G 모델로 출시될 것으로 알려졌다. 다만, 최상위 모델인 ‘아이폰12 프로 맥스’의 미국 출시 모델에는 28Ghz의 초고주파(mmWave) 대역 안테나가 탑재될 것이란 전망이 나온다. 배터리 절감 차원에서 4G와 5G를 선택할 수 있는 스마트 데이터모드가 도입된다.  애플의 최신형 칩셋 ‘A14 바이오닉’이 보여줄 강력한 성능에도 이목이 쏠린다. 애플은 자체 어플리케이션 프로세서(AP)의 성능이 동급 최강이라는 자부하고 있다.  애플 최초로 ‘5나노미터’ 공정 기술이 적용된 A14는 A13보다 중앙처리장치(CPU)와 그래픽처리장치(GPU)의 속도를 각각 16%, 8.3% 향상시킬 것으로 예상되고 있다. A12와 비교하면 CPU 속도는 40%, GPU는 30% 각각 향상된다.  디자인 측면에서는 과거로 회귀할 것이라는 전망이다. 기기의 가장자리에 ‘깻잎 통조림’이라는 별칭을 얻었던 ‘아이폰4’와 ‘아이폰5’ 처럼 평평한 금속 테두리를 적용할 것으로 알려졌다. 전작의 인기 색상이었던 ‘미드나잇 그린’을 대체할 색상으로 다크 블루 색상을 채택하고 액정을 보호하기 위한 ‘세라믹 쉴드’ 코딩도 새롭게 적용된다.  이밖에도 아이폰12에서는 충전방식이 라이트닝에서 USB-C 타입으로 바뀌고, 원가절감과 환경 보호를 위해 기본 구성품으로 제공되던 유선이어폰(이어팟)과 충전기가 빠진다.  아이폰12는 미국을 포함한 1차 출시국에 이르면 23일께 공식 출시될 것으로 예상된다. 아이폰12 프로 맥스는 부품 수급 등 문제로 11월에 따로 출시될 가능성도 있다. 특히 올해는 아이폰 신작의 국내 출시 일정이 획기적으로 앞당겨질 것이라는 소식이다. 첫 5G폰인 만큼 세계 최초로 5G 서비스를 상용화한 국내에 1차 출시국에 준하는 일정으로 이달 말께 선보인다는 것이다.  가격은 가장 저렴한 ‘아이폰12 미니’ 기준으로 649달러부터 749달러까지 다양한 관측이 나오고 있는 상황이다.  업계에서는 아이폰12이 아이폰 사용자들의 교체 수요를 자극해 예년보다 많이 판매될 것으로 예상하고 있다. 전 세계에서 사용되는 아이폰 약 9억5000만대 중 3억5000만대가 1년 안에 교체될 가능성이 높은 구형 제품인데다, 애플의 첫 5G폰이기 때문이다.  또 미국 중고 휴대폰 셀셀닷컴이 미국 안드로이드 스마트폰 사용자 2000명을 대상으로 실시한 설문조사에 따르면 응답자의 33%가 아이폰12로 교체를 희망하는 것으로 나타났다.  한편, 애플은 오는 13일(현지시간) 미국 샌프란시스코 본사에서 온라인으로 아이폰12 공개 행사를 진행할 계획이다. 행사는 애플 홈페이지를 통해 실시간으로 시청할 수 있다. 장영은 (bluerain@edaily.co.kr) \n\t \n\t"

정규 표현식

R에서 텍스트를 다루고 처리하기 위한 몇가지 기본 기능을 학습하는 과정에서 우리는 문자열을 자유롭게 다룰 수 있어야 한다는 필요성을 가집니다. 그래서 우리는 정규 표현식(regular expressions)에 대해 알아볼 것입니다.

정규 표현식이란 무엇일까요?

정규 표현식이라는 용어는 낯설게 느껴지고 그 예는 복잡하게 보일 수 있습니다. 하지만 정규 표현식은 텍스트를 구성하는 방식에 관한 것입니다. 오늘날 우리는 이메일, 문자 메세지, 뉴스 기사, 블로그, 댓글, 트윗과 같은 다양한 디지털 텍스트를 쉽게 접할 수 있죠. 이러한 데이터들은 모두 디지털 기호로 이뤄져 있기 때문에, 우리가 텍스트를 구성하는 방식을 안다면 많은 양의 데이터를 즉 빅데이터를 다룰 수 있는 힘을 갖게 됩니다. 다시 말해, 정규 표현식을 이용해서 디지털 텍스트를 처리할 수 있는 것이죠.

그럼 정규 표현식은 무엇일까요? regular expression, 즉 정규 표현식은 텍스트의 특정 pattern을 찾아내기 위한 특수 문자열입니다. 결국 정규 표현식은 문자열 집합을 매칭하기 위한 기호 집합이죠. 영어로 regular expression이라는 용어 자체가 다소 길기 때문에, 흔히 regex 라고 짧게 줄여서 지칭합니다. 저도 이 수업에서 정규 표현과 regex를 혼용해서 사용할 것입니다.

하지만, 정규표현식은 프로그래밍 언어는 아니라는 점에 주목할 필요가 있습니다. regex가 프로그래밍 언어처럼 보일지도 모르겠습니다. 왜냐하면 정규 표현은 컴퓨터를 통해 텍스트에서 우리가 원하는 것을 찾아내는데 사용된는 규칙의 집합이기 때문입니다. 그러나 regex는 변수를 지정할 수 없고, 2+2와 같은 계산을 추가할 수 없기 때문에, 프로그래밍 언어라 말할 순 없습니다.

정규표현식에 들어가기 전에…

정규 표현식은 처음에는 이해하기 어려울 수 있습니다. 무의미한 방식으로 결합된 문자, 숫자 및 구두점이 포함된 문자열을 볼 수 있기 때문입니다. 프로그래밍 및 데이터 분석과 마찬가지로, 정규 표현식을 학습하고 정규 표현식 패턴을 정의하는 데에 시간이 걸리므로 많은 연습이 필요합니다. 그러나 연습을 많이하면 할수록 더 복잡한 패턴을 정의할 수 있고 제거할 수도 있습니다. 그리고 정규 표현식은 Python, Perl, Java와 같은 다른 프로그래밍 언어의 대부분에서 지원되기 때문에 사용에 익숙해지면 매우 유용합니다.

정규 표현식(RegEx)은 어디에 사용될까요?

우리는 정규 표현식을 사용하여 텍스트 작업을 할 것입니다. 가령, 아까 예시에서 언급했던, 구두점, 숫자 그리고 원하지 않는 문자 등을 찾아내서 지우거나 원하는 문자로 바꿔주는 작업을 regex를 이용해서 할 것입니다.

예를 들어, 우리가 전처리하고자 하는 뉴스 텍스트에서는 byline을 구분해서 처리해야 할 필요가 있습니다. 또한, 텍스트에 등장하는 구두점과 숫자 표현들, 영어 알파벳 문자 그리고 웹페이지 주소 같은 URL과 이메일 주소 등을 일일이 지정할 필요 없이 한번에 제거(분리)할 수 있다면 효율적인 텍스트 분석이 가능합니다.

사실, 처리해줘 야 할 텍스트 패턴은 매우 다양할 수 있기 때문에 일일이 모든 경우를 포함시킬 수는 없습니다. 가령, 연도를 가리키는 숫자만 해도 “2018”, “2016”, “2017”에 국한된 것이 아니라 더 많은 다양한 경우가 올 수 있기 때문에, 이러한 규칙을 가진 숫자 표현 모두를 매칭해서 처리해주는 정규 표현이 필요합니다. 이런 방식으로 텍스트에 등장하는 그리고 우리가 지워줘야 하는 모든 문자열, 숫자 또는 구두점을 찾아서 처리할 수 있죠.

정규표현식의 기본

다시 한번 강조하자면, 정규 표현식은 특정 텍스트 문자열을 일괄적으로 찾아낼 수 있는 패턴을 구성하는 것이라 할 수 있습니다. 따라서 regex를 사용할 경우 우리가 처리하고자 하는 텍스트 패턴을 모두 찾아낼 수 있습니다. 그리고 stringr 패키지에서 regex pattern을 잘 구성해서 이용하는 것은 그래서 매우 중요합니다.

그러면 어떻게 regex를 구성해야 할까요. 위에서 언급했듯, 패턴 매칭의 가장 간단한 방법은 특정 문자열 그대로를 찾도록 만드는 것입니다. 예를 들어, 텍스트 문서에서 등장하는 특정 단어 문자열을 매칭하고자 하는 문자패턴 그대로의 regex를 사용해서 그 위치를 검색하는 것이죠.

하지만 대부분의 경우 보다 복잡한 구조의 정규표현식 패턴을 만들어야 할 필요가 생깁니다. 예를 들어서 모든 숫자, 또는 모든 구두점, 또는 해시 태그나 url 또는 영어 단어들을 모두 매칭해서 처리하려면 어떻게 해야 할까요? 이러한 필요를 충족시키는 regex 구성 방법에 대해서 설명드리도록 하겠습니다.

리터럴 문자의 일치

우선, 가장 단순한 일치로 시작해봅시다. : 문자 그대로의 패턴 리터럴 문자 일치는 문자 “A”와 같은 주어진 문자가 문자 “A”와 일치한다는 것입니다. 이 것은 그 자체로 일치하기 때문에 literal이라고 불리웁니다. 이 유형의 일치는 가장 기본적인 유형의 정규표현식 연산입니다. 일반 텍스트와 따옴표만 일치시킵니다.

다음은 정규표현식에 대한 기본적인 이해의 예입니다.

우리가 정규표현식으로 매칭할 첫번째 문자열은 단어 "아이폰"입니다. 이 문자열은 문자 “아”, 문자 “이”, 문자 “폰”으로 구성됩니다. 그러나 우리가 regex 패턴을 “아이폰”로 구성한다면 단어 “아이폰12”뿐만 아니라 단어 “아이폰4”와 “아이폰5” 또한 매칭하는 결과를 얻게 될 것입니다. 따라서 따라서 정규 표현식 패턴은 시작과 끝에 공백이 있어야 하겠죠: " 아이폰 "

다시 한번 강조하자면, 정규표현식에서 공백은 문자로 인식됩니다.

자 이제, 문자열 객체 content에 정규표현식을 적용해 봅시다.

우리가 구성한 정규표현이 문자열 객체에서 찾아낸 즉, 매칭된 결과를 확인하기 위해 우리는 str_extract_all() 함수를 사용하겠습니다.

unlist(str_extract_all(content, pattern = " 아이폰 ")) # 문자열 객체가 먼저 오고 정규표현식의 지정된 패턴이 뒤따릅니다.

## [1] " 아이폰 " " 아이폰 " " 아이폰 " " 아이폰 " " 아이폰 "

# pattern 즉 정규표현 구성을 지정하는 옵션값 설정

str_count(content, " 아이폰 ")

## [1] 5

str_count(content, " 아이폰12 ")

## [1] 3

unlist(str_extract_all(content, pattern = " 아이폰12 "))

## [1] " 아이폰12 " " 아이폰12 " " 아이폰12 "

이처럼 간단해 보일지 모르지만 강조해야할 몇 가지 세부 사항이 있습니다. 첫 번째는 알파벳의 경우 정규표현식 검색이 대소 문자를 구분한다는 것입니다. 이 말은 곧, “5g”라는 패턴은 content에 등장하는 패턴“5G”와 매칭되지 않는다는 것을 의미합니다..

str_count(content, "5G")

## [1] 8

str_count(content, "5g")

## [1] 0

unlist(str_extract_all(content, "5g"))

## character(0)

unlist(str_extract_all(content, "5G"))

## [1] "5G" "5G" "5G" "5G" "5G" "5G" "5G" "5G"

숫자는 어떨까요? 다행히 모든 숫자(문자도 마찬가지입니다)는 리터럴 문자로 간주됩니다. 패턴 “12”을 테스트 해봅시다.

str_extract_all(content, "12") # 모든 숫자는 리터럴 문자입니다.

## [[1]]
##  [1] "12" "12" "12" "12" "12" "12" "12" "12" "12" "12" "12" "12" "12" "12" "12"
## [16] "12"

메타 문자

이제 우리는 메타문자(metacharacter)에 대해서 학습할 것입니다. 가장 기본적인 유형의 정규 표현식은 자신과 일치하는 리터럴 문자입니다. 하지만 모든 문자가 리터럴 문자는 아닙니다. 정규 표현을 구성하는 데 있어서 특수 목적을 갖고 그 역할을 수행하는 문자들도 있습니다. 그것이 바로 메타문자입니다. 이런 유형의 문자는 특별한 의미가 있기 때문에 일괄적으로 리터럴 문자들을 찾아내는 데 유용합니다.

정규표현식에서 metacharacters에는 15개의 종류가 있습니다. 각 기능에 대해서는 앞으로 적용해가면서 배워봅시다.

점 .
백슬래시 \
바 | (OR)
열린 괄호 (
닫힌 괄호 )
열린 대괄호 [
닫힌 대괄호 ]
열린 중괄호 {
닫힌 중괄호 }
하이픈 - (문자 집합에서 범위를 구성함)
캐럿 ^ (문자 집합에서 부정 기능)
달러 표시 $ (앞선 표현이 매칭의 끝임)
별표시 * (앞선 표현이 0회 혹은 1회 이상 매칭 됨)
더하기 + (앞선 표현이 1회 이상 매칭됨)
물음표 ? (앞선 표현이 1회 매칭될 수도 또는 안될 수도 있음)

“[^[가-힣]]?”

앞으로 우리는 이러한 메타 문자를 응용하여 정규 표현을 구성하는 법을 알아 볼 것입니다. 사실, 정규 표현식에서 중요한 것은 이 메타 문자가 어떻게 작동하는지 이해하고 적용하는 것입니다. 다행히, 메타 문자의 종류가 아주 많지는 않죠. 하지만 몇몇 메타 문자에는 하나 이상의 의미를 가진 것도 있습니다. 그리고 이 경우 메타 문자의 의미는 사용하는 맥락, 사용 방법, 사용 장소에 따라 달라지게 되죠. 마치 우리가 일상적으로하는 대화에서도 같은 어휘라도, 문맥에 따라 그 의미가 완전히 달라지게 되는 경우가 있는 것 처럼 말이죠. 따라서 이러한 정규 표현의 메타 문자를 이해하고 응용에 익숙해지는 데에는 시간이 다소 걸릴 수 있으며 많은 연습이 필요합니다.

와일드 메타 문자

우리가 배울 첫 메타 문자는 wild 메타 문자로 더 잘 알려진 “.”(점)입니다. 이 메타 문자는 모든 리터럴 문자를 찾는데 (매칭하는데) 사용됩니다.

예를 들어, " .+%"로 구성된 regex를 생각해봅시다. 이 표현은 %로 구성된 모든 표현과 매칭됩니다. 여기에서 하나의 점은 하나의 단일 문자(숫자)와만 매칭되므로 {1,4} 표현으로 앞선 표현이 1회 이상, 4회 이하로 등장하는 패턴으로 구성합니다.

위키피디아 페이지의 텍스트를 단어 단위로 토큰화한 결과가 벡터로 할당된 content 객체에 이 정규표현을 적용해 보겠습니다.

str_extract_all(content, " .{1,4}%")

## [[1]]
## [1] " 16%"  " 8.3%" " 40%"  " 30%"  " 33%"

unlist(str_extract_all(content, " .{1,4}%"))

## [1] " 16%"  " 8.3%" " 40%"  " 30%"  " 33%"

와일드 메타 문자는 정규 표현식에서 가장 많이 사용되는 메타 문자 중 하나이지만 많은 실수의 이유가 되기도 합니다. 예를 들어, "e.g"와 일치하는 정규 표현식을 만들고 싶다고 가정해봅시다. 이 패턴은 “e.g”뿐만 아니라, “eng”, “e g”, “e-g”와도 일치할 수 있습니다.

왜?

왜냐하면 "."은 모든 것과 일치하는 메타 문자이기 때문입니다.

메타 문자 이스케이프

그렇다면 메타 문자 대신 리터럴 문자로서의 마침표를 찾아내고 매칭시킬 수 있을까요? 예를 들어, 다음과 같은 문자열 벡터가 있다고 가정해 봅시다.

dot_words <- c("e.g", "eng", "e g", "e-g")
dot_words

## [1] "e.g" "eng" "e g" "e-g"

패턴 "e.g"를 사용하면, dot_words에 있는 모든 요소와 일치합니다.

unlist(str_extract_all(dot_words, "e\\.g"))

## [1] "e.g"

따라서 리터럴 문자인 마침표와 매칭시키려면, 메타 문자를 이스케이프 처리해야 합니다.

대부분의 프로그래밍 언어에서 메타 문자를 이스케이프하는 방법은 메타 문자 앞에 백 슬래시 문자를 추가하는 것입니다. 메타 문자 앞에 백 슬래시를 붙이면 메타문자로서의 더 이상 특별한 의미를 가지지 않으며 리터럴 문자로서 인식하게 됩니다. 그러나 R은 조금 다릅니다. 단일 백슬래시를 넣는 것이 아니라 2개의 백 슬래시를 넣어야 합니다. : "e\\.g". 단일 백 슬래시 "\"가 R에서는 메타 문자로 다른 의미를 가지기 때문입니다.

unlist(str_extract_all(dot_words, "e\\.g"))

## [1] "e.g"

퀴즈

뉴스 텍스트의 문자열 벡터 객체인 content에서 리터럴 문자,“폰”이 포함된 모든 단어들을 모두 찾아내어 추출하는 명령어는?

단어의 기준은 빈칸으로 구분된 문자열
단어는 한글 문자만 포함 (숫자, 구두점 제외)

str_extract_all(content, " [가-힣]*폰[가-힣]*[0-9]* ")

## [[1]]
##  [1] " 아이폰 "   " 아이폰 "   " 아이폰12 " " 아이폰12 " " 아이폰 "  
##  [6] " 아이폰 "   " 아이폰 "   " 휴대폰 "   " 스마트폰 " " 아이폰12 "

정규 표현식 연습

지금까지 메타 문자를 이스케이프(탈출)하여 리터럴 문자로서 매칭하는 방법에 대해 학습하였습니다. 이제부터는 문자 집합을 정의하는데에 사용되는 메타 문자인 대괄호 []에 대해 알아보도록 하겠습니다.

가령, 우리가 “폰”로 끝나는 단어 모두를 찾아내서 지워주고 싶다고 가정해 봅시다. 이 경우 우리는 앞서 올 수 있는 모든 문자의 경우를 가정해서 단어 집합으로 구성된 정규 표현을 이용해 줄 수 있습니다. 하지만, 그러나 이러한 방식으로 우리가 원하는 모든 문자를 매칭하는 것은 매우 소모적인 일일 것입니다. 이 경우에 우리는 문자 그 자체와 일치하지는 않지만 원하는 문자들의 범위를 지정해주는 방법으로 패턴을 매칭하는 방법을 택할 수 있습니다.

문자 집합

문자 집합은 집합 안에 있는 다양한 문자 중 하나와 일치합니다. 즉, "[abc]"라는 표현은 문자 “a”, “b”, “c” 중 어떤 것과도 매칭됩니다. 여기서 대괄호 []는 문자 집합을 정의하는 표현입니다.

문자 집합 내의 문자 순서는 중요하지 않습니다. 중요한 것은 대괄호 안에 있는 문자의 종류입니다. 따라서 문자 집합 "[abc]"는 "[cba]"와 같은 기능을 합니다.

문자 집합의 적용

"f[aeiou]n"라는 정규 표현 패턴으로 “fan”, “fin”, “fun”라는 단어 등이 속해있는 문자열 벡터에 매칭해봅시다.

library(stringr)
fns <- c("fan","fen","fin","fon","fun")
unlist(str_extract_all(fns, "f[aeiou]n")) #알파벳 모음 집합

## [1] "fan" "fen" "fin" "fon" "fun"

“f[aeiou]n” 집합은 fns의 모든 요소와 일치합니다. 이제 같은 문자 집합 패턴을 다른 벡터 fnx에 적용해 봅시다.

fnx <- c("fan","fin","fun","f0n","f.n","f1n","fain")
unlist(str_extract_all(fnx, "f[aeiou][aeiou]n"))

## [1] "fain"

보다시피 fnx 안에 모음 문자가 있는 처음 세 요소만 일치합니다. 그리고 마지막 요소 “fain”은 일치하지 않습니다. 문자 집합은 하나의 문자로서 “a” 또는 “i” 에만 일치하고 “ai”는 매칭하지 않습니다.

str_extract_all(content, "[가-힣][가-힣]폰")

## [[1]]
##  [1] "아이폰" "아이폰" "아이폰" "아이폰" "아이폰" "아이폰" "아이폰" "아이폰"
##  [9] "아이폰" "아이폰" "아이폰" "아이폰" "이어폰" "아이폰" "아이폰" "아이폰"
## [17] "아이폰" "아이폰" "아이폰" "아이폰" "휴대폰" "마트폰" "아이폰" "아이폰"

str_extract_all(content, "[가-힣]+폰")

## [[1]]
##  [1] "아이폰"     "아이폰"     "아이폰"     "아이폰"     "아이폰"    
##  [6] "아이폰"     "아이폰"     "아이폰"     "아이폰"     "아이폰"    
## [11] "아이폰"     "아이폰"     "유선이어폰" "아이폰"     "아이폰"    
## [16] "아이폰"     "아이폰"     "아이폰"     "아이폰"     "아이폰"    
## [21] "휴대폰"     "스마트폰"   "아이폰"     "아이폰"

문자 범위

위에서 설명한 문자 집합은 찾고자 하는 문자 모두를 지정합니다. 그렇다면 알파벳(대문자 또는 소문자)의 범위 또는 임의의 숫자 범위에 속하는 어떤 문자와도 매칭되는 문자 집합은 어떻게 구성할 수 있을까요?

메타 문자 하이픈을(hyphen) "-" 사용해서 문자 범위를 구성하면 이 문제를 해결할 수 있습니다. 즉, 매칭하고자 하는 문자들의 범위를 하이픈 "-" 기호로 지정하는 것입니다.

이러한 방식으로 다음과 같이 대문자, 소문자, 그리고 숫자 문자 집합을 정의할 수 있습니다.

uppercase <- "[A-Z]"

lowercase <- "[a-z]"

number <- "[0-9]"

한글 문자 <- "[가-힣]"

*하이픈 기호는 문자 집합 안에 있을 때만 메타 문자입니다. 문자 집합 이외에서 쓰이는 하이픈은 리터럴 문자입니다.

이렇게 문자 범위로 구성된 정규 표현은 매우 유용합니다. 다음의 예를 함께 보실까요.

3개의 문자로 구성된 문자열을 가진 다음의 벡터 객체, triplets,를 상대로 문자 범위로 구성된 정규표현으로 매칭한 결과를 살펴봅시다.

triplets <- c("abc","the","ABC","The","아이폰","ㅇㅈㅑ","010","070",":~)","^^;")
unlist(str_extract_all(triplets, "[a-z][a-z][a-z]")) # 3개의 연속된 소문자

## [1] "abc" "the"

unlist(str_extract_all(triplets, "[A-Z]{3}")) # 3개의 연속된 대문자

## [1] "ABC"

unlist(str_extract_all(triplets, "[A-Z][a-z]+")) # 대문자를 먼저 쓰고 그 다음 소문자 1회 이상

## [1] "The"

unlist(str_extract_all(triplets, "[가-힣]+"))

## [1] "아이폰"

unlist(str_extract_all(triplets, "[ㄱ-ㅎ]+"))

## [1] "ㅇㅈ"

unlist(str_extract_all(triplets, "[ㄱ-ㅣ]+"))

## [1] "ㅇㅈㅑ"

unlist(str_extract_all(triplets, "[ㅏ-ㅣ]+"))

## [1] "ㅑ"

unlist(str_extract_all(triplets, "[0-9]+$")) # 연속된 숫자 1회 이상이고 숫자로 종결

## [1] "010" "070"

이렇게 문자 범위로 구성된 문자 집합을 이용하면 편리하게 텍스트 패턴을 매칭할 수 있습니다. 하지만, 위의 문자 범위로는 구두점으로 구성된 웃음 표시 ":~)"와 "^^;"를 매칭할 수는 없었네요.

부정 문자 집합

정규 표현식으로 텍스트를 처리할 때, 특정 문자 집합에서 벗어나는 즉, 문자 집합의 일부가 아닌 문자를 찾아내야 하는 상황은 빈번하게 발생합니다. 위키피디아 페이지의 전처리를 예를 들어 볼까요. 이 때 우리는 알파벳 이외의 문자 즉, 한글 또는 한자로 표시된 문자를 매칭해서 지워줘야 할 필요가 있었습니다. 이때 우리는 부정 문자 집합을 사용하여 우리가 원하는 문자 집합에 없는 문자를 찾아낼 수 있습니다. 이 부정 집합은 위해 메타 문자 캐럿 "^"으로 구성할 수 있습니다.

캐럿 "^"은 정규 표현식의 패턴에 하나 이상의 의미를 가지는 메타 문자 중 하나입니다. 그 중, 문자 집합 안의 첫번째 위치에 캐럿을 사용하면 : 예 : "[^a-z]", 다음의 문자 이외의 문자 즉, 부정 기능을 수행합니다. 따라서 알파벳 소문자를 제외한 모든 문자를 매칭합니다.

이렇게 부정 문자 범위를 사용하면 우리는 다음과 같은 "[^a-zA-Z0-9][^a-zA-Z0-9][^a-zA-Z0-9]" 패턴을 정의함으로써 문자와 숫자가 아닌 기호로 표시된 문자열인 웃음 표시 ":~)" 와 "^^;"를 매칭할 수 있습니다.

unlist(str_extract_all(triplets, "[^a-zA-Z0-9]{1,}")) # 알파벳 문자 및 숫자 이외의 문자가 1회 이상 매칭되는 모든 요소

## [1] "아이폰" "ㅇㅈㅑ" ":~)"    "^^;"

캐럿은 문자 집합 안에 처음으로 오는 경우에만 부정을 의미하며, 그렇지 않으면 부정 문자 집합이 아닙니다. 가령,

unlist(str_extract_all(triplets, "[a-zA-Z0-9^;]+")) # 알파벳문자/숫자/캐럿 1회 이상 연결되는 문자열 매칭

## [1] "abc" "the" "ABC" "The" "010" "070" "^^;"

이 경우, 패턴 "[a-zA-Z0-9^]"은 부정 집합 "[^a-zA-Z0-9]"과 완전히 다른 “문자 또는 숫자 또는 리터럴 캐럿 문자”를 의미합니다.

문자 집합 안의 메타 문자

지금까지 문자 집합이 무엇인지, 그리고 문자 범위를 정의하는 방법과 부정 문자 집합을 지정하는 방법에 대해 알아보았습니다. 이제 문자 집합 안에 메타 문자를 포함시킬 때 어떤 일이 일어나는지 보겠습니다.

문자 집합을 사용할 경우 첫 번째 위치에 있는 캐럿, 그리고 문자 범위를 지정하는 하이픈, 그리고 문자 집합 기호인 대괄호를 제외하고는, 문자 집합 내의 메타 문자는 리터럴 문자로서 기능합니다! 즉, 문자 집합 안에서는 이중 백 슬래시를 사용하여 이스케이프 처리할 필요가 없습니다.

예를 들어, fnx 문자열 벡터에서 “f” 와 “n” 사이에 위치하는 다양한 문자는 리터럴 문자인 마침표도 포함하죠. 이 때 우리가 “f.n”이라는 문자열을 매칭하기 위해서 구성할 수 있는 정규 표현은 메타문자를 이스케이프하거나 문자집합을 사용하는 것입니다.

unlist(str_extract_all(fnx, "f\\.n"))

## [1] "f.n"

unlist(str_extract_all(fnx, "f[.]n"))

## [1] "f.n"

문자 클래스

문자 범위 이외에도 문자 클래스는 특정 문자 집단을 매칭하는데 유용한 정규 표현 구조를 제공합니다. 그리고 문자 클래스의 구성은 이중 백슬래시와 이니셜 문자로 시작합니다. 대부분의 정규 표현식 엔진에서 사용되는 가장 일반적인 문자 클래스는 다음과 같습니다.

문자	일치	같은 표현
`\\d`	임의의 숫자	`[0-9]`
`\\D`	임의의 숫자 이외의 문자	`[^0-9]`
`\\w`	밑줄 문자 "_"를 포함하여 영어 단어의 일부로 간주되는 문자	`[a-zA-Z0-9_]`
`\\W`	영어 단어의 일부로 간주되지 않는 문자	`[^a-zA-Z0-9_]`
`\\s`	공백 문자	`[\f\n\r\t\v]`
`\\S`	비공백 문자	`[^\f\n\r\t\v]`

문자 클래스는 문자 집합을 쉽게 매치하는 메타 문자로 사용할 수 있습니다.

unlist(str_extract_all(triplets, "\\d{3}")) # 3개의 임의의 숫자 연결된 패턴

## [1] "010" "070"

unlist(str_extract_all(triplets, "\\D+")) # 1개 이상 연속된 비 숫자 패턴

## [1] "abc"    "the"    "ABC"    "The"    "아이폰" "ㅇㅈㅑ" ":~)"    "^^;"

unlist(str_extract_all(triplets, "\\w+")) # 1개 이상 연속된 문자/숫자

## [1] "abc"    "the"    "ABC"    "The"    "아이폰" "ㅇㅈㅑ" "010"    "070"

unlist(str_extract_all(triplets, "\\W+")) # 1개 이상 연속된 문자/숫자

## [1] ":~)" "^^;"

unlist(str_extract_all(triplets, "\\s+")) # 1개 이상 연속된 공백

## character(0)

unlist(str_extract_all(triplets, "\\S+")) # 1개 이상 연속된 비공백 문자

##  [1] "abc"    "the"    "ABC"    "The"    "아이폰" "ㅇㅈㅑ" "010"    "070"   
##  [9] ":~)"    "^^;"

텍스트 사전처리를 하다 보면 텍스트 공백이 다양한 방식의 문자 표현으로 구성되어 있다는 것을 발견하게 될 것입니다. 다음은 공백을 나타내는 문자를 보여주는 표입니다. :

문자	정의
`\f`	페이지 넘김
`\n`	줄바꿈
`\r`	캐리지 리턴
`\t`	탭
`\v`	수직 탭

때로는 텍스트에 인쇄되지 않는 공백 문자가 포함됩니다. (\t, \n, \r\n) 그렇기 때문에 모든 공백 문자 유형을 일치시키기 위해 공백 문자 클래스 \\s를 사용해야합니다.

Mac OS는 \n을 사용하는 반면에, Window는 \r\n을 줄 끝 표시로 사용하는 운영체제입니다.

페이지 넘김 \f는 다음 ‘페이지’ 또는 ’섹션’을 구분 기호로 사용하여 아래쪽으로 가는 것을 의미합니다.
캐리지 리턴 \r은 줄의 처음으로 돌아가는 것입니다.

POSIX (Portable Operating System Interface) 문자 클래스

정규 표현식을 구성 방법을 마무리하기 위해 POSIX로 알려진 또 다른 유형의 문자 클래스를 소개합니다. 다음은 R에서 정규표현식 엔진이 지원하는 POSIX 문자 클래스 구조입니다. :

문자	일치	같은 구조
`[[:alnum:]]`	영숫자	`[a-zA-Z0-9]`
`[[:alpha:]]`	알파벳 문자	`[a-zA-Z]`
`[[:digit:]]`	숫자	`[0-9]`
`[[:lower:]]`	소문자	`[a-z]`
`[[:upper:]]`	대문자	`[A-Z]`
`[[:word:]]`	단어 (문자, 숫자, 언더스코어)	`[a-zA-Z0-9_]`
`[[:blank:]]`	공백과 탭	`[ \t]`
`[[:space:]]`	모든 공백 문자(줄 바꿈 포함)	`[ \f\n\r\t\v]`
`[[:punct:]]`	구두점과 기호
`[[:graph:]]`	공백을 제외한 모든 인쇄 가능한 문자	`[:alnum:][:punct:]`
`[[:print:]]`	인쇄 가능한 모든 문자	`[:alnum:][:punct:][:space:]`
`[[:ascii:]]`	모든 ASCII 문자 (알파벳)

[^[:ascii:]]

POSIX 문자 클래스는 여는 대괄호 [, 뒤에 콜론 :, 키워드 뒤에 이어 콜론 :, 닫는 대괄호 ]로 구성됩니다.

R에서 사용하려면 문자 집합 안에 POSIX 클래스를 래핑해야 합니다. 즉, POSIX 클래스를 다른 쌍의 대괄호로 묶어야합니다. POSIX 클래스를 사용하여 triplets라는 문자 벡터의 요소를 매치시켜 봅시다.

triplets

##  [1] "abc"    "the"    "ABC"    "The"    "아이폰" "ㅇㅈㅑ" "010"    "070"   
##  [9] ":~)"    "^^;"

unlist(str_extract_all(triplets, "[[:lower:]]+")) # 1개 이상의 연속된 문자

## [1] "abc" "the" "he"

unlist(str_extract_all(triplets, "[[:alpha:]]+"))

## [1] "abc"    "the"    "ABC"    "The"    "아이폰" "ㅇㅈㅑ"

unlist(str_extract_all(triplets, "[[:digit:]]{1,3}")) # 1개 이상 3개 이하로 연속된 숫자

## [1] "010" "070"

unlist(str_extract_all(triplets, "[[:punct:]~^]+")) # [:punct:] 리터럴 문자 캐럿 "^" "~"을 매칭하지 않습니다.

## [1] ":~)" "^^;"

unlist(str_extract_all(triplets, "[[:lower:][:punct:]]")) # 모든 단일 소문자/구두점

##  [1] "a" "b" "c" "t" "h" "e" "h" "e" ":" ")" ";"

unlist(str_extract_all(triplets, "[^[:ascii:]]+"))

## [1] "아이폰" "ㅇㅈㅑ"

str_remove_all(content, "[a-zA-Z]+")

## [1] "\n\t \n\t \n\n \n [이데일리 장영은 기자] ‘아이폰12’(가칭) 이번주에 드디어 베일을 벗는다. 예년보다 아이폰 신작의 공개 및 출시 일정이 한달 가량 늦어지면서 ‘애플 팬’들의 기대감은 더 높아져 있는 상태다.  아이폰 12 시리즈는 △아이폰12 미니(5.4인치) △아이폰12(6.1인치) △아이폰12 프로(6.1인치) △아이폰12 프로 맥스(6.7인치) 등 4종으로 출시될 예정이다. 역대 라인업 중 가장 많은 모델로 구성된다.  우선 가장 크게 주목을 받고 있는 부분은 애플의 첫번째 5폰이라는 점이다. 삼성전자(005930)가 세계 최초 5폰인 ‘갤럭시10’을 출시한지 1년 7개월만이다. 그동안 업계에서는 ‘완벽하지 않으면 내지 않는다’는 애플의 철학 때문에 5폰 출시가 늦어지는 것이라는 해석도 나왔다.  국내에 출시되는 아이폰12 시리즈는 4종 모두 6기가헤르츠() 대역 이하(서브6) 5 모델로 출시될 것으로 알려졌다. 다만, 최상위 모델인 ‘아이폰12 프로 맥스’의 미국 출시 모델에는 28의 초고주파() 대역 안테나가 탑재될 것이란 전망이 나온다. 배터리 절감 차원에서 4와 5를 선택할 수 있는 스마트 데이터모드가 도입된다.  애플의 최신형 칩셋 ‘14 바이오닉’이 보여줄 강력한 성능에도 이목이 쏠린다. 애플은 자체 어플리케이션 프로세서()의 성능이 동급 최강이라는 자부하고 있다.  애플 최초로 ‘5나노미터’ 공정 기술이 적용된 14는 13보다 중앙처리장치()와 그래픽처리장치()의 속도를 각각 16%, 8.3% 향상시킬 것으로 예상되고 있다. 12와 비교하면  속도는 40%, 는 30% 각각 향상된다.  디자인 측면에서는 과거로 회귀할 것이라는 전망이다. 기기의 가장자리에 ‘깻잎 통조림’이라는 별칭을 얻었던 ‘아이폰4’와 ‘아이폰5’ 처럼 평평한 금속 테두리를 적용할 것으로 알려졌다. 전작의 인기 색상이었던 ‘미드나잇 그린’을 대체할 색상으로 다크 블루 색상을 채택하고 액정을 보호하기 위한 ‘세라믹 쉴드’ 코딩도 새롭게 적용된다.  이밖에도 아이폰12에서는 충전방식이 라이트닝에서 - 타입으로 바뀌고, 원가절감과 환경 보호를 위해 기본 구성품으로 제공되던 유선이어폰(이어팟)과 충전기가 빠진다.  아이폰12는 미국을 포함한 1차 출시국에 이르면 23일께 공식 출시될 것으로 예상된다. 아이폰12 프로 맥스는 부품 수급 등 문제로 11월에 따로 출시될 가능성도 있다. 특히 올해는 아이폰 신작의 국내 출시 일정이 획기적으로 앞당겨질 것이라는 소식이다. 첫 5폰인 만큼 세계 최초로 5 서비스를 상용화한 국내에 1차 출시국에 준하는 일정으로 이달 말께 선보인다는 것이다.  가격은 가장 저렴한 ‘아이폰12 미니’ 기준으로 649달러부터 749달러까지 다양한 관측이 나오고 있는 상황이다.  업계에서는 아이폰12이 아이폰 사용자들의 교체 수요를 자극해 예년보다 많이 판매될 것으로 예상하고 있다. 전 세계에서 사용되는 아이폰 약 9억5000만대 중 3억5000만대가 1년 안에 교체될 가능성이 높은 구형 제품인데다, 애플의 첫 5폰이기 때문이다.  또 미국 중고 휴대폰 셀셀닷컴이 미국 안드로이드 스마트폰 사용자 2000명을 대상으로 실시한 설문조사에 따르면 응답자의 33%가 아이폰12로 교체를 희망하는 것으로 나타났다.  한편, 애플은 오는 13일(현지시간) 미국 샌프란시스코 본사에서 온라인으로 아이폰12 공개 행사를 진행할 계획이다. 행사는 애플 홈페이지를 통해 실시간으로 시청할 수 있다. 장영은 (@..) \n\t \n\t"

stringr 함수

함수	설명	결과
`str_extract()`	처음 매칭되는 문자열 추출	Character vector
`str_extract_all()`	매칭된 모든 문자열 추출	List of character vectors
`str_locate()`	매칭된 첫 패턴 위치 반환	Matrix of start/end positions
`str_locate_all()`	매칭된 모든 패턴 위치 반환	List of matrices
`str_replace()`	매칭된 첫 패턴 교체	Character vector
`str_replace_all()`	매칭된 모든 패턴 교체	Character vector
`str_remove()`	매칭된 첫 패턴 삭제	Character vector
`str_remove_all()`	매칭된 모든 패턴 삭제	Character vector
`str_split()`	패턴에 따라 문자열 분리	List of character vectors
`str_split_fixed()`	패턴에 따라 분리된 문자열을 정해진 수의 행렬로 반환	Matrix of character vectors
`str_detect()`	문자열의 패턴 유무 확인	Boolean vector
`str_count()`	문자열에서 매칭된 패턴 갯수 반환	Numeric vector
`str_sub()`	위치에 따른 문자열 추출	Character vector
`str_pad()`	문자열에 공백 추가	Character vector
`str_squish()`	문자열에 불필요한 공백 제거	Character vector
`str_c()`	문자열 결합	Character vector

한국어 텍스트 전처리

*보편적 고려사항: Basic-level 1) 빈칸 (white space) 2) 구두점 (punctuation) 3) 숫자 (digit numbers) 4) 한국어 (UTF-8) 이외의 문자 (e.g., ASCII code)

# 1) space
content

## [1] "\n\t \n\t \n\n \n [이데일리 장영은 기자] ‘아이폰12’(가칭) 이번주에 드디어 베일을 벗는다. 예년보다 아이폰 신작의 공개 및 출시 일정이 한달 가량 늦어지면서 ‘애플 팬’들의 기대감은 더 높아져 있는 상태다.  아이폰 12 시리즈는 △아이폰12 미니(5.4인치) △아이폰12(6.1인치) △아이폰12 프로(6.1인치) △아이폰12 프로 맥스(6.7인치) 등 4종으로 출시될 예정이다. 역대 라인업 중 가장 많은 모델로 구성된다.  우선 가장 크게 주목을 받고 있는 부분은 애플의 첫번째 5G폰이라는 점이다. 삼성전자(005930)가 세계 최초 5G폰인 ‘갤럭시S10’을 출시한지 1년 7개월만이다. 그동안 업계에서는 ‘완벽하지 않으면 내지 않는다’는 애플의 철학 때문에 5G폰 출시가 늦어지는 것이라는 해석도 나왔다.  국내에 출시되는 아이폰12 시리즈는 4종 모두 6기가헤르츠(GHz) 대역 이하(서브6) 5G 모델로 출시될 것으로 알려졌다. 다만, 최상위 모델인 ‘아이폰12 프로 맥스’의 미국 출시 모델에는 28Ghz의 초고주파(mmWave) 대역 안테나가 탑재될 것이란 전망이 나온다. 배터리 절감 차원에서 4G와 5G를 선택할 수 있는 스마트 데이터모드가 도입된다.  애플의 최신형 칩셋 ‘A14 바이오닉’이 보여줄 강력한 성능에도 이목이 쏠린다. 애플은 자체 어플리케이션 프로세서(AP)의 성능이 동급 최강이라는 자부하고 있다.  애플 최초로 ‘5나노미터’ 공정 기술이 적용된 A14는 A13보다 중앙처리장치(CPU)와 그래픽처리장치(GPU)의 속도를 각각 16%, 8.3% 향상시킬 것으로 예상되고 있다. A12와 비교하면 CPU 속도는 40%, GPU는 30% 각각 향상된다.  디자인 측면에서는 과거로 회귀할 것이라는 전망이다. 기기의 가장자리에 ‘깻잎 통조림’이라는 별칭을 얻었던 ‘아이폰4’와 ‘아이폰5’ 처럼 평평한 금속 테두리를 적용할 것으로 알려졌다. 전작의 인기 색상이었던 ‘미드나잇 그린’을 대체할 색상으로 다크 블루 색상을 채택하고 액정을 보호하기 위한 ‘세라믹 쉴드’ 코딩도 새롭게 적용된다.  이밖에도 아이폰12에서는 충전방식이 라이트닝에서 USB-C 타입으로 바뀌고, 원가절감과 환경 보호를 위해 기본 구성품으로 제공되던 유선이어폰(이어팟)과 충전기가 빠진다.  아이폰12는 미국을 포함한 1차 출시국에 이르면 23일께 공식 출시될 것으로 예상된다. 아이폰12 프로 맥스는 부품 수급 등 문제로 11월에 따로 출시될 가능성도 있다. 특히 올해는 아이폰 신작의 국내 출시 일정이 획기적으로 앞당겨질 것이라는 소식이다. 첫 5G폰인 만큼 세계 최초로 5G 서비스를 상용화한 국내에 1차 출시국에 준하는 일정으로 이달 말께 선보인다는 것이다.  가격은 가장 저렴한 ‘아이폰12 미니’ 기준으로 649달러부터 749달러까지 다양한 관측이 나오고 있는 상황이다.  업계에서는 아이폰12이 아이폰 사용자들의 교체 수요를 자극해 예년보다 많이 판매될 것으로 예상하고 있다. 전 세계에서 사용되는 아이폰 약 9억5000만대 중 3억5000만대가 1년 안에 교체될 가능성이 높은 구형 제품인데다, 애플의 첫 5G폰이기 때문이다.  또 미국 중고 휴대폰 셀셀닷컴이 미국 안드로이드 스마트폰 사용자 2000명을 대상으로 실시한 설문조사에 따르면 응답자의 33%가 아이폰12로 교체를 희망하는 것으로 나타났다.  한편, 애플은 오는 13일(현지시간) 미국 샌프란시스코 본사에서 온라인으로 아이폰12 공개 행사를 진행할 계획이다. 행사는 애플 홈페이지를 통해 실시간으로 시청할 수 있다. 장영은 (bluerain@edaily.co.kr) \n\t \n\t"

str_squish(content)

## [1] "[이데일리 장영은 기자] ‘아이폰12’(가칭) 이번주에 드디어 베일을 벗는다. 예년보다 아이폰 신작의 공개 및 출시 일정이 한달 가량 늦어지면서 ‘애플 팬’들의 기대감은 더 높아져 있는 상태다. 아이폰 12 시리즈는 △아이폰12 미니(5.4인치) △아이폰12(6.1인치) △아이폰12 프로(6.1인치) △아이폰12 프로 맥스(6.7인치) 등 4종으로 출시될 예정이다. 역대 라인업 중 가장 많은 모델로 구성된다. 우선 가장 크게 주목을 받고 있는 부분은 애플의 첫번째 5G폰이라는 점이다. 삼성전자(005930)가 세계 최초 5G폰인 ‘갤럭시S10’을 출시한지 1년 7개월만이다. 그동안 업계에서는 ‘완벽하지 않으면 내지 않는다’는 애플의 철학 때문에 5G폰 출시가 늦어지는 것이라는 해석도 나왔다. 국내에 출시되는 아이폰12 시리즈는 4종 모두 6기가헤르츠(GHz) 대역 이하(서브6) 5G 모델로 출시될 것으로 알려졌다. 다만, 최상위 모델인 ‘아이폰12 프로 맥스’의 미국 출시 모델에는 28Ghz의 초고주파(mmWave) 대역 안테나가 탑재될 것이란 전망이 나온다. 배터리 절감 차원에서 4G와 5G를 선택할 수 있는 스마트 데이터모드가 도입된다. 애플의 최신형 칩셋 ‘A14 바이오닉’이 보여줄 강력한 성능에도 이목이 쏠린다. 애플은 자체 어플리케이션 프로세서(AP)의 성능이 동급 최강이라는 자부하고 있다. 애플 최초로 ‘5나노미터’ 공정 기술이 적용된 A14는 A13보다 중앙처리장치(CPU)와 그래픽처리장치(GPU)의 속도를 각각 16%, 8.3% 향상시킬 것으로 예상되고 있다. A12와 비교하면 CPU 속도는 40%, GPU는 30% 각각 향상된다. 디자인 측면에서는 과거로 회귀할 것이라는 전망이다. 기기의 가장자리에 ‘깻잎 통조림’이라는 별칭을 얻었던 ‘아이폰4’와 ‘아이폰5’ 처럼 평평한 금속 테두리를 적용할 것으로 알려졌다. 전작의 인기 색상이었던 ‘미드나잇 그린’을 대체할 색상으로 다크 블루 색상을 채택하고 액정을 보호하기 위한 ‘세라믹 쉴드’ 코딩도 새롭게 적용된다. 이밖에도 아이폰12에서는 충전방식이 라이트닝에서 USB-C 타입으로 바뀌고, 원가절감과 환경 보호를 위해 기본 구성품으로 제공되던 유선이어폰(이어팟)과 충전기가 빠진다. 아이폰12는 미국을 포함한 1차 출시국에 이르면 23일께 공식 출시될 것으로 예상된다. 아이폰12 프로 맥스는 부품 수급 등 문제로 11월에 따로 출시될 가능성도 있다. 특히 올해는 아이폰 신작의 국내 출시 일정이 획기적으로 앞당겨질 것이라는 소식이다. 첫 5G폰인 만큼 세계 최초로 5G 서비스를 상용화한 국내에 1차 출시국에 준하는 일정으로 이달 말께 선보인다는 것이다. 가격은 가장 저렴한 ‘아이폰12 미니’ 기준으로 649달러부터 749달러까지 다양한 관측이 나오고 있는 상황이다. 업계에서는 아이폰12이 아이폰 사용자들의 교체 수요를 자극해 예년보다 많이 판매될 것으로 예상하고 있다. 전 세계에서 사용되는 아이폰 약 9억5000만대 중 3억5000만대가 1년 안에 교체될 가능성이 높은 구형 제품인데다, 애플의 첫 5G폰이기 때문이다. 또 미국 중고 휴대폰 셀셀닷컴이 미국 안드로이드 스마트폰 사용자 2000명을 대상으로 실시한 설문조사에 따르면 응답자의 33%가 아이폰12로 교체를 희망하는 것으로 나타났다. 한편, 애플은 오는 13일(현지시간) 미국 샌프란시스코 본사에서 온라인으로 아이폰12 공개 행사를 진행할 계획이다. 행사는 애플 홈페이지를 통해 실시간으로 시청할 수 있다. 장영은 (bluerain@edaily.co.kr)"

# 2) punctuation
str_replace_all(content, "[[:punct:]]+", " ")

## [1] "\n\t \n\t \n\n \n  이데일리 장영은 기자   아이폰12 가칭  이번주에 드디어 베일을 벗는다  예년보다 아이폰 신작의 공개 및 출시 일정이 한달 가량 늦어지면서  애플 팬 들의 기대감은 더 높아져 있는 상태다   아이폰 12 시리즈는 △아이폰12 미니 5 4인치  △아이폰12 6 1인치  △아이폰12 프로 6 1인치  △아이폰12 프로 맥스 6 7인치  등 4종으로 출시될 예정이다  역대 라인업 중 가장 많은 모델로 구성된다   우선 가장 크게 주목을 받고 있는 부분은 애플의 첫번째 5G폰이라는 점이다  삼성전자 005930 가 세계 최초 5G폰인  갤럭시S10 을 출시한지 1년 7개월만이다  그동안 업계에서는  완벽하지 않으면 내지 않는다 는 애플의 철학 때문에 5G폰 출시가 늦어지는 것이라는 해석도 나왔다   국내에 출시되는 아이폰12 시리즈는 4종 모두 6기가헤르츠 GHz  대역 이하 서브6  5G 모델로 출시될 것으로 알려졌다  다만  최상위 모델인  아이폰12 프로 맥스 의 미국 출시 모델에는 28Ghz의 초고주파 mmWave  대역 안테나가 탑재될 것이란 전망이 나온다  배터리 절감 차원에서 4G와 5G를 선택할 수 있는 스마트 데이터모드가 도입된다   애플의 최신형 칩셋  A14 바이오닉 이 보여줄 강력한 성능에도 이목이 쏠린다  애플은 자체 어플리케이션 프로세서 AP 의 성능이 동급 최강이라는 자부하고 있다   애플 최초로  5나노미터  공정 기술이 적용된 A14는 A13보다 중앙처리장치 CPU 와 그래픽처리장치 GPU 의 속도를 각각 16  8 3  향상시킬 것으로 예상되고 있다  A12와 비교하면 CPU 속도는 40  GPU는 30  각각 향상된다   디자인 측면에서는 과거로 회귀할 것이라는 전망이다  기기의 가장자리에  깻잎 통조림 이라는 별칭을 얻었던  아이폰4 와  아이폰5  처럼 평평한 금속 테두리를 적용할 것으로 알려졌다  전작의 인기 색상이었던  미드나잇 그린 을 대체할 색상으로 다크 블루 색상을 채택하고 액정을 보호하기 위한  세라믹 쉴드  코딩도 새롭게 적용된다   이밖에도 아이폰12에서는 충전방식이 라이트닝에서 USB C 타입으로 바뀌고  원가절감과 환경 보호를 위해 기본 구성품으로 제공되던 유선이어폰 이어팟 과 충전기가 빠진다   아이폰12는 미국을 포함한 1차 출시국에 이르면 23일께 공식 출시될 것으로 예상된다  아이폰12 프로 맥스는 부품 수급 등 문제로 11월에 따로 출시될 가능성도 있다  특히 올해는 아이폰 신작의 국내 출시 일정이 획기적으로 앞당겨질 것이라는 소식이다  첫 5G폰인 만큼 세계 최초로 5G 서비스를 상용화한 국내에 1차 출시국에 준하는 일정으로 이달 말께 선보인다는 것이다   가격은 가장 저렴한  아이폰12 미니  기준으로 649달러부터 749달러까지 다양한 관측이 나오고 있는 상황이다   업계에서는 아이폰12이 아이폰 사용자들의 교체 수요를 자극해 예년보다 많이 판매될 것으로 예상하고 있다  전 세계에서 사용되는 아이폰 약 9억5000만대 중 3억5000만대가 1년 안에 교체될 가능성이 높은 구형 제품인데다  애플의 첫 5G폰이기 때문이다   또 미국 중고 휴대폰 셀셀닷컴이 미국 안드로이드 스마트폰 사용자 2000명을 대상으로 실시한 설문조사에 따르면 응답자의 33 가 아이폰12로 교체를 희망하는 것으로 나타났다   한편  애플은 오는 13일 현지시간  미국 샌프란시스코 본사에서 온라인으로 아이폰12 공개 행사를 진행할 계획이다  행사는 애플 홈페이지를 통해 실시간으로 시청할 수 있다  장영은  bluerain edaily co kr  \n\t \n\t"

str_replace_all(content, "[^[:word:]#@]+", " ")

## [1] " 이데일리 장영은 기자 아이폰12 가칭 이번주에 드디어 베일을 벗는다 예년보다 아이폰 신작의 공개 및 출시 일정이 한달 가량 늦어지면서 애플 팬 들의 기대감은 더 높아져 있는 상태다 아이폰 12 시리즈는 아이폰12 미니 5 4인치 아이폰12 6 1인치 아이폰12 프로 6 1인치 아이폰12 프로 맥스 6 7인치 등 4종으로 출시될 예정이다 역대 라인업 중 가장 많은 모델로 구성된다 우선 가장 크게 주목을 받고 있는 부분은 애플의 첫번째 5G폰이라는 점이다 삼성전자 005930 가 세계 최초 5G폰인 갤럭시S10 을 출시한지 1년 7개월만이다 그동안 업계에서는 완벽하지 않으면 내지 않는다 는 애플의 철학 때문에 5G폰 출시가 늦어지는 것이라는 해석도 나왔다 국내에 출시되는 아이폰12 시리즈는 4종 모두 6기가헤르츠 GHz 대역 이하 서브6 5G 모델로 출시될 것으로 알려졌다 다만 최상위 모델인 아이폰12 프로 맥스 의 미국 출시 모델에는 28Ghz의 초고주파 mmWave 대역 안테나가 탑재될 것이란 전망이 나온다 배터리 절감 차원에서 4G와 5G를 선택할 수 있는 스마트 데이터모드가 도입된다 애플의 최신형 칩셋 A14 바이오닉 이 보여줄 강력한 성능에도 이목이 쏠린다 애플은 자체 어플리케이션 프로세서 AP 의 성능이 동급 최강이라는 자부하고 있다 애플 최초로 5나노미터 공정 기술이 적용된 A14는 A13보다 중앙처리장치 CPU 와 그래픽처리장치 GPU 의 속도를 각각 16 8 3 향상시킬 것으로 예상되고 있다 A12와 비교하면 CPU 속도는 40 GPU는 30 각각 향상된다 디자인 측면에서는 과거로 회귀할 것이라는 전망이다 기기의 가장자리에 깻잎 통조림 이라는 별칭을 얻었던 아이폰4 와 아이폰5 처럼 평평한 금속 테두리를 적용할 것으로 알려졌다 전작의 인기 색상이었던 미드나잇 그린 을 대체할 색상으로 다크 블루 색상을 채택하고 액정을 보호하기 위한 세라믹 쉴드 코딩도 새롭게 적용된다 이밖에도 아이폰12에서는 충전방식이 라이트닝에서 USB C 타입으로 바뀌고 원가절감과 환경 보호를 위해 기본 구성품으로 제공되던 유선이어폰 이어팟 과 충전기가 빠진다 아이폰12는 미국을 포함한 1차 출시국에 이르면 23일께 공식 출시될 것으로 예상된다 아이폰12 프로 맥스는 부품 수급 등 문제로 11월에 따로 출시될 가능성도 있다 특히 올해는 아이폰 신작의 국내 출시 일정이 획기적으로 앞당겨질 것이라는 소식이다 첫 5G폰인 만큼 세계 최초로 5G 서비스를 상용화한 국내에 1차 출시국에 준하는 일정으로 이달 말께 선보인다는 것이다 가격은 가장 저렴한 아이폰12 미니 기준으로 649달러부터 749달러까지 다양한 관측이 나오고 있는 상황이다 업계에서는 아이폰12이 아이폰 사용자들의 교체 수요를 자극해 예년보다 많이 판매될 것으로 예상하고 있다 전 세계에서 사용되는 아이폰 약 9억5000만대 중 3억5000만대가 1년 안에 교체될 가능성이 높은 구형 제품인데다 애플의 첫 5G폰이기 때문이다 또 미국 중고 휴대폰 셀셀닷컴이 미국 안드로이드 스마트폰 사용자 2000명을 대상으로 실시한 설문조사에 따르면 응답자의 33 가 아이폰12로 교체를 희망하는 것으로 나타났다 한편 애플은 오는 13일 현지시간 미국 샌프란시스코 본사에서 온라인으로 아이폰12 공개 행사를 진행할 계획이다 행사는 애플 홈페이지를 통해 실시간으로 시청할 수 있다 장영은 bluerain@edaily co kr "

# 3) number
str_view_all(content, "\\d+")

str_view_all(content, "\\d+(st|nd|rd|th)?") # ordinal number

# 4) 한국어 이외의 문자? 알파벳?
str_extract_all(content, "[^[가-힣] ]+")

## [[1]]
##   [1] "\n\t"                    "\n\t"                   
##   [3] "\n\n"                    "\n"                     
##   [5] "["                       "]"                      
##   [7] "‘"                      "12’("                  
##   [9] ")"                       "."                      
##  [11] "‘"                      "’"                     
##  [13] "."                       "12"                     
##  [15] "△"                      "12"                     
##  [17] "(5.4"                    ")"                      
##  [19] "△"                      "12(6.1"                 
##  [21] ")"                       "△"                     
##  [23] "12"                      "(6.1"                   
##  [25] ")"                       "△"                     
##  [27] "12"                      "(6.7"                   
##  [29] ")"                       "4"                      
##  [31] "."                       "."                      
##  [33] "5G"                      "."                      
##  [35] "(005930)"                "5G"                     
##  [37] "‘"                      "S10’"                  
##  [39] "1"                       "7"                      
##  [41] "."                       "‘"                     
##  [43] "’"                      "5G"                     
##  [45] "."                       "12"                     
##  [47] "4"                       "6"                      
##  [49] "(GHz)"                   "("                      
##  [51] "6)"                      "5G"                     
##  [53] "."                       ","                      
##  [55] "‘"                      "12"                     
##  [57] "’"                      "28Ghz"                  
##  [59] "(mmWave)"                "."                      
##  [61] "4G"                      "5G"                     
##  [63] "."                       "‘A14"                  
##  [65] "’"                      "."                      
##  [67] "(AP)"                    "."                      
##  [69] "‘5"                     "’"                     
##  [71] "A14"                     "A13"                    
##  [73] "(CPU)"                   "(GPU)"                  
##  [75] "16%,"                    "8.3%"                   
##  [77] "."                       "A12"                    
##  [79] "CPU"                     "40%,"                   
##  [81] "GPU"                     "30%"                    
##  [83] "."                       "."                      
##  [85] "‘"                      "’"                     
##  [87] "‘"                      "4’"                    
##  [89] "‘"                      "5’"                    
##  [91] "."                       "‘"                     
##  [93] "’"                      "‘"                     
##  [95] "’"                      "."                      
##  [97] "12"                      "USB-C"                  
##  [99] ","                       "("                      
## [101] ")"                       "."                      
## [103] "12"                      "1"                      
## [105] "23"                      "."                      
## [107] "12"                      "11"                     
## [109] "."                       "."                      
## [111] "5G"                      "5G"                     
## [113] "1"                       "."                      
## [115] "‘"                      "12"                     
## [117] "’"                      "649"                    
## [119] "749"                     "."                      
## [121] "12"                      "."                      
## [123] "9"                       "5000"                   
## [125] "3"                       "5000"                   
## [127] "1"                       ","                      
## [129] "5G"                      "."                      
## [131] "2000"                    "33%"                    
## [133] "12"                      "."                      
## [135] ","                       "13"                     
## [137] "("                       ")"                      
## [139] "12"                      "."                      
## [141] "."                       "(bluerain@edaily.co.kr)"
## [143] "\n\t"                    "\n\t"

str_extract_all(content, "[[:ascii:]]+")

## [[1]]
##   [1] "\n\t \n\t \n\n \n ["                " "                                 
##   [3] " "                                  "] "                                
##   [5] "12"                                 "("                                 
##   [7] ") "                                 " "                                 
##   [9] " "                                  " "                                 
##  [11] ". "                                 " "                                 
##  [13] " "                                  " "                                 
##  [15] " "                                  " "                                 
##  [17] " "                                  " "                                 
##  [19] " "                                  " "                                 
##  [21] " "                                  " "                                 
##  [23] " "                                  " "                                 
##  [25] " "                                  " "                                 
##  [27] " "                                  ".  "                               
##  [29] " 12 "                               " "                                 
##  [31] "12 "                                "(5.4"                              
##  [33] ") "                                 "12(6.1"                            
##  [35] ") "                                 "12 "                               
##  [37] "(6.1"                               ") "                                
##  [39] "12 "                                " "                                 
##  [41] "(6.7"                               ") "                                
##  [43] " 4"                                 " "                                 
##  [45] " "                                  ". "                                
##  [47] " "                                  " "                                 
##  [49] " "                                  " "                                 
##  [51] " "                                  " "                                 
##  [53] ".  "                                " "                                 
##  [55] " "                                  " "                                 
##  [57] " "                                  " "                                 
##  [59] " "                                  " "                                 
##  [61] " "                                  " 5G"                               
##  [63] " "                                  ". "                                
##  [65] "(005930)"                           " "                                 
##  [67] " "                                  " 5G"                               
##  [69] " "                                  "S10"                               
##  [71] " "                                  " 1"                                
##  [73] " 7"                                 ". "                                
##  [75] " "                                  " "                                 
##  [77] " "                                  " "                                 
##  [79] " "                                  " "                                 
##  [81] " "                                  " "                                 
##  [83] " 5G"                                " "                                 
##  [85] " "                                  " "                                 
##  [87] " "                                  " "                                 
##  [89] ".  "                                " "                                 
##  [91] " "                                  "12 "                               
##  [93] " 4"                                 " "                                 
##  [95] " 6"                                 "(GHz) "                            
##  [97] " "                                  "("                                 
##  [99] "6) 5G "                             " "                                 
## [101] " "                                  " "                                 
## [103] ". "                                 ", "                                
## [105] " "                                  " "                                 
## [107] "12 "                                " "                                 
## [109] " "                                  " "                                 
## [111] " "                                  " 28Ghz"                            
## [113] " "                                  "(mmWave) "                         
## [115] " "                                  " "                                 
## [117] " "                                  " "                                 
## [119] " "                                  ". "                                
## [121] " "                                  " "                                 
## [123] " 4G"                                " 5G"                               
## [125] " "                                  " "                                 
## [127] " "                                  " "                                 
## [129] " "                                  " "                                 
## [131] ".  "                                " "                                 
## [133] " "                                  " "                                 
## [135] "A14 "                               " "                                 
## [137] " "                                  " "                                 
## [139] " "                                  " "                                 
## [141] ". "                                 " "                                 
## [143] " "                                  " "                                 
## [145] "(AP)"                               " "                                 
## [147] " "                                  " "                                 
## [149] " "                                  " "                                 
## [151] ".  "                                " "                                 
## [153] " "                                  "5"                                 
## [155] " "                                  " "                                 
## [157] " "                                  " A14"                              
## [159] " A13"                               " "                                 
## [161] "(CPU)"                              " "                                 
## [163] "(GPU)"                              " "                                 
## [165] " "                                  " 16%, 8.3% "                       
## [167] " "                                  " "                                 
## [169] " "                                  ". A12"                             
## [171] " "                                  " CPU "                             
## [173] " 40%, GPU"                          " 30% "                             
## [175] " "                                  ".  "                               
## [177] " "                                  " "                                 
## [179] " "                                  " "                                 
## [181] " "                                  ". "                                
## [183] " "                                  " "                                 
## [185] " "                                  " "                                 
## [187] " "                                  " "                                 
## [189] "4"                                  " "                                 
## [191] "5"                                  " "                                 
## [193] " "                                  " "                                 
## [195] " "                                  " "                                 
## [197] " "                                  " "                                 
## [199] ". "                                 " "                                 
## [201] " "                                  " "                                 
## [203] " "                                  " "                                 
## [205] " "                                  " "                                 
## [207] " "                                  " "                                 
## [209] " "                                  " "                                 
## [211] " "                                  " "                                 
## [213] " "                                  " "                                 
## [215] " "                                  " "                                 
## [217] " "                                  ".  "                               
## [219] " "                                  "12"                                
## [221] " "                                  " "                                 
## [223] " USB-C "                            " "                                 
## [225] ", "                                 " "                                 
## [227] " "                                  " "                                 
## [229] " "                                  " "                                 
## [231] " "                                  " "                                 
## [233] "("                                  ")"                                 
## [235] " "                                  " "                                 
## [237] ".  "                                "12"                                
## [239] " "                                  " "                                 
## [241] " 1"                                 " "                                 
## [243] " "                                  " 23"                               
## [245] " "                                  " "                                 
## [247] " "                                  " "                                 
## [249] ". "                                 "12 "                               
## [251] " "                                  " "                                 
## [253] " "                                  " "                                 
## [255] " "                                  " 11"                               
## [257] " "                                  " "                                 
## [259] " "                                  " "                                 
## [261] ". "                                 " "                                 
## [263] " "                                  " "                                 
## [265] " "                                  " "                                 
## [267] " "                                  " "                                 
## [269] " "                                  " "                                 
## [271] " "                                  ". "                                
## [273] " 5G"                                " "                                 
## [275] " "                                  " "                                 
## [277] " 5G "                               " "                                 
## [279] " "                                  " 1"                                
## [281] " "                                  " "                                 
## [283] " "                                  " "                                 
## [285] " "                                  " "                                 
## [287] " "                                  ".  "                               
## [289] " "                                  " "                                 
## [291] " "                                  "12 "                               
## [293] " "                                  " 649"                              
## [295] " 749"                               " "                                 
## [297] " "                                  " "                                 
## [299] " "                                  " "                                 
## [301] ".  "                                " "                                 
## [303] "12"                                 " "                                 
## [305] " "                                  " "                                 
## [307] " "                                  " "                                 
## [309] " "                                  " "                                 
## [311] " "                                  " "                                 
## [313] " "                                  " "                                 
## [315] ". "                                 " "                                 
## [317] " "                                  " "                                 
## [319] " "                                  " 9"                                
## [321] "5000"                               " "                                 
## [323] " 3"                                 "5000"                              
## [325] " 1"                                 " "                                 
## [327] " "                                  " "                                 
## [329] " "                                  " "                                 
## [331] " "                                  ", "                                
## [333] " "                                  " 5G"                               
## [335] " "                                  ".  "                               
## [337] " "                                  " "                                 
## [339] " "                                  " "                                 
## [341] " "                                  " "                                 
## [343] " "                                  " "                                 
## [345] " 2000"                              " "                                 
## [347] " "                                  " "                                 
## [349] " "                                  " "                                 
## [351] " 33%"                               " "                                 
## [353] "12"                                 " "                                 
## [355] " "                                  " "                                 
## [357] " "                                  ".  "                               
## [359] ", "                                 " "                                 
## [361] " 13"                                "("                                 
## [363] ") "                                 " "                                 
## [365] " "                                  " "                                 
## [367] " "                                  "12 "                               
## [369] " "                                  " "                                 
## [371] " "                                  ". "                                
## [373] " "                                  " "                                 
## [375] " "                                  " "                                 
## [377] " "                                  " "                                 
## [379] " "                                  ". "                                
## [381] " (bluerain@edaily.co.kr) \n\t \n\t"

맥락 접근 고려사항: Context-level

온라인 텍스트 (hashtag, handle, HTML)
이메일
URLs
Byline

# 1) 온라인 텍스트
html_reg <- "&nbsp;|&amp;|&lt;|&gt;|&quot;|&#035;|&#039;"
str_extract_all(content, html_reg)

## [[1]]
## character(0)

str_extract_all(content, "[^[:word:]#@ ]+")

## [[1]]
##   [1] "\n\t" "\n\t" "\n\n" "\n"   "["    "]"    "‘"   "’("  ")"    "."   
##  [11] "‘"   "’"   "."    "△"   "("    "."    ")"    "△"   "("    "."   
##  [21] ")"    "△"   "("    "."    ")"    "△"   "("    "."    ")"    "."   
##  [31] "."    "."    "("    ")"    "‘"   "’"   "."    "‘"   "’"   "."   
##  [41] "("    ")"    "("    ")"    "."    ","    "‘"   "’"   "("    ")"   
##  [51] "."    "."    "‘"   "’"   "."    "("    ")"    "."    "‘"   "’"  
##  [61] "("    ")"    "("    ")"    "%,"   "."    "%"    "."    "%,"   "%"   
##  [71] "."    "."    "‘"   "’"   "‘"   "’"   "‘"   "’"   "."    "‘"  
##  [81] "’"   "‘"   "’"   "."    "-"    ","    "("    ")"    "."    "."   
##  [91] "."    "."    "."    "‘"   "’"   "."    "."    ","    "."    "%"   
## [101] "."    ","    "("    ")"    "."    "."    "("    "."    "."    ")"   
## [111] "\n\t" "\n\t"

#bluerain@edaily.co.kr
email_reg <- "[[:alpha:]]+@[[:alpha:].]+"
str_extract_all(content, email_reg)

## [[1]]
## [1] "bluerain@edaily.co.kr"

# 3) URL
url_reg <- "https?[^[:space:]]+|(www.)[^[:space:]]+"

url_ex <- c("https://t.co/CiIn8bXAuM",
            "www.google.com")

str_extract_all(url_ex, regex(url_reg, ignore_case = T))

## [[1]]
## [1] "https://t.co/CiIn8bXAuM"
## 
## [[2]]
## [1] "www.google.com"

str_extract_all(content, url_reg)

## [[1]]
## character(0)

# 4) Byline

byline_reg <- "\\[[[가-힣] ]+\\]"
str_extract_all(content, byline_reg)

## [[1]]
## [1] "[이데일리 장영은 기자]"

Week7: AJAX and Regex

Shin Lee

2020 10 13