Mastering Apache Spark with R (Chapter 2)

R Machine Learning Series

Prerequisites

Để sử dụng được Apache Spark cần cài đặt:

1. Cài đặt Java JDK.
2. R + R Studio.
3. Thư viện sparklyr.

Sau khi cài đặt xong kiểm tra một số thông tin về phiên bản:

library(sparklyr)
spark_installed_versions()

##   spark hadoop                                                              dir
## 1 2.4.3    2.7 C:\\Users\\Admin\\AppData\\Local/spark/spark-2.4.3-bin-hadoop2.7

Như vậy Spark (Version 2.4.3) và Hadoop (Version 2.7) cũng được install trên local machine.

Connecting

Giả sử rằng việc cài đặt và thiết lập môi trường để sử dụng Apache Spark (gọi tắt là Spark) đã được hoàn thành. Các chương sau sẽ giải thích việc tìm, cài đặt và kết nối nhiều Spark Cluster trên nhiều máy tính khác nhau. Với mục đính minh họa, chương này tập trung vào vận hành code trên local cluster (máy tính cá nhân).

Để kết nối với local cluster trên máy tính cá nhân thực hiện R codes dưới đây:

sc <- spark_connect(master = "local", version = "2.4.3")

Chúng ta có thể xem thêm một số thông tin khác về local cluster bằng lệnh sau:

sc

Sử dụng Apache Spark

Sau khi kết nối với local cluster chúng ta sử dụng bộ dữ liệu mtcars (có săn trong R Environment) để minh họa. Trước hết xem qua bộ dữ liệu này:

head(mtcars)

##                    mpg cyl disp  hp drat    wt  qsec vs am gear carb
## Mazda RX4         21.0   6  160 110 3.90 2.620 16.46  0  1    4    4
## Mazda RX4 Wag     21.0   6  160 110 3.90 2.875 17.02  0  1    4    4
## Datsun 710        22.8   4  108  93 3.85 2.320 18.61  1  1    4    1
## Hornet 4 Drive    21.4   6  258 110 3.08 3.215 19.44  1  0    3    1
## Hornet Sportabout 18.7   8  360 175 3.15 3.440 17.02  0  0    3    2
## Valiant           18.1   6  225 105 2.76 3.460 20.22  1  0    3    1

Lưu lại bộ dữ liệu này ở định dạng .csv để sử dụng sau này nếu cần thiết:

write.csv(mtcars, "cars.csv", row.names = FALSE)

Sử dụng lệnh copy_to() để copy bộ dữ liệu mtcars từ môi trường R vào Apache Spark:

cars <- copy_to(sc, mtcars)

Chúng ta có thể access bộ dữ liệu này thông qua R. Ví dụ:

head(cars)

## # Source: spark<?> [?? x 11]
##     mpg   cyl  disp    hp  drat    wt  qsec    vs    am  gear  carb
##   <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl>
## 1  21       6   160   110  3.9   2.62  16.5     0     1     4     4
## 2  21       6   160   110  3.9   2.88  17.0     0     1     4     4
## 3  22.8     4   108    93  3.85  2.32  18.6     1     1     4     1
## 4  21.4     6   258   110  3.08  3.22  19.4     1     0     3     1
## 5  18.7     8   360   175  3.15  3.44  17.0     0     0     3     2
## 6  18.1     6   225   105  2.76  3.46  20.2     1     0     3     1

Web Interface

Hầu hết Spark commands được thực hiện từ Rstudio/R console. Tuy nhiên việc theo dõi (và các quá trình khác) được thực hiện thông qua giao diện Web của Spark. Giao diện này là môt web application được cung cấp bởi Spark bằng cách thực hiện lệnh sau:

spark_web(sc)

Kết quả sẽ như dưới đây:

# Data Query and Manipulation

Khi sử dụng Spark thông qua R chúng ta có thể sử dụng các ngôn ngữ truy vấn dữ liệu. Chẳng hạn sử dụng SQL để đếm số dòng:

library(DBI)
dbGetQuery(sc, "SELECT count(*) FROM mtcars")

##   count(1)
## 1       32

Hoặc sử dụng các hàm của thư viện dplyr:

library(dplyr)

cars %>% 
  group_by(cyl) %>% 
  count(sort = TRUE)

## # Source:     spark<?> [?? x 2]
## # Ordered by: desc(n)
##     cyl     n
##   <dbl> <dbl>
## 1     8    14
## 2     4    11
## 3     6     7

Modelling

Sau khi load bộ dữ liệu mtcars vào Spark Environment chúng ta có thể, ví dụ, đánh giá tác động của horsepower lên fuel efficiency thông qua hồi quy:

model <- ml_linear_regression(cars, mpg ~ hp)

Với mô hình đã huấn luyện xong chúng ta có thể sử dụng mô hình này để dự báo mức độ fuel efficiency của, ví dụ, ba quan sát với horsepower lần lượt là 250, 260 và 270 như sau:

# Some data points: 
my_df <- data.frame(hp = c(250, 260, 270))

# Load to Spark environment: 
my_df_spark <- copy_to(sc, my_df)

# Use trained model for predicting: 
ml_predict(model, my_df_spark) -> mpg_predicted

# Show results: 
mpg_predicted 

## # Source: spark<?> [?? x 2]
##      hp prediction
##   <dbl>      <dbl>
## 1   250       13.0
## 2   260       12.4
## 3   270       11.7

OK. Chúc mừng bạn. Bạn vừa sử dụng mô hình train được bằng Spark để đưa ra các giá trị dự báo lần lượt là 13.0, 12.4 và 11.7. Thực tế thì việc huấn luyện các mô hình học máy sẽ còn nhiều bước và công đoạn hơn toy example vừa trình bày ở trên. Những điều này sẽ được trình bày trong các chương sau.

More on Loading Data

Trong thực tế chúng ta thường load data một cách trực tiếp vào Spark Environment. Ví dụ với bộ data mtcars ở định dạng .csv đã được load ở trên:

load_data_to_spark <- spark_read_csv(sc, "cars.csv")

Xem dữ liệu đã load:

head(load_data_to_spark)

## # Source: spark<?> [?? x 11]
##     mpg   cyl  disp    hp  drat    wt  qsec    vs    am  gear  carb
##   <dbl> <int> <dbl> <int> <dbl> <dbl> <dbl> <int> <int> <int> <int>
## 1  21       6   160   110  3.9   2.62  16.5     0     1     4     4
## 2  21       6   160   110  3.9   2.88  17.0     0     1     4     4
## 3  22.8     4   108    93  3.85  2.32  18.6     1     1     4     1
## 4  21.4     6   258   110  3.08  3.22  19.4     1     0     3     1
## 5  18.7     8   360   175  3.15  3.44  17.0     0     0     3     2
## 6  18.1     6   225   105  2.76  3.46  20.2     1     0     3     1

Disconnecting

Sau khi xong mọi công việc chúng ta có thể kết thúc kết nối với local cluster như sau:

spark_disconnect(sc)

Nếu sử dụng nhiều culuster thì:

spark_disconnect(sc)