Dataset 1:
Dataset 2:
Colunas do dataset1
print(colnames(dataset1))
## [1] "App" "Category" "Rating" "Reviews"
## [5] "Size" "Installs" "Type" "Price"
## [9] "Content.Rating" "Genres" "Last.Updated" "Current.Ver"
## [13] "Android.Ver"
Colunas do dataset2
print(colnames(dataset2))
## [1] "App.Name" "App.Id" "Category"
## [4] "Rating" "Rating.Count" "Installs"
## [7] "Minimum.Installs" "Maximum.Installs" "Free"
## [10] "Price" "Currency" "Size"
## [13] "Minimum.Android" "Developer.Id" "Developer.Website"
## [16] "Developer.Email" "Released" "Last.Updated"
## [19] "Content.Rating" "Privacy.Policy" "Ad.Supported"
## [22] "In.App.Purchases" "Editors.Choice" "Scraped.Time"
Considerando que o dataset1 possui um número inferior de colunas em comparação com o dataset2, optou-se por selecionar um conjunto de colunas que representasse a interseção entre ambos conjuntos de dados(os nomes exibidos são pertinentes ao dataset1):
Tendo em vista que as colunas selecionadas não apresentam os mesmo nome em ambos datasets, todos os nomes no dataset1 serão atualizados para o padrão do dataset2.
Conjunto de colunas renomeadas:
Foi necessário remover a coluna “Category” já existente no dataset antes de aplicar os novos nomes.
# Removendo coluna "Category"
dataset1 <- dataset1 %>%
select(-Category)
# Renomeando colunas
dataset1 <- dataset1 %>%
rename(App.Name = App, Rating.Count = Reviews, Free = Type, Category = Genres, Minimum.Android = Android.Ver)
#Dataset1 renomeado
print(colnames(dataset1))
## [1] "App.Name" "Rating" "Rating.Count" "Size"
## [5] "Installs" "Free" "Price" "Content.Rating"
## [9] "Category" "Last.Updated" "Current.Ver" "Minimum.Android"
Nesta etapa, serão eliminadas todas as colunas que não serão utilizadas no projeto
# Removendo colunas não utilizada no dataset1
dataset1 <- dataset1 %>%
select(-Content.Rating, -Current.Ver)
# Obetendo o conjunto de colunas em comum entre os dois datasets
colunas_comuns <- intersect(names(dataset1), names(dataset2))
# Selecionar apenas as colunas comuns do segundo dataset
dataset2 <- dataset2[colunas_comuns]
Nesta fase, procederemos à fusão dos dois datasets, utilizando a coluna ‘App.Name’ como chave única. Apenas as colunas do dataset1 serão preservadas durante esse processo de união.
# Unir os datasets usando rbind
dataset_final <- unique(rbind(dataset1, dataset2))
summary(dataset_final)
## App.Name Rating Rating.Count Size
## Length:2323195 Min. : 0.000 Length:2323195 Length:2323195
## Class :character 1st Qu.: 0.000 Class :character Class :character
## Mode :character Median : 3.000 Mode :character Mode :character
## Mean : 2.211
## 3rd Qu.: 4.300
## Max. :19.000
## NA's :24346
## Installs Free Price Category
## Length:2323195 Length:2323195 Length:2323195 Length:2323195
## Class :character Class :character Class :character Class :character
## Mode :character Mode :character Mode :character Mode :character
##
##
##
##
## Last.Updated Minimum.Android
## Length:2323195 Length:2323195
## Class :character Class :character
## Mode :character Mode :character
##
##
##
##
A coluna “Free” contém valores booleanos, assumindo o valor True se o aplicativo for gratuito e False se for pago.
##Ajustando coluna Free para Booleano
dataset_final$Free <- dataset_final$Free == "Free"
#Exibindo valores únicos
print(unique(dataset_final$Free))
## [1] TRUE FALSE
Todos os valores serão convertidos para Kbytes e será preservado apenas o valor em si, sem letras.
## Função para converter tamanhos para Kbytes
converter_tamanho <- function(tamanho) {
if (grepl("M", tamanho)) {
return(as.numeric(gsub("M", "", tamanho)) * 1024)
} else if (grepl("k", tamanho)) {
return(as.numeric(gsub("k", "", tamanho)))
} else {
return(NA)
}
}
# Aplicar a função para converter tamanhos
suppressWarnings({
dataset_final$Size <- sapply(dataset_final$Size, converter_tamanho)
})
Tendo em vista que existem valores vazios, deve-se analisar a distribuição dos dados para preencher os dados faltantes.
# Sumário da coluna
summary(dataset_final$Size)
## Min. 1st Qu. Median Mean 3rd Qu. Max. NA's
## 3.2 5017.6 10240.0 19678.1 25600.0 1019904.0 77498
# Plotando um hisograma
hist(dataset_final$Size[!is.na(dataset_final$Size)], main="Histograma da Coluna Size", xlab="Valores em Kbytes", ylab="Frequência", col="skyblue", border="black")
Como se pode observar no histograma, o formato de “Sino” não esta presente. Além disso, existem outliers representativos. Neste caso a solução mais adequada é substituir os dados faltantes pela mediana.
# Recuperando a mediana
mediana_coluna <- median(dataset_final$Size, na.rm = TRUE)
# Substituindo NAs
dataset_final$Size <- ifelse(is.na(dataset_final$Size), mediana_coluna, dataset_final$Size)
Todos valores apresentam o sinal “+” ao final para indicar que o valor real é ligeiramente superior ao exibido. Para o propósito da análise, a aproximação do valor é suficiente e, portanto, serão removidos todos os sinais “+” e os valores serão transformados em valores numérios.
suppressWarnings({
dataset_final$Installs <- as.integer(gsub("\\+$", "", dataset_final$Installs))
})
Tendo em vista que existem valores vazios, deve-se analisar a distribuição dos dados para preencher os dados faltantes.
# Sumário da coluna
summary(dataset_final$Installs)
## Min. 1st Qu. Median Mean 3rd Qu. Max. NA's
## 0.0 10.0 100.0 120.3 100.0 500.0 1067752
# Plotando um hisograma
hist(dataset_final$Installs[!is.na(dataset_final$Installs)], main="Histograma da Coluna Installs", xlab="Número de instalações", ylab="Frequência", col="skyblue", border="black")
# Recuperando a média
media_coluna <- mean(dataset_final$Installs, na.rm = TRUE)
# Substituindo valores NAs
dataset_final$Installs <- ifelse(is.na(dataset_final$Installs), media_coluna, dataset_final$Installs)
Para verificar a correção do Rating com as outras colunas, vamos plotar um mapa correlacional
## Warning: NAs introduzidos por coerção
## Warning: NAs introduzidos por coerção
# Colunas de interesse
colunas_interesse <- c("Rating", "Rating.Count", "Installs", "Price")
dados_numericos <- dataset_final[colunas_interesse]
matriz_correlacao <- cor(na.omit(dados_numericos))
# Gráfico
corrplot(matriz_correlacao, method = "color")