#-----------ITEM A
# DataSet directory
path <- c("C:\\0. R\\MBA\\DS&S\\M2 - Estatístics Descritiva e Construção de Dashboards\\MBA_ProjetoFinal_original")

setwd(path)

getwd()

#dataset <- read_csv2("MICRODADOS_ENADE_2017.txt" )
dataset <- read.delim("MICRODADOS_ENADE_2017.txt" , header = TRUE, sep = ";", dec = ",")

#-----------ITEM A
ds.filtered <- dataset %>% dplyr::select(
  NT_GER,
  NT_OBJ_FG,
  CO_GRUPO,
  CO_REGIAO_CURSO,
  QE_I02,
  CO_TURNO_GRADUACAO
)

#-----------ITEM A
#Cursos
ds.filtered <- ds.filtered %>% mutate(
  Curso = case_when(
    CO_GRUPO == 21 ~ 'Arquitetura e Urbanismo' , 
    CO_GRUPO == 72 ~ 'Tecnologia em Análise e Desenvolvimento de Sistemas' , 
    CO_GRUPO == 76 ~ 'Tecnologia em Gestão da Produção Industrial' , 
    CO_GRUPO == 79 ~ 'Tecnologia em Redes de Computadores' , 
    CO_GRUPO == 701 ~ 'Matemática (Bacharelado)' , 
    CO_GRUPO == 702 ~ 'Matemática (Licenciatura)' , 
    CO_GRUPO == 903 ~ 'Letras-Português (Bacharelado)' , 
    CO_GRUPO == 904 ~ 'Letras-Português (Licenciatura)' , 
    CO_GRUPO == 905 ~ 'Letras-Português e Inglês (Licenciatura)' , 
    CO_GRUPO == 906 ~ 'Letras-Português e Espanhol (Licenciatura)' , 
    CO_GRUPO == 1401 ~ 'Física (Bacharelado)' , 
    CO_GRUPO == 1402 ~ 'Física (Licenciatura)' , 
    CO_GRUPO == 1501 ~ 'Química (Bacharelado)' , 
    CO_GRUPO == 1502 ~ 'Química (Licenciatura)' , 
    CO_GRUPO == 1601 ~ 'Ciências Biológicas (Bacharelado)' , 
    CO_GRUPO == 1602 ~ 'Ciências Biológicas (Licenciatura)' , 
    CO_GRUPO == 2001 ~ 'Pedagogia (Licenciatura)' , 
    CO_GRUPO == 2401 ~ 'História (Bacharelado)' , 
    CO_GRUPO == 2402 ~ 'História (Licenciatura)' , 
    CO_GRUPO == 2501 ~ 'Artes Visuais (Licenciatura)' , 
    CO_GRUPO == 3001 ~ 'Geografia (Bacharelado)' , 
    CO_GRUPO == 3002 ~ 'Geografia (Licenciatura)' , 
    CO_GRUPO == 3201 ~ 'Filosofia (Bacharelado)' , 
    CO_GRUPO == 3202 ~ 'Filosofia (Licenciatura)' , 
    CO_GRUPO == 3502 ~ 'Educação Física (Licenciatura)' , 
    CO_GRUPO == 4003 ~ 'Engenharia Da Computação' , 
    CO_GRUPO == 4004 ~ 'Ciência Da Computação (Bacharelado)' , 
    CO_GRUPO == 4005 ~ 'Ciência Da Computação (Licenciatura)' , 
    CO_GRUPO == 4006 ~ 'Sistemas De Informação' , 
    CO_GRUPO == 4301 ~ 'Música (Licenciatura)' , 
    CO_GRUPO == 5401 ~ 'Ciências Sociais (Bacharelado)' , 
    CO_GRUPO == 5402 ~ 'Ciências Sociais (Licenciatura)' , 
    CO_GRUPO == 5710 ~ 'Engenharia Civil' , 
    CO_GRUPO == 5806 ~ 'Engenharia Elétrica' , 
    CO_GRUPO == 5814 ~ 'Engenharia de Controle e Automação' , 
    CO_GRUPO == 5902 ~ 'Engenharia Mecânica' , 
    CO_GRUPO == 6002 ~ 'Engenharia de Alimentos' , 
    CO_GRUPO == 6008 ~ 'Engenharia Química' , 
    CO_GRUPO == 6208 ~ 'Engenharia de Produção' , 
    CO_GRUPO == 6306 ~ 'Engenharia' , 
    CO_GRUPO == 6307 ~ 'Engenharia Ambiental' , 
    CO_GRUPO == 6405 ~ 'Engenharia Florestal' , 
    CO_GRUPO == 6407 ~ 'Letras - Inglês' , 
    CO_GRUPO == 6409 ~ 'Tecnologia em Gestão da Tecnologia da Informação' , 
    TRUE ~ "Outro"
  )
)
ds.filtered$Curso <- as.factor(ds.filtered$Curso)
#Nota
ds.filtered = ds.filtered %>% mutate(
  Nota_Obj = NT_OBJ_FG,
  Nota_Geral = NT_GER
)
#Regiao
ds.filtered = ds.filtered %>% mutate(
  Regiao = case_when(
    CO_REGIAO_CURSO == 1 ~ "Norte",
    CO_REGIAO_CURSO == 2 ~ "Nordeste",
    CO_REGIAO_CURSO == 3 ~ "Sudeste",
    CO_REGIAO_CURSO == 4 ~ "Sul",
    CO_REGIAO_CURSO == 5 ~ "Centro-Oeste"
  )
)
ds.filtered$Regiao <- as.factor(ds.filtered$Regiao)
#Raca
ds.filtered = ds.filtered %>% mutate(
  Raca = case_when(
    QE_I02 == "A" ~ "Branca",
    QE_I02 == "B" ~ "Preta",
    QE_I02 == "C" ~ "Amarela",
    QE_I02 == "D" ~ "Parda",
    QE_I02 == "E" ~ "Indígena",
    QE_I02 == "F" ~ "Não quero declarar"
  )
)
ds.filtered$Raca <- as.factor(ds.filtered$Raca)
#Turno
ds.filtered = ds.filtered %>% mutate(
  Turno = case_when(
    CO_TURNO_GRADUACAO == 1 ~ "Matutino",
    CO_TURNO_GRADUACAO == 2 ~ "Vespertino",
    CO_TURNO_GRADUACAO == 3 ~ "Integral",
    CO_TURNO_GRADUACAO == 4 ~ "Noturno"
  )
)
ds.filtered$Turno <- as.factor(ds.filtered$Turno)
# Limpar Dataset
cps = c(  "NT_GER",
          "NT_OBJ_FG",
          #"CO_GRUPO",
          "CO_REGIAO_CURSO",
          "QE_I02",
          "CO_TURNO_GRADUACAO")

ds.all <- subset(ds.filtered, select = -c(NT_GER,
                                          NT_OBJ_FG,
                                          #CO_GRUPO,
                                          CO_REGIAO_CURSO,
                                          QE_I02,
                                          CO_TURNO_GRADUACAO) )

#-----------ITEM B
tabela_1 <- ds.all %>%
  select(Nota_Geral) %>%
  summarise(
    quantidade = n(),
    missing = quantidade - sum(!is.na(Nota_Geral)) ,
    media = round( mean( Nota_Geral , na.rm=TRUE) , 1),
    mediana = round( median( Nota_Geral, na.rm=TRUE) , 1),
    moda = round( Mode(Nota_Geral, na.rm=TRUE) , 1),
    desvio_padrao = round( sd(Nota_Geral, na.rm=TRUE) , 1),
#    variancia = round( sd(Nota_Geral, na.rm=TRUE)^2 , 1),
    cv = round( sd(Nota_Geral, na.rm=TRUE) / media * 100 , 1),
    assimetria = round( skewness(Nota_Geral, na.rm=TRUE) , 1),
    curtose = round( kurtosis(Nota_Geral, na.rm=TRUE), 1)
  )

tabela_1 %>%  kbl %>% kable_paper("hover", full_width = F)

#-----------ITEM B
#removendo missings
ds.all_adj = ds.all %>%
  filter_at(vars(Nota_Geral), all_vars(!is.na(.)))

#Verificando se todos os NA's foram de fato removidos
summary_final.nas=ds.all_adj %>%
  select(everything()) %>%  
  summarise_all(list(~sum(is.na(.))))

summary_final.nas %>% kbl %>% kable_paper("hover", full_width = F)

#Quatidade De Linhas Do Banco Original
n_dsall <- dim(ds.all)[1]
#Quatidade De Linhas Do Banco sem os NAS
n_dsnonas <- dim(ds.all_adj)[1]

#observaçoes removidas
n_diff <- dim(ds.all)[1] - dim(ds.all_adj)[1]
n_diff_pct <- ( dim(ds.all)[1] - dim(ds.all_adj)[1] ) / dim(ds.all)[1] 

#Histograma e Densidade
g_hist1 = ggplot(ds.engenharia, aes(x = Nota_Geral)) +
  geom_histogram(color = "black",
                 fill = "lightblue",
                 bins = 10,
                 aes(y = (..count..) / sum(..count..))) +
  ggtitle("Histograma da Nota Geral dos alunos de Engenharia") +
  xlab("nota") +
  ylab("Frequência relativa")

g_densidade1 = ggplot(ds.engenharia, aes(x = Nota_Geral)) +
  geom_density(col = 2, size = 1, aes(y = 30 * (..count..) / sum(..count..))) +
  ggtitle("Histograma da Nota Geral dos alunos de Engenharia") +
  xlab("nota") +
  ylab("Frequência relativa")

g_hist_densidade1 = ggplot(ds.engenharia, aes(x = Nota_Geral)) +
  geom_histogram(color = "black",
                 fill = "lightblue",
                 bins = 10,
                 aes(y = (..count..) / sum(..count..))) +
  geom_density(col = 2, size = 1, aes(y = 30 * (..count..) /  sum(..count..))) +
  ggtitle("Histograma da Nota Geral dos alunos de Engenharia") +
  xlab("Nota") +
  ylab("Frequência relativa")

grid.arrange(g_hist1,
             g_densidade1,
             g_hist_densidade1,
             nrow = 3,
             ncol = 1)

#-----------ITEM F
mi <- mean(ds.all_adj$Nota_Geral) #media populacional
sigma <- sd(ds.all_adj$Nota_Geral) #desvio padrão populacional
N <- dim(ds.all_adj)[1] #tamanho da população
alpha <- 1-0.95

x_ <- mean(ds.engenharia$Nota_Geral) #média amostral
dp <- sd(ds.engenharia$Nota_Geral) #desvio padrão amostral
n <- dim(ds.engenharia)[1] #tamanho da amostra

z <- qnorm(1 - (alpha/2) ) # distribuição acumulada até o ponto

erro <- z * sigma / sqrt(n)

lim_inf <- x_ - erro
lim_sup <- x_ + erro

#-----------ITEM G
grid.arrange(g_hist1,
             g_densidade1,
             g_hist_densidade1,
             nrow = 3,
             ncol = 1)

#Teste de Normalidade de Shapiro-Wilk
#shapiro.test(ds.all_adj$Nota_Geral) #só para menos de 5 mil obs

#Teste de Normalidade de Anderson_Darlin
ad.test(ds.engenharia$Nota_Geral)

tabela_5 <- ds.engenharia %>%
  select(Curso, Nota_Geral) %>%
  group_by(Curso) %>%
  summarise(
    quantidade = n(),
    media = round( mean( Nota_Geral , na.rm=TRUE) , 1),
    mediana = round( median( Nota_Geral, na.rm=TRUE) , 1),
    desvio_padrao = round( sd(Nota_Geral, na.rm=TRUE) , 1),
    Q_25 = round( quantile(Nota_Geral, 0.25), 1),
    Q_75 = round( quantile(Nota_Geral, 0.75), 1),
    IQR = round( IQR(Nota_Geral, 0.25), 1)
  ) %>% arrange(desc(mediana))

tabela_5 %>%  kbl %>% kable_paper("hover", full_width = F)

#-----------ITEM I
#cálculo do p-valor
mi <- mean(ds.all_adj$Nota_Geral) #media populacional
sigma <- sd(ds.all_adj$Nota_Geral) #desvio padrão populacional
N <- dim(ds.all_adj)[1] #tamanho da população
alpha <- 1-0.95

x_ <- mean(ds.engenharia$Nota_Geral) #média amostral
dp <- sd(ds.engenharia$Nota_Geral) #desvio padrão amostral
n <- dim(ds.engenharia)[1] #tamanho da amostra


alpha <- 1 - 0.95
z_tab <- qnorm(1 - (alpha/2) ) # distribuição acumulada até o ponto
z_calc <- ( x_ - mi ) / (sigma / sqrt(n))
p_valor <- pnorm(z_calc, mean=x_, sd=dp)