Compreender e aplicar, com os pacotes dplyr e tidyr, operações essenciais de manipulação de dados, incluindo classificação de casos, junção, agregação, divisão, seleção, recodificação e criação de novas variáveis, além de introduzir a construção de gráficos com ggplot2 e seus principais parâmetros.
Nesta aula, retomaremos os mesmos tópicos centrais da aula anterior, mas agora utilizando a sintaxe do tidyverse, especialmente os pacotes dplyr e tidyr. O objetivo é mostrar aos alunos uma forma mais fluida, legível e profissional de manipulação de dados em R.
Nas aulas anteriores, estudamos a lógica das principais operações de manipulação de dados utilizando estruturas do R base. Agora avançaremos para uma abordagem muito utilizada em Estatística, Ciência de Dados e análise aplicada: a gramática de manipulação do tidyverse.
De modo geral, essa abordagem organiza o trabalho com dados por meio de funções com papéis bem definidos, como:
A principal vantagem didática do tidyverse é que ele separa as tarefas analíticas em verbos consistentes. Isso torna o código mais legível, mais previsível e mais fácil de encadear.
library(dplyr)Warning: package 'dplyr' was built under R version 4.4.3
Attaching package: 'dplyr'The following objects are masked from 'package:stats':
filter, lagThe following objects are masked from 'package:base':
intersect, setdiff, setequal, unionlibrary(tidyr)Warning: package 'tidyr' was built under R version 4.4.3library(ggplot2)Warning: package 'ggplot2' was built under R version 4.4.3A função library() carrega um pacote já instalado no R. - dplyr: manipulação de dados; - tidyr: reorganização de bases em formato tidy; - ggplot2: construção de gráficos.
Utilizaremos um conjunto de dados sintético em contexto compatível com o curso de Estatística e Ciência de Dados.
dados <- tibble(
id = 1:12,
nome = c("Ana", "Bruno", "Carla", "Daniel", "Eva", "Felipe",
"Giovana", "Heitor", "Isabela", "Joao", "Karen", "Lucas"),
turma = c("A", "A", "B", "B", "A", "B", "A", "B", "A", "B", "A", "B"),
linguagem = c("R", "Python", "R", "Python", "R", "Python",
"Python", "R", "R", "Python", "R", "Python"),
horas_estudo = c(12, 8, 15, 7, 11, 9, 6, 14, 13, 10, 16, 5),
projetos = c(3, 1, 4, 1, 2, 2, 1, 5, 4, 3, 5, 1),
nota_r = c(8.7, 6.1, 9.2, 5.8, 7.5, 6.9, 5.4, 9.5, 8.8, 7.2, 9.7, 4.9),
frequencia = c(92, 85, 97, 78, 88, 83, 75, 99, 94, 86, 98, 72)
)
dadosA função tibble() cria uma tabela moderna do tidyverse. Conceitualmente, ela é semelhante a um data.frame, mas possui impressão mais organizada e comportamento mais consistente em várias operações de manipulação.
dplyrNo tidyverse, duas funções centrais para esse tipo de tarefa são:
select() para colunas;filter() para linhas.select()dados %>%
select(nome, turma, nota_r, projetos)A função select() seleciona colunas. - seus argumentos correspondem aos nomes das variáveis que desejamos manter; - o operador %>% encaminha o resultado de uma etapa para a próxima.
filter()dados %>%
filter(nota_r >= 8)A função filter() seleciona linhas com base em condições lógicas. Neste exemplo, permanecem apenas os casos com nota_r >= 8.
filter() e select()dados %>%
filter(frequencia >= 90, projetos >= 3) %>%
select(nome, turma, frequencia, projetos, nota_r)Dentro de filter(), múltiplas condições separadas por vírgula são interpretadas como conjunção lógica, isto é, como se estivéssemos usando “e”.
dplyrflowchart LR A["Base original"] --> B["filter()"] B --> C["select()"] C --> D["Subconjunto final"]
mutate() e case_when()Uma das tarefas mais importantes em análise de dados é criar classificações e recodificações com base em regras analíticas.
mutate() e case_when()dados_classificados <- dados %>%
mutate(
desempenho = case_when(
nota_r < 6 ~ "baixo",
nota_r < 8 ~ "intermediario",
TRUE ~ "alto"
)
)
dados_classificados %>%
select(nome, nota_r, desempenho)A função mutate() cria ou modifica colunas. A função case_when() permite definir regras condicionais de forma mais legível do que vários ifelse() aninhados. - cada linha de regra tem a forma condição ~ resultado; - TRUE ~ ... funciona como caso final padrão.
dados_classificados <- dados %>%
mutate(
perfil = case_when(
nota_r >= 9 & projetos >= 4 ~ "excelente",
nota_r >= 7.5 & frequencia >= 85 ~ "bom",
nota_r >= 6 ~ "regular",
TRUE ~ "insuficiente"
)
)
dados_classificados %>%
select(nome, nota_r, projetos, frequencia, perfil)dados_recodificados <- dados %>%
mutate(
faixa_estudo = case_when(
horas_estudo < 8 ~ "baixa",
horas_estudo < 12 ~ "media",
TRUE ~ "alta"
)
)
dados_recodificados %>%
select(nome, horas_estudo, faixa_estudo)flowchart LR A["Variável original"] --> B["mutate() + case_when()"] B --> C["Nova variável categórica"]
No tidyverse, a classificação de casos e a recodificação de valores costumam ser feitas com mutate(), pois essa função concentra a lógica de criação e transformação de colunas.
mutate()Criar variáveis derivadas é uma etapa central no fluxo de análise.
dados_score <- dados %>%
mutate(
score = nota_r + 0.5 * projetos
)
dados_score %>%
select(nome, nota_r, projetos, score)dados_eficiencia <- dados %>%
mutate(
eficiencia = nota_r / horas_estudo
)
dados_eficiencia %>%
select(nome, nota_r, horas_estudo, eficiencia)dados_novos <- dados %>%
mutate(
score = nota_r + 0.5 * projetos,
eficiencia = nota_r / horas_estudo,
alto_desempenho = nota_r >= 8
)
dados_novos %>%
select(nome, score, eficiencia, alto_desempenho)Uma grande vantagem de mutate() é permitir criar diversas variáveis novas em uma única chamada, mantendo a leitura do código bastante organizada.
group_by() e summarise()A agregação no tidyverse é, em geral, construída em duas etapas:
group_by();summarise().dados %>%
group_by(turma) %>%
summarise(
media_nota = mean(nota_r)
)A função group_by() declara a variável de agrupamento.
A função summarise() reduz cada grupo a uma ou mais medidas resumo.
dados %>%
group_by(turma) %>%
summarise(
media_nota = mean(nota_r),
media_estudo = mean(horas_estudo),
total_projetos = sum(projetos)
)dados %>%
group_by(turma, linguagem) %>%
summarise(
media_nota = mean(nota_r),
.groups = "drop"
)O argumento .groups = "drop" remove a estrutura de agrupamento após o resumo. Isso costuma ser útil para evitar efeitos inesperados em etapas posteriores.
flowchart LR A["Base completa"] --> B["group_by()"] B --> C["summarise()"] C --> D["Tabela resumo por grupos"]
group_split()Quando queremos separar a base em subconjuntos, uma opção elegante é group_split().
bases_turma <- dados %>%
group_by(turma) %>%
group_split()
bases_turma<list_of<
tbl_df<
id : integer
nome : character
turma : character
linguagem : character
horas_estudo: double
projetos : double
nota_r : double
frequencia : double
>
>[2]>
[[1]]
# A tibble: 6 × 8
id nome turma linguagem horas_estudo projetos nota_r frequencia
<int> <chr> <chr> <chr> <dbl> <dbl> <dbl> <dbl>
1 1 Ana A R 12 3 8.7 92
2 2 Bruno A Python 8 1 6.1 85
3 5 Eva A R 11 2 7.5 88
4 7 Giovana A Python 6 1 5.4 75
5 9 Isabela A R 13 4 8.8 94
6 11 Karen A R 16 5 9.7 98
[[2]]
# A tibble: 6 × 8
id nome turma linguagem horas_estudo projetos nota_r frequencia
<int> <chr> <chr> <chr> <dbl> <dbl> <dbl> <dbl>
1 3 Carla B R 15 4 9.2 97
2 4 Daniel B Python 7 1 5.8 78
3 6 Felipe B Python 9 2 6.9 83
4 8 Heitor B R 14 5 9.5 99
5 10 Joao B Python 10 3 7.2 86
6 12 Lucas B Python 5 1 4.9 72A função group_split() divide uma base em uma lista de subconjuntos, respeitando os grupos definidos previamente por group_by().
bases_linguagem <- dados %>%
group_by(linguagem) %>%
group_split()
bases_linguagem<list_of<
tbl_df<
id : integer
nome : character
turma : character
linguagem : character
horas_estudo: double
projetos : double
nota_r : double
frequencia : double
>
>[2]>
[[1]]
# A tibble: 6 × 8
id nome turma linguagem horas_estudo projetos nota_r frequencia
<int> <chr> <chr> <chr> <dbl> <dbl> <dbl> <dbl>
1 2 Bruno A Python 8 1 6.1 85
2 4 Daniel B Python 7 1 5.8 78
3 6 Felipe B Python 9 2 6.9 83
4 7 Giovana A Python 6 1 5.4 75
5 10 Joao B Python 10 3 7.2 86
6 12 Lucas B Python 5 1 4.9 72
[[2]]
# A tibble: 6 × 8
id nome turma linguagem horas_estudo projetos nota_r frequencia
<int> <chr> <chr> <chr> <dbl> <dbl> <dbl> <dbl>
1 1 Ana A R 12 3 8.7 92
2 3 Carla B R 15 4 9.2 97
3 5 Eva A R 11 2 7.5 88
4 8 Heitor B R 14 5 9.5 99
5 9 Isabela A R 13 4 8.8 94
6 11 Karen A R 16 5 9.7 98bases_linguagem[[1]]Como o resultado de group_split() é uma lista, cada subconjunto pode ser acessado por índices com [[ ]].
bind_*() e join()bind_rows()novos_casos <- tibble(
id = 13:15,
nome = c("Marina", "Nicolas", "Olivia"),
turma = c("C", "C", "C"),
linguagem = c("R", "Python", "R"),
horas_estudo = c(14, 9, 12),
projetos = c(4, 2, 3),
nota_r = c(9.0, 6.7, 8.4),
frequencia = c(96, 84, 91)
)
dados_ampliados <- bind_rows(dados, novos_casos)
dados_ampliadosA função bind_rows() empilha tabelas por linhas. Ela é análoga à ideia de rbind(), mas se integra naturalmente ao fluxo tidyverse.
bind_cols()monitorias <- tibble(
monitorias = c(2, 1, 3, 0, 1, 1, 0, 4, 2, 2, 3, 0)
)
dados_colunas <- bind_cols(dados, monitorias)
dados_colunasA função bind_cols() junta objetos por colunas. Assim como no caso do R base, é preciso garantir compatibilidade entre o número e a ordem das observações.
left_join()Agora vamos acrescentar informações externas à base principal.
dados_extra <- tibble(
id = c(1, 3, 5, 7, 9, 11),
bolsa = c("sim", "nao", "sim", "nao", "sim", "sim")
)
dados_join <- dados %>%
left_join(dados_extra, by = "id")
dados_joinA função left_join(x, y, by) mantém todas as linhas da base x e adiciona as informações correspondentes de y, usando a variável-chave informada em by.
flowchart LR A["Base principal"] --> C["left_join(by = 'id')"] B["Base auxiliar"] --> C C --> D["Base combinada"]
tidyrO pacote tidyr é especialmente importante quando precisamos mudar a estrutura de uma base, tornando-a mais apropriada para análise ou visualização.
avaliacoes <- tibble(
id = 1:5,
prova1 = c(7.5, 6.0, 8.2, 5.7, 9.1),
prova2 = c(8.0, 6.5, 8.8, 6.1, 9.4),
prova3 = c(8.4, 7.0, 9.0, 6.3, 9.5)
)
avaliacoespivot_longer()avaliacoes_long <- avaliacoes %>%
pivot_longer(
cols = starts_with("prova"),
names_to = "avaliacao",
values_to = "nota"
)
avaliacoes_longA função pivot_longer() aumenta o número de linhas e reduz o número de colunas. - cols: colunas que serão empilhadas; - names_to: nome da nova coluna que guardará os nomes das variáveis originais; - values_to: nome da nova coluna que guardará os valores.
pivot_wider()avaliacoes_wide <- avaliacoes_long %>%
pivot_wider(
names_from = avaliacao,
values_from = nota
)
avaliacoes_wideA função pivot_wider() faz o caminho inverso: - names_from: coluna cujos valores serão transformados em nomes de colunas; - values_from: coluna que contém os valores a serem redistribuídos.
flowchart LR A["Formato largo"] --> B["pivot_longer()"] B --> C["Formato longo"] C --> D["pivot_wider()"] D --> E["Formato largo novamente"]
Uma base em formato tidy favorece a manipulação com dplyr e a construção de gráficos com ggplot2. Por isso, reorganizar corretamente os dados costuma ser uma etapa essencial no fluxo analítico.
ggplot2O ggplot2 organiza a construção de gráficos por camadas. Em termos gerais, um gráfico é construído a partir de:
aes();ggplot()A forma mais básica é:
ggplot(dados, aes(x = variavel_x, y = variavel_y)) +
geom_...( )A função ggplot(data, aes(...)) inicializa o gráfico. - data: base de dados; - aes(): mapeamento entre variáveis e elementos visuais, como eixo x, eixo y, cor, forma ou preenchimento. Depois disso, adicionamos camadas com +.
geom_point()ggplot(dados, aes(x = horas_estudo, y = nota_r)) +
geom_point()
ggplot(dados, aes(x = horas_estudo, y = nota_r)) +
geom_point(color = "darkred", size = 3, alpha = 0.8)
Na camada geom_point(): - color: cor da borda/ponto; - size: tamanho dos pontos; - alpha: transparência.
ggplot(dados, aes(x = horas_estudo, y = nota_r)) +
geom_point(color = "darkred", size = 3, alpha = 0.8) +
labs(
title = "Relação entre horas de estudo e nota em R",
x = "Horas de estudo por semana",
y = "Nota em R"
)
A função labs() controla títulos e rótulos do gráfico: - title: título principal; - x: rótulo do eixo horizontal; - y: rótulo do eixo vertical; - também pode ser usada para nomear legendas, como color e fill.
ggplot(dados, aes(x = horas_estudo, y = nota_r)) +
geom_point(color = "darkred", size = 3, alpha = 0.8) +
labs(
title = "Relação entre horas de estudo e nota em R",
x = "Horas de estudo por semana",
y = "Nota em R"
) +
theme_minimal()
As funções theme_*() controlam a aparência geral do gráfico.
theme_minimal() produz um gráfico com aparência limpa e bastante utilizada em relatórios e apresentações.
geom_col()Primeiro, vamos construir uma base resumo.
resumo_linguagem <- dados %>%
group_by(linguagem) %>%
summarise(
media_nota = mean(nota_r),
.groups = "drop"
)
resumo_linguagemAgora, o gráfico:
ggplot(resumo_linguagem, aes(x = linguagem, y = media_nota, fill = linguagem)) +
geom_col() +
labs(
title = "Média da nota em R por linguagem preferida",
x = "Linguagem",
y = "Média da nota"
) +
theme_minimal()
A função geom_col() constrói barras cujas alturas já estão previamente calculadas na base.
O argumento fill controla a cor de preenchimento das barras.
geom_histogram()ggplot(dados, aes(x = nota_r)) +
geom_histogram(bins = 5, fill = "steelblue", color = "white") +
labs(
title = "Distribuição da nota em R",
x = "Nota em R",
y = "Frequência"
) +
theme_minimal()
A função geom_histogram() constrói histogramas. - bins: número de classes; - fill: cor de preenchimento; - color: cor da borda.
ggplot(dados, aes(x = horas_estudo, y = nota_r)) +
geom_point(color = "darkred", size = 3, alpha = 0.8) +
geom_smooth(method = "lm", se = FALSE, color = "navy", linewidth = 1) +
labs(
title = "Relação entre horas de estudo e nota em R",
x = "Horas de estudo por semana",
y = "Nota em R"
) +
theme_minimal()`geom_smooth()` using formula = 'y ~ x'
A função geom_smooth() adiciona uma curva ou reta de tendência. - method = "lm": ajusta uma regressão linear; - se = FALSE: remove a faixa de confiança; - color: define a cor da linha; - linewidth: controla a espessura da linha.
ggplot2flowchart LR A["Dados"] --> B["ggplot(data, aes(...))"] B --> C["geom_*()"] C --> D["labs()"] D --> E["theme_*()"]
No ggplot2, um gráfico não é apenas “desenhado”; ele é construído por camadas. Quando o aluno compreende essa lógica, passa a ter muito mais autonomia para montar gráficos novos.
dplyr, tidyr e ggplot2Uma das grandes forças do tidyverse é a integração entre seus pacotes. Vamos ver um exemplo que combina transformação e visualização.
dados %>%
mutate(
faixa_estudo = case_when(
horas_estudo < 8 ~ "baixa",
horas_estudo < 12 ~ "media",
TRUE ~ "alta"
)
) %>%
group_by(faixa_estudo) %>%
summarise(
media_nota = mean(nota_r),
.groups = "drop"
) %>%
ggplot(aes(x = faixa_estudo, y = media_nota, fill = faixa_estudo)) +
geom_col() +
labs(
title = "Nota média por faixa de estudo",
x = "Faixa de estudo",
y = "Média da nota"
) +
theme_minimal()
Este exemplo ilustra um fluxo muito comum em Ciência de Dados: - criar variáveis; - resumir por grupos; - e, imediatamente depois, representar os resultados em um gráfico.
select() achando que ele filtra linhas;filter() achando que ele seleciona colunas;group_by() antes de summarise() quando o objetivo é resumir por grupos;bind_cols() em objetos com observações desalinhadas;pivot_longer() ou pivot_wider() sem compreender a estrutura original da base;ggplot2 sem compreender o papel de aes() e das camadas.select() e filter() de forma conceitualmente distinta;Utilizando mutate() e case_when(), crie uma variável chamada perfil_academico segundo as regras:
"excelente" se nota_r >= 9 e projetos >= 4;"bom" se nota_r >= 7.5 e frequencia >= 85;"regular" se nota_r >= 6;"insuficiente" caso contrário.Apresente apenas as colunas:
nomenota_rprojetosfrequenciaperfil_academicoSelecione apenas os estudantes que satisfazem simultaneamente as condições:
turma == "A" ou linguagem == "R";horas_estudo >= 10;nota_r >= 7.Em seguida, apresente somente as colunas:
nometurmalinguagemhoras_estudonota_rUsando group_by() e summarise(), calcule por turma:
nota_r;horas_estudo;projetos.Divida a base segundo a variável linguagem com group_split() e calcule a média de nota_r apenas para o subconjunto dos estudantes que preferem Python.
Crie uma nova variável chamada faixa_estudo com mutate() e case_when(), segundo as categorias:
"baixa" se horas_estudo < 8;"media" se 8 <= horas_estudo < 12;"alta" se horas_estudo >= 12.Apresente apenas as colunas:
nomehoras_estudofaixa_estudoCrie uma nova variável chamada indice_global, definida por
\[ \text{indice\_global}_i = 0.6 \times \text{nota\_r}_i + 0.2 \times \text{projetos}_i + 0.02 \times \text{frequencia}_i \]
Em seguida, ordene a base em ordem decrescente de indice_global e apresente apenas os 5 primeiros casos.
Construa, com ggplot2, um gráfico de dispersão entre horas_estudo e nota_r, com:
"Relação entre horas de estudo e nota em R";"darkred";size = 3;alpha = 0.8.Depois, adicione a reta de regressão linear, na cor "navy" e com linewidth = 1.
Crie uma tabela resumo com a média de nota_r por faixa_estudo e, em seguida, construa um gráfico de barras com:
geom_col();theme_minimal().Considere a base avaliacoes apresentada nesta aula. Reorganize-a com pivot_longer() para obter uma versão longa com as colunas:
idavaliacaonotaUsando o objeto criado no exercício anterior, reconstrua a estrutura larga com pivot_wider().
Os exercícios desta aula foram pensados para consolidar o uso dos principais verbos do tidyverse, articulando manipulação, reorganização e visualização de dados em um mesmo fluxo analítico.