Este relatório tem como objetivo explorar e aplicar conceitos fundamentais de amostragem aleatória, um tópico crucial na disciplina de Probabilidade e Estatística. A amostragem aleatória é uma técnica estatística que permite a análise de um subconjunto de dados a partir de uma população maior. Existem três tipos principais de amostragem aleatória: simples, estratificada e por conglomerado.
Na amostragem aleatória simples, cada membro da população tem igual probabilidade de ser selecionado. Por exemplo, se tivermos um banco de dados com 2.000 registros, poderíamos selecionar aleatoriamente 500 desses registros para nossa análise.
A amostragem aleatória estratificada é uma técnica que divide a população em subgrupos ou estratos, e amostras são retiradas de cada estrato. Imagine um banco de dados de uma locadora de carros que registra todas as locações feitas pelos clientes. Se quisermos analisar as preferências dos clientes em relação às marcas de carros, poderíamos estratificar os dados por fabricante de carro e selecionar aleatoriamente 10% dos registros de cada estrato para nossa análise.
A amostragem aleatória por conglomerado é semelhante à estratificada, mas aqui os estratos são grupos naturais, ou conglomerados. Por exemplo, se tivermos um banco de dados de um bairro de uma cidade, poderíamos considerar cada rua como um conglomerado e selecionar algumas ruas aleatoriamente para nossa análise.
Neste relatório, aplicarei essas técnicas de amostragem ao banco de dados das despesas dos deputados brasileiros no ano de 2016. Através desta análise, espero ilustrar de forma prática e eficaz o uso desses três tipos de amostragens aleatórias, além de obter insights valiosos.
Espero que este relatório sirva como uma introdução valiosa e
compreensível aos conceitos de amostragem aleatória na disciplina de
Probabilidade e Estatística. Através da aplicação dessas técnicas a um
conjunto de dados do mundo real, estarei buscando melhorar minha
compreensão desses métodos.
A base de dados em estudo contém três variáveis principais: NomParla, que se refere ao nome do parlamentar; sgUF, que indica a unidade federativa; e vlrLiq, que representa o valor líquido das despesas. Em análises futuras e tabelas que serão geradas, essas variáveis serão referenciadas como Parlamentar, Estado e Gastos, respectivamente. Essas são as variáveis-chave que serão usadas para conduzir a análise neste relatório.
Entre os elementos de análise da base de dados, estão presentes: o nome do parlamentar (NomParla), a unidade federativa (sgUF) e o valor líquido das despesas (vlrLiq). Essas variáveis serão identificadas nas tabelas geradas posteriormente como Parlamentar, Estado e Gastos, respectivamente.
Para a análise das variáveis listadas acima foi utilizada a ferramenta de programação denominada R, por meio desse instrumento foram feitos gráficos e tabelas que auxiliaram no estudo. As bibliotecas utilizadas foram:
readxl: Esta biblioteca é utilizada especificamente
para a leitura de arquivos no formato Excel (.xlsx), que é o caso da
base de dados utilizada no presente relatório. Ela é uma ferramenta
essencial quando se trabalha com bases de dados que estão neste formato,
permitindo a importação eficiente dos dados para o ambiente R;utf8: Biblioteca utilizada para garantir que todos os
caracteres sejam lidos e exibidos corretamente no R, independentemente
do idioma ou do conjunto de caracteres original. Ela desempenha um papel
fundamental na interpretação correta de caracteres especiais, como
letras acentuadas;DT: Esta biblioteca foi empregada para a criação de
tabelas interativas no R. Oferecendo uma maneira dinâmica e intuitiva de
visualizar dados e manipular, com recursos como filtragem de linhas e
paginação. Ferramenta excelente para apresentação de dados;Utilizando o comando dim, obteve-se as dimensões do banco de dados, sendo possível averiguar o número de linhas (382.379) e o número de variáveis (5).
Com o comando head, exibiu-se uma prévia (6 primeiras linhas), visualizando também o respectivo nome de cada variável presente no banco de dados.
Utilizando str, obteve-se informações dos tipos de dados existentes, cada variável com seu respectivo tipo: caractere e numérico.
O summary foi utilizado para obter informações estatísticas acerca dos dados existentes. As variáveis (colunas) 1, 2 e 3 são do tipo caractere, portanto não é possível realizar cálculos. Logo, foi utilizado [,4:5] para mostrar as estatísticas das variáveis 4 e 5, por serem do tipo numérico.
Por estar aplicando os conceitos de amostragem aleatória simples,
estratificada e por conglomerado, de toda essa base de dados dos
deputados, foram utilizadas apenas as variáveis NomParla, sgUF e vlrLiq.
Essas variáveis serão a base para a aplicação das técnicas de amostragem
mencionadas, permitindo uma análise mais aprofundada e precisa das
despesas dos deputados no ano de 2016.
Informações das dimensões do banco de dados, linhas e variáveis (colunas) respectivamente.
dim(dados)## [1] 382379 5Ilustração das 6 primeiras linhas, incluindo o cabeçalho.
head(dados)## NomParla sgUF sgPart vlrLiq vlrGlosa
## 1 JONY MARCOS SE PRB 33750 11250
## 2 HISSA ABRAHÃO AM PDT 1200 10800
## 3 ASSIS CARVALHO PI PT 900 9100
## 4 MARX BELTRÃO AL PSD 1000 8900
## 5 SANDES JÚNIOR GO PP 2180 8720
## 6 ÁTILA LIRA PI PSB 0 8700Tipo de cada variável.
str(dados)## 'data.frame': 382379 obs. of 5 variables:
## $ NomParla: chr "JONY MARCOS" "HISSA ABRAHÃO" "ASSIS CARVALHO" "MARX BELTRÃO" ...
## $ sgUF : chr "SE" "AM" "PI" "AL" ...
## $ sgPart : chr "PRB" "PDT" "PT" "PSD" ...
## $ vlrLiq : num 33750 1200 900 1000 2180 ...
## $ vlrGlosa: num 11250 10800 9100 8900 8720 ...Informações estatísticas acerca dos dados.
summary(dados[,4:5])## vlrLiq vlrGlosa
## Min. : -5700.0 Min. : 0.000
## 1st Qu.: 37.0 1st Qu.: 0.000
## Median : 130.0 Median : 0.000
## Mean : 576.3 Mean : 2.785
## 3rd Qu.: 469.0 3rd Qu.: 0.000
## Max. :184500.0 Max. :11250.000
Considerando a extensiva quantidade de linhas no banco de dados, foi
empregada a função aggregate para consolidar os dados de
cada Parlamentar. Isso envolveu a soma de todos os seus gastos durante o
ano de 2016, resultando em um conjunto de dados sem Parlamentares
repetidos.
Ao utilizar o código
qnt_Parla <- length(dados_agregados$NomParla), obtemos a
quantidade de linhas após a agregação de valores mencionada
anteriormente. Isso demonstra que o dataframe gerado agora contém apenas
576 linhas, refletindo a quantidade de Parlamentares únicos no ano de
2016.
Isso reduziu o número de linhas de 382.379 para 576, permitindo a obtenção do valor total de Gastos Líquidos de cada Parlamentar. Assim, concluiu-se que no ano de 2016, o Brasil possuía 576 deputados, que pode-se interpretar como sendo o espaço amostral.
Para a análise subsequente, serão selecionados 100 Parlamentares de forma aleatória sem reposição, ou seja, a amostra que será utilizada. Ao dividir 100 por 576 e depois multiplicar por 100, obtemos que a probabilidade de um parlamentar ser escolhido entre os 100 selecionados corresponde a 17,36%. O foco será na análise de seus Gastos do ano de 2016, o que também possibilitará a identificação do Estado do servidor. A primeira coluna da tabela gerada indicará a posição de cada Parlamentar no dataframe.# Tamanho do dataframe após a agragação
qnt_Parla <- length(dados_agregados$NomParla)
qnt_Parla## [1] 576# Probabilidade de um parlamentar ser escolhido
(100/576)*100## [1] 17.36111
Dado o tamanho ainda considerável do dataframe atual (576 linhas), pode acontecer de não surgir um Parlamentar repetido ao executar o código, mesmo que a configuração permita reposição. Assim como antes, selecionaremos 100 parlamentares, um número relativamente alto, o que aumenta a chance de repetições.
Para determinar a probabilidade de um parlarmentar ser escolhido,
deve-se levar em consideração que esta amostragem é com reposição. Nesse
caso, a probabilidade de um parlamentar ser escolhido em uma única
seleção é de 1/576. Como estamos fazendo 100 seleções (com
reposição), queremos saber a probabilidade de um parlamentar específico
ser escolhido pelo menos uma vez nessas 100 seleções.
A maneira mais fácil de calcular isso é primeiro calcular a
probabilidade desse parlamentar não ser escolhido em uma única seleção,
que é de (575/576), e então elevar essa probabilidade ao
número de seleções (100). Isso nos dá a probabilidade do parlamentar não
ser escolhido em nenhuma das 100 seleções. Por fim, subtraímos essa
probabilidade de 1 para obter a probabilidade do parlamenta específico
ser escolhido pelo menos uma vez. A expressão que obteremos será
(1 - (575/576)^100)*100 que nos dá 15,95% como
resultado.
Algo interessante acaba de acontecer, pois a probabilidade com reposição foi menor do que a probabilidade sem reposição. Na amostragem sem reposição, uma vez que um parlamentar é escolhido, ele não é devolvido ao grupo para as seleções subsequentes. Isso significa que o número total de parlamentares diminui a cada seleção, tornando a probabilidade de ser escolhido ligeiramente maior a cada rodada subsequente. Isso resulta em uma probabilidade geral maior de ser escolhido pelo menos uma vez nas 100 seleções.
Por outro lado, na amostragem com reposição, cada seleção é um evento independente. Isso significa que, mesmo depois de ser escolhido, um parlamentar é “devolvido” ao grupo, e a probabilidade de ser escolhido não muda de uma seleção para a próxima. Como resultado, a probabilidade geral de ser escolhido pelo menos uma vez nas 100 seleções é um pouco menor.
Para facilitar a identificação de dados repetidos na tabela, é possível clicar no cabeçalho da coluna dos parlamentares. Isso cria um filtro em ordem alfabética e, se houver um parlamentar repetido, ele aparecerá junto à sua repetição. Outra forma de verificar é observar se na primeira coluna há algum número com casa decimal, por exemplo, “128.1”. Isso indica que o valor 128 está repetido!
Se não houver valores repetidos na tabela, a seguir apresentaremos um pequeno código que realiza uma amostragem aleatória simples com reposição. No código abaixo, de uma lista de números de 1 a 10, serão selecionados 5 números aleatoriamente com reposição, demonstrando que a repetição pode ocorrer! Essa abordagem nos permite testar a eficácia do nosso método de amostragem.# Probabilidade de um parlamentar ser escolhido
(1-(575/576)^100)*100## [1] 15.95031# Exemplo de amostragem aleatória simples com reposição
sample(1:10, 5, replace = T)## [1] 4 5 1 5 5
Nesta análise estratificada, optamos por focar em apenas três Estados: Paraíba (PB), Bahia (BA) e Pernambuco (PE). Selecionamos até 10 Parlamentares de cada um desses estados para o nosso estudo. Para facilitar a visualização dos dados, organizamos cada Estado em uma página separada da tabela, melhorando assim a clareza e a compreensão dos nossos estratos.
Ao restringir nossa análise a apenas três Estados, o tamanho do nosso
dataframe reduziu significativamente. Utilizando o código
qnt_Parla <- length(dados_agregados$NomParla),
verificamos que nosso dataframe agora contém 88 linhas, uma redução
considerável em comparação com as 576 linhas da análise anterior. É
importante ressaltar que esta amostragem é realizada sem reposição,
portanto, não teremos Parlamentares repetidos em nossa amostra! Esta
abordagem nos permite ter uma visão mais focada e detalhada dos gastos
dos Parlamentares nesses três estados específicos.
Tendo em vista que os estados de PB, BA e PE possuem respectivamente
14, 42 e 32 parlamentares, podemos calcular a probabilidade de um
parlamentar específico ser selecionado. Por exemplo, se temos 14
parlamentares em PB e estamos escolhendo 10 deles sem reposição, a
probabilidade de um parlamentar específico ser escolhido é de
(10/14)*100, resultando em aproximadamente 71.43%.
Da mesma forma, para a BA e PE, as probabilidades são calculadas como
(10/42)*100 e (10/32)*100, resultando em
23.81% e 31.25% respectivamente.
#Quantidade de deputados desses 3 estados
qnt_Parla <- length(dados_agregados$NomParla)
qnt_Parla## [1] 88# Quantidade de deputados somente na Paraíba
dados_PB <- dados_agregados[dados_agregados$sgUF == "PB", ]
qnt_Parla_PB <- length(dados_PB$NomParla)
qnt_Parla_PB## [1] 14# Quantidade de deputados somente na Bahia
dados_BA <- dados_agregados[dados_agregados$sgUF == "BA", ]
qnt_Parla_BA <- length(dados_BA$NomParla)
qnt_Parla_BA## [1] 42# Quantidade de deputados somente em Pernambuco
dados_PE <- dados_agregados[dados_agregados$sgUF == "PE", ]
qnt_Parla_PE <- length(dados_PE$NomParla)
qnt_Parla_PE## [1] 32
Desta vez irei analisar os 3 estados com mais parlamentares (Fonte), portanto, os estados de São Paulo (SP), Minas Gerais (MG) e Rio de Janeiro (RJ) são o foco. Semelhante ao procedimento anterior, o código selecionará 10 parlamentares aleatoriamente de cada estado e agrupará os dados por estado, facilitando a visualização.
Esses três estados são notáveis por terem a maior quantidade de parlamentares no Brasil (189) no ano de 2016. Realizando um cálculo básico de porcentagem, onde dividimos 189 (quantidade de parlamentares nesses três estados) por 576 (quantidade total de parlamentares a nível nacional) e multiplicamos por 100, concluímos que quase 33% ou 1/3 (um terço) dos parlamentares do país estão concentrados em apenas três dos 27 estados brasileiros.
Assim como vimos anteriormente no tópico “3.1.2” e “3.2.1”, esta
análise seguirá no mesmo sentido. Por se tratar de uma amostragem com
reposição, aplicaremos a expressão que utilizamos no tópico “3.1.2”.
Como verificamos que SP possui 77 parlamentares, MG 58 e Rj 54,
totalizando em 189. Aplicaremos o cálculo sa seguinte forma: Para SP
será 1-(76/77)^10, MG e RJ será 1-(57/58)^10 e
1-(53/54)^10 respectivamente. Multiplicando cada cálculo
por 100 para transformar em porcentagem, os resultados obtidos serão SP
12,25%, MG 15,96% e RJ com 17,05% de probabilidade de um parlamentar
específico ser selecionado.
# Quantidade total de parlamentares nos 3 estados
qnt_Parla <- length(dados_agregados$NomParla)
qnt_Parla## [1] 189# Porcentagem da quantidade de parlamentares desses 3 estados em relação ao total do Brasil
(189/576)*100## [1] 32.8125# Quantidade de deputados somente na São Paulo
dados_SP <- dados_agregados[dados_agregados$sgUF == "SP", ]
qnt_Parla_SP <- length(dados_SP$NomParla)
qnt_Parla_SP## [1] 77# Probabilidade calculada
(1-(76/qnt_Parla_SP)^10)*100## [1] 12.25373# Quantidade de deputados somente em Minas Gerais
dados_MG <- dados_agregados[dados_agregados$sgUF == "MG", ]
qnt_Parla_MG <- length(dados_MG$NomParla)
qnt_Parla_MG## [1] 58# Probabilidade calculada
(1-(57/qnt_Parla_MG)^10)*100## [1] 15.96337# Quantidade de deputados somente no Rio de Janeiro
dados_RJ <- dados_agregados[dados_agregados$sgUF == "RJ", ]
qnt_Parla_RJ <- length(dados_RJ$NomParla)
qnt_Parla_RJ## [1] 54# Probabilidade calculada
(1-(53/qnt_Parla_RJ)^10)*100## [1] 17.0491
Na abordagem de amostragem aleatória por conglomerado, consideramos
todos os 27 Estados brasileiros. No entanto, durante a execução, apenas
um desses estados será selecionado aleatoriamente. Portanto, a
probabilidade de um estado específico ser escolhido para o estudo é de
(1/27)*100, obtendo 3,7% de chance de um estado ser o
selecionado. A tabela resultante apresentará todos os Parlamentares do
estado selecionado, juntamente com seus respectivos Gastos Líquidos
totais. Esta metodologia permite uma análise focada e detalhada de um
estado específico em cada execução.
#Quantidade de estados presentes em no dataframe
qnt_UF <- length(unique(dados$sgUF))
qnt_UF## [1] 27# Probabilidade de um estado específico ser selecionado
(1/27)*100## [1] 3.703704Este relatório apresentou uma análise detalhada das despesas dos deputados brasileiros no ano de 2016, utilizando técnicas de amostragem aleatória. Através da aplicação de métodos de amostragem aleatória simples, estratificada e por conglomerado, foi possível explorar os dados de maneira eficaz e obter insights.
Na amostragem aleatória simples, tanto com reposição quanto sem reposição, a análise permitiu uma visão panorâmica dos gastos dos parlamentares, independentemente do estado de origem. Este método forneceu uma representação equitativa da população, garantindo que cada parlamentar tivesse uma chance igual de ser selecionado.
A amostragem aleatória estratificada ofereceu uma perspectiva mais focada, permitindo a observação dos gastos dos parlamentares por estado. Ao dividir a população em subgrupos ou estratos, foi possível obter uma visão mais detalhada e precisa dos gastos em diferentes regiões do país, destacando as variações regionais.
A amostragem aleatória por conglomerado, por outro lado, permitiu uma análise ainda mais específica, focando em um único estado por vez. Este método proporcionou uma visão detalhada dos gastos dos parlamentares dentro de um estado específico, permitindo uma análise intensiva de um grupo particular.
A linguagem de programação R provou ser uma ferramenta valiosa para a
realização desta análise, permitindo a manipulação eficiente dos dados e
a aplicação das técnicas de amostragem. As bibliotecas
readxl, utf8 e DT foram
essenciais para a leitura dos dados, garantindo a correta interpretação
dos caracteres e a criação de tabelas interativas.
Em conclusão, a aplicação de técnicas de amostragem aleatória a um
conjunto de dados do mundo real permitiu uma compreensão mais profunda
desses métodos e sua utilidade na análise de dados. Este relatório
serviu como uma introdução valiosa e compreensível aos conceitos de
amostragem aleatória na disciplina de Probabilidade e Estatística.
Através da aplicação dessas técnicas a um conjunto de dados do mundo
real, foi possível melhorar a compreensão desses métodos e ilustrar de
forma prática e eficaz o uso desses três tipos de amostragens
aleatórias. Esta análise demonstrou a importância e a eficácia da
amostragem aleatória como uma ferramenta para entender grandes conjuntos
de dados, fornecendo insights valiosos sobre as despesas dos deputados
brasileiros.
Amostragem Casual Simples ou Aleatória Simples,Youtube, 2021. Disponível em: https://www.youtube.com/watch?v=eLx1DTgL0qs, acesso em 22/06/2024.
Amostragem Estratificada,Youtube, 2021. Disponível em: https://www.youtube.com/watch?v=kilAgKEXCYY, acesso em 22/06/2024.
Amostragem por Conglomerados,Youtube, 2021. Disponível em: https://www.youtube.com/watch?v=iDtKqmQEtw0, acesso em 22/06/2024.
AULA 19 – AMOSTRAGEM – 1 NO RStudio,Youtube, 2020. Disponível em: https://www.youtube.com/watch?v=Srp4JgW_OmQ, acesso em 21/06/2024.
Despesas pela Cota para Exercício da Atividade Parlamentar. Dados Abertos, 2016. Disponível em: https://dadosabertos.camara.leg.br/swagger/api.html#staticfile, acesso em 21/06/2024.
DT: An R interface to the DataTables library. DT, (s.d.). Disponível em: https://rstudio.github.io/DT/, acesso em 22/06/2024.
Readxl. readxl, (s.d.). Disponível em: https://readxl.tidyverse.org/, acesso em 22/06/2024.
Relatorio Sobre as Despesas dos Deputados em 2016. RPubs, 2023. Disponível em: https://rpubs.com/coderartur/despesas_deputados_2016, acesso em 22/06/2024.
library(readxl)
library(utf8)
library(DT)
meuxlsx <- "Desp_Dep_Ano-2016.xlsx"
Dados <- read_excel(path = meuxlsx, sheet = 1)
dados <- as.data.frame(Dados)
dados$NomParla <- toupper(dados$NomParla)
dim(dados)
head(dados)
str(dados)
summary(dados[,4:5])
dados_agregados <- aggregate(vlrLiq ~ NomParla, dados, sum)
dados_agregados$vlrLiq <- formatC(dados_agregados$vlrLiq, format = "f", big.mark = ".", decimal.mark = ",", digits = 2)
dados_agregados$vlrLiq <- paste("R$", dados_agregados$vlrLiq)
qnt_Parla <- length(dados_agregados$NomParla)
qnt_Parla
dados_agregados <- aggregate(vlrLiq ~ NomParla, dados, sum)
dados_agregados$vlrLiq <- formatC(dados_agregados$vlrLiq, format = "f", big.mark = ".", decimal.mark = ",", digits = 2)
dados_agregados$vlrLiq <- paste("R$", dados_agregados$vlrLiq)
colnames(dados_agregados) <- c("Parlamentar", "Gastos")
index_amostra <- sample(1:nrow(dados_agregados), size = 100)
amostra <- dados_agregados[index_amostra, ]
datatable(amostra)
sample(1:10, 5, replace = T)
dados_agregados <- aggregate(vlrLiq ~ NomParla, dados, sum)
dados_agregados$vlrLiq <- formatC(dados_agregados$vlrLiq, format = "f", big.mark = ".", decimal.mark = ",", digits = 2)
dados_agregados$vlrLiq <- paste("R$", dados_agregados$vlrLiq)
colnames(dados_agregados) <- c("Parlamentar", "Gastos")
index_amostra <- sample(1:nrow(dados_agregados), size = 100, replace = T)
amostra <- dados_agregados[index_amostra, ]
datatable(amostra)
dados_selecionados <- dados[dados$sgUF %in% c("PB", "BA", "PE"), ]
dados_agregados <- aggregate(vlrLiq ~ sgUF + NomParla, dados_selecionados, sum)
dados_agregados$vlrLiq <- formatC(dados_agregados$vlrLiq, format = "f", big.mark = ".", decimal.mark = ",", digits = 2)
dados_agregados$vlrLiq <- paste("R$", dados_agregados$vlrLiq)
qnt_Parla <- length(dados_agregados$NomParla)
qnt_Parla
amostra <- data.frame()
for (estado in c("PB", "BA", "PE")) {
dados_estado <- dados_agregados[dados_agregados$sgUF == estado, ]
index_amostra <- sample(1:nrow(dados_estado), size = 10)
amostra_estado <- dados_estado[index_amostra, ]
amostra <- rbind(amostra, amostra_estado)
}
colnames(amostra) <- c("Estado", "Parlamentar", "Gastos")
datatable(amostra)
dados_selecionados <- dados[dados$sgUF %in% c("SP", "MG", "RJ"), ]
dados_agregados <- aggregate(vlrLiq ~ sgUF + NomParla, dados_selecionados, sum)
dados_agregados$vlrLiq <- formatC(dados_agregados$vlrLiq, format = "f", big.mark = ".", decimal.mark = ",", digits = 2)
dados_agregados$vlrLiq <- paste("R$", dados_agregados$vlrLiq)
qnt_Parla <- length(dados_agregados$NomParla)
qnt_Parla
(189/576)*100
amostra <- data.frame()
for (estado in c("SP", "MG", "RJ")) {
dados_estado <- dados_agregados[dados_agregados$sgUF == estado, ]
index_amostra <- sample(1:nrow(dados_estado), size = 10, replace = T)
amostra_estado <- dados_estado[index_amostra, ]
amostra <- rbind(amostra, amostra_estado)
}
colnames(amostra) <- c("Estado", "Parlamentar", "Gastos")
datatable(amostra)
qnt_UF <- length(unique(dados$sgUF))
qnt_UF
conglomerados <- unique(dados$sgUF)
estado_selecionado <- sample(conglomerados, size = 1)
dados_estado <- dados[dados$sgUF == estado_selecionado, c("sgUF", "NomParla", "vlrLiq")]
amostra <- aggregate(vlrLiq ~ sgUF + NomParla, dados_estado, sum)
amostra$vlrLiq <- formatC(amostra$vlrLiq, format = "f", big.mark = ".", decimal.mark = ",", digits = 2)
amostra$vlrLiq <- paste("R$", amostra$vlrLiq)
colnames(amostra) <- c("Estado", "Parlamentar", "Gastos")
datatable(amostra)