Ambiente de dados

- Várias etapas envolvidas.
1. Extrair os dados - dados fontes secundárias: dados de laboratórios privados, dados do google, IBGE.

• SQL, API, Web Scrapping, CSV, PDF

2. Interpolar as fontes de dados - linkages entre as fontes de informação.

Ambiente de dados

3. Armazenar

• Os dados são armazenados em um ambiente de armazenamento de dados.
• data warehouses ou data lakes.

Ambiente de dados

4. Disponibilizar

• acessibilidade ao usuário.

• aplicação web, software, api

Experiência Boa Vista

• Construção de um ambiente de dados da COVID-19 em Santa Catarina.

• Integração dos diversas fonte de informação.

  • e-SUS, SIVEP-Gripe, LACEN, SIM, ses-leitos, laboratórios privados.

Experiência Boa Vista

Experiência Boa Vista

Experiência Boa Vista

A pandemia de COVID-19

• gerou uma quantidade massiva de dados.

• passamos a lidar com dados de volume, velocidade e variedade (os 3 Vs do big data).

• Necessidade de ferramentas e softwares de análise de dados avançadas para explorar e interpretar os dados em grande escala.

Jornada do analista de dados

Jornada do analista de dados

Na prática:

1. Extração dos dados

• Extrair dados de diversas fontes e integrar.

2. Exploração de dados

• identificar padrões preliminares.

• (re) pensar os objetivos da análise.

  • ex. o dado tem uma distribuição ruim.

Jornada do analista de dados

• identificar as transformações necessárias.

Jornada da análise de dados

3. Etapa de tranformação

• Envolve encontrar e eliminar quaisquer erros e imprecisões que possam afetar os resultados.

• Limpeza

• Transformam os dados (criar faixa etária, taxas, tabelas de contigência, unir bases de dados, etc.)

Jornada da análise de dados

3. Etapa de tranformação

{fig-align=“center”}

Jornada da análise de dados

4. Modelagem

• aplicar técnicas estatísticas
• modelos descritivos, modelos de previsão e inferências
• Isso pode envolver técnicas como regressão, análise de séries temporais.
• possuem pre-requisitos

Jornada da análise de dados

5. Resultados e comunicação (dataviz)

• O objetivo da visualização de dados é tornar os dados digeríveis.
• Gráficos, tabelas e mapas.
• Relatório, informe, boletim, artigo, apresentação, dashboard.
• É uma especialidade (pscicologia das cores, storytelling).
• Empresas mais maduras tem uma área especifica de dataviz.

Sempre da pra melhorar ;)

Sempre da pra melhorar ;)

Sempre da pra melhorar ;)

Cada dataviz uma função

Alfabetização de dados

https://www.ted.com/talks/jordan_morrow_why_everyone_should_be_data_literate?language=pt

Excel

• Editor de planilhas, desenvolvido pela Microsoft, comercial.

• Útil para algumas manipulações de dados e análises básicas.

• Vizualização.

• Escrever códigos VBA (Visual Basic for Applications) personalizados para criar automações e ampliar a funcionalidade do Excel.

Excel

Google Sheets

• Editor de planilhas, produto da google, gratuito.
• Útil para algumas manipulações de dados e análises básicas.
• Vizualização.
• Vantagem de compartilhamento e trabalho em grupo.
• Treinamento:
  • https://support.google.com/a/users/answer/9282959?hl=pt-BR

SPSS e SAS

http://www.sas.com/ http://www.ibm.com/analytics/us/en/technology/spss/

• interface gráfica amigável
• manipulação, análises estatísticas avançadas.
• são mais antigos e mais caros

Publicações Google Scholar

Power BI

• Dashboards
• Manipulação e modelagem de dados.
• Vizualizações mais básicas click point
• Configurações mais avançadas por linguagem.
• Sistema operacional: windows.

Power BI Desktop

https://coronavirus.jhu.edu/map.html

Power BI Desktop

• Gratuito: É adequado para usuários domésticos, mas não tanto para empresas.

• Power BI Pro - US$ 13,70 por usuário/mês

• Power BI Premium - US$ 27,50 por usuário/mês : para aqueles em nível empresarial, esta taxa oferece ferramentas de análise de big data.

• US$ 6.858,10 por capacidade/mês : para organizações inteiras, esta opção oferece o mesmo acesso, mas em uma escala

Pyton

• http://www.python.org/
• O Python é uma linguagem de programação.
• Inúmeros packages de análise de dados e ferramentas avançadas
• possui um modelo de desenvolvimento comunitário,
• aberto e gerenciado pela organização sem fins lucrativos Python Software Foundation.

Definição

• É uma linguagem de programação.
• É um ambiente de software para computação estatística e gráficos.

Linguagem

• Linguagem escrita

• Linguagem de sinais

• Linguagem de programação

• Linguagem é um meio sistemático de comunicar através de signos.

Estrutura de uma linguagem

• unidade sintática: oração (sujeito, verbo e predicado).
• Caracteriza-se, obrigatoriamente, pela presença de um verbo.
  • Vou dançar hoje a noite.
  • Dançar a vou noite hoje.
• Conjunto de termos da oração que organizados transmitem um significado completo.

Estrutura de uma linguagem

Estrutura de uma linguagem

banco_dengue %>% filter(faixa_etaria >= 60)

banco_dengue %>% count(CLASSI_FIN)

• análogo a uma oração (linha de código)
• 1. Sujeito
• 2. verbo (ação)
• 3. parâmetro

Estrutura de linguagem

As operações seguem a mesma ordem de precedência que aprendemos em matemática na escola.

Códigos

• As linhas de códigos são orientações.
• o conjunto dessas orientações compoem um algoritmo.

banco_dengue %>% count(CS_SEXO)

Códigos

  banco_dengue %>% 
  tabyl(CLASSI_FIN) %>% 
  adorn_pct_formatting() 

Códigos

# library
library(ggplot2)
library(dplyr)
library(hrbrthemes)

# Build dataset with different distributions
data <- data.frame(
  type = c( rep("variable 1", 1000), rep("variable 2", 1000) ),
  value = c( rnorm(1000), rnorm(1000, mean=4) )
)

# Represent it
p <- data %>%
  ggplot( aes(x=value, fill=type)) +
    geom_histogram( color="#e9ecef", alpha=0.6, position = 'identity') +
    scale_fill_manual(values=c("#69b3a2", "#404080")) +
    theme_ipsum() +
    labs(fill="")

p

Pacotes

Para encontrar um pacote, autor, tema e recursos relacionados a palavra chave 🎯

https://buff.ly/3jXXrhs

R nas empresas

Ranking no GitHub hoje

https://madnight.github.io/githut/#/issues/2019/1

Porque utilizar o R?

Acessibilidade

Capital próprio e código aberto

Um usuário de R em qualquer parte do mundo pode desenvolver e disponibilizar códigos.

Isto se opõe ao comportamento padrão das fabricantes de software, que costumam não liberar o código de seus produtos para que não sejam alterados ou copiados sem autorização (ex. Excel).

Porque utilizar o R?

Missão

Avançar uma agenda de equidade, avançando a capacidade local, resolução de problemas locais e inovação descentralizada.

Porque utilizar o R?

Flexibilidade

• Extensível: coleção de mais de 15 mil pacotes oficiais no CRAN.

• Interoperabilidade & Interconectividade: APIs/drivers para outros softwares¹.

Porque utilizar o R?

As listas de discussão oficiais

Porque utilizar o R?

R-BR · A lista nacional oficial de R

Porque utilizar o R?

R no Stackoverflow

Todas as dúvidas já foram em algum momento respondidas.

Porque utilizar o R?

Compatibilidade

Linguagens como Python e SQL, permitindo a utilização de suas funcionalidades em conjunto.

Porque utilizar o R?

• Interação com muitas ferramentas comuns de coleta de dados, sites e softwares.

Porque usar o R?

Comunidade

R possui uma comunidade de usuários global ativa e engajada.

Porque utilizar o R?

Applied Epi

• Pacotes desenvolvidos por time de epidemiologistas para epidemiologistas.
• Applied Epi é uma organização sem fins lucrativos que fortalece a prática epidemiológica por meio de treinamento, ferramentas e suporte.

Porque utilizar o R?

Applied Epi

HOME DO MANUAL DO EPIDEMIOLOGISTA R

Porque utilizar o R?

R4epis

SitRep: modelos de “relatórios de situação” automatizados que cobrem investigações de surtos (síndrome de icterícia aguda, cólera, sarampo, meningite).

https://r4epis.netlify.app/

Porque utilizar o R?

Recon

O R Epidemics Consortium (RECON) é uma organização que reúne especialistas em ciência de dados, metodologia de modelagem, saúde pública e desenvolvimento de software para criar a próxima geração de ferramentas analíticas para informar a resposta a surtos de doenças , emergências de saúde e crises humanitárias , usando o software R e outros recursos gratuitos e de código aberto.

https://www.repidemicsconsortium.org/

Porque utilizar o R?

Porque utilizar o R?

Porque utilizar o R?

Porque utilizar o R?

Porque utilizar o R?

Reprodutibilidade

• Scripts salvam códigos de análises que precisam ser reproduzidas várias vezes.

• Você consegue registrar os passos executados na análise e consegue compartilhar.

• É excelente para criar rotinas, sistematizar tarefas repetitivas.

• Reduz o tempo de resposta a cenários de saúde pública em rápida evolução.

Porque utilizar o R?

• Você não precisa contar com a memória para saber os passos que foram executados.

• Você consegue ajustar os erros que comete com mais facilidade.

• Outras pessoas conseguem validar e testar.

• Você desenvolve raciocínio lógico e organização mental.

Porque utilizar o R?

Diversas saídas.

Rstudio (ambiente de desenvolvimento)

Script

Porque utilizar o R?

recursos gráficos avançados e personalizáveis

• epicurvas, séries temporais, mapas, gráficos publicáveis.

Porque utilizar o R?

recursos gráficos avançados e personalizáveis

• https://r-graph-gallery.com/
• https://plotly.com/r/basic-charts/

Porque utilizar o R?

Galeria de tabelas

https://posit.co/blog/rstudio-community-table-gallery/

Porque utilizar o R?

• Dashboards: http://172.22.34.56/cievs/

• Blog: https://beatrizmilz.com/

• Book: https://r4ds.had.co.nz/

• Apresentações: https://www.garrickadenbuie.com/talk/build-your-own-universe/

Porque utilizar o R?

• Currículos, cartas e trabalhos acadêmicos https://kevinrue.github.io/post/writing-my-cv-using-pagedown/

• Tutoriais: https://juliasilge.shinyapps.io/learntidytext/#section-thank-you-for-coming-to-my-ted-talk

• Criar relatórios automatizados: https://rpubs.com/bianca85/891992

Os Criadores

• Desenvolvido por Ross Ihaka e Robert Gentleman.
• University of Auckland, New Zealand.
• Surgiu em 1993.
• Seus inventores estavam focados em descobrir como tornar a análise de dados mais fácil.

Breve história do R

• A linguagem utilizada na época era a linguagem S.
• Uma das principais limitações da linguagem S era que ela só estava disponível em um pacote comercial, S-PLUS.

Breve história do R

“[Queríamos] que os usuários pudessem começar em um ambiente interativo, onde não se considerassem conscientemente como programadores. Então, à medida que suas necessidades se tornassem mais claras e sua sofisticação aumentasse, eles deveriam ser capazes de deslizar gradualmente para a programação, quando a linguagem e os aspectos do sistema se tornassem mais importantes.”

Breve história do R

Em 1995, tornar o software R livre.

Breve história do R

Core Team

• Em 1995, grupo de desenvolvedores, estatísticos e cientistas da computação.

Breve história do R

CRAN

• 1997 - servidor onde está o software e os pacotes que expandem funcionalidades.

O Projeto R

R versão 4.3.1 (Beagle Scouts) foi lançado em 2023-06-16.

Instalações obrigatórias

1. Instalar o R:

• Download direto: https://vps.fmvz.usp.br/CRAN/

• Tutorial: https://livro.curso-r.com/1-1-instalacao-do-r.html

2. Instalar o RStudio:

• Download direto: https://www.rstudio.com/products/rstudio/download/#download

• Tutorial: https://livro.curso-r.com/1-2-instalacao-do-rstudio.htm

Instalações recomendadas

1. Google Chrome. Para exportar os relatórios em formato PDF, utilizamos uma função que depende do uso do navegador Google Chrome.

• Download direto: https://www.google.com/intl/pt-BR/chrome/Code

Mensagem Final

“Ainda que o R apresente uma curva de aprendizado elevada, considera-se que esta dificuldade inicial é recompensada pela gama de possibilidades de manipulação e análise de dados que o programa permite.”

Como qualquer novo software, há uma “curva” de aprendizado de tempo que você deve investir para se familiarizar.