• intuição?
• dados?

• Exemplo: número de vendas diárias de um app
• Em determinado dia, foram 50 vendas
• Depois de uma campanha de marketing, foram 70 vendas
• Houve um aumento das vendas?
• Depende!

• Qualitativa
  • Dados qualitativos (textos, imagens etc.)
  • Ajuda a formular hipóteses
  • Ex.: Analyze this! 145 questions for data scientists in software engineering
• Quantitativa
  • Dados quantitativos (números, contagens)
  • Ajuda a verificar hipóteses
  • Ex.: Predicting Defects for Eclipse

• Na maior parte do tempo, não usaremos dados de experimentos
  • Usaremos dados históricos produzidos naturalmente como parte do desenvolvimento de software (código-fonte, bugs, commits etc.)
• Nas partes práticas, usaremos a linguagem R
• Avaliação
  • artigo curto com análise quantitativa de um conjunto de dados que será fornecido, usando R
  • apresentação de 5 minutos (ensaiem!)

É o processo de inspecionar, limpar, transformar e modelar dados com o objetivo de descobrir informação útil, sugerindo conclusões e dando suporte à tomada de decisão

• requisitos
• coleta
• limpeza e transformação
• análise exploratória
• modelagem / análise
• comunicação dos resultados

• De quais dados preciso para atingir meus objetivos?
• De que forma os dados devem estar representados?
• Abordagem GQM (Goal-Question-Metric):

• Manuais
  • Formulários
  • Entrevistas
  • Observação
• Automáticas
  • Instrumentação de software (software que registra o que o usuário faz)
  • Download de arquivos (ex.: dump de banco de dados, exportar como XML…)
  • Acesso a APIs remotas (ex.: GitHub API, Travis CI API)
  • Crawling (pegar informações de páginas na web)

• Código-fonte (ex.: Java, C, Python)
• Sistemas de controle de versão (ex.: Git, Subversion)
• Gerenciadores de tarefas/bugs (ex.: Bugzilla, Redmine, Jira, GitHub)
• Sistemas de revisão de código (ex.: Gerrit, Review Board)
• Sistemas de integração contínua (ex.: Jenkins, Travis CI, GitLab CI)
• Sites de perguntas e respostas (ex.: StackOverflow)
• Listas de discussão, fóruns e bate-papo (ex.: Mailman, IRC, )
• Sites e wikis
• e outros…

• Coleta de dados históricos pode ser difícil
• Na disciplina vamos usar conjuntos de dados já coletados
• Alguns conjuntos de dados prontos para analisar:
  • https://rodrigorgs.github.io/msr-datasets
• Conferência: Mining Software Repositories (todo ano tem MSR Challenge)

• Exemplo: seção 3.1 do artigo Predicting defects for Eclipse

O que fazer com dados…

• incompletos?
  • Ex.: não sei de qual versão é este bug.
• inconsistentes?
  • Ex.: Quem consertou o bug? Commit diz Fulano, bug diz Sicrano.
• que possuem múltiplas representações?
  • Ex.: nome de usuário em SCM, issues e e-mails. “Será que os usuários que mais enviam e-mails introduzem mais bugs no código-fonte?”
• extremos? (outliers)
  • Ex.: Fulano consertou 2 mil bugs em uma hora

• Cálculos simples
  • Ex.: Calcular densidade de bugs a partir de bugs e LOC.
• Operações básicas de bancos de dados
  • Ordenação, filtragem, junção…
• Reshaping
  • Reorganizar os dados. Ver data wrangling cheat sheet
• Agregação de dados
  • Contagem, soma, média…
• Recuperação de informação
  • Extrair dados quantitativos a partir de texto
  • expressões regulares, tf-idf, latent semantic analysis, word cloud, ngrams

• Entrada: tabela
  • cada linha é um registro
  • cada coluna é um atributo
• Operadores: filter, arrange, select, mutate, summarise, group_by, inner_join

Seleciona linhas de acordo com critério. Original:

filter(versao == 1)

filter(versao == 1)

Ordena de acordo o valor de uma ou mais colunas. Original:

arrange(classe, versao) - ordena por classe e versao

arrange(desc(tamanho)) - ordem decrescente de tamanho

Seleciona colunas. Original:

select(classe, tamanho)

Cria colunas computadas. Original:

mutate(x = tamanho / versao)

Combina todos os valores de uma coluna em um único valor (ex.: máximo, mínimo, soma, média…). Original:

summarise(x = max(tamanho), y = min(tamanho))

Agrupa os dados de acordo com o valor de uma coluna.

group_by(versao)

group_by(versao)

group_by(versao) %>% summarise(total = sum(tamanho))

…

• Ou exploratory data analysis (EDA)
• Consiste em sumarizar e visualizar características importantes de um conjunto de dados.
• É útil para levantar hipóteses sobre os dados, identificar problemas com os dados (que requerem limpeza)
• Como:
  • estatística descritiva
  • visualização

• Univariada (uma variável) – calcular, para cada variável:
  • média, mediana, desvio-padrão, quartis, assimetria, curtose
  • plotar histograma, boxplot, violin plot (talvez usar escala logarítmica)
• Bivariada (duas variáveis)
  • correlação/covariância
  • plotar gráfico de dispersão (scatter plot), tabelas de contingência/mosaic plots
  • plotar série temporal (se uma das variáveis for tempo)

Vamos considerar uma tabela com o tamanho (linhas de código, TLOC) dos arquivos do código-fonte do programa Eclipse, versão 3.0. Para fins didáticos, usaremos uma amostra aleatória de 9 linhas dessa tabela.

• Vamos começar estudando funções que sumarizam um conjunto de valores através de um único valor representativo
• Exemplo: média, mediana, desvio-padrão, quartis, assimetria, curtose…

R possui as funções mean (média) e sd (desvio-padrão). Para fins didáticos, mostramos como calcular esses valores usando a fórmula:

n <- length(TLOC)
media <- sum(TLOC) / n
desvioPadrao <- sqrt( sum((TLOC - media) ^ 2) / (n - 1) )

media

## [1] 26.44444

desvioPadrao   # indica o quanto os dados estão "espalhados"

## [1] 27.33638

Identifique os valores mínimo e máximo de TLOC:

Fica mais fácil com a tabela ordenada:

• Mínimo: primeiro valor (da tabela ordenada)
• Máximo: último valor (da tabela ordenada)

• Mediana: elemento do meio
• Propriedade:
  • 50% dos elementos são menores que a mediana
  • 50% dos elementos são maiores que a mediana

• E se não tiver elemento do meio?
  • Faz interpolação linear entre os dois elementos do meio.
  • Exemplo: x = 5, 6, 10, 11, 16, 44, 53, 83; mediana = 13.5

• Média e mediana são medidas de tendência central, que sumarizam um conjunto de valores através de um único valor
• A média é mais sensível a valores extremos. Exemplo:
• x = 5, 6, 10, 10, 11, 16, 44, 53, 83
  • média = 26.4444444, mediana = 11
• x = 5, 6, 10, 10, 11, 16, 44, 53, 747 (alteramos o último elemento)
  • média = 100.2222222, mediana = 11
• Não faz sentido falar em média quando os valores são tão variados: basta um milionário virar bilionário para aumentar o PIB per capita, mas isso quer dizer que a população está ganhando mais?

• Quartis são pontos que dividem os dados ordenados em 4 partes iguais
• 1º quartil: maior que 1/4 (25%) dos outros valores
• 2º quartil: maior que 2/4 (50%) dos outros valores (mediana)
• 3º quartil: maior que 3/4 (75%) dos outros valores
• mínimo: maior que 0/4 (0%) dos outros valores
• máximo: maior que 4/4 (100%) dos outros valores

• x = 5, 6, 10, 10, 11, 16, 44, 53, 83; quartis = 10, 11, 44

• Quartil pode ser generalizado com o conceito de quantil
• ex.:
  • 4-quantil (ou quartil) divide os valores em 4 partes iguais
  • 3-quantil (ou tercil) divide os valores em 3 partes iguais
  • 100-quantil (ou percentil) divide os valores em 100 partes iguais

• Ex.: 90º percentil = 9º decil = 59

• Até agora vimos medidas que sumarizam um conjunto de dados através de um único valor
• Com gráficos, conseguimos visualizar melhor a distribuição dos dados

• Divide a faixa de valores em partes iguais e conta quantos valores estão em cada faixa
• Cada faixa de valores é chamada de bin.

• x = 5, 6, 10, 10, 11, 16, 44, 53, 83

hist(x)

• Outro exemplo (fictício)

• Mais um exemplo

hist(eclipse3$PAR_avg)

plot(ecdf(eclipse3$FOUT_avg))

• A partir do histograma pode-se visualizar como os dados estão distribuídos
• No exemplo anterior, há muito mais valores concentrados nas faixas menores (esquerda) do que nas maiores (direita)
• Dizemos que a distribuição é assimétrica (possui cauda longa)
• especificamente, assimétrica à direita
• Podemos usar funções da biblioteca moments para calcular a assimetria (skewness):

skewness(eclipse3$PAR_avg)

## [1] 2.253637

• Indica o quanto a distribuição é espalhada, com valores extremos

kurtosis(eclipse3$PAR_avg)

## [1] 13.93165

• Boxplot é um tipo de gráfico usado para visualizar a distribuição dos dados a partir de seus quartis

• boxplot é bom pra comparar várias distribuições

Às vezes os dados estão tão espalhados que é difícil visualizá-los.

Uma solução é adotar uma escala logarítmica para os eixos do gráfico:

• Na estatística descritiva bivariada, buscamos entender o relacionamento entre duas variáveis
  • Quando x cresce, y cresce? (diminui?)
  • x e y variam na mesma proporção?

• Correlação: [-1, 1]

cor(x, y)

## [1] 0.8879799

##                post      TLOC    VG_avg    PAR_avg  FOUT_avg
## post     1.00000000 0.4721315 0.2045547 0.04405611 0.1733836
## TLOC     0.47213146 1.0000000 0.4180516 0.11092324 0.3790984
## VG_avg   0.20455465 0.4180516 1.0000000 0.27765238 0.6883466
## PAR_avg  0.04405611 0.1109232 0.2776524 1.00000000 0.2249910
## FOUT_avg 0.17338363 0.3790984 0.6883466 0.22499105 1.0000000

• Tirar conclusões a partir dos dados
• Estabelecer causas e efeitos
• Criar um modelo do fenômeno estudado
• (Será tema de outras aulas)

• Texto
• Tabelas
• Gráficos
• O objetivo é informar, não enganar!

• O humano não é bom em detectar padrões em conjuntos de muitas informações
• A não ser que essa informação seja apresentada de forma visual
• Visualização significa criar imagens para comunicar informações

• 7 Basic Rules for Making Charts and Graphs
• Real Chart Rules to Follow
• Five Ways to Lie with Charts
• Misleading graph (Wikipedia)
• How to Lie With Data Visualization

• Calculadora
• Excel
• Programa Java
• R