Bastão de Asclépio & Distribuição Normal

Bastão de Asclépio & Distribuição Normal

1 Gabarito

  1. APEx 7700: A
  2. APEx 7640: A
  3. APEx 12173: F
  4. APEx 12174: C
  5. APEx 13332: E
  6. APEx 13333: B ou E

2 Intervalo de Confiança

2.1 APEx 7700: Distribuições amostrais de médias amostrais

Na Figura 3 do artigo Importance of being uncertain (Krzywinski & Altman, Nature Methods 10:809–810, 2013), observa-se que, para diferentes distribuições populacionais (inclusive assimétricas), as distribuições amostrais das médias amostrais tornam-se aproximadamente simétricas e gaussianas à medida que o tamanho amostral aumenta, além de a média das médias amostrais convergir para a média populacional.

O teorema que garante esses resultados é denominado:

A. Limite Central
B. Bayes
C. Gauss–Markov
D. Neyman–Pearson
E. Equipartição assintótica
F. Fisher–Snedecor
G. Tukey

Explicações e comentários:

Alternativa correta: A.

O Teorema Central do Limite (TCL) afirma que, para variáveis aleatórias independentes e identicamente distribuídas, com média finita \(\mu\) e variância finita \(\sigma^2\), a distribuição da média amostral converge em distribuição para uma normal quando \(n \to \infty\), independentemente da forma da distribuição populacional.

Formalmente, seja \(\bar X_n\) a média amostral, então

\[ \begin{align} \bar X_n &\xrightarrow{d} \mathcal{N}\left(\mu, \frac{\sigma^2}{n}\right), \quad n \to \infty \end{align} \]

Isso explica simultaneamente: 1. a tendência ao formato gaussiano das distribuições amostrais das médias; 2. a convergência da média das médias amostrais para a média populacional \(\mu\).

2.2 APEx 7640: Pesquisa eleitoral II

Numa pesquisa eleitoral sobre intenção de voto em candidatos à prefeitura de São Paulo são informadas duas características da pesquisa: (i) margem de erro de 3% e (ii) 95% de confiança.

O que significa dizer que há 3% de margem de erro?

A. Se a proporção de intenção de voto num candidato estimada pela pesquisa é 10%, então com 95% de confiança os valores plausíveis da proporção de intenção de voto da população de eleitores do município de SP estão entre 7% e 13%
B. Se a proporção de intenção de voto num candidato estimada pela pesquisa é 10%, então com certeza os valores plausíveis da proporção de intenção de voto da população de eleitores do município de SP é 7% e 13%
C. Se a proporção de intenção de voto num candidato estimada pela pesquisa é 10%, então com 95% de confiança a proporção de intenção de voto da população de eleitores do município de SP é 10%
D. Se a proporção de intenção de voto num candidato estimada pela pesquisa é 10%, então com 95% de confiança os valores plausíveis da proporção de intenção de voto da população de eleitores do município de SP estão entre (0.1-1.96×0.03)% e (0.1+1.96×0.03)%
E. Todas as outras alternativas são falsas

Explicações e justificativas:

Alternativa correta: A.

IC95(prop pop) = [0.1 ± margem de erro]
margem de erro = 1.96 × EP = 0.03
IC95(prop pop) = [0.1 ± 0.03]
IC95(prop pop) = [0.07, 0.13]

2.3 APEx 12173: Eleições, binomial

“A eleição municipal em São Paulo chegou a um triplo empate técnico, com crescimento de João Doria (PSDB) e queda de Celso Russomanno (PRB).

Segundo pesquisa Datafolha, o tucano alcançou 25% das intenções de voto, enquanto o deputado caiu para 22%. Marta Suplicy (PMDB) oscilou negativamente para 20%.

O mesmo cenário de empate foi projetado para o segundo turno, em simulações entre os três candidatos.

A margem de erro do levantamento, contratado pela Folha e a TV Globo, é de três pontos percentuais para mais ou para menos. O instituto ouviu 1.260 pessoas, nesta quarta-feira (21).

[…]

Marta cresceu na primeira fase da campanha de 16% para 21% e manteve a posição com o atuais 20%.

Ela se tornou alvo preferencial do prefeito Fernando Haddad (PT), que procura vinculá-la ao governo Temer, que o PT chama de “golpista”.

A quase duas semanas do primeiro turno, Haddad, candidato à reeleição, manteve -se no mesmo patamar, com 10% das intenções de voto, ante os 9% aferidos na pesquisa anterior.

Luiza Erundina (PSOL) oscilou de 7% para 5%.”

Fonte: Bilenky T (2016) Doria cresce, Russomanno cai e eleição em São Paulo tem triplo empate. Folha de São Paulo, 22/09/2016.

Sabemos que para esta pesquisa a lista de candidatos é apresentada a cada respondente, o qual declara seu voto.

Suponha que o delineamento fosse diferente: que as 1260 pessoas tivessem sido divididas em 5 grupos de 252 e, para cada grupo, fosse perguntado apenas sobre um candidato, considerando os primeiros 5 colocados quanto às intenções de voto. Respectivamente:

  • Grupo 1: você votaria no Dória? (sim / não)
  • Grupo 2: você votaria no Russomano? (sim / não)
  • Grupo 3: você votaria na Marta? (sim / não)
  • Grupo 4: você votaria no Haddad? (sim / não)
  • Grupo 5: você votaria na Erundina? (sim / não)

Com este novo delineamento, alguma das funções do R apresentadas nas alternativas é inadequada para a comparação entre os candidatos e verificar os que estão estatisticamente empatados?

A. Nenhuma é adequada
B. binom.test
C. t.test
D. DescTools::BinomCI
E. DescTools::BinomDiffCI
F. DescTools::MultinomCI
G. Todas são adequadas

Explicações e justificativas:

Alternativa correta: F.

A função multinomial é adequada para o delineamento original da pesquisa porque foi perguntado ao eleitor em quem ele(a) votaria frente a uma lista de candidatos. A escolha, portanto, foi feita por um em detrimento dos outros. Isso implica dependência intra-participante: para um mesmo sujeito, a escolha por um candidato está negativamente correlacionada com as demais opções.

No delineamento novo, proposto nesta questão, o delineamento é entre-participantes, de forma que cada intervalo de confiança pode ser calculado separadamente. Portanto, não se aplica o tratamento multinomial; cabem procedimentos para proporções binárias em amostras independentes.

O efeito colateral do uso de grupos menores é a maior amplitude dos intervalos de confiança e, portanto, menor poder/conclusividade para detectar diferenças entre candidatos.

2.4 APEx 12174: Eleições, binomial

“A eleição municipal em São Paulo chegou a um triplo empate técnico, com crescimento de João Doria (PSDB) e queda de Celso Russomanno (PRB).

Segundo pesquisa Datafolha, o tucano alcançou 25% das intenções de voto, enquanto o deputado caiu para 22%. Marta Suplicy (PMDB) oscilou negativamente para 20%.

O mesmo cenário de empate foi projetado para o segundo turno, em simulações entre os três candidatos.

A margem de erro do levantamento, contratado pela Folha e a TV Globo, é de três pontos percentuais para mais ou para menos. O instituto ouviu 1.260 pessoas, nesta quarta-feira (21).

[…]

Marta cresceu na primeira fase da campanha de 16% para 21% e manteve a posição com o atuais 20%.

Ela se tornou alvo preferencial do prefeito Fernando Haddad (PT), que procura vinculá-la ao governo Temer, que o PT chama de ‘golpista’.

A quase duas semanas do primeiro turno, Haddad, candidato à reeleição, manteve -se no mesmo patamar, com 10% das intenções de voto, ante os 9% aferidos na pesquisa anterior.

Luiza Erundina (PSOL) oscilou de 7% para 5%.”

Fonte: Bilenky T (2016) Doria cresce, Russomanno cai e eleição em São Paulo tem triplo empate. Folha de São Paulo, 22/09/2016.

Sabemos que para esta pesquisa a lista de candidatos é apresentada a cada respondente, o qual declara seu voto.

Suponha que o delineamento fosse diferente: que as 1260 pessoas tivessem sido divididas em 5 grupos de 252 e, para cada grupo, fosse perguntado apenas sobre um candidato, considerando os primeiros 5 colocados quanto às intenções de voto. Respectivamente:

  • Grupo 1: você votaria no Dória? (sim / não)
  • Grupo 2: você votaria no Russomano? (sim / não)
  • Grupo 3: você votaria na Marta? (sim / não)
  • Grupo 4: você votaria no Haddad? (sim / não)
  • Grupo 5: você votaria na Erundina? (sim / não)

A jornalista está, estatisticamente, correta ao considerar que há um empate triplo entre os três primeiros e duplo entre os quarto e quinto colocados?

A. Errada, pois não há empate algum entre os candidatos.
B. Parcialmente, pois existe empate entre Dória e Russomano e entre Russomano e Marta, mas Haddad e Erundina não estão empatados
C. Parcialmente, pois existe empate entre Dória e Russomano e entre Russomano e Marta, e empate entre Haddad e Erundina.
D. Parcialmente, não existe um triplo empate entre Dória, Russomano e Marta, mas Haddad e Erundina estão empatados.
E. Parcialmente, existe um triplo empate entre Dória, Russomano e Marta, mas Haddad e Erundina não estão empatados.
F. Sim, existe um triplo empate entre Dória, Russomano e Marta, e empate entre Haddad e Erundina.

Explicações e justificativas:

Alternativa correta: C.

Com o delineamento entre-participantes (5 grupos independentes de 252), a comparação entre candidatos pode ser feita por IC95% das proporções e por testes de igualdade de proporções (omnibus), seguidos de comparações múltiplas (post hoc) com ajuste (por exemplo, Bonferroni).

Pelos IC95% informados, há sobreposição entre Dória, Russomano e Marta, e também sobreposição entre Haddad e Erundina. Já as comparações entre {Dória, Russomano, Marta} versus {Haddad, Erundina} indicam diferenças estatisticamente significativas após ajuste.

Resultados (como reportado):

Proporções:

  • Doria: 63 em 252 = 25%
  • Russomano: 55 em 252 = 21.83%
  • Marta: 50 em 252 = 19.84%
  • Haddad: 25 em 252 = 9.92%
  • Erundina: 13 em 252 = 5.16%

IC95%:

  • Doria: [0.201, 0.307]
  • Russomano: [0.172, 0.273]
  • Marta: [0.154, 0.252]
  • Haddad: [0.068, 0.142]
  • Erundina: [0.030, 0.086]

Post hoc (Bonferroni): não há diferença entre Dória vs Russomano (p=1.00), Dória vs Marta (p=1.00), Russomano vs Marta (p=1.00), nem Haddad vs Erundina (p=0.62263). Portanto, existe empate entre Dória, Russomano e Marta, e empate entre Haddad e Erundina.

nivel <- c("Doria", "Russomano", "Marta", "Haddad", "Erundina")

# proporções de intenção de voto
intencao_voto <- c(.25, .22, .20, .10, .05)
n_entrevistados <- c(252, 252, 252, 252, 252)

# contagens de votos favoráveis
votos_sim <- round(intencao_voto * n_entrevistados, 0)

cat("\nProporcao de intencao de voto:\n\n")

Proporcao de intencao de voto:
for (i in seq_along(nivel)) {
  cat(" - ", nivel[i], ": ", votos_sim[i], " em ",
      n_entrevistados[i], " = ",
      round((votos_sim[i] / n_entrevistados[i]) * 100, 2), "%\n",
      sep = "")
}
 - Doria: 63 em 252 = 25%
 - Russomano: 55 em 252 = 21.83%
 - Marta: 50 em 252 = 19.84%
 - Haddad: 25 em 252 = 9.92%
 - Erundina: 13 em 252 = 5.16%
IC95 <- DescTools::BinomCI(x = votos_sim, n = n_entrevistados)
rownames(IC95) <- nivel
cat("\nIntervalos de confianca 95%:\n\n")

Intervalos de confianca 95%:
print(IC95, digits = 2)
            est lwr.ci upr.ci
Doria     0.250  0.201  0.307
Russomano 0.218  0.172  0.273
Marta     0.198  0.154  0.252
Haddad    0.099  0.068  0.142
Erundina  0.052  0.030  0.086
omnibus <- prop.test(votos_sim, n_entrevistados)
cat("\nTeste omnibus:\n")

Teste omnibus:
print(omnibus, digits = 2)

    5-sample test for equality of proportions without continuity correction

data:  votos_sim out of n_entrevistados
X-squared = 52, df = 4, p-value = 1e-10
alternative hypothesis: two.sided
sample estimates:
prop 1 prop 2 prop 3 prop 4 prop 5 
 0.250  0.218  0.198  0.099  0.052 
posthoc <- fmsb::pairwise.fisher.test(votos_sim, n_entrevistados,
                                      p.adjust.method = "bonf")
colnames(posthoc$p.value) <- nivel[1:4]
rownames(posthoc$p.value) <- nivel[2:5]
cat("\nTeste post hoc:\n")

Teste post hoc:
print(posthoc)

    Pairwise comparisons using Pairwise comparison of proportions (Fisher) 

data:  votos_sim out of n_entrevistados 

          Doria   Russomano Marta   Haddad 
Russomano 1.00000 -         -       -      
Marta     1.00000 1.00000   -       -      
Haddad    0.00011 0.00362   0.02495 -      
Erundina  2.8e-09 3.7e-07   6.5e-06 0.62263

P value adjustment method: bonferroni 
plot(NA,
     xlab = "Proporção de intenção de voto", ylab = "",
     xlim = c(0, 0.5), ylim = c(0, nrow(IC95)),
     axes = FALSE)
axis(1, at = seq(0, 0.5, 0.1))
for (r in seq_len(nrow(IC95))) {
  y <- nrow(IC95) - r + 1
  lines(c(IC95[r, 2], IC95[r, 3]), rep(y, 2))
  points(c(IC95[r, 2], IC95[r, 3]), rep(y, 2), pch = "I")
  points(IC95[r, 1], y, pch = 21, col = "black", bg = "black")
  text(IC95[r, 3], y, rownames(IC95)[r], pos = 4)
}

2.5 APEx 13332: Eleições, multinomial

“A eleição municipal em São Paulo chegou a um triplo empate técnico, com crescimento de João Doria (PSDB) e queda de Celso Russomanno (PRB).

Segundo pesquisa Datafolha, o tucano alcançou 25% das intenções de voto, enquanto o deputado caiu para 22%. Marta Suplicy (PMDB) oscilou negativamente para 20%.

O mesmo cenário de empate foi projetado para o segundo turno, em simulações entre os três candidatos.

A margem de erro do levantamento, contratado pela Folha e a TV Globo, é de três pontos percentuais para mais ou para menos. O instituto ouviu 1.260 pessoas, nesta quarta-feira (21).

[…]

Marta cresceu na primeira fase da campanha de 16% para 21% e manteve a posição com o atuais 20%.

Ela se tornou alvo preferencial do prefeito Fernando Haddad (PT), que procura vinculá-la ao governo Temer, que o PT chama de ‘golpista’.

A quase duas semanas do primeiro turno, Haddad, candidato à reeleição, manteve -se no mesmo patamar, com 10% das intenções de voto, ante os 9% aferidos na pesquisa anterior.

Luiza Erundina (PSOL) oscilou de 7% para 5%.”

Fonte: Bilenky T (2016) Doria cresce, Russomanno cai e eleição em São Paulo tem triplo empate. Folha de São Paulo, 22/09/2016.

Na pesquisa foi apresentado um disco para que o respondente selecionasse seu candidato preferido.

Qual das funções do R apresentadas nas alternativas permite a comparação entre os candidatos e verificar os que estão estatisticamente empatados?

A. binom.test
B. t.test
C. DescTools::BinomCI
D. DescTools::BinomDiffCI
E. DescTools::MultinomCI

Explicações e justificativas:

Alternativa correta: E.

É necessário usar uma função multinomial porque, no delineamento do estudo, foi perguntado ao eleitor em quem ele(a) votaria frente a uma lista de candidatos. A escolha é feita por um candidato em detrimento dos demais, o que implica dependência intra-participante: para um mesmo respondente, as probabilidades associadas às alternativas são negativamente correlacionadas.

As demais alternativas seriam apropriadas apenas se o delineamento fosse entre-participantes, isto é, se cada grupo independente de respondentes fosse questionado sobre um único candidato (por exemplo: “Você votaria no Dória?”). Esse delineamento exigiria amostras muito maiores ou, alternativamente, grupos menores, o que resultaria em intervalos de confiança mais amplos e menor capacidade conclusiva.

2.6 APEx 13333: Eleições, multinomial

“A eleição municipal em São Paulo chegou a um triplo empate técnico, com crescimento de João Doria (PSDB) e queda de Celso Russomanno (PRB).

Segundo pesquisa Datafolha, o tucano alcançou 25% das intenções de voto, enquanto o deputado caiu para 22%. Marta Suplicy (PMDB) oscilou negativamente para 20%.

O mesmo cenário de empate foi projetado para o segundo turno, em simulações entre os três candidatos.

A margem de erro do levantamento, contratado pela Folha e a TV Globo, é de três pontos percentuais para mais ou para menos. O instituto ouviu 1.260 pessoas, nesta quarta-feira (21).

[…]

Marta cresceu na primeira fase da campanha de 16% para 21% e manteve a posição com o atuais 20%.

Ela se tornou alvo preferencial do prefeito Fernando Haddad (PT), que procura vinculá-la ao governo Temer, que o PT chama de ‘golpista’.

A quase duas semanas do primeiro turno, Haddad, candidato à reeleição, manteve -se no mesmo patamar, com 10% das intenções de voto, ante os 9% aferidos na pesquisa anterior.

Luiza Erundina (PSOL) oscilou de 7% para 5%.”

Fonte: Bilenky T (2016) Doria cresce, Russomanno cai e eleição em São Paulo tem triplo empate. Folha de São Paulo, 22/09/2016.

Na pesquisa foi apresentado um disco para que o respondente selecionasse seu candidato preferido.

A jornalista está, estatisticamente, correta ao considerar que há um empate triplo entre os três primeiros e duplo entre os quarto e quinto colocados?

A. Errada, pois não há empate algum entre os candidatos.
B. Parcialmente, pois existe empate entre Dória e Russomano e entre Russomano e Marta, mas Haddad e Erundina não estão empatados
C. Parcialmente, pois existe empate entre Dória e Russomano e entre Russomano e Marta, e empate entre Haddad e Erundina.
D. Parcialmente, não existe um triplo empate entre Dória, Russomano e Marta, mas Haddad e Erundina estão empatados.
E. Parcialmente, existe um triplo empate entre Dória, Russomano e Marta, mas Haddad e Erundina não estão empatados.
F. Sim, existe um triplo empate entre Dória, Russomano e Marta, e empate entre Haddad e Erundina.

Explicações e justificativas:

Alternativas corretas: B ou E.

IC95% (MultinomCI):

  • Erundina: est = 0.05, IC95% = [0.022, 0.079]

  • Haddad: est = 0.10, IC95% = [0.072, 0.129]

  • Outros: est = 0.18, IC95% = [0.152, 0.209]

  • Marta: est = 0.20, IC95% = [0.172, 0.229]

  • Russomano:est = 0.22, IC95% = [0.192, 0.249]

  • Doria: est = 0.25, IC95% = [0.222, 0.279]

Teste omnibus (qui-quadrado com valor-p simulado):

\(p \approx 9.999\times 10^{-5}\), inferindo diferença de preferência entre pelo menos dois candidatos.

O delineamento é multinomial, com dependência intra-participante, exigindo análise conjunta das proporções. O teste omnibus (qui-quadrado com valor-p simulado) rejeita a hipótese de igualdade global, indicando que pelo menos dois candidatos diferem em preferência na população.

Resultados do pós-teste com ajuste de Bonferroni:

Não há diferença estatisticamente significante entre Dória e Russomano, entre Dória e Marta, nem entre Russomano e Marta (\(p \ge 0.05\)), caracterizando empate entre esses pares. Também não há diferença entre Haddad e Erundina (\(p \ge 0.05\)). Todos os demais pares apresentam diferenças estatisticamente significantes.

Resultados do pós-teste com ajuste de Holm:

Não há diferença estatisticamente significante entre Dória e Russomano nem entre Russomano e Marta (\(p \ge 0.05\)). Há diferença estatisticamente significante entre Dória e Marta (\(p = 0.0458\)), descaracterizando o triplo empate entre os três primeiros. Há diferença estatisticamente significativa entre Haddad e Erundina, descartando empate entre o quarto e o quinto colocados. Todos os demais pares também diferem estatisticamente.

Síntese:

Sob Bonferroni, os três primeiros podem ser considerados empatados e Haddad e Erundina também. Sob Holm, não há triplo empate entre os três primeiros, nem empate entre Haddad e Erundina. O resultado é sensível ao método de ajuste para múltiplas comparações, sendo Holm mais potente e, portanto, mais discriminativo neste contexto.

alpha <- 0.05

candidato <- c("Doria", "Russomano", "Marta", "Haddad", "Erundina")
prop_votos <- c(0.25, 0.22, 0.20, 0.10, 0.05)

candidato <- c(candidato, "Outros")
prop_votos <- c(prop_votos, 1 - sum(prop_votos))

n_total <- 1260
n_votos <- prop_votos * n_total

# reordenar por ordem de preferencia
df.tmp <- data.frame(candidato, n_votos)
df.tmp <- df.tmp[order(df.tmp$n_votos), ]
candidato <- df.tmp$candidato
n_votos <- df.tmp$n_votos

cat("Intervalos de confianca 95%:\n")
Intervalos de confianca 95%:
IC95 <- DescTools::MultinomCI(n_votos, conf.level = 1 - alpha)
rownames(IC95) <- candidato
print(IC95, digits = 2)
           est lwr.ci upr.ci
Erundina  0.05  0.022  0.079
Haddad    0.10  0.072  0.129
Outros    0.18  0.152  0.209
Marta     0.20  0.172  0.229
Russomano 0.22  0.192  0.249
Doria     0.25  0.222  0.279
xmin <- min(IC95[, 2], na.rm = TRUE)
xmax <- max(IC95[, 3], na.rm = TRUE)

plot(NA,
     xlab = "Proporção", ylab = "",
     xlim = c(xmin, xmax * 1.5),
     ylim = c(0, nrow(IC95)),
     axes = FALSE)
axis(1, at = seq(0, 1, 0.1))
for (r in 1:nrow(IC95)) {
  y <- nrow(IC95) - r + 1
  lines(c(IC95[r, 2], IC95[r, 3]), rep(y, 2))
  points(c(IC95[r, 2], IC95[r, 3]), rep(y, 2), pch = "I")
  points(IC95[r, 1], y, pch = 21, col = "black", bg = "black")
  text(IC95[r, 3], y, rownames(IC95)[r], pos = 4)
}

# teste omnibus
chi2 <- chisq.test(n_votos,
                   p = rep(1 / length(candidato), length(candidato)),
                   simulate.p.value = TRUE, B = 1e4)

cat("\nTeste omnibus:\n")

Teste omnibus:
print(chi2)

    Chi-squared test for given probabilities with simulated p-value (based
    on 10000 replicates)

data:  n_votos
X-squared = 220.25, df = NA, p-value = 9.999e-05
cat("Infere-se, para a populacao, que a preferencia ")
Infere-se, para a populacao, que a preferencia 
if (chi2$p.value < alpha) {
  cat("por pelo menos um dos candidatos difere de algum outro.\n")
} else {
  cat("por todos os candidatos e igual.\n")
}
por pelo menos um dos candidatos difere de algum outro.
# analise par a par: Bonferroni
if (chi2$p.value < alpha) {
  cat("\nAnalise par a par:\n")
  pares <- RVAideMemoire::multinomial.multcomp(round(n_votos, 0),
                                               p.method = "bonf")
  colnames(pares$p.value) <- candidato[1:(length(candidato) - 1)]
  rownames(pares$p.value) <- candidato[2:length(candidato)]
  print(pares)

  cat("\nInfere-se, para a populacao: ")
  for (r in 1:nrow(pares$p.value)) {
    for (c in 1:ncol(pares$p.value)) {
      if (!is.na(pares$p.value[r, c])) {
        cat("\n\n# ", rownames(pares$p.value)[r], " e ",
            colnames(pares$p.value)[c], ":\n", sep = "")
        if (pares$p.value[r, c] >= alpha) cat("Nao ")
        cat("Existe diferenca de preferencia entre os dois candidatos")
      }
    }
  }
}

Analise par a par:

    Pairwise comparisons using exact binomial tests 

data:  round(n_votos,0) 

          Erundina Haddad  Outros Marta  Russomano
Haddad    8.1e-05  -       -      -      -        
Outros    < 2e-16  1.3e-06 -      -      -        
Marta     < 2e-16  1.3e-09 1.0000 -      -        
Russomano < 2e-16  6.0e-13 0.4344 1.0000 -        
Doria     < 2e-16  < 2e-16 0.0027 0.1374 1.0000   

P value adjustment method: bonf 

Infere-se, para a populacao: 

# Haddad e Erundina:
Existe diferenca de preferencia entre os dois candidatos

# Outros e Erundina:
Existe diferenca de preferencia entre os dois candidatos

# Outros e Haddad:
Existe diferenca de preferencia entre os dois candidatos

# Marta e Erundina:
Existe diferenca de preferencia entre os dois candidatos

# Marta e Haddad:
Existe diferenca de preferencia entre os dois candidatos

# Marta e Outros:
Nao Existe diferenca de preferencia entre os dois candidatos

# Russomano e Erundina:
Existe diferenca de preferencia entre os dois candidatos

# Russomano e Haddad:
Existe diferenca de preferencia entre os dois candidatos

# Russomano e Outros:
Nao Existe diferenca de preferencia entre os dois candidatos

# Russomano e Marta:
Nao Existe diferenca de preferencia entre os dois candidatos

# Doria e Erundina:
Existe diferenca de preferencia entre os dois candidatos

# Doria e Haddad:
Existe diferenca de preferencia entre os dois candidatos

# Doria e Outros:
Existe diferenca de preferencia entre os dois candidatos

# Doria e Marta:
Nao Existe diferenca de preferencia entre os dois candidatos

# Doria e Russomano:
Nao Existe diferenca de preferencia entre os dois candidatos
# analise par a par: Holm
if (chi2$p.value < alpha) {
  cat("\n\nAnalise par a par:\n")
  pares <- RVAideMemoire::multinomial.multcomp(round(n_votos, 0),
                                               p.method = "holm")
  colnames(pares$p.value) <- candidato[1:(length(candidato) - 1)]
  rownames(pares$p.value) <- candidato[2:length(candidato)]
  print(pares)

  cat("\nInfere-se, para a populacao: ")
  for (r in 1:nrow(pares$p.value)) {
    for (c in 1:ncol(pares$p.value)) {
      if (!is.na(pares$p.value[r, c])) {
        cat("\n\n# ", rownames(pares$p.value)[r], " e ",
            colnames(pares$p.value)[c], ":\n", sep = "")
        if (pares$p.value[r, c] >= alpha) cat("Nao ")
        cat("Existe diferenca de preferencia entre os dois candidatos")
      }
    }
  }
}


Analise par a par:

    Pairwise comparisons using exact binomial tests 

data:  round(n_votos,0) 

          Erundina Haddad  Outros Marta  Russomano
Haddad    3.8e-05  -       -      -      -        
Outros    < 2e-16  6.7e-07 -      -      -        
Marta     < 2e-16  7.8e-10 0.5456 -      -        
Russomano < 2e-16  4.0e-13 0.1159 0.5456 -        
Doria     < 2e-16  < 2e-16 0.0011 0.0458 0.3848   

P value adjustment method: holm 

Infere-se, para a populacao: 

# Haddad e Erundina:
Existe diferenca de preferencia entre os dois candidatos

# Outros e Erundina:
Existe diferenca de preferencia entre os dois candidatos

# Outros e Haddad:
Existe diferenca de preferencia entre os dois candidatos

# Marta e Erundina:
Existe diferenca de preferencia entre os dois candidatos

# Marta e Haddad:
Existe diferenca de preferencia entre os dois candidatos

# Marta e Outros:
Nao Existe diferenca de preferencia entre os dois candidatos

# Russomano e Erundina:
Existe diferenca de preferencia entre os dois candidatos

# Russomano e Haddad:
Existe diferenca de preferencia entre os dois candidatos

# Russomano e Outros:
Nao Existe diferenca de preferencia entre os dois candidatos

# Russomano e Marta:
Nao Existe diferenca de preferencia entre os dois candidatos

# Doria e Erundina:
Existe diferenca de preferencia entre os dois candidatos

# Doria e Haddad:
Existe diferenca de preferencia entre os dois candidatos

# Doria e Outros:
Existe diferenca de preferencia entre os dois candidatos

# Doria e Marta:
Existe diferenca de preferencia entre os dois candidatos

# Doria e Russomano:
Nao Existe diferenca de preferencia entre os dois candidatos