3.2.1 Base 1: Microdados de Discentes (Plataforma Sucupira)

• Propósito Original: Registrar individualmente o vínculo e o histórico acadêmico de todos os estudantes de pós-graduação stricto sensu do Brasil para fins do Censo da Pós-Graduação e da Avaliação Quadrienal da CAPES (ciclo 2021–2024), coletados anualmente junto às coordenadorias de cada PPG por meio do módulo Coleta da Plataforma Sucupira.
• Período de Coleta e Atualização: Os dados referem-se ao Ano-Base de 2021 (AN_BASE = 2021), com extração e consolidação oficial disponibilizada pela CAPES em 31 de março de 2025 (conforme indicado no sufixo do arquivo 2025-03-31).
• Dimensões Originais: O arquivo bruto possui 419.905 observações (linhas) e 37 variáveis (colunas). Cada linha representa o vínculo de um discente em um programa de pós-graduação naquele ano-base.
• Peculiaridades Técnicas e Registro de Valores Ausentes:
  • Formato e Codificação: Arquivo separado por ponto e vírgula (;) e codificado em ISO-8859-1 (Latin-1), padrão legado de sistemas governamentais brasileiros.
  • Anonimização Parcial (LGPD): O documento de identificação (NR_DOCUMENTO_DISCENTE) encontra-se mascarado no formato ***.734.169-**, mas o identificador único numérico do indivíduo no sistema (ID_PESSOA) é preservado.
  • Codificação Textual de Valores Ausentes ("NÃO SE APLICA" e "NI"): Em vez de células vazias (NA), a base utiliza a string "NÃO SE APLICA" em 337.215 linhas (80,3% da base) para as variáveis NM_TESE_DISSERTACAO e NM_ORIENTADOR_PRINCIPAL, e o valor numérico 0 para QT_MES_TITULACAO. Isso ocorre porque essas informações só são preenchidas para os 82.690 alunos com situação "TITULADO" no ano-base; para alunos ainda "MATRICULADO" (321.147), "DESLIGADO" (10.962) ou que "ABANDONOU" (4.823), o sistema preenche "NÃO SE APLICA" e 0 meses. Há ainda 1 registro com "NI" em NM_PAIS_NACIONALIDADE_DISCENTE e 13.706 valores ausentes (NA) na coluna CD_ENTIDADE_EMEC (referentes a institutos de pesquisa como FIOCRUZ, INPA e IMPA, que são credenciados na CAPES, mas não possuem código e-MEC de graduação).
  • Conceito CAPES Alfanumérico (CD_CONCEITO_PROGRAMA): Embora a escala de notas da CAPES vá de 1 a 7, a coluna é do tipo caractere (chr) porque contém 1.281 registros com o conceito "A" (atribuído a cursos recém-aprovados em fase de implantação que ainda equivalem ao conceito mínimo 3).
  • Datas no Padrão SAS/Oracle (DDMMMYYYY:HH:MM:SS): As variáveis DT_MATRICULA_DISCENTE e DT_SITUACAO_DISCENTE estão gravadas como texto com abreviação do mês em inglês e carimbo de hora zerado (ex.: "06AUG2020:00:00:00"), exigindo parsing específico.

3.2.2 Base 2: Concessão de Bolsas da CAPES por IES e Programa

• Propósito Original: Dar transparência ativa à distribuição de bolsas de estudo e pesquisa financiadas pela CAPES (Sistemas SCBA/SICAPES), discriminando quantas cotas foram pagas por instituição, programa de pós-graduação, modalidade de fomento e nível acadêmico.
• Período de Coleta e Atualização: Os dados referem-se ao Ano de Referência de 2022 (AN_REFERENCIA = 2022), com extração consolidada em 01 de março de 2023 (2023-03-01). (Nota metodológica: como o vínculo discente de 2021 na Sucupira reflete a base instalada de alunos e o conceito vigente que baliza a distribuição de cotas do ciclo seguinte, o pareamento entre o corpo discente de 2021 e a concessão de bolsas de 2022 é estruturalmente consistente, apresentando 99,3% de compatibilidade nos códigos de programas).
• Dimensões Originais: O arquivo bruto contém 13.815 observações (linhas) e 17 variáveis (colunas), totalizando 98.285 bolsas concedidas (sendo 50.699 de Doutorado, 44.019 de Mestrado, 3.542 de Pós-Doutorado e 25 na categoria Outros).
• Peculiaridades Técnicas e Registro de Valores Ausentes:
  • Granularidade Múltipla por Programa: Um mesmo Programa de Pós-Graduação (CD_PROGRAMA) aparece em múltiplas linhas caso receba bolsas de diferentes programas de fomento (SG_PROGRAMA_FOMENTO, como DS, PROEX, PROSUP, PDPG-FAP, etc.) ou para diferentes níveis (NM_NIVEL_PADRAO).
  • Valores Ausentes Codificados como "NI" (Não Informado): Embora não existam células vazias (NA) no arquivo bruto, uma inspeção minuciosa revela 47 linhas onde CD_PROGRAMA == "NI" e 428 linhas onde NM_PROGRAMA, NM_GRANDE_AREA, NM_AREA_AVALIACAO e NM_AREA_CONHECIMENTO estão preenchidos como "NI". Isso ocorre em concessões de programas especiais de fomento (como Pós-Doutorado institucional ou projetos interinstitucionais) alocadas diretamente à IES sem vínculo a um PPG específico.

3.3.1 Etapa 2: Limpeza, Padronização e realização de cálculos a partir dos Microdados dos Discentes

Por que realizamos estas operações de limpeza na base de discentes?

1. Seleção de Variáveis Relevantes: Das 37 colunas originais, removemos metadados internos de fotografia de banco de dados (ID_ADD_FOTO_PROGRAMA, ID_ADD_FOTO_PROGRAMA_IES), identificadores pessoais sensíveis ou mascarados (NM_DISCENTE, NR_DOCUMENTO_DISCENTE, TP_DOCUMENTO_DISCENTE) e colunas redundantes, mantendo as variáveis analíticas essenciais.
2. Recodificação de Valores Ausentes Implícitos ("NÃO SE APLICA" e "NI"): Conforme diagnosticado na seção 3.2, QT_MES_TITULACAO == 0 para alunos não titulados não significa que o aluno concluiu o curso em zero meses, mas sim que o tempo de titulação ainda não se aplica. Manter zeros distorceria severamente a média de tempo de titulação. Portanto, convertemos QT_MES_TITULACAO para NA sempre que NM_SITUACAO_DISCENTE != "TITULADO" ou quando o valor for <= 0, e recodificamos "NI" em nacionalidade para NA.
3. Conversão de Datas Não Normalizadas (DT_MATRICULA_DISCENTE e DT_SITUACAO_DISCENTE): Os textos no formato "06AUG2020:00:00:00" possuem nomes de meses em inglês. Extraímos os primeiros 9 caracteres ("06AUG2020") e convertemos para a classe Date usando as.Date(..., format = "%d%b%Y") com LC_TIME = "C".
4. Normalização de Conceito CAPES (CONCEITO_NUM) e Criação de Novas Variáveis:
   • Convertimos o conceito "A" (cursos novos autorizados) para o valor numérico 3 (nota base de entrada no SNPG) e criamos a variável numérica CONCEITO_CAPES_NUM (de 1 a 7), além da variável categórica de excelência (PERFIL_EXCELENCIA: notas 6 e 7 como “Excelência Internacional (6-7)”, 4 e 5 como “Consolidado (4-5)”, e 1 a 3 como “Em Consolidação (1-3)”).
   • União e Harmonização de Nível Acadêmico: Enquanto a base de discentes distingue "MESTRADO", "MESTRADO PROFISSIONAL", "DOUTORADO" e "DOUTORADO PROFISSIONAL", a base de bolsas classifica apenas em "MESTRADO" e "DOUTORADO". Criamos a variável padronizada NIVEL_PADRAO agrupando Mestrado Acadêmico/Profissional em "MESTRADO" e Doutorado Acadêmico/Profissional em "DOUTORADO" para viabilizar a mesclagem exata entre as bases.
   • Cálculo da Idade do Discente (IDADE_DISCENTE): Criada a partir da diferença entre o ano-base (AN_BASE = 2021) e o ano de nascimento (AN_NASCIMENTO_DISCENTE), filtrando eventuais registros com idades biologicamente implausíveis (< 18 ou > 90 anos).
   • União de Variáveis (LOCAL_IES): Unimos a sigla da UF (SG_UF_PROGRAMA) e a sigla da instituição (SG_ENTIDADE_ENSINO) em um identificador legível (UF_IES, ex.: "PE - UFPE").

# Salva a configuração de locale atual e usa locale "C" temporariamente para ler meses em inglês (JAN, FEB, AUG...)
locale_antigo <- Sys.getlocale("LC_TIME")
Sys.setlocale("LC_TIME", "C")

#> [1] "C"

discentes_limpo <- discentes_bruto %>%
  # 1. Seleção das variáveis analíticas de interesse
  select(
    AN_BASE, ID_PESSOA, CD_PROGRAMA_IES, NM_PROGRAMA_IES,
    CD_ENTIDADE_CAPES, SG_ENTIDADE_ENSINO, NM_ENTIDADE_ENSINO,
    CS_STATUS_JURIDICO, DS_DEPENDENCIA_ADMINISTRATIVA,
    NM_REGIAO, SG_UF_PROGRAMA, NM_MUNICIPIO_PROGRAMA_IES,
    NM_GRANDE_AREA_CONHECIMENTO, NM_AREA_AVALIACAO,
    NM_MODALIDADE_PROGRAMA, DS_GRAU_ACADEMICO_DISCENTE,
    CD_CONCEITO_PROGRAMA, AN_NASCIMENTO_DISCENTE, DS_FAIXA_ETARIA,
    NM_PAIS_NACIONALIDADE_DISCENTE, ST_INGRESSANTE, NM_SITUACAO_DISCENTE,
    DT_MATRICULA_DISCENTE, DT_SITUACAO_DISCENTE, QT_MES_TITULACAO
  ) %>%
  # 2. Padronização de strings e tratamento de ausentes codificados como texto
  mutate(
    NM_PROGRAMA_IES = str_squish(str_to_upper(NM_PROGRAMA_IES)),
    SG_ENTIDADE_ENSINO = str_squish(str_to_upper(SG_ENTIDADE_ENSINO)),
    NM_PAIS_NACIONALIDADE_DISCENTE = na_if(NM_PAIS_NACIONALIDADE_DISCENTE, "NI"),
    
    # 3. Conversão das datas do padrão SAS ("06AUG2020:00:00:00") para classe Date
    DT_MATRICULA = as.Date(str_sub(DT_MATRICULA_DISCENTE, 1, 9), format = "%d%b%Y"),
    DT_SITUACAO  = as.Date(str_sub(DT_SITUACAO_DISCENTE, 1, 9), format = "%d%b%Y"),
    
    # 4. Normalização do Conceito CAPES ("A" equivale a curso recém-aprovado nota 3)
    CONCEITO_CAPES_NUM = as.integer(ifelse(CD_CONCEITO_PROGRAMA == "A", "3", CD_CONCEITO_PROGRAMA)),
    PERFIL_EXCELENCIA = case_when(
      CONCEITO_CAPES_NUM >= 6 ~ "Excelência Internacional (6 e 7)",
      CONCEITO_CAPES_NUM >= 4 ~ "Consolidado (4 e 5)",
      TRUE                    ~ "Em Consolidação (1 a 3 / A)"
    ),
    
    # 5. Harmonização do Nível Acadêmico para cruzamento com a base de Bolsas
    NIVEL_PADRAO = case_when(
      str_detect(DS_GRAU_ACADEMICO_DISCENTE, "DOUTORADO") ~ "DOUTORADO",
      str_detect(DS_GRAU_ACADEMICO_DISCENTE, "MESTRADO")  ~ "MESTRADO",
      TRUE ~ "OUTROS"
    ),
    
    # 6. Criação da variável de Idade do Discente e Tempo de Titulação Válido (apenas titulados)
    IDADE_DISCENTE = AN_BASE - AN_NASCIMENTO_DISCENTE,
    IDADE_DISCENTE = ifelse(IDADE_DISCENTE < 18 | IDADE_DISCENTE > 90, NA_integer_, IDADE_DISCENTE),
    MESES_TITULACAO_VALIDO = ifelse(NM_SITUACAO_DISCENTE == "TITULADO" & QT_MES_TITULACAO > 0,
                                    QT_MES_TITULACAO, NA_integer_)
  ) %>%
  # 7. União de variáveis (UF + Sigla da IES) para identificação rápida
  unite("UF_IES", SG_UF_PROGRAMA, SG_ENTIDADE_ENSINO, sep = " - ", remove = FALSE) %>%
  # Remove as colunas de data brutas em texto após a conversão
  select(-DT_MATRICULA_DISCENTE, -DT_SITUACAO_DISCENTE)

# Restaura o locale original do sistema
Sys.setlocale("LC_TIME", locale_antigo)

#> [1] "Portuguese_Brazil.utf8"

3.3.2 Etapa 3: Limpeza, Filtragem e Reformulação da Base de Bolsas

Por que realizamos estas operações na base de bolsas?

1. Filtragem de Registros Não Vinculados a Programas Stricto Sensu: Na base de bolsas, existem 47 registros com CD_PROGRAMA == "NI" (bolsas avulsas não alocadas a um PPG) e concessões de "PÓS-DOUTORADO" (2.595 linhas) e "OUTROS" (23 linhas), que não correspondem a discentes de Mestrado e Doutorado stricto sensu. Filtramos os registros com CD_PROGRAMA != "NI" e NM_NIVEL_PADRAO %in% c("MESTRADO", "DOUTORADO") para garantir consistência de escopo ao mesclar com a base de discentes (mantendo também um objeto separado com o total geral da IES quando necessário).
2. Separação de Variável Composta (CD_PROGRAMA): O código de um programa na CAPES (ex.: "40015017007P5") é uma chave composta onde os 8 primeiros dígitos ("40015017") identificam a Entidade/IES e os 5 últimos ("007P5") identificam a sequência do programa e seu dígito verificador. Utilizamos separate() para demonstrar a decomposição estrutural dessa variável.
3. Reformulação de Longo para Largo (pivot_wider): Como a base de bolsas está em formato longo (múltiplas linhas para um mesmo programa/nível devido aos diferentes programas de fomento e tipos INSTITUCIONAL vs. ESTRATÉGICO), aplicamos uma agregação seguida de pivot_wider() para transformar as categorias de TP_PROGRAMA em colunas separadas (BOLSAS_INSTITUCIONAL e BOLSAS_ESTRATEGICO), além de calcular o TOTAL_BOLSAS_CAPES e a quantidade de linhas de fomento distintas (QTD_FONTES_FOMENTO) por Programa e Nível.

# Limpeza, separação e reformulação (Long -> Wide) da base de Bolsas CAPES
bolsas_por_programa_nivel <- bolsas_bruto %>%
  # 1. Filtra registros válidos de programas Stricto Sensu (Mestrado e Doutorado)
  filter(
    CD_PROGRAMA != "NI",
    NM_NIVEL_PADRAO %in% c("MESTRADO", "DOUTORADO"),
    QT_BOLSAS_CONCEDIDAS > 0
  ) %>%
  # 2. Demonstração de separação do código composto do programa (8 dígitos IES + 5 caracteres do PPG)
  separate(
    col = CD_PROGRAMA,
    into = c("CD_IES_EXTRAIDO", "SUFIXO_PPG"),
    sep = 8,
    remove = FALSE
  ) %>%
  # 3. Padroniza o texto do tipo de programa de fomento para pivotagem
  mutate(
    TIPO_FOMENTO_CLEAN = ifelse(TP_PROGRAMA == "INSTITUCIONAL", "BOLSAS_INSTITUCIONAL", "BOLSAS_ESTRATEGICO")
  ) %>%
  # 4. Agrupa por Programa, Nível e Tipo de Fomento
  group_by(CD_PROGRAMA, NM_NIVEL_PADRAO, TIPO_FOMENTO_CLEAN) %>%
  summarise(
    BOLSAS_SOMA = sum(QT_BOLSAS_CONCEDIDAS, na.rm = TRUE),
    FONTES_DISTINTAS = n_distinct(SG_PROGRAMA_FOMENTO),
    .groups = "drop"
  ) %>%
  # 5. Reformulação de formato Longo (Long) para Largo (Wide) com pivot_wider
  pivot_wider(
    id_cols = c(CD_PROGRAMA, NM_NIVEL_PADRAO),
    names_from = TIPO_FOMENTO_CLEAN,
    values_from = BOLSAS_SOMA,
    values_fill = list(BOLSAS_SOMA = 0)
  ) %>%
  # 6. Criação da variável de total de bolsas concedidas (Institucional + Estratégico)
  mutate(
    TOTAL_BOLSAS_CAPES = BOLSAS_INSTITUCIONAL + BOLSAS_ESTRATEGICO,
    PROP_BOLSAS_ESTRATEGICAS = round((BOLSAS_ESTRATEGICO / TOTAL_BOLSAS_CAPES) * 100, 2)
  )

3.3.3 Etapa 4: Mesclagem (Merge) dos Conjuntos de Dados e Criação de Indicadores Analíticos

Por que agregamos os discentes por Programa/Nível e mesclamos com a base de bolsas?

Para responder ao problema central do projeto — a relação entre o financiamento da CAPES e o desempenho/cobertura dos programas de pós-graduação — precisamos integrar as duas bases na mesma unidade de análise: Programa de Pós-Graduação × Nível Acadêmico (CD_PROGRAMA_IES + NIVEL_PADRAO).

Nesta etapa:

1. Agregamos os 419.905 discentes por programa e nível (MESTRADO e DOUTORADO), contabilizando o número de discentes segundo sua situação (MATRICULADO, TITULADO, ABANDONOU, DESLIGADO), o número de ingressantes no ano, a idade média e a mediana/média do tempo de titulação (em meses).
2. Realizamos a junção relacional (left_join) com a base reformulada de bolsas (bolsas_por_programa_nivel). Para os programas/níveis que não receberam cotas de bolsas no período (ex.: mestrados profissionais privados ou programas sem bolsas alocadas), preenchemos os contadores de bolsas com 0.
3. Criamos variáveis analíticas derivadas fundamentais:
   • TOTAL_DISCENTES: Total de discentes vinculados ao programa/nível no ano-base.
   • DISCENTES_EVADIDOS: Soma dos alunos com status "ABANDONOU" + "DESLIGADO".
   • TAXA_TITULACAO_PCT: Percentual de discentes que defenderam a dissertação/tese no ano em relação ao total de vinculados.
   • TAXA_EVASAO_PCT: Percentual de discentes evadidos (abandono ou desligamento) em relação ao total de vinculados.
   • BOLSAS_POR_100_MATRICULADOS (Índice de Cobertura de Bolsas): Quantidade de bolsas CAPES concedidas para cada 100 alunos ativamente matriculados no programa/nível.
   • DEFICIT_DESCOBERTOS_ESTIMADO: Estimativa absoluta da diferença entre o número de alunos ativamente matriculados e o total de bolsas CAPES concedidas ao programa (truncado em zero quando o número de cotas anuais supera os matriculados remanescentes no final do ano-base).

# 1. Agregação dos microdados de Discentes ao nível de Programa (PPG) e Nível (Mestrado/Doutorado)
discentes_agregado <- discentes_limpo %>%
  group_by(
    CD_PROGRAMA_IES, NM_PROGRAMA_IES, CD_ENTIDADE_CAPES,
    SG_ENTIDADE_ENSINO, NM_ENTIDADE_ENSINO, UF_IES,
    CS_STATUS_JURIDICO, DS_DEPENDENCIA_ADMINISTRATIVA,
    NM_REGIAO, SG_UF_PROGRAMA, NM_MUNICIPIO_PROGRAMA_IES,
    NM_GRANDE_AREA_CONHECIMENTO, NM_AREA_AVALIACAO,
    NM_MODALIDADE_PROGRAMA, CD_CONCEITO_PROGRAMA,
    CONCEITO_CAPES_NUM, PERFIL_EXCELENCIA, NIVEL_PADRAO
  ) %>%
  summarise(
    TOTAL_DISCENTES       = n(),
    QTD_MATRICULADOS      = sum(NM_SITUACAO_DISCENTE == "MATRICULADO", na.rm = TRUE),
    QTD_TITULADOS         = sum(NM_SITUACAO_DISCENTE == "TITULADO", na.rm = TRUE),
    QTD_ABANDONO          = sum(NM_SITUACAO_DISCENTE == "ABANDONOU", na.rm = TRUE),
    QTD_DESLIGADOS        = sum(NM_SITUACAO_DISCENTE == "DESLIGADO", na.rm = TRUE),
    QTD_INGRESSANTES      = sum(ST_INGRESSANTE == "SIM", na.rm = TRUE),
    IDADE_MEDIA_DISCENTES = round(mean(IDADE_DISCENTE, na.rm = TRUE), 1),
    TEMPO_MEDIO_TITULACAO = round(mean(MESES_TITULACAO_VALIDO, na.rm = TRUE), 1),
    TEMPO_MEDIANO_TITUL   = round(median(MESES_TITULACAO_VALIDO, na.rm = TRUE), 1),
    .groups = "drop"
  )

# 2. Mesclagem (Left Join) entre a base agregada de Discentes e a base reformulada de Bolsas CAPES
dados_integrados_ppg <- discentes_agregado %>%
  left_join(
    bolsas_por_programa_nivel,
    by = c("CD_PROGRAMA_IES" = "CD_PROGRAMA", "NIVEL_PADRAO" = "NM_NIVEL_PADRAO")
  ) %>%
  # 3. Tratamento de NAs pós-junção (programas sem bolsas recebem 0) e criação de indicadores compostos
  mutate(
    BOLSAS_INSTITUCIONAL     = replace_na(BOLSAS_INSTITUCIONAL, 0),
    BOLSAS_ESTRATEGICO       = replace_na(BOLSAS_ESTRATEGICO, 0),
    TOTAL_BOLSAS_CAPES       = replace_na(TOTAL_BOLSAS_CAPES, 0),
    PROP_BOLSAS_ESTRATEGICAS = replace_na(PROP_BOLSAS_ESTRATEGICAS, 0),
    
    # Variáveis derivadas de desempenho e financiamento
    DISCENTES_EVADIDOS          = QTD_ABANDONO + QTD_DESLIGADOS,
    TAXA_TITULACAO_PCT          = round((QTD_TITULADOS / TOTAL_DISCENTES) * 100, 2),
    TAXA_EVASAO_PCT             = round((DISCENTES_EVADIDOS / TOTAL_DISCENTES) * 100, 2),
    BOLSAS_POR_100_MATRICULADOS = ifelse(QTD_MATRICULADOS > 0,
                                         round((TOTAL_BOLSAS_CAPES / QTD_MATRICULADOS) * 100, 2),
                                         NA_real_),
    DEFICIT_BOLSAS_MATRICULADOS = pmax(0, QTD_MATRICULADOS - TOTAL_BOLSAS_CAPES),
    RECEBE_BOLSA_CAPES          = factor(ifelse(TOTAL_BOLSAS_CAPES > 0, "Sim", "Não"), levels = c("Sim", "Não")),
    
    # Conversão das principais variáveis categóricas em Fatores Ordenados
    PERFIL_EXCELENCIA = factor(
      PERFIL_EXCELENCIA,
      levels = c("Em Consolidação (1 a 3 / A)", "Consolidado (4 e 5)", "Excelência Internacional (6 e 7)"),
      ordered = TRUE
    ),
    NM_REGIAO = factor(NM_REGIAO, levels = c("SUDESTE", "SUL", "NORDESTE", "CENTRO-OESTE", "NORTE"))
  )

3.5.1 Síntese Narrativa dos Dados Limpos

No panorama nacional consolidado para o ensino stricto sensu, o Brasil conta com 419.905 discentes vinculados distribuídos em 4.696 Programas de Pós-Graduação (7.883 cursos ao separar Mestrado e Doutorado). A idade média do pós-graduando brasileiro é de 34.3 anos (mediana de 32 anos, variando do 1º quartil de 28 ao 3º quartil de 39 anos). Entre os alunos que concluíram seus cursos no período (82.690 titulados), o tempo médio até a defesa é de 28.6 meses no Mestrado e 52 meses no Doutorado. Quanto ao fomento direto vinculado aos programas stricto sensu, foram integradas 98.050 bolsas ativas de Mestrado e Doutorado, resultando em uma média de 12.4 bolsas por curso (mediana de 11 bolsas, com máximo de 117 bolsas em um único curso).

3.5.2 Tabela de Resumo Consolidado das Variáveis