Tratamento de dados RPC

Trata base de comunicados RPC (deduplicação de comunicados) considerando os casos especiais identificados na IN DIPRO nº 13/2006 antes e depois das alterações implementadas pela entrada em vigor da IN DIPRO nº 47/2014.

---

Preparação

# grava data de entrada em vigor da IN 47
dt.in47 <- ymd("2014-12-04") 

Load datasets

Nota: a base do RPC a ser tratada tem que trazer pelo menos uma sequencia de 2 anos de reajustes aplicados (filtrar pelo campo dt_inic_aplicacao)

# Base(s) RPC
files <- list.files(path = "_datasets/RPC", pattern = "*.csv", full.names = T)
rpc <- rbindlist(lapply(files, fread, showProgress = FALSE)) |>
  lazy_dt() |>
  rename_with(tolower) |>
  select(-c(nm_justificativa, nm_justificativa_tratada, cd_plano, cd_operadora)) |> 
  # indexa a base original para resgatar todos os atributos dos comunicados após deduplicações
  arrange(dt_protocolo) |> 
  mutate(id_envio = row_number(),
         dt_inic_aplicacao = ymd(dt_inic_aplicacao)) |> 
  as_tibble()
remove(files)


# Enxuga o dataset do RPC para poder trabalhar com base gigantesca
rpc0 <- rpc |> 
  select(id_comunicado, id_plano, 
         dt_inic_aplicacao,
         starts_with("lg_"),
         benef = benef_comunicado, percentual, dt_protocolo, id_envio) |>
  mutate(
    dt_envio = as_date(dt_protocolo),
    lg_rps = if_else(id_plano > 0, 1, 0)
  ) |> 
  select(-c(lg_introducao_franquia_copt, lg_adesao, lg_parcelado, 
            dt_protocolo, id_plano)) |> 
  relocate(dt_envio, .after = id_comunicado)

Período de abrangência do dataset pela data de aplicação do reajuste (dt_inic_aplicacao) Nota: a base do RPC a ser tratada tem que trazer pelo menos 11 meses a mais do que o último mês de interesse da consulta. Ou seja, se o período de consulta for jan a dez 2010, é necessário trazer tratar uma base de reajustes com data de início de aplicação até novembro de 2011.

[1] "jan-2005" "dez-2010"

Período de abrangência do dataset pela data de envio do comunicado (dt_envio))
Note que podem existir comunicados enviados antes e depois do marco de entrada em vigor das alterações da IN DIPRO nº 13 (04/12/2004).

[1] "2004-11-22" "2021-06-15"

---

Deduplicação

---

Existem 5 casos especiais de comunicado RPC que geram duplicidade de envio de comunicados no RPC e foram alterados pela IN DIPRO nº 47/2014 para comunicados enviados a partir de 04 de dezembro de 2014:

1. CANCELAMENTO - Cancelamento de comunicados anteriores
   
2. RETIFICACAO - Retificações de comunicados anteriores
   
3. EM NEGOCIACAO - Aviso de “reajuste em negociação”
   
4. ADESÃO - Casos excepcionais de contratos autorizados a aplicar reajustes por data de adesão do beneficiário
   
5. PARCELADO - Casos excepicionais de contratos autorizados a aplicar reajuste parcelado

Estes casos serão tratados a seguir.

---

Cancelamento

[pré IN 47]
Não existia a possibilidade de cancelar comunicados antes da IN 47.

[pós IN 47]
TRECHO REPRODUZIDO DO ANEXO II DA IN nº 13/2006
5.2) Para cancelar um comunicado de reajuste, a operadora deverá enviar um novo comunicado, de acordo com a Tabela 4 deste Anexo.

Tabela 4

Campo	Instrução
Nº de Registro do Plano	O mesmo do comunicado a ser cancelado
Código do plano na operadora	O mesmo do comunicado a ser cancelado
Nº do contrato ou apólice	O mesmo do comunicado a ser cancelado
Mês/Ano Início Período da Aplicação	O mesmo do comunicado a ser cancelado
Percentual de Reajuste	0 (ZERO)
Característica do Reajuste	Sem Reajuste
Justificativa Técnica	(a) Preencher obrigatoriamente com a expressão “CANCELAR COMUNICADO” (b) Justificativa para o cancelamento.

5.3) Para retificar as informações de: “Nº de Registro do Plano”, “Código do plano na operadora”, “Nº do contrato ou apólice”, e “Mês/Ano Início Período de Aplicação”, o comunicado deverá ser cancelado, conforme definido no item 5.2, e um novo comunicado deverá ser enviado.

---

TRATAMENTOS

Resumo das regras a serem aplicadas por id_comunicado e dt_inic_aplicacao:

• [pós IN 47] Excluir aviso de CANCELAMENTO e o comunicado original a ser cancelado

Totaliza avisos de cancelamento por ano.

rpc0 |> 
  group_by(ano = year(dt_inic_aplicacao)) |>
  summarise(cancelamentos = sum(lg_cancelamento),
            pct = round(cancelamentos/n()*100,3))

Exclui o aviso de CANCELAMENTO e o comunicado original a ser cancelado.

# Identifica cancelamentos
last.row <- nrow(rpc0)
rpc1 <- rpc0 |>
  # corrige se cancelamento tiver sido enviado antes da IN 47
  mutate(lg_cancelamento = if_else(lg_cancelamento == 1L & dt_envio >= dt.in47, 1L, 0L)) |>
  # marca comunicados a serem deletados
  arrange(id_comunicado, dt_inic_aplicacao, dt_envio) |>
  mutate(
    lg.delete = case_when(
      # quando o comunicado for anterior a um aviso de cancelamento
      row_number() != last.row
      & lead(id_comunicado) == id_comunicado
      & lead(dt_inic_aplicacao) == dt_inic_aplicacao
      & lead(lg_cancelamento == 1) ~ 1L,
      # quando for o próprio aviso de cancelamento
      lg_cancelamento == 1 ~ 1L,
      TRUE ~ 0L
    )
  ) |> 
  # exclui avisos de cancelamento e comunicados cancelados
  filter(lg.delete == 0L) |> select(-lg.delete, -lg_cancelamento)

remove(last.row)

rpc1 |> group_by(ano = year(dt_inic_aplicacao)) |> 
  summarise(envios = n(), 
            comunicados = n_distinct(id_comunicado, dt_inic_aplicacao),
            .groups = "drop") |> 
  mutate(envios.por.comunicado = round(envios/comunicados, 2))

---

Retificação

TRECHOS REPRODUZIDOS DO ANEXO II DA IN 13/2006

[pré IN 47]
5.3) Para retificar apenas o percentual de reajuste, a operadora deverá informar, via aplicativo, a diferença ou acréscimo de forma que o percentual final seja o que deveria ser originalmente enviado, mantendo as demais informações do comunicado original.

Nesse caso o percentual efetivamente aplicado ao comunicado deverá ser calculado de acordo com a seguinte fórmula:

PA = [(1 + PC) * (1 + PN)] - 1

onde:
PA é o percentual aplicado ao contrato
PC é o percentual inicialmente comunicado à ANS
PN é o percentual novo do comunicado de retificação

[pós IN 47]
5.1) Para retificar quaisquer informações do comunicado de reajuste definidas no Anexo I desta Instrução Normativa, com exceção de: “Nº de Registro do Plano”, “Código do plano na operadora”, “Nº do contrato ou apólice”, e “Mês/Ano Início Período de Aplicação”, a operadora deverá enviar um novo comunicado via RPC, de acordo com a Tabela 3 deste Anexo.

Tabela 3

Campo	Instrução
Nº de Registro do Plano	O mesmo do comunicado a ser retificado
Código do plano na operadora	O mesmo do comunicado a ser retificado
Nº do contrato ou apólice	O mesmo do comunicado a ser retificado
Mês/Ano Início Período da Aplicação	O mesmo do comunicado a ser retificado
Justificativa Técnica	(a) Preencher obrigatoriamente com a expressão “RETIFICAÇÃO DE REAJUSTE” (b)Justificativa para a retificação.

---

TRATAMENTOS

Resumo das regras a serem aplicadas por id_comunicado e dt_inic_aplicacao:

• [pós IN 47] Excluir comunicado original que foi substituído por uma retificação
  
• [pré IN 47] Calcula o reajuste efetivamente aplicado ao contrato, com base no original e sua retificação
  

rpc1 |> group_by(ano = year(dt_inic_aplicacao)) |>
  summarise(retificacoes = sum(lg_retificacao),
            pct = round(retificacoes/n()*100,1))

Marca comunicados de retificação e seus originais a serem alterados conforme o caso.

# Identifica retificações
rpc1 <- rpc1 |>
  # identifica comunicados a serem retificados
  filter(lg_retificacao == 1) |> 
  distinct(id_comunicado, dt_inic_aplicacao) |> 
  mutate(lg.alterar = 1L) |> 
  right_join(rpc1, by = c("id_comunicado", "dt_inic_aplicacao")) |> 
  mutate(
    # marca se retificação foi enviada antes ou depois da IN 47
    lg.in47 = if_else(lg_retificacao == 1L & dt_envio >= dt.in47, 1L, 0L)
  ) 
rpc1$lg.alterar[is.na(rpc1$lg.alterar)] <- 0L

Trata retificações aplicando as regras apropriadas para envios anteriores e posteriores à entrada em vigor da IN 47.

# Aplica retificações aos comunicados originais
rpc2 <- rpc1 |>
  filter(lg.alterar != 0L) |> # Trata apenas dos casos de retificação

  # marca a sequência (ordem) de envios do mais antigo para o mais recente
  arrange(id_comunicado, dt_inic_aplicacao, id_envio) |>
  group_by(id_comunicado, dt_inic_aplicacao) |>
  mutate(ord = row_number(),
         n.obs = n(),
         lg.in47 = sum(lg.in47)) |>
  ungroup() |>

  # quando houver alguma retificação pós IN47, vale o último comunicado enviado
  mutate(lg.delete = if_else(lg.in47 > 0 & ord != n.obs, 1L, 0L)) |>
  filter(lg.delete == 0L) |> select(-lg.delete) |>

  # quando não houver nenhuma retificação pós IN47, junta a retificação e o comunicado 
  # anterior pela fórmula de cálculo da IN
  # nota: pode haver mais de 1 retificação, mas sempre vai aplicar a última retificação sobre o 
  # primeiro comunicado enviado (comunicado original). Todos os outros comunicados serão 
  # desconsiderados.
  filter(ord == 1 | ord == n.obs) |> # filtra o comunicado original e a última retificação
  arrange(id_comunicado, dt_inic_aplicacao, ord) |>
  mutate(
    pct.i = percentual/100+1, # indexa o percentual para aplicar a fórmula de retificação
    lg.delete = if_else(lg.in47 == 0 & ord != n.obs, 1L, 0L), # marca o comunicado original
    
    # recalcula o percentual do último comunicado, juntando com o percentual do comunicado original
    percentual = if_else(
      lg.in47 == 0 & ord == n.obs                    # se for pré IN47 e for o último envio
      & row_number() != 1                            # se não for a primeira linha da tabela
      & lag(id_comunicado) == id_comunicado          # e a linha anterior for do mesmo comunicado
      & lag(dt_inic_aplicacao) == dt_inic_aplicacao, # na mesma data de aplicação
      ((lag(pct.i) * pct.i) - 1) * 100,              # aplica a fórmula da IN
      percentual                                     # se não, mantém o percentual inalterado
    )
  ) |>
  filter(lg.delete == 0L) |> 

  # acerta a ordem das colunas para ser a mesma do rpc1 e poder juntar as duas
  select(colnames(rpc1)) |>
  rbind(rpc1 |> filter(lg.alterar == 0L)) |>
  select(-lg_retificacao, -lg.in47, -lg.alterar)

---

Negociação

TRECHOS REPRODUZIDOS DO ANEXO II DA IN 13/2006

[pré IN 47]
1) Quando a negociação anual tenha ultrapassado o mês de aniversário do contrato:
1.1) Comunicar em até 30 dias do aniversário do contrato a manutenção da contraprestação pecuniária, por meio do RPC, de acordo com a tabela 1.

Tabela 1

Campo	Instrução
Mês/Ano Início Período da Aplicação	Mês/Ano do aniversário do contrato
Mês/Ano Final Período de Aplicação	Mês/Ano imediatamente anterior ao próximo aniversário do contrato
Percentual de Reajuste	0
Característica do Reajuste	Sem Reajuste
Justificativa Técnica	Preencher obrigatoriamente a expressão “EM NEGOCIAÇÃO”

Caso não seja aplicado reajuste ao longo dos 12 meses que sucederem a data de aniversário do contrato não deverá ser transmitido novo comunicado.

1.2) Após o término das negociações, caso seja aplicado algum reajuste (positivo ou negativo), a operadora deverá comunicá-lo em até 30 dias, de acordo com a tabela 2 deste Anexo.

Tabela 2

Campo	Cobrança não retroativa ao mês de aniversário	Cobrança retroativa ao mês de aniversário
Mês/Ano Início Período da Aplicação	Mês/Ano no qual o reajuste foi efetivamente aplicado	Mês/Ano do aniversário do contrato.
Mês/Ano Final Período de Aplicação	Mês/Ano imediatamente anterior ao próximo aniversário do contrato	Mês/Ano imediatamente anterior ao próximo aniversário do contrato
Justificativa Técnica	(a) Justificativa técnica; (b) data de aniversário do contrato;	(a) Justificativa técnica; (b) mês/ano em que a cobrança foi efetivamente iniciada; (c) informação de que será efetuada a cobrança retroativa acordada entre as partes.

De acordo com o § 2º do art. 2º para cada período de 12 meses deverá haver ao menos uma comunicação de reajuste (positivo ou negativo), revisão ou manutenção da contraprestação pecuniária.

[pós IN 47]
Comunicados “EM NEGOCIAÇÃO” não são mais considerados comunicados definitivos de reajuste.

---

TRATAMENTOS

Resumo das regras a serem aplicadas por id_comunicado:

• [pós IN 47] Excluir aviso de comunicado em atraso por NEGOCIACAO
  
• [pré IN 47] Excluir aviso de NEGOCIAÇÃO quando houver comunicados com aplicação anterior ao próximo aniversário do contrato

Nota: esse script de tratamento de comunicados de negociação deve ser aplicado sobre uma base que traga pelo menos 11 meses além da última data de interesse da consulta para que o programa possa eliminar os avisos de atraso no envio por negociação se houverem comunicados de reajuste posteriores referentes aos casos sem cobrança retroativa ao mês de aniversário.

rpc2 |> group_by(ano = year(dt_inic_aplicacao)) |>
  summarise(negoc = sum(lg_negociacao),
            pct = round(negoc/n()*100,1))

Marca avisos de comunicado em atraso por NEGOCIACAO e seus substitutos posteriores conforme o caso.

rpc2 <- rpc2 |> 
  # se tiver marcação de aviso de negociação, porém o percentual informado for diferente de zero,
  # o filtro dos termos usados no campo texto da justificativa falhou e precisa ser corrigido
  mutate(lg_negociacao = if_else(lg_negociacao == 1 & percentual == 0, 1, 0)) |> 
  # marca se algum aviso de negociacao foi enviado após IN 47
  mutate(lg.in47 = if_else(lg_negociacao == 1 & dt_envio >= dt.in47, 1, 0)) |> 
  # marca comunicados com avisos de negociação
  group_by(id_comunicado) |> 
  mutate(lg.alterar = if_else(sum(lg_negociacao) > 0, 1L, 0L)) |> 
  ungroup()

Note que não haviam avisos de negociação enviados após a IN 47 na base extraída - talvez esses comunicados tenham sido excluídos na extração da base RPC.

Trata avisos de comunicado em atraso por NEGOCIACAO aplicando as regras apropriadas para envios anteriores e posteriores à entrada em vigor da IN 47.

last.row <- nrow(rpc2)
rpc3 <- rpc2 |> 
  filter(lg.alterar != 0L) |> # Trata apenas dos casos de negociação
  
  # exclui avisos de negociacao enviados após IN 47
  filter(!(lg.in47 == 1L & lg_negociacao == 1L)) |> 
  
  # exclui avisos de negociacao enviados pré IN 47 que tenham comunicado definitivo posterior
  # com início de aplicação a menos de 12 meses do aviso de negociação
  arrange(id_comunicado, dt_inic_aplicacao, desc(lg_negociacao), id_envio) |> 
  filter(!( # Exclui a linha SE
    lg_negociacao == 1L                    # for aviso de negociação
    & lg.in47 == 0L                        # enviado antes da IN 47
    & row_number() != last.row             # não for a última linha da tabela
    & lead(id_comunicado) == id_comunicado # a próxima linha for do mesmo comunicado
    # e seu início de aplicação for em um intervalo inferior a 12 meses
    & interval(dt_inic_aplicacao, lead(dt_inic_aplicacao)) %/% months(1) < 12 
  )) |>   
  
  # acerta a ordem das colunas para juntar as bases
  select(colnames(rpc2)) |> 
  rbind(filter(rpc2, lg.alterar == 0L))

remove(last.row)

---

Adesão

Exclusivamente para contratos vigentes que permaneçam incompatíveis com a RN nº 195, de 2009, quando a definição do percentual de reajuste e do período de aplicação de um mesmo plano e contrato for diferenciada em função da data de adesão de seus beneficiários:

[pré IN 47]
A cada mês em que haja aniversário de adesão de beneficiários, a operadora deverá informar a variação positiva, negativa ou nula.

[pós IN 47]
A operadora deverá comunicar um percentual único e calculado como a média dos reajustes aplicados a cada mês em que houve aniversário de adesão de beneficiários ponderada pela quantidade de beneficiários em cada grupo de adesão, de acordo com a seguinte fórmula:

PF = [ (r1 x b1) + (r2 x b2) + … + (rn x bn) ] / QB

onde:
PF é o percentual final que deverá ser comunicado
QB é a quantidade total de beneficiários do contrato
r é o reajuste aplicado ao grupo de adesão
b é a quantidade de beneficiários do grupo de adesão
rn é o reajuste aplicado ao n-ésimo grupo de adesão
bn é a quantidade de beneficiários do n-ésimo grupo de adesão e n é a quantidade de grupos de adesão, limitada a 12.

---

TRATAMENTOS

Não cabe aplicação de tratamentos especiais para casos excepcionais de contratos não adaptados à RN nº 195 que apliquem reajustes diferenciados por data de adesão do beneficiário. Tanto antes quanto depois das alterações da IN DIPRO nº 47/2014 todos os comunicados que seguem essas regras devem ser incorporados na base de reajustes de planos coletivos conforme as instruções de envio e são compatíveis com os cálculos de reajuste médio ponderado pela quantidade de beneficiários.

---

Parcelado

Quando o reajuste for aplicado de forma parcelada (mais de um reajuste ao longo de um período de 12 meses). Lembrando que a RN nº 195 determina que nenhum contrato poderá receber qualquer variação positiva na contraprestação pecuniária em periodicidade inferior a doze meses, ressalvados os reajustes por variação de faixa etária e migração ou adaptação de contrato.

[pré IN 47]
Cada uma das parcelas deve ser comunicada em até 30 dias da sua aplicação. A operadora deverá informar o percentual de reajuste, o período de aplicação e justificativa.

As parcelas deverão ser calculadas de acordo com a seguinte fórmula:

PT = [(1+P1) x (1+P2) x … x (1+Pn)] - 1

Onde:
PT é o percentual total
P1 é a parcela referente ao 1º reajuste
P2 é a parcela referente ao 2º reajuste
Pn é a parcela referente ao n-ésimo reajuste

pós IN 47:
Informar, nos moldes do Anexo I desta IN, o percentual que reflita o reajuste total que será aplicado ao contrato após a aplicação de todas as parcelas, de acordo com a seguinte fórmula:

RT = [(1+P1) x (1+P2) x … x (1+Pn)] - 1

Onde:
RT é o percentual de reajuste total que será aplicado
P1 é a 1ª parcela do reajuste
P2 é a 2ª parcela do reajuste
Pn é a n-ésima parcela do reajuste e
n é a quantidade de parcelas, limitada a 12.

---

TRATAMENTOS

Não cabe aplicação de tratamentos especiais para casos de reajustes parcelados. Tanto antes quanto depois das alterações da IN DIPRO nº 47/2014 todos os comunicados que seguem essas regras devem ser incorporados na base de reajustes de planos coletivos conforme as instruções de envio e são compatíveis com os cálculos de reajuste médio ponderado pela quantidade de beneficiários.

---

Grava datasets

Prepara datasets para exportar em formato .csv

# RPS
rps <- fread("_datasets/vw_rps_cadop.csv") |> 
  lazy_dt() |> 
  rename_with(tolower) |> 
  select(id_plano, cd_plano, cd_operadora, tp_vigencia = vigencia_plano) |> 
  as_tibble()

# dataset modelo publicado no PDA
pda <- fread("_datasets/PDA_RPC_201501.csv") |> 
  lazy_dt() |> 
  rename_with(tolower) |> 
  as_tibble()

rpc.final <- select(rpc3, id_envio, benef_comunicado = benef, percentual) |> 
  inner_join(select(rpc, -c(benef_comunicado, percentual)), by = "id_envio") |> 
  select(-id_envio) |> 
  inner_join(rps, by = "id_plano") |> 
  # exclui o último ano da base (só foi usado para deduplicação de avisos de negociação 
  # de contratos com aniversário até dezembro do ano anterior)
  filter(dt_inic_aplicacao <= max(rpc$dt_inic_aplicacao) - years(1)) |> 
  select(colnames(pda))

# registra total de envios e comunicados por ano para controle
tt.ano.pre <- rpc0 |> 
  # exclui o último ano da base (só foi usado para deduplicação de avisos de negociação 
  # de contratos com aniversário até dezembro do ano anterior)
  filter(dt_inic_aplicacao <= max(rpc$dt_inic_aplicacao) - years(1)) |> 
  group_by(ano = year(dt_inic_aplicacao)) |> 
  summarise(envios = n(), 
            comunicados = n_distinct(id_comunicado), 
            .groups = "drop")

tt.ano.pos <- rpc.final |> 
  group_by(ano = year(dt_inic_aplicacao)) |> 
  summarise(envios = n(), 
            comunicados = n_distinct(id_plano, id_contrato),
            .groups = "drop") 

tt.ano <- tt.ano.pre |>
  inner_join(tt.ano.pos, by = c("ano"), suffix = c(".pre",".pos")) |> 
  rbind(fread("total_por_ano.csv"))

remove(tt.ano.pre, tt.ano.pos)

Exporta datasets

fwrite(rpc.final |> select(colnames(pda)), 
       paste0("_datasets_PDA/rpc_pda ", 
              format(max(rpc.final$dt_inic_aplicacao), "%Y"), ".csv"))

fwrite(tt.ano, "total_por_ano.csv")