library(readtext)
library(stringr)
library(dplyr)
library(quanteda)
library(topicmodels)
library(ggplot2)

1 Introducción

La Comisión para el Esclarecimiento de la Verdad, la Convivencia y la No Repetición realizó más de 14000 entrevistas, de las cuales transcribió, anonimizó y publicó más de 2230. Este taller trabaja con 39 de ellas, seleccionadas porque siguen las reglas de transcripción de la Comisión y tienen un índice de legibilidad adecuado. En conjunto, las entrevistas suman 1413 páginas; y no se sabe, de antemano, de qué tratan. Para responder esa pregunta sin leerlas una por una, se recurre a un análisis cuantitativo de texto: en lugar de interpretar cada relato, se cuenta qué palabras aparecen y cuáles tienden a aparecer juntas. Como plantean López-Torrijos y Tellez (2026), “La idea es partir de las palabras y llegar al tema” (p. 397). El supuesto es que las palabras de un mismo campo semántico se acompañan: por ejemplo, quien relata un desplazamiento probablemente menciona la finca, la vereda y la salida del pueblo.

Para identificar esos grupos de palabras se utiliza la técnica estadística bayesiana Latent Dirichlet Allocation (LDA). LDA supone que existe un número fijo de K temas, que cada documento es una mezcla de ellos en distintas proporciones y que cada tema es una distribución de probabilidad sobre las palabras (Blei et al., 2003). A través de la técnica, se asigna al azar un tema a cada palabra y se corrigen esas asignaciones iterativamente hasta estabilizarse. Al final, el modelo entrega dos resultados: la distribución tema-palabra, que indica qué palabras caracterizan cada tema; y la distribución documento-tema, que indica cuánto pesa cada tema en cada documento (López-Torrijos y Tellez, 2026). Sin embargo, la técnica no nombra los temas. Benoit (2020) advierte que los tópicos salen sin etiqueta y que “a human must assign these labels” a partir de sus palabras más asociadas. Advierte también que el número de tópicos debe fijarse de antemano.

Como el modelo solo ve conteos de palabras, la preparación del texto es tan importante como la estimación (López-Torrijos y Tellez, 2026). Cada intervención de los testimoniantes, separada de las preguntas de los entrevistadores, se trata como un documento. Luego, el vocabulario se depura por rondas: se retiran marcas de transcripción; etiquetas de anonimización; muletillas; verbos y verboides; artículos; adverbios y demás palabras que no aportan al tema. Cada ronda se decidió a partir de los resultados de la anterior, en el ciclo de mejoras que pide el taller. Sobre ese vocabulario se comparan dos estrategias: lda1, estimado con todo el vocabulario depurado, y lda2, estimado solo con los términos de mayor peso tf-idf, que favorece las palabras propias de pocas entrevistas y castiga las que usan todas (López-Torrijos y Tellez, 2026). Si ambas llegan a temas semejantes, hay más razones para confiar en ellos; si no, la estructura temática de los testimonios resulta frágil.

2 Parámetros del análisis

Todas las decisiones que se ajustaron durante el ciclo de mejoras se enlistan a continuación, para que cada iteración se haga cambiando un solo bloque.

n_topicos <- 6           # número de tópicos (k)
cantidad <- 30           # palabras por tópico en tablas y gráficos
lambda <- 0.6            # peso de la relevancia en lda1
lambda2 <- 0.6           # peso de la relevancia en lda2
min_frec <- 5            # frecuencia mínima de un término en todo el corpus
min_entrevistas <- 3     # número mínimo de entrevistas en que debe figurar un término (lda2)
min_tokens_turno <- 5    # número mínimo de palabras de una intervención para entrar al modelo
semilla1 <- 1515         # semilla de lda1 
semilla2 <- 1526         # semilla de lda2
semilla_alt <- 2026      # semilla alternativa para verificar la estabilidad de lda1

knitr::kable(data.frame(
  Parámetro = c("n_topicos", "cantidad", "lambda", "lambda2", "min_frec",
                "min_entrevistas", "min_tokens_turno", "semilla_alt"),
  Valor = as.character(c(n_topicos, cantidad, lambda, lambda2, min_frec, min_entrevistas,
                         min_tokens_turno, semilla_alt)),
  Uso = c("Tópicos estimados en ambos modelos", "Palabras mostradas por tópico",
          "Relevancia en lda1", "Relevancia en lda2", "Recorte de términos raros",
          "Recorte de términos presentes en muy pocas entrevistas (lda2)",
          "Recorte de intervenciones muy cortas",
          "Prueba de estabilidad de lda1")),
  caption = "Parámetros finales del análisis")
Parámetros finales del análisis
Parámetro Valor Uso
n_topicos 6 Tópicos estimados en ambos modelos
cantidad 30 Palabras mostradas por tópico
lambda 0.6 Relevancia en lda1
lambda2 0.6 Relevancia en lda2
min_frec 5 Recorte de términos raros
min_entrevistas 3 Recorte de términos presentes en muy pocas entrevistas (lda2)
min_tokens_turno 5 Recorte de intervenciones muy cortas
semilla_alt 2026 Prueba de estabilidad de lda1

2.1 Funciones auxiliares para el análisis

Este bloque no genera resultados por sí mismo: define seis funciones auxiliares que se emplean más adelante en el análisis de ambos modelos (lda1 y lda2). Se agrupan en un solo lugar para evitar repetir el mismo procedimiento en cada modelo y para que cada cálculo se pueda revisar de manera independiente.

# Relevancia de cada término en cada tópico (Sievert y Shirley, 2014)
relevancia_lambda <- function(b, pw, lambda) {
  lambda * log(b) + (1 - lambda) * log(sweep(b, 2, pw, "/"))
}

# Primeros n términos de cada tópico según la relevancia: matriz de n filas y k columnas
top_terminos <- function(b, pw, lambda, n) {
  rel <- relevancia_lambda(b, pw, lambda)
  sapply(seq_len(nrow(rel)), function(k) head(names(sort(rel[k, ], decreasing = TRUE)), n))
}

# Diez primeras palabras con lambda = 1, 0.6 y 0.3, y núcleo común a los tres rankings
tabla_lambda <- function(b, pw, etiquetas, n, lambdas = c(1, 0.6, 0.3), n_mostrar = 10) {
  rankings <- lapply(lambdas, function(l) top_terminos(b, pw, l, n))
  tabla <- data.frame(Tópico = etiquetas)
  for (i in seq_along(lambdas)) {
    tabla[[paste("lambda =", lambdas[i])]] <-
      apply(head(rankings[[i]], n_mostrar), 2, paste, collapse = ", ")
  }
  tabla$Núcleo <- sapply(seq_along(etiquetas), function(k)
    paste(Reduce(intersect, lapply(rankings, function(m) m[, k])), collapse = ", "))
  tabla
}

# Número de palabras en común entre los tópicos de dos modelos (filas: a; columnas: b)
coincidencias <- function(top_a, top_b) {
  sapply(seq_len(ncol(top_b)), function(j)
    sapply(seq_len(ncol(top_a)), function(i) length(intersect(top_a[, i], top_b[, j]))))
}

# Proporción de las palabras del top que se repiten en más de un tópico del mismo modelo
proporcion_compartidas <- function(top) {
  todas <- as.vector(top)
  mean(todas %in% todas[duplicated(todas)])
}

# Entrevista donde más pesa cada tópico y porcentaje de su presencia total en ella
concentracion <- function(th_doc, etiquetas) {
  data.frame(Tópico = etiquetas,
             Entrevista = rownames(th_doc)[apply(th_doc, 2, which.max)],
             Porcentaje = round(100 * apply(th_doc, 2, max) / colSums(th_doc), 1))
}

3 Carga de documentos

readtext() lee cada PDF como una fila con su nombre y su texto. Teniendo en cuenta que el enunciado nombra la carpeta con guion bajo y el chunk de las instrucciones no, reescribimos el código para que se acepten ambas versiones del nombre, de tal manera que el documento se genere en cualquier computador.

La revisión de las transcripciones mostró que los transcriptores anotan entre corchetes las partes inaudibles, dudosas o interrumpidas, casi siempre con el minuto del audio ([INAD: 01:04], [DUD: 05:03], [INTERRUP], [RISAS], [PAUSA: 18:36]); y que algunos archivos incluyen códigos de audio (AUDIO 068-AA-00001-44794). Como no son palabras del testimoniante, se eliminan antes de segmentar.

candidatas <- c("Transcripciones seleccionadas 3", "Transcripciones_seleccionadas 3")
ruta <- candidatas[dir.exists(candidatas)][1]
if (is.na(ruta)) stop("No se encontró la carpeta de transcripciones junto al archivo Rmd.")

lista_pdf <- dir(path = ruta, recursive = TRUE, pattern = "\\.pdf$", ignore.case = TRUE)
texto_unido <- readtext(file.path(ruta, lista_pdf))
names(texto_unido)[names(texto_unido) == "text"] <- "texto"
texto_unido$doc <- lista_pdf
texto_unido$id <- seq_along(lista_pdf)

# Anotaciones de transcripción entre corchetes y códigos de audio
texto_unido$texto <- texto_unido$texto %>%
  str_remove_all("\\[[^\\]]*\\]") %>%
  str_remove_all("AUDIO\\s+[0-9]{3}-[A-Z]{2}-[0-9-]+")

Se leyeron 39 transcripciones. Para descartar archivos vacíos o escaneados, se revisa el número de caracteres por entrevista:

nrow(texto_unido)
## [1] 39
summary(nchar(texto_unido$texto))
##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##   23727   58060   75452   91425  113610  280301

Antes de segmentar, se revisan los rótulos de hablante. Además de ENT: y TEST:, aparecen un segundo entrevistador (ENT2:, ENT 2:), un segundo testimoniante (TEST2:) y errores de digitación (TES:, TETS:, TESET:, ETN:). El patrón de las instrucciones del taller no los reconoce, de modo que esos turnos quedarían unidos al turno anterior; por eso, antes de segmentar, se unifican en los rótulos TEST: y ENT:.

rotulos <- unlist(str_extract_all(texto_unido$texto, "\\b[A-ZÁÉÍÓÚÑ]{2,}[0-9]*:"))
head(sort(table(rotulos), decreasing = TRUE), 10)
## rotulos
##       ENT:      TEST:     TEST2:      ENT2:      INAD:      FARC:       TES: 
##       8345       8323         29         19          3          2          2 
##      TETS:     AUDIO: CONOCIDO3: 
##          2          1          1

4 Creación del Corpus

Primero se unifican los rótulos: las intervenciones del segundo testimoniante y las variantes con errores de digitación pasan a TEST:, y las del segundo entrevistador y sus variantes pasan a ENT:. Luego, corpus_segment() divide cada transcripción según un patrón, que en este caso es el rótulo de quien habla. Cada intervención de un testimoniante se convierte en un documento, y se descartan las de los entrevistadores y el encabezado previo al primer rótulo.

texto_unido$texto <- texto_unido$texto %>%
  str_replace_all("\\b(TEST?[0-9]*|TETS|TESET):", "TEST:") %>%
  str_replace_all("\\b(ENT ?[0-9]*|ETN):", "ENT:")

mi_corpus <- corpus(texto_unido, text_field = "texto")
corpus_segmentado <- corpus_segment(mi_corpus,
                                    pattern = "\\bTEST:|\\bENT:",
                                    pattern_position = "before",
                                    valuetype = "regex",
                                    case_insensitive = FALSE)
table(docvars(corpus_segmentado, "pattern"))   # turnos por hablante
## 
##  ENT: TEST: 
##  8367  8357
corpus_testimoniante <- corpus_subset(corpus_segmentado, str_detect(pattern, "TEST:"))
meta(corpus_testimoniante, "Fuente") <- paste("Comisión para el Esclarecimiento de la Verdad,",
                                              "la Convivencia y la no Repetición.")

Se identifican 8357 intervenciones de testimoniantes, provenientes de 39 entrevistas.

5 Tokenización

Las transcripciones están anonimizadas con etiquetas en mayúscula, muchas de ellas numeradas (ej. LUGAR1, CONOCIDO7, RANGO1, FARC16, ORGANIZACIÓN PÚBLICA, UNIDAD MILITAR). Si se pasaran a minúsculas, se mezclarían con el vocabulario real y crearían falsos temas. Por ello, se eliminan antes de pasar a minúsculas. Además, se conservan las siglas reales (FARC, ELN, EPL, AUC, M-19, JEP) y las mismas palabras cuando el testimoniante las usa en minúscula.

Antes de pasar a minúsculas se protegen dos tipos de palabras:

  • Expresiones de varias palabras. Con tokens_compound(), se unen en un solo término las expresiones que perderían su sentido si se separaran o si se les quitaran las palabras vacías, como “proceso de paz”, “fuerza pública”, “derechos humanos” o “falsos positivos”. Se incluyen también lugares y personajes públicos que se mencionan con nombre y apellido (Montes de María, Carlos Castaño). Las expresiones se unen antes de retirar las palabras vacías, porque de lo contrario ya no existirían en los tokens. La lista salió de contar su frecuencia en las intervenciones.

  • “Estado” como institución. La lista de palabras vacías incluye “estado” porque es una forma del verbo estar (“había estado”). Pero en los testimonios “Estado”, con mayúscula, aparece 276 veces como institución (“agentes del Estado”). Para no perderla, esa forma se reemplaza por el término “estado (institución)” antes de pasar a minúsculas.

Luego, se eliminan puntuación, números y símbolos; todas las palabras pasan a minúsculas; y se retiran las palabras vacías.

A esto se suma el vector retirar, que se amplió por rondas: en cada una se agregaron las palabras que aparecían en todos los tópicos sin aportar sentido, como muletillas; verbos de apoyo (“hacer”, “dar”); adverbios de lugar y tiempo; y los pronombres que stopwords("es") no incluye. Los adverbios terminados en -mente se retiran con un patrón que exige al menos cuatro letras antes de la terminación, para no eliminar el sustantivo “mente”.

A diferencia del código de las instrucciones, retirar se aplica después del paso a singular: si se aplicara antes, al retirar “cosa” o “vez” desaparecería el singular y “cosas” o “veces” ya no tendrían con qué unirse, así que sobrevivirían en los tópicos. También se eliminan las contracciones con apóstrofo propias del habla oral (“pa’llá”, “pa’l”, “por’ai”), que equivalen a palabras vacías. En la última ronda, se retiraron “rodrigo” y “leonardo”: cada uno aparece en solo dos entrevistas y se refiere a personas de una historia particular, de modo que marcan un relato y no un tema compartido.

En una ronda final se retiraron las formas verbales que no se relacionan con el conflicto armado, con las experiencias de las víctimas ni con el contenido de las entrevistas. Para ello, se revisó todo el vocabulario que queda tras la limpieza y se clasificó cada verbo, con sus conjugaciones, participios, infinitivos y gerundios:

  • Se conservan los verbos de violencia y victimización (matar, secuestrar, desaparecer, amenazar, torturar, robar, quemar); de desplazamiento y despojo (huir, desplazar, sacar, quitar, abandonar); de la vida en los grupos armados (ingresar, entrenar, combatir, patrullar, desmovilizar); de justicia y memoria (denunciar, declarar, condenar, perdonar); y de la trayectoria de vida de los testimoniantes (vivir, nacer, crecer, estudiar, aprender, trabajar, sembrar, convivir, sufrir, buscar, perder).

  • Se retiran los verbos de uso general, que aparecen en cualquier relato: de movimiento (llegar, ir, venir, salir, entrar, volver); de inicio y fin (empezar, comenzar, acabar, terminar); de habla y percepción (hablar, decir, contar, mirar, ver, escuchar); de opinión y conocimiento (pensar, creer, saber, conocer, entender); y auxiliares o de apoyo (hacer, dar, poner, tomar, quedar, poder, querer, deber), entre otros. También se retiraron “hecho” y “hechos”, que el paso a singular une en una sola forma.

Por la misma razón, se retiraron las referencias al tiempo (día, hora, minuto, semana, mes, año, noche, época, días de la semana y meses), que acompañan a todos los relatos sin distinguir sus temas. La lista completa está en el bloque de código siguiente, plegado para no alargar el documento; se despliega con el botón Code.

# Formas verbales sin relación con el conflicto, agrupadas por verbo, y referencias al tiempo
verbos_sin_relacion <- c(
    "abierta", "abierto", "abre", "abren", "abriendo", "abrieron", "abrimos", "abrir",
    "abrió", "abrí", "abría",
    "acaba", "acababa", "acabado", "acabamos", "acaban", "acabando", "acabar", "acabaron",
    "acabe", "acabo", "acabé", "acabó",
    "aceptaba", "aceptaban", "aceptar", "aceptarlo", "acepté", "aceptó",
    "acompaña", "acompañar", "acompañara", "acompañó",
    "acordaba", "acordarme", "acordé", "acuerde",
    "acostumbra", "acostumbrada", "acostumbrado", "acostumbrando", "acostumbré",
    "acostumbró",
    "agarrado", "agarramos", "agarran", "agarrar", "agarrarlo", "agarraron", "agarró",
    "alcance", "alcancé", "alcanza", "alcanzaba", "alcanzaban", "alcanzamos", "alcanzaron",
    "alcanzó",
    "anda", "andaba", "andaban", "andado", "andamos", "andan", "andando", "andar", "ando",
    "anduve", "andábamos",
    "aportar", "aporte",
    "arranca", "arrancaba", "arrancamos", "arrancar", "arranqué",
    "arreglada", "arreglar", "arreglo",
    "avance", "avanzando", "avanzar",
    "bajaba", "bajaban", "bajamos", "bajando", "bajar", "bajarlo", "bajaron", "baje",
    "bajo", "bajábamos", "bajé", "bajó",
    "brinca",
    "cae", "caen", "caer", "caiga", "caigo", "cayendo", "cayeron", "cayó", "caí", "caía",
    "caído",
    "cambia", "cambiaba", "cambiado", "cambian", "cambiando", "cambiar", "cambiaron",
    "cambie", "cambié", "cambió",
    "caminaba", "caminada", "caminando", "caminar", "camine",
    "carga", "cargaba", "cargaban", "cargada", "cargado", "cargan", "cargando", "cargar",
    "cargue", "cargábamos",
    "cerrado", "cerraron", "cerró", "cierra",
    "cocinaba", "cocinar",
    "coge", "cogen", "coger", "cogerlo", "cogido", "cogiendo", "cogieran", "cogieron",
    "cogimos", "cogió", "cogí", "cogía", "cogíamos", "cogían", "coja", "cojan", "cojo",
    "colocaban", "colocan", "colocar", "colocaron",
    "comentaba", "comentado", "comentar", "comento", "comenté",
    "comencé", "comenzaba", "comenzaban", "comenzamos", "comenzando", "comenzar",
    "comenzaron", "comienza", "comienzan", "comienzo",
    "coma", "come", "comen", "comer", "comido", "comimos", "comí", "comía", "comíamos",
    "comían",
    "conoce", "conocen", "conocer", "conocerlo", "conocida", "conocido", "conociendo",
    "conociera", "conocimos", "conoció", "conocí", "conocía", "conocíamos", "conocían",
    "conozca", "conozco",
    "conseguido", "conseguimos", "conseguir", "conseguí", "conseguía", "conseguían",
    "consigue", "consiguió",
    "contaban", "contada", "contado", "contando", "contarle", "contaron", "conté",
    "cuentan",
    "contesto", "contestó",
    "coordinaba", "coordinaban", "coordinado",
    "corra", "corre", "correr", "corriendo", "corrí", "corría", "corrían",
    "crea", "cree", "creemos", "creen", "creer", "creí", "creía", "creían",
    "cumple", "cumplen", "cumplido", "cumpliendo", "cumpliera", "cumplir", "cumplió",
    "cumplí", "cumplía", "cumplíamos", "cumplían",
    "daban", "dado", "damos", "dando", "darle", "darme", "darnos", "den", "diera",
    "dieran", "doy", "dábamos",
    "debemos", "deber", "debería", "deberíamos", "deberían", "debido", "debiendo", "debió",
    "debo", "debíamos", "debían",
    "decimo", "decirme", "decirte", "decíamos", "diciendo", "digan", "dijimos", "diría",
    "dedica", "dedicaban", "dedicada", "dedicaron", "dediqué",
    "deja", "dejaba", "dejaban", "dejado", "dejamos", "dejan", "dejando", "dejar",
    "dejara", "dejaran", "dejarle", "dejarlo", "dejaron", "dejarse", "deje", "dejen",
    "dejo", "dejábamos", "dejé", "dejó",
    "demora", "demoramos", "demoraron", "demoré", "demoró",
    "descansaba", "descansar", "descanso",
    "devolvieron", "devolvió", "devolvían", "devuelvo",
    "dormida", "dormido", "dormir", "dormí", "dormía", "dormíamos", "dormían", "duerme",
    "durmiendo",
    "dura", "duraba", "duraban", "duramos", "durar", "dure", "duro", "duré", "duró",
    "echa", "echaba", "echaban", "echamos", "echan", "echando", "echar", "echarle",
    "echaron", "eche", "echo", "eché", "echó",
    "empecé", "empezaba", "empezaban", "empezamos", "empezando", "empezar", "empezábamos",
    "empezó", "empieza", "empiezan", "empiezo",
    "encarga", "encargaba", "encargaban", "encargada", "encargado", "encargan", "encargo",
    "entender", "entendido", "entendió", "entendí", "entendía", "entendíamos", "entendían",
    "entra", "entraba", "entraban", "entrado", "entramos", "entran", "entrando", "entrar",
    "entraran", "entraron", "entro", "entré", "entró",
    "escribiendo", "escribir", "escribí", "escrito",
    "escucha", "escuchaba", "escuchaban", "escuchado", "escuchamos", "escuchan",
    "escuchando", "escuchar", "escuche", "escucho", "escuché", "escuchó",
    "espera", "esperaba", "esperaban", "esperando", "esperar", "espere", "esperemos",
    "espero", "esperé",
    "existe", "existen", "existir", "existía", "existían",
    "explicaba", "explicaban", "explican", "explicando", "explicar", "explicarle",
    "explicaron", "explico", "explicó", "expliqué",
    "falta", "faltaba", "faltaban", "faltó",
    "fijo",
    "formaba", "formado", "formamos", "formando", "formar", "formaron", "formarse",
    "formo", "formó",
    "gusta", "gustaba", "gustaban", "gustado", "gustan", "gustaría", "gusto", "gustó",
    "habla", "hablaba", "hablaban", "hablado", "hablamo", "hablan", "hablando", "hablara",
    "hablarle", "hablarme", "hablaron", "hable", "hablemos", "hablo", "hablábamos",
    "hablé", "habló",
    "hacerla", "hacerle", "hacerlo", "hacerme", "hacernos", "hacerse", "haciéndole",
    "haciéndose", "hacíamos", "hagamos", "hicieran",
    "imagina", "imaginaba",
    "importa", "importaba",
    "interesa", "interesaba", "interesado",
    "irme", "irnos", "irse", "vayamos", "vayan", "váyase", "yendo",
    "juega", "juego", "jugaba", "jugada", "jugando", "jugar", "jugábamos", "jugó",
    "lea", "lee", "leer", "leo", "leyendo", "leía", "leían",
    "levanta", "levantaba", "levantamos", "levantar", "levanté", "levantó",
    "llama", "llamaba", "llamaban", "llamada", "llamado", "llamamos", "llaman", "llamando",
    "llamar", "llamara", "llamarlo", "llamaron", "llamarse", "llame", "llamen", "llamo",
    "llamábamos", "llamé", "llamó",
    "llega", "llegaba", "llegado", "llegamos", "llegan", "llegando", "llegar", "llegara",
    "llegaran", "llegarle", "llegaron", "llego", "llegue", "lleguen", "llegué",
    "llegábamos", "llegó",
    "logra", "lograba", "lograban", "logrado", "logramos", "lograr", "lograron", "logro",
    "logré", "logró",
    "manda", "mandaba", "mandaban", "mandado", "mandan", "mandando", "mandar", "mandara",
    "mandaran", "mandarle", "mandaron", "mande", "manden", "mandé", "mandó",
    "maneja", "manejaba", "manejaban", "manejan", "manejando", "manejar", "manejo",
    "manejábamos", "manejó",
    "mantener", "mantenido", "mantenía", "manteníamos", "mantenían", "mantiene",
    "meta", "metan", "mete", "metemos", "meten", "meter", "meterle", "meterme", "meternos",
    "meterse", "metida", "metido", "metiendo", "metiera", "metieran", "metieron",
    "metimos", "metió", "meto", "metí", "metía", "metíamos", "metían",
    "miraba", "miraban", "mirada", "miramos", "miran", "mirando", "mirar", "miren", "miro",
    "mirábamos", "miré", "miró",
    "montaba", "montado", "montamos", "montar", "montaron", "montó",
    "mostrar",
    "mover", "moverse", "movimos", "movía", "movían", "mueve",
    "necesita", "necesitaba", "necesitaban", "necesitamos", "necesitan", "necesiten",
    "necesito", "necesitábamos",
    "nota",
    "ocupado", "ocupar",
    "ocurre", "ocurrió",
    "olvida", "olvidaba", "olvidado", "olvidé", "olvidó",
    "oye", "oyó",
    "paraba", "paraban", "parado", "paran", "parar", "pararon", "pararse", "pare",
    "paremos", "paré", "paró",
    "parecer", "parecida", "parecido", "pareció", "parecía",
    "pasa", "pasaba", "pasaban", "pasada", "pasado", "pasamos", "pasan", "pasando",
    "pasar", "pasara", "pasaran", "pasaron", "pasaría", "pase", "paso", "pasábamos",
    "pasé", "pasó",
    "pedido", "pedimos", "pedir", "pedirle", "pedí", "pedía", "pedíamos", "pedían", "pida",
    "pide", "piden", "pidiendo", "pidieron", "pidió", "pido",
    "pensaba", "pensaban", "pensado", "pensamos", "pensando", "pensar", "pensara",
    "pensaron", "pensó", "piensa", "piensan", "piense",
    "podamos", "poderlo", "poderse", "podido", "podría", "pude", "pudiera", "pudieran",
    "pudieron", "pudimos", "pueda", "puedan", "puedo",
    "pone", "ponemos", "ponen", "poner", "ponerla", "ponerle", "ponerlo", "ponerme",
    "ponernos", "ponerse", "ponga", "pongan", "pongo", "poniendo", "ponía", "poníamos",
    "ponían", "puse", "pusiera", "pusieron", "pusimos", "puso",
    "preguntaba", "preguntaban", "preguntado", "preguntan", "preguntando", "preguntar",
    "preguntarle", "preguntarme", "preguntaron", "pregunte", "pregunto", "pregunté",
    "prepara", "preparaba", "preparaban", "preparada", "preparado", "preparando",
    "presenta", "presentaba", "presentaban", "presentar", "presentaron",
    "presenté", "presentó",
    "presta", "prestaba", "prestaban", "prestado", "prestando", "prestar", "prestarle",
    "presté",
    "queda", "quedaba", "quedaban", "quedado", "quedamos", "quedan", "quedando", "quedar",
    "quedara", "quedarme", "quedaron", "quedarse", "quede", "quedo", "quedábamos", "quedé",
    "quedó",
    "queremos", "querer", "querido", "queríamos", "querían", "quiera", "quieran",
    "quieren", "quise", "quisiera", "quisieran", "quisieron", "quiso",
    "rancha", "ranchar",
    "recibe", "recibido", "recibiendo", "recibieron", "recibir", "recibió", "recibí",
    "recibía", "recibíamos", "recibían",
    "recoge", "recogen", "recoger", "recogerlo", "recogido", "recogiendo", "recogieron",
    "recogió", "recogía", "recogían", "recoja",
    "recordar", "recuerde",
    "regresa", "regresamos", "regresar", "regresarme", "regresaron", "regresé", "regresó",
    "responde", "responder", "respondo", "respondía",
    "resultado", "resultó",
    "retiraba", "retirada", "retirado", "retirar", "retiro", "retiré",
    "sabido", "sabiendo", "sabría", "sabíamos", "sabían", "sepa", "supe", "supiera",
    "supieron", "supo",
    "sale", "salen", "salga", "salgan", "salgo", "salido", "saliendo", "saliera",
    "salieron", "salimos", "salir", "salirme", "salirse", "salió", "salí", "salía",
    "salíamos", "salían",
    "salto",
    "seguida", "seguido", "seguimos", "seguir", "seguí", "seguía", "seguíamos", "seguían",
    "siga", "sigan", "sigo", "siguen", "siguieron",
    "sentamos", "sentido", "sentimos", "sentir", "sentí", "sentía", "sentían", "sienta",
    "siente", "sienten", "siento", "sintieron", "sintió",
    "servido", "servir", "servía", "servían", "sirve", "sirviendo", "sirvió", "sirvo",
    "sonaba", "sonar", "sonó", "suena",
    "suba", "sube", "subido", "subiendo", "subieron", "subimos", "subir", "subió", "subo",
    "subí", "subía", "subían",
    "sucede", "suceder", "sucedido", "sucedió", "sucedía",
    "tenerla", "tenerlo",
    "termina", "terminaba", "terminado", "terminamos", "terminando", "terminar",
    "terminaron", "terminé", "terminó",
    "toca", "tocaba", "tocado", "tocar", "toco", "tocó", "toque", "toqué",
    "tomaba", "tomaban", "tomado", "tomamos", "toman", "tomando", "tomar", "tomara",
    "tomarnos", "tomaron", "tomarse", "tome", "tomen", "tomo", "tomé", "tomó",
    "trae", "traen", "traer", "traiga", "traigo", "traje", "trajeron", "trajo", "traía",
    "traíamos", "traían", "traído",
    "trata", "trataba", "trataban", "tratado", "tratamos", "tratan", "tratando", "tratar",
    "trato", "traté", "trató",
    "usa", "usaban", "usar", "uso",
    "utiliza", "utilizaba", "utilizaban", "utilizado", "utilizamos", "utilizan",
    "utilizar", "utilizaron", "utilizábamos", "utilizó",
    "venga", "vengan", "vengo", "venido", "venimos", "venirme", "venirnos", "venirse",
    "venía", "veníamos", "venían", "vienen", "viniera", "vinieran", "vinieron", "vinimos",
    "vemos", "ven", "veo", "verla", "verlo", "ves", "veíamos", "veían", "viendo", "viera",
    "vieran", "vieron", "vimos",
    "visitaba", "visitar", "visitarme", "visitó",
    "volver", "volviendo", "volvieron", "volvimos", "volvió", "volví", "volvía", "volvían",
    "vuelto", "vuelva", "vuelvan", "vuelve", "vuelven", "vuelvo",
    # otros verbos generales
    "abrazaba", "accionar", "acercó", "acerqué", "acogido", "acogió", "acostar", "acosté",
    "actuar", "adelantado", "administrar", "agradecido", "alimentar", "almorzar",
    "amanecer", "amaneció", "analizar", "aparecen", "aparecer", "aparecieron", "apareció",
    "aparecía", "aparecían", "aplicaban", "aplicar", "aplicó", "apretar", "aprovechar",
    "aprovecharon", "aprovechó", "ascendiendo", "asegurar", "asomó", "asumir", "atender",
    "atendieron", "atendía", "atendían", "atrevía", "autorizado", "averiguar", "bailar",
    "bailábamos", "barrer", "bañarse", "bañábamos", "beber", "beneficiado", "borrar",
    "bía", "bían", "cansada", "cansado", "cantaba", "cantar", "causaba", "causó", "citan",
    "compartir", "compartía", "comprometido", "comunicaba", "comunicado", "comunicar",
    "confiar", "conformado", "conformando", "conformar", "conformaron", "conformó",
    "consigan", "consiguiera", "construimos", "construir", "consultar", "continuar",
    "convencer", "convencerlo", "convencido", "convenciendo", "convierte", "convirtió",
    "copar", "copiar", "cortar", "creada", "creado", "crear", "crearon", "creó", "cruzado",
    "cruzando", "cruzar", "cuadraba", "cuadraban", "cuadramos", "cuadrando", "cuadrar",
    "cuadraron", "cualificado", "cubrir", "dada", "darse", "dañar", "decidido",
    "decidieron", "decidimos", "decidió", "decidía", "definir", "dentrar", "dependiendo",
    "dependía", "desarrollar", "descubrieron", "descubrir", "descubrían", "dijeran",
    "diré", "disciplinado", "distinguía", "distribuyó", "distribuía", "distribuían",
    "dividimos", "dividir", "dividía", "documentado", "dotan", "ejercer", "ejercía",
    "empeñada", "enfermé", "enfocado", "enredado", "enteraba", "enteré", "entiendan",
    "entrabamos", "enviaba", "enviaban", "enviar", "enviaron", "envían", "escoger",
    "estarme", "estarse", "evitar", "exigir", "exigía", "exigían", "expresaba", "expresar",
    "falló", "fortalecer", "fortalecido", "fortaleciendo", "fortaleció", "funcionaba",
    "funcionó", "ganaba", "ganaban", "ganamos", "ganan", "ganando", "ganar", "ganarme",
    "ganarse", "gané", "ganó", "gastaba", "generaba", "grabado", "gritar", "guardaba",
    "guardada", "guardado", "guardar", "guardaron", "guindar", "habemos", "haberme",
    "haberse", "haigan", "hiciste", "ida", "identificaba", "identificado", "identificar",
    "impactó", "incluido", "indisciplinado", "informaba", "informado", "informando",
    "informar", "informó", "iniciar", "inicié", "inició", "insistiendo", "intentaba",
    "intentó", "internado", "inventó", "invitaban", "invitaron", "invitó", "irte",
    "irán", "joden", "joder", "jodido", "jodiendo", "jodió", "jurado", "lanzar", "lavar",
    "legalizaba", "ligado", "limitaba", "llenaba", "llenando", "llenar", "llenó", "mamé",
    "manchaba", "marcado", "marcó", "medir", "mejorar", "mencionar", "mentir", "mirá",
    "métase", "negar", "negarlo", "nombraban", "nombrado", "nombran", "nombrar",
    "nombraron", "partir", "pasear", "permitido", "permitió", "permitía", "permitían",
    "pesaba", "pesado", "planificar", "podrido", "pongamos", "prefería", "premeditado",
    "prendió", "prendía", "preocupaba", "preocupado", "producir", "póngase", "recomendó",
    "recomiendo", "recorrido", "reflejado", "regalar", "regalaron", "regaló", "registrada",
    "registrado", "relajado", "remolcar", "repartir", "repartía", "repetir", "reportaban",
    "representar", "resolver", "respetaba", "respetaban", "respetar", "respetarla",
    "reunido", "reunieron", "reunimos", "reunir", "reunió", "reunía", "reuníamos",
    "reunían", "reventó", "revisar", "reúnen", "romper", "rompió", "sentaba", "sentado",
    "separaban", "separado", "sientan", "solicité", "solucionar", "sorprendido",
    "sorprendió", "sostener", "suponía", "taba", "tapar", "templó", "tendido", "torcido",
    "traigan", "transportar", "trasladaron", "traslado", "trotar", "tumbar", "ubicado",
    "ubicamos", "ubican", "ubicar", "unido", "unieron", "validar", "valió", "valía",
    "vengase", "verificar", "verme", "vernos", "verse", "verá", "vestido", "viajar",
    "viste"
)

referencias_tiempo <- c(
    "día", "hora", "minuto", "semana", "mes", "año", "tiempo", "mañana", "tarde", "noche",
    "madrugada", "hoy", "ayer", "anoche", "antier", "época", "fecha", "temporada",
    "década", "siglo", "ratico", "ratito", "mediodía", "medianoche", "mediados", "lunes",
    "martes", "miércoles", "jueves", "viernes", "sábado", "domingo", "enero", "febrero",
    "marzo", "abril", "mayo", "junio", "julio", "agosto", "septiembre", "octubre",
    "noviembre", "diciembre", "presente", "futuro", "fin", "inicio", "principio", "final"
)

5.1 Rondas de Tokenización

El siguiente chunk convierte cada intervención en una lista de palabras (tokens) y aplica la limpieza descrita anteriormente.

# Etiquetas de anonimización en mayúscula (incluye variantes con errores de digitación)
etiquetas_anonimizacion <- c(
  "TEST", "ENT", "RANGO", "RANGOS", "EXRANGO", "ENXRANGO", "RANFO", "GRADO", "LUGAR",
  "CONOCIDO", "CONOCIDA", "CONCOIDO", "CONCOIDA", "CONCODIO", "CONOCDIO", "CONOCIOD",
  "CPONOCIDO", "FAMILIAR", "FAMILAIR", "GRUPO", "SOCIAL", "ORGANIZACION", "ORGANIZACIÓN",
  "ORGANIAZCIÓN", "INSTITUCION", "INSTITUCIÓN", "EDUCATIVA", "EDUCTAIVA", "PUBLICA",
  "PÚBLICA", "PÚBLIC", "PÚIBLICA", "PÚVLICA", "PRIVADA", "FIGURA", "UNIDAD", "MILITAR",
  "POLICIAL", "FUERZA", "AÉREA", "RESPONSABLE", "GUERRILLERO", "GUERRILLERA",
  "EXGUERRILLERO", "PARAMILITAR", "PARAMILIATR", "PARAMILTAR", "PARAILITAR",
  "EXPARAMILITAR", "NARCOTRAFICANTE", "SUPUESTO", "INDIGENA", "INDIGENAS", "AUDIO")

rondas_retirar <- list(
  "Instrucciones: marcas de transcripción" = c("inad", "dud", "interrup"),

  "Ronda 1: marcas sin cerrar o con errores" = c(
    "inau", "inaud", "inaudible", "ininteligible", "interurp", "dudd",
    "cont", "inc", "pausa", "risa", "risas"),

  "Ronda 1: muletillas y marcadores" = c(
    "pues", "pue", "entonces", "entonce", "bueno", "digamos", "osea",
    "aja", "mmm", "mmmm", "ehh", "eeh", "eee", "umm", "hmm",
    "claro", "listo", "vale", "dale", "exacto", "cierto", "obvio",
    "total", "igual"),

  "Ronda 1: adverbios de lugar" = c(
    "ahí", "ahi", "allá", "alla", "acá", "aca", "aquí", "aqui", "allí", "alli",
    "así", "asi", "adentro", "afuera", "abajo", "arriba", "cerca", "lejos",
    "alrededor", "encima", "debajo", "atrás", "atras", "adelante", "delante",
    "detrás", "detras"),

  "Ronda 1: verbos de habla" = c(
    "dice", "dijo", "decía", "decia", "dije", "decir", "dicen", "dijeron",
    "decían", "decian", "digo", "diga", "dijera", "dicho",
    "cuento", "contaba", "contó", "conto", "contar", "preguntó", "pregunta"),

  "Ronda 1: formas de trato" = c(
    "señor", "señora", "usted", "ustedes", "don", "doña",
    "mija", "mijo", "mijito", "mijita", "mamita", "papito"),

  "Ronda 2: verbos de opinión y memoria" = c(
    "creo", "sabe", "sabía", "sabia", "saber", "sabemos", "saben",
    "acuerdo", "acuerda", "recuerdo", "recuerda", "pienso", "pensé",
    "parece", "imagino", "entiendo"),

  "Ronda 2: verbos genéricos" = c(
    "iba", "íbamos", "iban", "voy", "vamos", "ido", "vaya",
    "vino", "venir", "vine", "viene",
    "dio", "dieron", "daba", "dan",
    "puede", "pudo", "podía", "podia", "poder", "podemos", "pueden",
    "ver", "vio", "veía", "visto", "quería", "queria", "quiero", "quiere",
    "sigue", "siguió"),

  "Ronda 2: tiempo genérico" = c(
    "ahora", "ahorita", "luego", "después", "despues", "todavía", "todavia",
    "aún", "siempre", "nunca", "jamás", "pronto", "rato", "momento", "vez"),

  "Ronda 3: cantidades y números en letra" = c(
    "harto", "harta", "montón", "poquito", "bastante", "demasiado",
    "dos", "tres", "cuatro", "cinco", "seis", "siete", "ocho", "nueve", "diez",
    "once", "doce", "quince", "veinte", "treinta", "cien", "mil",
    "primero", "primera", "segundo", "segunda", "tercero", "mitad"),

  "Ronda 3: conectores" = c(
    "cada", "además", "incluso", "inclusive", "sino", "aunque", "mientras",
    "según", "través", "dentro", "pesar", "solo", "sólo",
    "apenas", "casi", "mejor"),

  "Ronda 3: sustantivos comodín" = c(
    "cosa", "cuestión", "tipo", "parte", "manera", "forma", "lado",
    "nomás", "berraco", "verraco"),

  "Ronda 4: palabras observadas en los tópicos" = c("ajá", "vaina", "dar", "van"),

  "Ronda 4: verbo hacer" = c(
    "hacer", "hace", "hizo", "hacía", "hacia", "hago", "hacen", "hacían",
    "hicieron", "hice", "hicimos", "hacemos", "haciendo", "hiciera",
    "haga", "hagan", "haría"),

  "Ronda 4: pronombres no incluidos en stopwords" = c(
    "ello", "conmigo", "contigo", "consigo", "aquel", "aquella", "aquellos",
    "aquellas", "aquello", "cuales", "cuál", "cuáles", "quién", "quiénes",
    "cuyo", "cuya", "alguien", "nadie", "alguno", "alguna", "algún",
    "ninguno", "ninguna", "ningún", "cualquier", "cualquiera", "demás",
    "mismo", "misma", "mismos", "mismas", "tal", "unas", "toda", "todas",
    "tanta", "tantos", "tantas", "mucha", "muchas", "poca", "pocos", "pocas"),

  "Ronda 5: interrogativos, infinitivos y otras palabras frecuentes" = c(
    "cómo", "cuándo", "dónde", "cuánto", "cuántos", "cuánta", "bien",
    "ser", "tener", "haber", "ejemplo", "menos", "meno"),

  "Ronda 6: formas coloquiales" = c(
    "toes", "usté", "ustés", "pal", "mire", "vea", "oiga", "dizque",
    "fulano", "fulanito", "marica", "huevón", "chévere", "bacano"),

  "Ronda 7: expresiones del habla" = c(
    "cuenta", "mira", "tan", "debe", "deben", "debía", "resulta", "entiende",
    "decirlo", "decirle", "podíamos", "podían"),

  "Ronda 7: nombres propios de una sola historia" = c("rodrigo", "leonardo"),

  "Ronda 8: palabras observadas en los tópicos" = c(
    "hecho", "hechos", "hablar", "entoe", "llegaban", "empezaron", "comenzó"),

  "Ronda 8: muletillas y coloquialismos restantes" = c(
    "hágale", "magínese", "depende", "onde", "tonce", "hijueputa", "gracia"),

  "Ronda 8: verbos sin relación con el conflicto" = verbos_sin_relacion,

  "Ronda 8: referencias al tiempo" = referencias_tiempo
)
retirar <- unlist(rondas_retirar, use.names = FALSE)

# Expresiones de varias palabras que se protegen como un solo término
expresiones <- c(
  "proceso de paz", "acuerdo de paz", "justicia y paz", "fuerza pública",
  "derechos humanos", "falsos positivos", "lucha armada", "grupo armado",
  "grupos armados", "fuerzas armadas", "autodefensas unidas", "acción comunal",
  "partido comunista", "unión patriótica", "cultivos ilícitos", "violencia sexual",
  "zona de distensión", "estados unidos", "fuerza aérea", "cruz roja",
  "limpieza social", "servicio militar",
  "montes de maría", "san onofre", "el salado", "el naya", "canal del dique",
  "carlos pizarro", "jaime bateman", "carlos castaño", "manuel marulanda",
  "alfonso cano", "salvatore mancuso", "mono jojoy")

mis_tokens <- tokens(corpus_testimoniante, remove_punct = TRUE,
                     remove_numbers = TRUE, remove_symbols = TRUE) %>%
  tokens_remove("^[A-ZÁÉÍÓÚÑ]+[0-9]+$", valuetype = "regex",
                case_insensitive = FALSE) %>%   # etiquetas numeradas: LUGAR1, CONOCIDO7
  tokens_remove(etiquetas_anonimizacion, valuetype = "fixed", case_insensitive = FALSE) %>%
  tokens_compound(pattern = phrase(expresiones), concatenator = " ") %>%
  tokens_replace(pattern = "Estado", replacement = "estado (institución)",
                 valuetype = "fixed", case_insensitive = FALSE) %>%
  tokens_tolower() %>%
  tokens_replace(pattern = "grupos armados", replacement = "grupo armado",
                 valuetype = "fixed") %>%
  tokens_remove(stopwords(language = "es")) %>%   # 'retirar' se aplica después del singular
  tokens_remove(pattern = "^.{4,}mente$", valuetype = "regex") %>%   # adverbios en -mente
  tokens_remove(pattern = "['’]", valuetype = "regex") %>%           # contracciones: pa'llá
  tokens_select(min_nchar = 3)   # descarta restos de una o dos letras ("pa", "eh")

5.2 Bitácora de la depuración

La siguiente tabla resume el ciclo de mejoras del vocabulario. Registra, en orden, la limpieza previa de las etiquetas de anonimización y cada ronda del vector retirar, con las palabras eliminadas y su cantidad. En las rondas con más de 20 palabras solo se muestran las primeras; la lista completa está en el código. Esta tabla servirá como evidencia para la respuesta a la pregunta 1.

con_palabras <- rondas_retirar[lengths(rondas_retirar) > 0]
bitacora <- data.frame(Ronda = names(con_palabras),
                       Palabras = sapply(con_palabras, function(x)
                         if (length(x) > 20) paste0(paste(head(x, 12), collapse = ", "),
                                                    ", ... (lista completa en el código)")
                         else paste(x, collapse = ", ")),
                       Cantidad = as.character(lengths(con_palabras)))
bitacora <- rbind(
  data.frame(Ronda = "Limpieza previa: etiquetas de anonimización",
             Palabras = "Etiquetas en mayúscula, con o sin número (LUGAR1, CONOCIDO7, RANGO, UNIDAD MILITAR...)",
             Cantidad = as.character(length(etiquetas_anonimizacion) + 1)),
  bitacora,
  data.frame(Ronda = "Ronda 4: adverbios en -mente",
             Palabras = "Patrón ^.{4,}mente$ (realmente, prácticamente, etc.)",
             Cantidad = "Todas las coincidencias"))
knitr::kable(bitacora, row.names = FALSE,
             caption = "Palabras retiradas en la limpieza previa y en cada ronda")
Palabras retiradas en la limpieza previa y en cada ronda
Ronda Palabras Cantidad
Limpieza previa: etiquetas de anonimización Etiquetas en mayúscula, con o sin número (LUGAR1, CONOCIDO7, RANGO, UNIDAD MILITAR…) 55
Instrucciones: marcas de transcripción inad, dud, interrup 3
Ronda 1: marcas sin cerrar o con errores inau, inaud, inaudible, ininteligible, interurp, dudd, cont, inc, pausa, risa, risas 11
Ronda 1: muletillas y marcadores pues, pue, entonces, entonce, bueno, digamos, osea, aja, mmm, mmmm, ehh, eeh, … (lista completa en el código) 24
Ronda 1: adverbios de lugar ahí, ahi, allá, alla, acá, aca, aquí, aqui, allí, alli, así, asi, … (lista completa en el código) 27
Ronda 1: verbos de habla dice, dijo, decía, decia, dije, decir, dicen, dijeron, decían, decian, digo, diga, … (lista completa en el código) 21
Ronda 1: formas de trato señor, señora, usted, ustedes, don, doña, mija, mijo, mijito, mijita, mamita, papito 12
Ronda 2: verbos de opinión y memoria creo, sabe, sabía, sabia, saber, sabemos, saben, acuerdo, acuerda, recuerdo, recuerda, pienso, pensé, parece, imagino, entiendo 16
Ronda 2: verbos genéricos iba, íbamos, iban, voy, vamos, ido, vaya, vino, venir, vine, viene, dio, … (lista completa en el código) 32
Ronda 2: tiempo genérico ahora, ahorita, luego, después, despues, todavía, todavia, aún, siempre, nunca, jamás, pronto, rato, momento, vez 15
Ronda 3: cantidades y números en letra harto, harta, montón, poquito, bastante, demasiado, dos, tres, cuatro, cinco, seis, siete, … (lista completa en el código) 28
Ronda 3: conectores cada, además, incluso, inclusive, sino, aunque, mientras, según, través, dentro, pesar, solo, sólo, apenas, casi, mejor 16
Ronda 3: sustantivos comodín cosa, cuestión, tipo, parte, manera, forma, lado, nomás, berraco, verraco 10
Ronda 4: palabras observadas en los tópicos ajá, vaina, dar, van 4
Ronda 4: verbo hacer hacer, hace, hizo, hacía, hacia, hago, hacen, hacían, hicieron, hice, hicimos, hacemos, haciendo, hiciera, haga, hagan, haría 17
Ronda 4: pronombres no incluidos en stopwords ello, conmigo, contigo, consigo, aquel, aquella, aquellos, aquellas, aquello, cuales, cuál, cuáles, … (lista completa en el código) 43
Ronda 5: interrogativos, infinitivos y otras palabras frecuentes cómo, cuándo, dónde, cuánto, cuántos, cuánta, bien, ser, tener, haber, ejemplo, menos, meno 13
Ronda 6: formas coloquiales toes, usté, ustés, pal, mire, vea, oiga, dizque, fulano, fulanito, marica, huevón, chévere, bacano 14
Ronda 7: expresiones del habla cuenta, mira, tan, debe, deben, debía, resulta, entiende, decirlo, decirle, podíamos, podían 12
Ronda 7: nombres propios de una sola historia rodrigo, leonardo 2
Ronda 8: palabras observadas en los tópicos hecho, hechos, hablar, entoe, llegaban, empezaron, comenzó 7
Ronda 8: muletillas y coloquialismos restantes hágale, magínese, depende, onde, tonce, hijueputa, gracia 7
Ronda 8: verbos sin relación con el conflicto abierta, abierto, abre, abren, abriendo, abrieron, abrimos, abrir, abrió, abrí, abría, acaba, … (lista completa en el código) 1393
Ronda 8: referencias al tiempo día, hora, minuto, semana, mes, año, tiempo, mañana, tarde, noche, madrugada, hoy, … (lista completa en el código) 50
Ronda 4: adverbios en -mente Patrón ^.{4,}mente$ (realmente, prácticamente, etc.) Todas las coincidencias

6 Singularización

Las reglas de las instrucciones unen plural y singular solo si la forma singular existe en el corpus, lo que evita crear palabras inexistentes. Se hicieron tres ajustes:

  • Umbral de longitud: con más de 4 caracteres quedaban por fuera plurales frecuentes de cuatro letras (años, días, ojos). El umbral pasó a más de 3 y se protegió “dios”, que de otro modo se convertiría en “dio”. También se protegió “bienes” para que no se uniera con “bien”, que se retira como muletilla.

  • Plurales con cambio de tilde: se agregaron las reglas -ones → -ón, -anes → -án y -eses → -és (razones → razón, intereses → interés).

  • Plurales esdrújulos: se agregó un paso para los plurales en -enes cuyo singular no lleva tilde (jóvenes → joven, crímenes → crimen).

Se consideró lematizar con udpipe, como en las sesiones 10 y 11. Se descartó porque exige descargar un modelo al generar el documento; y porque anotar miles de intervenciones alarga el tiempo de ejecución del código.

unicas <- types(mis_tokens)
singular <- unicas
reglas <- list(c("ces$", "z"), c("iones$", "ión"), c("ones$", "ón"),
               c("anes$", "án"), c("eses$", "és"), c("es$", ""), c("s$", ""))
no_tocar <- c("dios", "bienes")
for (r in reglas) {
  candidata <- sub(pattern = r[1], replacement = r[2], x = unicas)
  ok <- singular == unicas &
    candidata != unicas &
    candidata %in% unicas &
    nchar(unicas) > 3 &
    !unicas %in% no_tocar
  singular[ok] <- candidata[ok]
}
termina_enes <- grepl("enes$", unicas)
candidata <- chartr("áéíóú", "aeiou", sub("enes$", "en", unicas))
ok <- termina_enes & singular == unicas & candidata %in% unicas
singular[ok] <- candidata[ok]

cambia <- singular != unicas
mis_tokens <- tokens_replace(mis_tokens, pattern = unicas[cambia],
                             replacement = singular[cambia], valuetype = "fixed")
# 'retirar' se aplica después del paso a singular, para que los plurales (cosas, veces)
# se unan primero con su singular y desaparezcan junto con él
mis_tokens <- tokens_remove(mis_tokens, retirar)

Se unificaron 2685 formas plurales. Algunos ejemplos se muestran a continuación:

knitr::kable(head(data.frame(Plural = unicas[cambia], Singular = singular[cambia]), 8),
             caption = "Ejemplos de unificación de plurales")
Ejemplos de unificación de plurales
Plural Singular
años año
armas arma
padres padre
hermanos hermano
mayores mayor
entonces entonce
complejos complejo
veces vez
sum(cambia)
## [1] 2685

7 Creación de la matriz de términos a documentos

En quanteda, la matriz guarda los documentos en las filas y los términos en las columnas (DFM). Es una representación de bolsa de palabras: importa cuántas veces figura cada término, no su posición (López-Torrijos y Tellez, 2026). Primero se eliminan las intervenciones con menos de 5 palabras y luego se aplica trimming para retirar los términos con frecuencia total menor que 5. El libro usa un umbral de 2 en su ejemplo; aquí se usa 5, como sugiere el enunciado cuando aparecen palabras muy raras con lambda bajo. Tras la limpieza, la mitad de las intervenciones tiene menos de diez palabras y una de cada tres tiene menos de cinco (“sí, claro”, “en el pueblo”). En textos tan cortos, el modelo no tiene información para estimar la mezcla de tópicos, así que solo agregan ruido. El filtro de intervenciones cortas se aplica antes del trimming: en el orden inverso, quedaban términos con frecuencia cero, que en la fórmula de relevancia producen una división entre cero y aparecían en el primer lugar de un tópico sin barra visible. Al final, se quitan las intervenciones que el trimming dejó vacías, porque LDA no admite filas sin palabras.

mi_dfm <- dfm(mis_tokens)
mi_dfm <- dfm_subset(mi_dfm, ntoken(mi_dfm) >= min_tokens_turno)
mi_dfm <- dfm_trim(mi_dfm, min_termfreq = min_frec)
mi_dfm <- dfm_subset(mi_dfm, ntoken(mi_dfm) > 0)

La matriz final tiene 4595 intervenciones y 2996 términos. Las palabras más frecuentes sirvieron para escoger candidatas a retirar en cada ronda:

topfeatures(mi_dfm, 30)
##       gente   guerrilla     persona    ejército  comandante        casa 
##        1419         935         897         633         571         569 
##       grupo   compañero      frente         man        farc       mujer 
##         515         514         503         451         450         448 
##      guerra     militar        mamá      pueblo        zona        papá 
##         446         444         438         420         420         417 
##       plata     familia        vida      verdad    muchacho        caso 
##         414         412         378         365         365         361 
##      hombre        arma paramilitar     hermano guerrillero        mano 
##         355         344         339         333         322         304

8 Aplicando Latent Dirichlet Allocation (LDA)

LDA asigna temas al azar a cada palabra y los reasigna iterativamente según dos criterios: qué temas tiene el documento y qué palabras tiene cada tema. Al final, entrega dos distribuciones: tema-palabra (beta), con la que se nombran los tópicos; y documento-tema (theta), con la que se comparan los modelos (López-Torrijos y Tellez, 2026). Los tópicos salen sin nombre: es el analista quien los interpreta (Benoit, 2020; López-Torrijos y Tellez, 2026).

mi_dfm_tm <- quanteda::convert(mi_dfm, to = "topicmodels")
lda <- LDA(mi_dfm_tm, k = n_topicos, control = list(seed = semilla1))
b <- topicmodels::posterior(lda)$terms
pw <- colSums(mi_dfm)[colnames(b)] / sum(mi_dfm)
relevancia <- relevancia_lambda(b, pw, lambda)
topicos <- data.frame(topic = rep(seq_len(nrow(b)), ncol(b)),
                      term = rep(colnames(b), each = nrow(b)),
                      beta = as.vector(b),
                      relevancia = as.vector(relevancia))

8.1 Exploración del número de tópicos

Según López-Torrijos y Tellez (2026), el número de tópicos lo define el analista. El ejemplo 20.1 del libro ofrece el criterio para ajustarlo: si un tópico mezcla asuntos distintos, faltan tópicos; si dos tópicos se solapan, sobran. Benoit (2020) agrega que, para escogerlo, la interpretabilidad suele ser mejor criterio que las medidas estadísticas. Con esto en mente, se estimaron modelos con k entre 3 y 10; y, para cada uno, se revisaron sus diez términos más probables con terms(). El bloque siguiente se ejecutó en la consola y no se evalúa al generar el documento, porque imprime ocho listas extensas.

for (k_prueba in 3:10) {
  modelo_prueba <- LDA(mi_dfm_tm, k = k_prueba, control = list(seed = semilla1))
  print(terms(modelo_prueba, 10))
}

Para complementar la lectura de esas listas, se calcularon dos indicadores para cada valor de k. El primero es el porcentaje de las diez palabras principales que se repite en más de un tópico: una cifra menor indica tópicos más diferenciados. El segundo es la estabilidad frente a la semilla: el porcentaje de las 30 palabras más relevantes de cada tópico que reaparece, en promedio, al reestimar el modelo con la semilla 2026.

# Indicadores para escoger k: repetición de palabras entre tópicos y estabilidad frente a la semilla.
# Se ejecutó en la consola, porque estimar 16 modelos alarga mucho la generación del documento.
metricas_k <- do.call(rbind, lapply(3:10, function(k_prueba) {
  m1 <- LDA(mi_dfm_tm, k = k_prueba, control = list(seed = semilla1))
  m2 <- LDA(mi_dfm_tm, k = k_prueba, control = list(seed = semilla_alt))
  top10 <- as.vector(terms(m1, 10))
  coin <- coincidencias(top_terminos(posterior(m1)$terms, pw, lambda, cantidad),
                        top_terminos(posterior(m2)$terms, pw, lambda, cantidad))
  data.frame(k = k_prueba,
             Repetidas = round(100 * mean(top10 %in% top10[duplicated(top10)])),
             Estabilidad = round(100 * mean(apply(coin, 1, max)) / cantidad))
}))
# Resultados del bloque anterior, obtenidos en la consola
metricas_k <- data.frame(k = 3:10,
                         Repetidas = c(50, 48, 48, 17, 16, 24, 18, 27),
                         Estabilidad = c(41, 35, 29, 45, 45, 40, 40, 39))
knitr::kable(metricas_k, row.names = FALSE,
             col.names = c("k", "Palabras repetidas entre tópicos (%)",
                           "Estabilidad frente a la semilla (%)"),
             caption = "Indicadores para escoger el número de tópicos")
Indicadores para escoger el número de tópicos
k Palabras repetidas entre tópicos (%) Estabilidad frente a la semilla (%)
3 50 41
4 48 35
5 48 29
6 17 45
7 16 45
8 24 40
9 18 40
10 27 39

Entre k = 3 y k = 5, cerca de la mitad de las palabras principales se repite entre tópicos: los temas aparecen mezclados, lo que el libro asocia con un número insuficiente de tópicos. Con k = 6 la repetición cae a (27 %) y la estabilidad alcanza su valor más alto (45 %). A partir de ese punto, aumentar el número de tópicos no mejora los resultados. Con k = 7 los indicadores son similares, pero tres de los tópicos combinan asuntos distintos, como la organización comunitaria y la política insurgente. Entre k = 8 y k = 10 la estabilidad desciende a cerca del 40 %. Con k = 10, además, la repetición vuelve a aumentar (r metricas_k\(Repetidas[metricas_k\)k == 10] %), porque el tema de la familia se divide en dos tópicos. Según el libro, ese solapamiento indica que el modelo tiene más tópicos de los necesarios.

Por consiguiente, se escogió k = 6, en tanto que es el menor número de tópicos en que todos son distintos y nombrables; y el más estable de los valores explorados. Con k = 9 esos seis temas se mantienen y algunos se subdividen (el proceso de paz, los movimientos insurgentes y la experiencia de las mujeres), lo que muestra que no dependen del número de tópicos elegido; sin embargo, ese modelo agrega un tópico residual y es menos estable. En todo caso, la estabilidad es moderada para cualquier valor de k: al reestimar el modelo con otra semilla, cerca de la mitad de las palabras de cada tópico cambia. Por eso las etiquetas se apoyan en el núcleo, es decir, en las palabras que figuran entre las más relevantes con los tres valores de lambda. Esas palabras son, además, las más estables: el 50 % reaparece con la otra semilla, frente al 34 % de las demás.

8.2 Etiquetas de los tópicos de lda1

Siguiendo el procedimiento del ejemplo 20.1 del libro, cada tópico se nombró a partir de lo que tienen en común las palabras de su núcleo, que son las más relevantes con los tres valores de lambda; y, por lo tanto, las más confiables para interpretarlo (López-Torrijos y Tellez, 2026). La siguiente tabla presenta la etiqueta de cada tópico y las primeras palabras de su núcleo.

En el ejemplo 20.1 del libro, los términos se ordenan solo por su probabilidad dentro del tópico (López-Torrijos y Tellez, 2026), lo que equivale a lambda = 1. Con ese criterio dominan palabras frecuentes, como “gente” o “persona”, que suelen repetirse en varios tópicos y no ayudan a distinguirlos. El enunciado del taller agrega la relevancia propuesta por Sievert y Shirley (2014), que combina dos criterios: la probabilidad de la palabra dentro del tópico y su exclusividad, es decir, cuánto más probable es en ese tópico que en el corpus en general. El parámetro lambda, entre 0 y 1, define el peso de cada criterio: con valores cercanos a 1 predominan las palabras frecuentes; con valores cercanos a 0, las exclusivas, que pueden ser muy raras. Los gráficos usan lambda = 0.6, el valor de la plantilla del taller. La tabla compara los valores 1, 0.6 y 0.3, como pide el enunciado, y muestra las diez primeras palabras con cada uno. Las palabras que figuran entre las 30 más relevantes con los tres valores forman el núcleo, la base más segura para nombrar cada tópico.

etiquetas <- c("Familia y trayectoria de vida",
               "Vida comunitaria ante la presencia del conflicto armado",
               "Política, insurgencia y procesos de paz",
               "Violencia",
               "Estructura y combate de los grupos armados",
               "Economía de la guerra")
if (length(etiquetas) != n_topicos) etiquetas <- paste0("T", seq_len(n_topicos))

tabla_lda1 <- tabla_lambda(b, pw, etiquetas, n = cantidad)
tabla_lda1$Tópico <- paste0("**", tabla_lda1$Tópico, "**")   # negrilla en la columna Tópico
knitr::kable(tabla_lda1,
             align = c("c", "l", "l", "l", "l"),   # Tópico centrado; las demás a la izquierda
             caption = "lda1: diez primeras palabras según lambda y núcleo común")
lda1: diez primeras palabras según lambda y núcleo común
Tópico lambda = 1 lambda = 0.6 lambda = 0.3 Núcleo
Familia y trayectoria de vida casa, mamá, papá, familia, mujer, hijo, niño, hermano, vida, persona casa, mamá, papá, familia, mujer, hijo, niño, hermano, muchacha, niña mamá, papá, familia, casa, mujer, hijo, niño, muchacha, niña, tío casa, mamá, papá, familia, mujer, hijo, niño, hermano, vida, muchacha, trabajar, niña, tío, dios, hermana, vivía, sola, edad, estudiar, hija, padre, reglamento, menor
Vida comunitaria ante la presencia del conflicto armado gente, caso, persona, militar, comunidad, tema, organización, trabajo, eln, difícil gente, caso, comunidad, tema, organización, militar, persona, eln, trabajo, difícil comunidad, tema, caso, gente, organización, eln, difícil, servicio, mula, militar gente, caso, militar, comunidad, tema, organización, trabajo, eln, difícil, reunión, empresa, servicio, mula, operación, combustible, gasolina
Política, insurgencia y procesos de paz guerra, política, proceso, curso, colombia, nacional, estructura, arma, m-19, paz guerra, política, proceso, curso, nacional, estructura, epl, colombia, paz, libro guerra, política, curso, nacional, proceso, estructura, epl, libro, partido, lucha guerra, política, proceso, curso, colombia, nacional, estructura, paz, tierra, epl, proyecto, municipio, nivel, libro, partido, armado, lucha, proceso de paz, cauca, indígena
Violencia compañero, man, mano, mataron, policía, pueblo, muchacho, gente, cárcel, muerto compañero, man, mano, mataron, policía, cárcel, pueblo, muerto, muchacho, camarada compañero, man, mano, mataron, policía, cárcel, muerto, camarada, escuadra, pendiente compañero, man, mano, mataron, policía, pueblo, muchacho, cárcel, muerto, camarada, carro, escuadra, pendiente, toma, viejo, matan, moto, preso
Estructura y combate de los grupos armados ejército, guerrilla, comandante, frente, paramilitar, farc, guerrillero, arma, grupo, fusil ejército, frente, comandante, guerrilla, paramilitar, farc, fusil, guerrillero, combate, arma ejército, frente, comandante, paramilitar, fusil, guerrilla, combate, farc, información, unidad ejército, guerrilla, comandante, frente, paramilitar, farc, guerrillero, arma, fusil, orden, combate, área, soldado, información, mando, unidad, campamento, bloque, tropa, guardia, compañía, miedo, entrenamiento
Economía de la guerra zona, gente, plata, guerrilla, campesino, persona, finca, peso, coca, autodefensa zona, plata, campesino, peso, finca, coca, autodefensa, gente, narcotráfico, droga zona, campesino, peso, coca, autodefensa, plata, narcotráfico, finca, droga, cultivo zona, plata, campesino, finca, peso, coca, autodefensa, narcotráfico, gobierno, millón, droga, país, cultivo, ganado, negocio, pagar, pobre, impuesto, masacre

La comparación muestra que lambda cambia sobre todo la periferia de cada tópico, no su centro. Con lambda = 1 aparecen palabras generales, como “gente” o “persona”, que figuran en varios tópicos a la vez. Con lambda = 0.3 esas palabras desaparecen y ganan peso términos más específicos: “narcotráfico”, “droga” y “cultivo” en el tópico de economía de la guerra, o “partido” y “lucha” en el de política e insurgencia. Las palabras que encabezan cada tópico, en cambio, se mantienen con los tres valores; en el tópico de familia, las listas son casi idénticas. Esa coincidencia es lo que permite nombrar los tópicos a partir del núcleo.

Las etiquetas se justifican así:

  • T1. Familia y trayectoria de vida. El núcleo reúne los vínculos familiares (mamá, papá, hijo, hermano, familia) con palabras de la historia personal (vida, estudiar, edad, menor). El tópico recoge los relatos sobre la familia y la vida de los testimoniantes antes y durante el conflicto. Es el tópico más estable frente a la semilla.
  • T2. Vida comunitaria ante la presencia del conflicto armado. Combina palabras de la organización social (comunidad, organización, reunión, trabajo) con otras de la presencia armada (militar, eln, operación). Es el tópico más amplio y el menos estable, por lo que su etiqueta es la más tentativa.
  • T3. Política, insurgencia y procesos de paz. Agrupa el vocabulario de la lucha política (guerra, política, partido, lucha), de las organizaciones insurgentes (epl) y de la negociación (paz, proceso de paz).
  • T4. Violencia. Su núcleo describe hechos violentos y sus consecuencias: mataron, muerto, matan, policía, cárcel y preso.
  • T5. Estructura y combate de los grupos armados. Reúne los actores armados (ejército, guerrilla, paramilitar, farc), su organización interna (comandante, frente, mando, campamento, entrenamiento) y el enfrentamiento (combate, fusil).
  • T6. Economía de la guerra. Vincula el territorio rural (zona, campesino, finca, cultivo, ganado) con el narcotráfico y la economía ilegal (coca, narcotráfico, droga, plata, impuesto).

8.3 Estabilidad frente a la semilla

LDA inicia asignando temas aleatorios a cada palabra (López-Torrijos y Tellez, 2026), y la semilla fija ese punto de partida para que el resultado sea reproducible. Como el algoritmo converge a óptimos locales, con otra semilla los tópicos pueden cambiar. Según el enunciado del taller, si los temas son sólidos, deberían reaparecer. Para verificarlo, se reestima lda1 con la semilla 2026. El valor es arbitrario: se tomó el año en curso, pero cualquier número distinto de 1515 cumple el mismo propósito, que es hacer que el algoritmo arranque desde otro punto. Luego, se cuenta cuántas de las 30 palabras más relevantes de cada tópico reaparecen en el tópico más parecido del modelo alternativo.

lda_alt <- LDA(mi_dfm_tm, k = n_topicos, control = list(seed = semilla_alt))
b_alt <- topicmodels::posterior(lda_alt)$terms
comun_semilla <- coincidencias(top_terminos(b, pw, lambda, cantidad),
                               top_terminos(b_alt, pw, lambda, cantidad))
knitr::kable(data.frame(Tópico = etiquetas,
                        Coincidencias = apply(comun_semilla, 1, max)),
             col.names = c("Tópico", paste0("Palabras en común (de ", cantidad, ")")),
             caption = "lda1: estabilidad frente a una semilla alternativa")
lda1: estabilidad frente a una semilla alternativa
Tópico Palabras en común (de 30)
Familia y trayectoria de vida 23
Vida comunitaria ante la presencia del conflicto armado 10
Política, insurgencia y procesos de paz 11
Violencia 12
Estructura y combate de los grupos armados 13
Economía de la guerra 12

El siguiente bloque compara qué tan estables son las palabras del núcleo frente a las demás palabras relevantes cuando se cambia la semilla. Si el núcleo resulta más estable, se justifica usarlo para nombrar los tópicos.

# Estabilidad del núcleo frente al resto de las palabras más relevantes
top_base <- top_terminos(b, pw, lambda, cantidad)
top_alt <- top_terminos(b_alt, pw, lambda, cantidad)
par_alt <- apply(comun_semilla, 1, which.max)
rankings <- lapply(c(1, 0.6, 0.3), function(l) top_terminos(b, pw, l, cantidad))
estab <- sapply(seq_len(n_topicos), function(k) {
  nucleo <- Reduce(intersect, lapply(rankings, function(m) m[, k]))
  resto <- setdiff(top_base[, k], nucleo)
  c(sum(nucleo %in% top_alt[, par_alt[k]]), length(nucleo),
    sum(resto %in% top_alt[, par_alt[k]]), length(resto))
})
pct_nucleo <- round(100 * sum(estab[1, ]) / sum(estab[2, ]))
pct_resto <- round(100 * sum(estab[3, ]) / sum(estab[4, ]))

La estabilidad varía entre tópicos: de 10 a 23 palabras en común, de 30. El tópico más estable es «Familia y trayectoria de vida» y el menos estable, «Vida comunitaria ante la presencia del conflicto armado», cuya etiqueta es, por eso, la más tentativa. La estabilidad es mayor en el núcleo: el 50 % de sus palabras reaparece con la otra semilla, frente al 34 % de las demás palabras relevantes. Esto confirma que nombrar los tópicos a partir del núcleo reduce la dependencia de las etiquetas respecto del azar del algoritmo.

8.4 Gráficos de lda1

Las palabras se ordenan por relevancia y la longitud de la barra muestra su probabilidad dentro del tópico. Por eso las barras no aparecen ordenadas de mayor a menor.

color_barra <- "#B8A9D9"   # lavanda
color_titulo <- "#5E4B8B"  # lavanda oscuro
top <- topicos %>%
  group_by(topic) %>%
  slice_max(relevancia, n = cantidad, with_ties = FALSE) %>%
  ungroup()
tema <- theme(text = element_text(size = 8),
              panel.grid = element_blank(),
              panel.background = element_blank(),
              axis.line = element_line(colour = "black"),
              plot.subtitle = element_text(size = 7))
for (k in seq_along(etiquetas)) {
  p <- top %>%
    filter(topic == k) %>%
    ggplot(aes(beta, reorder(term, relevancia))) +
    geom_col(fill = color_barra, colour = "black", linewidth = 0.2) +
    labs(title = etiquetas[k],
         subtitle = paste0("Orden por relevancia (lambda = ", lambda, "); barra = probabilidad"),
         x = "Probabilidad de la palabra", y = "Términos") +
    tema +
    theme(plot.title = element_text(colour = color_titulo, face = "bold", size = 8))
  print(p)
}

9 Aplicando LDA sobre un tf-idf: LDA2

El cálculo del tf-idf incluye tres decisiones. En primer lugar y en atención a las instrucciones del taller, la frecuencia de cada palabra se mide como proporción del total de palabras de la entrevista y no como número de apariciones; así, una entrevista extensa no tiene más peso que una breve solo por su longitud. En segundo lugar, la plantilla usa el logaritmo natural en lugar del de base 10 que emplea el libro. Esta diferencia no afecta el resultado: cambiar la base multiplica todos los pesos por una misma constante, de modo que el orden de las palabras, y por tanto las que se seleccionan, no cambia.

En tercer lugar, antes del cálculo se exige que cada palabra aparezca en al menos 3 entrevistas. Sin este filtro, el tf-idf favorecería sobre todo a las palabras exclusivas de una sola entrevista, como los nombres propios de una historia particular. En el análisis de correspondencias, el libro advierte que las palabras concentradas en uno o dos documentos pueden producir resultados que solo separan esos documentos del resto (López-Torrijos y Tellez, 2026). Por analogía, en esta estrategia podrían generar tópicos que describen una entrevista y no un tema compartido. Con el vocabulario resultante, el modelo LDA se estima de nuevo sobre las intervenciones, igual que en lda1, de modo que las dos estrategias solo difieren en las palabras que el modelo puede ver.

mi_dfm_doc <- dfm_group(mi_dfm, groups = doc)

mi_dfm_doc <- dfm_trim(mi_dfm_doc, min_docfreq = min_entrevistas)

mi_dfm_tfidf <- dfm_tfidf(mi_dfm_doc, scheme_tf = "prop", base = exp(1))

peso <- apply(as.matrix(mi_dfm_tfidf), 2, max)
mi_dfm_sel2 <- dfm_keep(mi_dfm, names(peso)[peso >= quantile(peso, 0.75)],
                        valuetype = "fixed")

mi_dfm_sel2 <- dfm_subset(mi_dfm_sel2, ntoken(mi_dfm_sel2) > 0)
mi_dfm2_tm <- convert(mi_dfm_sel2, to = "topicmodels")
lda2 <- LDA(mi_dfm2_tm, k = n_topicos, control = list(seed = semilla2))

b2 <- topicmodels::posterior(lda2)$terms

pw2 <- colSums(mi_dfm_sel2)[colnames(b2)] / sum(mi_dfm_sel2)

rel2 <- relevancia_lambda(b2, pw2, lambda2)

topicos2 <- data.frame(topic = rep(seq_len(nrow(b2)), ncol(b2)),
                       term = rep(colnames(b2), each = nrow(b2)),
                       beta = as.vector(b2),
                       relevancia = as.vector(rel2))

lda2 trabaja con 683 términos y 4120 intervenciones.

9.1 Comparación de lambda y núcleo de cada tópico

Para leer los tópicos de lda2 se usa el mismo procedimiento que en lda1, de modo que ambas estrategias se interpreten con un criterio común. La tabla siguiente presenta las diez palabras más relevantes de cada tópico con lambda igual a 1, 0.6 y 0.3; y el núcleo de palabras comunes a los tres ordenamientos. La columna con lambda = 1 equivale a los diez términos más probables que entrega terms(), y los gráficos de lda2 usan lambda = 0.6.

etiquetas2 <- c("Experiencias en combate",
                "Control territorial de los grupos armados",
                "Familia y trayectoria de vida",
                "Militancia en el M-19",
                "Economía ilegal de los grupos armados",
                "Estructura y normas de los grupos armados")
if (length(etiquetas2) != n_topicos) etiquetas2 <- paste0("T", seq_len(n_topicos))

tabla_lda2 <- tabla_lambda(b2, pw2, etiquetas2, n = cantidad)
tabla_lda2$Tópico <- paste0("**", tabla_lda2$Tópico, "**")   # negrilla en la columna Tópico
knitr::kable(tabla_lda2,
             align = c("c", "l", "l", "l", "l"),
             caption = "lda2: diez primeras palabras según lambda y núcleo común")
lda2: diez primeras palabras según lambda y núcleo común
Tópico lambda = 1 lambda = 0.6 lambda = 0.3 Núcleo
Experiencias en combate man, situación, cárcel, muchacha, eln, camarada, droga, tropa, empresa, inteligencia man, situación, cárcel, muchacha, eln, camarada, droga, tropa, empresa, inteligencia man, situación, cárcel, muchacha, eln, camarada, droga, tropa, empresa, inteligencia man, situación, cárcel, muchacha, eln, camarada, droga, tropa, empresa, inteligencia, pelea, moto, embarazo, preso, palo, camión, encontramos, tranquilo, infiltrado, embarazada, encontraba, mina, hijuemadre, luchar, paraco, eleno, mercado, lancha, montes de maría
Control territorial de los grupos armados grupo, pueblo, policía, mando, área, tema, barrio, movimiento, entrenamiento, convivir grupo, pueblo, policía, mando, área, tema, barrio, entrenamiento, convivir, movimiento grupo, pueblo, policía, mando, área, entrenamiento, convivir, barrio, cierta, movimiento grupo, pueblo, policía, mando, área, tema, barrio, movimiento, entrenamiento, convivir, cierta, estrategia, ganadero, urbano, positivo, abogado, sucre, armada, complicada, presencia, ilegal, pueblito, cabo, máximo, izquierda, periodo, cuanto
Familia y trayectoria de vida mamá, comunidad, niña, tío, dios, hermana, sola, hija, proyecto, operación mamá, comunidad, niña, tío, dios, hermana, sola, hija, proyecto, operación mamá, comunidad, niña, tío, dios, hermana, sola, hija, proyecto, operación mamá, comunidad, niña, tío, dios, hermana, sola, hija, proyecto, operación, helicóptero, colegio, miliciano, baja, universidad, tolima, viví, ingresé, bus, aprendí, profesional, abuela, amiga, prima, informante, tía, charla, chico, chile
Militancia en el M-19 compañero, m-19, curso, estado (institución), toma, compañera, nivel, menor, acción, masacre compañero, m-19, curso, toma, compañera, estado (institución), nivel, menor, masacre, culpa compañero, m-19, curso, toma, compañera, nivel, menor, masacre, culpa, cauca compañero, m-19, curso, estado (institución), toma, compañera, nivel, menor, acción, masacre, culpa, cauca, iglesia, cerro, pizarro, valle, esposa, aprender, término, tortura, capaz, diálogo, enseñan, cuba
Economía ilegal de los grupos armados farc, paramilitar, colombia, fusil, coca, narcotráfico, millón, estado (institución), cultivo, bolívar farc, paramilitar, fusil, colombia, coca, narcotráfico, millón, cultivo, bolívar, servicio farc, paramilitar, fusil, colombia, coca, narcotráfico, millón, cultivo, bolívar, servicio farc, paramilitar, colombia, fusil, coca, narcotráfico, millón, cultivo, bolívar, servicio, río, mula, impuesto, combustible, dueño, gasolina, paramilitarismo, pelado, tubo, café, sur, estación, corrupción, cerquita, remesa, munición, pelao, bola, narcotraficante
Estructura y normas de los grupos armados frente, autodefensa, unidad, bloque, municipio, escuadra, estructura, compañía, reglamento, epl frente, autodefensa, unidad, bloque, municipio, escuadra, estructura, compañía, reglamento, epl frente, autodefensa, unidad, bloque, municipio, escuadra, estructura, compañía, reglamento, norma frente, autodefensa, unidad, bloque, municipio, escuadra, estructura, compañía, reglamento, epl, norma, general, médico, dirección, sanción, noticia, columna, móvil, central, departamento, alcaldía, auc, candidato, oficina, dólar, ejercicio, reemplazante, conferencia

A diferencia de lda1, en lda2 las listas casi no cambian entre los tres valores de lambda. Como el tf-idf ya retiró las palabras que usan todas las entrevistas, las palabras más probables de cada tópico son también las más exclusivas; y frecuencia y exclusividad coinciden. Por la misma razón, los tópicos de lda2 están formados por términos más específicos, como nombres de organizaciones, lugares y objetos.

9.2 Etiquetas de los tópicos de lda2

Los tópicos de lda2 se nombraron con el mismo procedimiento que los de lda1: a partir de lo que tienen en común las palabras de su núcleo. La tabla siguiente presenta la etiqueta de cada tópico y las primeras palabras de su núcleo.

nucleo_lda2 <- tabla_lambda(b2, pw2, etiquetas2, n = cantidad)$Núcleo
palabras_clave2 <- sapply(strsplit(nucleo_lda2, ", "),
                          function(x) paste(head(x, 8), collapse = ", "))
knitr::kable(data.frame(Tópico = paste0("T", seq_len(n_topicos)),
                        Etiqueta = etiquetas2,
                        Núcleo = palabras_clave2),
             col.names = c("Tópico", "Etiqueta", "Primeras palabras del núcleo"),
             caption = "lda2: etiquetas asignadas y palabras que las sustentan")
lda2: etiquetas asignadas y palabras que las sustentan
Tópico Etiqueta Primeras palabras del núcleo
T1 Experiencias en combate man, situación, cárcel, muchacha, eln, camarada, droga, tropa
T2 Control territorial de los grupos armados grupo, pueblo, policía, mando, área, tema, barrio, movimiento
T3 Familia y trayectoria de vida mamá, comunidad, niña, tío, dios, hermana, sola, hija
T4 Militancia en el M-19 compañero, m-19, curso, estado (institución), toma, compañera, nivel, menor
T5 Economía ilegal de los grupos armados farc, paramilitar, colombia, fusil, coca, narcotráfico, millón, cultivo
T6 Estructura y normas de los grupos armados frente, autodefensa, unidad, bloque, municipio, escuadra, estructura, compañía

Las etiquetas se justifican así:

  • T1. Experiencias en combate. El núcleo reúne palabras de la vida en las filas y del enfrentamiento (tropa, camarada, eln, mina, pelea), de la inteligencia y la infiltración (inteligencia, infiltrado) y de sus consecuencias (cárcel, preso). Es el tópico más heterogéneo de lda2, por lo que su etiqueta es la más general.
  • T2. Control territorial de los grupos armados. Combina los espacios donde se ejerce el control (pueblo, barrio, área, urbano) con los actores y mecanismos que lo ejercen (grupo, policía, mando, entrenamiento, convivir, ganadero).
  • T3. Familia y trayectoria de vida. Agrupa los vínculos familiares (mamá, niña, tío, hermana, hija, abuela) con la historia personal de los testimoniantes, incluidos sus estudios (colegio, universidad) y su ingreso a los grupos armados (ingresé, aprendí).
  • T4. Militancia en el M-19. Su núcleo gira en torno a esa organización y sus acciones (m-19, pizarro, toma, compañero, compañera, curso). Incluye también palabras de la confrontación con el Estado (estado (institución), masacre, tortura) y de la negociación (diálogo).
  • T5. Economía ilegal de los grupos armados. Vincula a los actores armados (farc, paramilitar) con las fuentes de financiación de la guerra: los cultivos de coca, el narcotráfico, los impuestos y el combustible.
  • T6. Estructura y normas de los grupos armados. Reúne las unidades de organización de los grupos (frente, bloque, escuadra, compañía, columna, estructura) y las reglas que rigen su funcionamiento (reglamento, norma, sanción).

9.3 Gráficos de lda2

color_barra <- "#F4B6C2"  
color_titulo <- "#B5485D"  
top2 <- topicos2 %>%
  group_by(topic) %>%
  slice_max(relevancia, n = cantidad, with_ties = FALSE) %>%
  ungroup()
for (k in seq_along(etiquetas2)) {
  p <- top2 %>%
    filter(topic == k) %>%
    ggplot(aes(beta, reorder(term, relevancia))) +
    geom_col(fill = color_barra, colour = "black", linewidth = 0.2) +
    labs(title = etiquetas2[k],
         subtitle = paste0("Orden por relevancia (lambda = ", lambda2, "); barra = probabilidad"),
         x = "Probabilidad de la palabra", y = "Términos") +
    tema +
    theme(plot.title = element_text(colour = color_titulo, face = "bold", size = 8))
  print(p)
}

10 Comparación entre estrategias

10.1 Correlación de los tópicos por entrevista

Comparar directamente las palabras de los dos modelos no basta para saber si encontraron los mismos temas. La numeración de los tópicos es arbitraria (el T1 de un modelo puede corresponder al T4 del otro). En adición, lda2 trabaja con un vocabulario distinto. Por ende, se compara dónde aparecen los tópicos, no qué palabras los forman.

Para ello se usa la distribución documento-tema que entrega LDA (López-Torrijos y Tellez, 2026), que indica qué proporción de cada intervención corresponde a cada tópico. Esas proporciones se promedian por entrevista, dando más peso a las intervenciones más largas. Así, cada una de las 39 entrevistas queda descrita por un perfil: cuánto pesa en ella cada tópico de lda1 y cada tópico de lda2. Posteriormente, se calcula la correlación entre los tópicos de ambos modelos a lo largo de las entrevistas. Si un tópico de lda1 y uno de lda2 crecen y decrecen en las mismas entrevistas, la correlación es alta: eso indica que ambos capturan el mismo tema, aunque tengan otro número y otras palabras.

El mapa de calor presenta esas correlaciones. Las filas corresponden a los tópicos de lda1 (en lavanda) y las columnas a los de lda2 (en palo de rosa). Cada celda muestra la correlación entre un par de tópicos, que va de -1 a 1. Las celdas verdes indican una relación positiva: los dos tópicos tienden a aparecer en las mismas entrevistas. Por el contrario, las celdas amarillas indican una relación negativa: donde uno pesa mucho, el otro pesa poco. Las celdas casi blancas indican que no hay relación. El recuadro negro marca, en cada fila, el tópico de lda2 más parecido al tópico de lda1 correspondiente.

th1 <- posterior(lda)$topics
n <- ntoken(mi_dfm)[rownames(th1)]
d <- docvars(mi_dfm, "doc")[match(rownames(th1), docnames(mi_dfm))]
th1_doc <- rowsum(th1 * n, d) / as.vector(rowsum(n, d))

th2 <- posterior(lda2)$topics
n <- ntoken(mi_dfm)[rownames(th2)]
d <- docvars(mi_dfm, "doc")[match(rownames(th2), docnames(mi_dfm))]
th2_doc <- rowsum(th2 * n, d) / as.vector(rowsum(n, d))

comunes <- intersect(rownames(th1_doc), rownames(th2_doc))
correlacion <- cor(th1_doc[comunes, ], th2_doc[comunes, ])
dimnames(correlacion) <- list(etiquetas, etiquetas2)


datos_cor <- data.frame(lda1 = rep(rownames(correlacion), times = ncol(correlacion)),
                        lda2 = rep(colnames(correlacion), each = nrow(correlacion)),
                        valor = as.vector(correlacion))
datos_cor$maximo <- datos_cor$valor == apply(correlacion, 1, max)[datos_cor$lda1]
datos_cor$lda1 <- factor(datos_cor$lda1, levels = rev(rownames(correlacion)))
datos_cor$lda2 <- factor(datos_cor$lda2, levels = colnames(correlacion))

ggplot(datos_cor, aes(x = lda2, y = lda1, fill = valor)) +
  geom_tile(colour = "white", linewidth = 0.8) +
  geom_tile(data = subset(datos_cor, maximo), fill = NA, colour = "black", linewidth = 0.6) +
  geom_text(aes(label = sprintf("%.2f", valor),
                fontface = ifelse(maximo, "bold", "plain")), size = 3) +
  scale_fill_gradient2(low = "#F2D16B", mid = "white", high = "#7FC28E",
                       midpoint = 0, limits = c(-1, 1), name = "Correlación") +
  scale_x_discrete(labels = function(x) str_wrap(x, 14), position = "top") +
  scale_y_discrete(labels = function(x) str_wrap(x, 28)) +
  labs(title = "Correlación entre los tópicos de lda1 (filas) y lda2 (columnas)",
       subtitle = "El recuadro negro marca el tópico de lda2 más parecido a cada tópico de lda1",
       x = "lda2", y = "lda1") +
  tema +
  theme(axis.line = element_blank(), axis.ticks = element_blank(),
        axis.text.y = element_text(colour = "#000000", face = "bold"),
        axis.text.x = element_text(colour = "#000000", face = "bold"),
        axis.title.y = element_text(colour = "#5E4B8B", face = "bold"),
        axis.title.x = element_text(colour = "#B5485D", face = "bold"),
        plot.title = element_text(face = "bold", size = 9))

El mapa muestra que las dos estrategias coinciden solo en parte. La correspondencia más clara se da en el tema de la familia: «Familia y trayectoria de vida» aparece en ambos modelos con una correlación de 0.90, la única cercana a 1. Las demás correspondencias son moderadas o débiles, entre 0.22 y 0.47. Dos tópicos de lda1, «Política, insurgencia y procesos de paz» y «Violencia», tienen su mayor correlación con el mismo tópico de lda2, «Militancia en el M-19». Esto sugiere que lda2 agrupó en un solo tema lo que lda1 separó en dos. A la inversa, «Estructura y normas de los grupos armados» no es el par más cercano de ningún tópico de lda1, y «Estructura y combate de los grupos armados» encuentra un par débil (0.22, con «Experiencias en combate»). Por último, la mayoría de las correlaciones de «Familia y trayectoria de vida» con los demás tópicos son negativas: las entrevistas centradas en la familia hablan poco de la estructura y la economía de los grupos armados.

Estas correlaciones deben leerse con cautela: se calculan sobre 39 entrevistas, de modo que unas pocas pueden modificarlas de manera apreciable.

La siguiente tabla resume el mapa de calor: para cada tópico de lda1 indica cuál es su tópico más parecido en lda2 y con qué correlación, es decir, los pares marcados con el recuadro negro. Así se puede leer de manera directa cuántos tópicos encuentran una correspondencia clara en la otra estrategia y cuántos coinciden solo de forma débil.

mejor_par <- apply(correlacion, 1, which.max)
pareo <- data.frame(lda1 = rownames(correlacion),
                    lda2 = colnames(correlacion)[mejor_par],
                    correlacion = round(apply(correlacion, 1, max), 2))
knitr::kable(pareo, row.names = FALSE,
             col.names = c("Tópico lda1", "Tópico lda2 más parecido", "Correlación"),
             caption = "Tópico de lda2 con mayor correlación para cada tópico de lda1")
Tópico de lda2 con mayor correlación para cada tópico de lda1
Tópico lda1 Tópico lda2 más parecido Correlación
Familia y trayectoria de vida Familia y trayectoria de vida 0.90
Vida comunitaria ante la presencia del conflicto armado Economía ilegal de los grupos armados 0.35
Política, insurgencia y procesos de paz Militancia en el M-19 0.43
Violencia Militancia en el M-19 0.47
Estructura y combate de los grupos armados Experiencias en combate 0.22
Economía de la guerra Control territorial de los grupos armados 0.43

10.2 Especificidad de las listas y concentración por entrevista

El mapa de calor y el pareo muestran en qué medida las dos estrategias encuentran los mismos temas. Para valorar cuál funcionó mejor, se revisan dos aspectos adicionales.

  • El primero es si lda2 cumplió su propósito: al retirar las palabras que usan todas las entrevistas, sus tópicos deberían estar más diferenciados. Para medirlo, la primera tabla calcula qué parte de las 30 palabras más relevantes de cada modelo se repite en más de un tópico: un porcentaje menor indica tópicos más distintos entre sí.

  • El segundo aspecto es el riesgo propio del tf-idf. Como esta estrategia favorece las palabras de pocos documentos, podría producir tópicos que describen una entrevista particular y no un tema compartido. La segunda tabla muestra, para cada tópico de lda2, la entrevista donde más pesa y qué porcentaje de su presencia total se concentra en ella. Si los tópicos se repartieran por igual, cada entrevista concentraría cerca del 2.6 %; un porcentaje muy superior señalaría ese problema.

top_lda1 <- top_terminos(b, pw, lambda, cantidad)
top_lda2 <- top_terminos(b2, pw2, lambda2, cantidad)
knitr::kable(data.frame(Modelo = c("lda1", "lda2"),
                        Compartidas = round(100 * c(proporcion_compartidas(top_lda1),
                                                    proporcion_compartidas(top_lda2)), 1)),
             col.names = c("Modelo", "Palabras repetidas entre tópicos (%)"),
             caption = "Especificidad de las listas de palabras")
Especificidad de las listas de palabras
Modelo Palabras repetidas entre tópicos (%)
lda1 14.4
lda2 1.1
knitr::kable(concentracion(th2_doc[comunes, , drop = FALSE], etiquetas2), row.names = FALSE,
             col.names = c("Tópico lda2", "Entrevista donde más pesa", "Porcentaje del tópico en ella"),
             caption = "lda2: concentración de cada tópico por entrevista")
lda2: concentración de cada tópico por entrevista
Tópico lda2 Entrevista donde más pesa Porcentaje del tópico en ella
Experiencias en combate 220-AA-00002.pdf 7.0
Control territorial de los grupos armados 428-AA-00428.pdf 6.4
Familia y trayectoria de vida 837-AA-00004.pdf 6.9
Militancia en el M-19 216-AA-00008.pdf 9.9
Economía ilegal de los grupos armados 240-AA-00004.pdf 6.9
Estructura y normas de los grupos armados 176-AA-00002.pdf 6.1

Los resultados indican que lda2 cumplió su propósito. En lda1, el 14.4 % de las palabras más relevantes se repite en más de un tópico; en lda2, solo el 1.1 %. Es decir, al retirar el vocabulario común a todas las entrevistas, los tópicos de lda2 quedaron formados por palabras que prácticamente no comparten entre sí, mientras que los de lda1 conservan una parte de vocabulario general que los acerca.

Esa mayor diferenciación no se obtuvo a costa de describir entrevistas aisladas. En todos los tópicos de lda2, la entrevista con mayor peso concentra entre el 6.1 % y el 9.9 % de la presencia total del tópico. Esos valores superan el 2.6 % que correspondería a un reparto perfectamente uniforme, lo cual es esperable, porque no todos los testimoniantes hablan de los mismos temas. Pero ningún tópico depende de una sola historia. El más concentrado es «Militancia en el M-19» (9.9 %), algo coherente con que solo una parte de los testimoniantes relata su paso por esa organización. El menos concentrado es «Estructura y normas de los grupos armados» (6.1 %), un tema que aparece de forma más repartida entre las entrevistas. En conjunto, el filtro que exige que cada palabra aparezca en al menos 3 entrevistas evitó que el tf-idf produjera tópicos dominados por una sola historia.