library(readtext)
library(stringr)
library(dplyr)
library(quanteda)
library(topicmodels)
library(ggplot2)

1 Introducción

La Comisión para el Esclarecimiento de la Verdad, la Convivencia y la No Repetición realizó más de 14000 entrevistas, de las cuales transcribió, anonimizó y publicó más de 2230. Este taller trabaja con 39 de ellas, seleccionadas porque siguen las reglas de transcripción de la Comisión y tienen un índice de legibilidad adecuado. En conjunto, las entrevistas suman 1413 páginas; y no se sabe, de antemano, de qué tratan. Para responder esa pregunta sin leerlas una por una, se recurre a un análisis cuantitativo de texto: en lugar de interpretar cada relato, se cuenta qué palabras aparecen y cuáles tienden a aparecer juntas. Como plantean López-Torrijos y Tellez (2026), “la idea es partir de las palabras y llegar al tema” (p. 397). El supuesto es que las palabras de un mismo campo semántico se acompañan: por ejemplo, quien relata un desplazamiento probablemente menciona la finca, la vereda y la salida del pueblo.

Para identificar esos grupos de palabras se utiliza la técnica estadística bayesiana Latent Dirichlet Allocation (LDA). LDA supone que existe un número fijo de K temas, que cada documento es una mezcla de ellos en distintas proporciones y que cada tema es una distribución de probabilidad sobre las palabras (Blei et al., 2003). A través de la técnica, se asigna al azar un tema a cada palabra y se corrigen esas asignaciones iterativamente hasta estabilizarse. Al final, el modelo entrega dos resultados: la distribución tema-palabra, que indica qué palabras caracterizan cada tema; y la distribución documento-tema, que indica cuánto pesa cada tema en cada documento (López-Torrijos y Tellez, 2026). Sin embargo, la técnica no nombra los temas. Benoit (2020) advierte que los tópicos salen sin etiqueta y que “a human must assign these labels” a partir de sus palabras más asociadas. Advierte también que el número de tópicos debe fijarse de antemano.

Como el modelo solo ve conteos de palabras, la preparación del texto es tan importante como la estimación (López-Torrijos y Tellez, 2026). Cada intervención de los testimoniantes, separada de las preguntas de los entrevistadores, se trata como un documento. Luego, el vocabulario se depura por rondas: se retiran marcas de transcripción; etiquetas de anonimización; muletillas; verbos y verboides; artículos; adverbios y demás palabras que no aportan al tema. Cada ronda se decidió a partir de los resultados de la anterior, en el ciclo de mejoras que pide el taller. Sobre ese vocabulario se comparan dos estrategias: lda1, estimado con todo el vocabulario depurado, y lda2, estimado solo con los términos de mayor peso tf-idf, que favorece las palabras propias de pocas entrevistas y castiga las que usan todas (López-Torrijos y Tellez, 2026). Si ambas llegan a temas semejantes, hay más razones para confiar en ellos; si no, la estructura temática de los testimonios resulta frágil.

2 Parámetros del análisis

Todas las decisiones que se ajustaron durante el ciclo de mejoras se enlistan a continuación, para que cada iteración se haga cambiando un solo bloque.

n_topicos <- 6           # número de tópicos (k)
cantidad <- 30           # palabras por tópico en tablas y gráficos
lambda <- 0.6            # peso de la relevancia en lda1
lambda2 <- 0.6           # peso de la relevancia en lda2
min_frec <- 5            # frecuencia mínima de un término en todo el corpus
min_entrevistas <- 3     # número mínimo de entrevistas en que debe figurar un término (lda2)
min_tokens_turno <- 5    # número mínimo de palabras de una intervención para entrar al modelo
semilla1 <- 1515         # semilla de lda1 
semilla2 <- 1526         # semilla de lda2
semilla_alt <- 2026      # semilla alternativa para verificar la estabilidad de lda1

knitr::kable(data.frame(
  Parámetro = c("n_topicos", "cantidad", "lambda", "lambda2", "min_frec",
                "min_entrevistas", "min_tokens_turno", "semilla_alt"),
  Valor = as.character(c(n_topicos, cantidad, lambda, lambda2, min_frec, min_entrevistas,
                         min_tokens_turno, semilla_alt)),
  Uso = c("Tópicos estimados en ambos modelos", "Palabras mostradas por tópico",
          "Relevancia en lda1", "Relevancia en lda2", "Recorte de términos raros",
          "Recorte de términos presentes en muy pocas entrevistas (lda2)",
          "Recorte de intervenciones muy cortas",
          "Prueba de estabilidad de lda1")),
  caption = "Parámetros finales del análisis")
Parámetros finales del análisis
Parámetro Valor Uso
n_topicos 6 Tópicos estimados en ambos modelos
cantidad 30 Palabras mostradas por tópico
lambda 0.6 Relevancia en lda1
lambda2 0.6 Relevancia en lda2
min_frec 5 Recorte de términos raros
min_entrevistas 3 Recorte de términos presentes en muy pocas entrevistas (lda2)
min_tokens_turno 5 Recorte de intervenciones muy cortas
semilla_alt 2026 Prueba de estabilidad de lda1

2.1 Funciones auxiliares para el análisis

Este bloque no genera resultados por sí mismo: define seis funciones auxiliares que se emplean más adelante en el análisis de ambos modelos (lda1 y lda2). Se agrupan en un solo lugar para evitar repetir el mismo procedimiento en cada modelo y para que cada cálculo se pueda revisar de manera independiente.

# Relevancia de cada término en cada tópico (Sievert y Shirley, 2014)
relevancia_lambda <- function(b, pw, lambda) {
  lambda * log(b) + (1 - lambda) * log(sweep(b, 2, pw, "/"))
}

# Primeros n términos de cada tópico según la relevancia: matriz de n filas y k columnas
top_terminos <- function(b, pw, lambda, n) {
  rel <- relevancia_lambda(b, pw, lambda)
  sapply(seq_len(nrow(rel)), function(k) head(names(sort(rel[k, ], decreasing = TRUE)), n))
}

# Diez primeras palabras con lambda = 1, 0.6 y 0.3, y núcleo común a los tres rankings
tabla_lambda <- function(b, pw, etiquetas, n, lambdas = c(1, 0.6, 0.3), n_mostrar = 10) {
  rankings <- lapply(lambdas, function(l) top_terminos(b, pw, l, n))
  tabla <- data.frame(Tópico = etiquetas)
  for (i in seq_along(lambdas)) {
    tabla[[paste("lambda =", lambdas[i])]] <-
      apply(head(rankings[[i]], n_mostrar), 2, paste, collapse = ", ")
  }
  tabla$Núcleo <- sapply(seq_along(etiquetas), function(k)
    paste(Reduce(intersect, lapply(rankings, function(m) m[, k])), collapse = ", "))
  tabla
}

# Número de palabras en común entre los tópicos de dos modelos (filas: a; columnas: b)
coincidencias <- function(top_a, top_b) {
  sapply(seq_len(ncol(top_b)), function(j)
    sapply(seq_len(ncol(top_a)), function(i) length(intersect(top_a[, i], top_b[, j]))))
}

# Proporción de las palabras del top que se repiten en más de un tópico del mismo modelo
proporcion_compartidas <- function(top) {
  todas <- as.vector(top)
  mean(todas %in% todas[duplicated(todas)])
}

# Entrevista donde más pesa cada tópico y porcentaje de su presencia total en ella
concentracion <- function(th_doc, etiquetas) {
  data.frame(Tópico = etiquetas,
             Entrevista = rownames(th_doc)[apply(th_doc, 2, which.max)],
             Porcentaje = round(100 * apply(th_doc, 2, max) / colSums(th_doc), 1))
}

3 Carga de documentos

readtext() lee cada PDF como una fila con su nombre y su texto. Teniendo en cuenta que el enunciado nombra la carpeta con guion bajo y el chunk de las instrucciones no, se rescribió el código para que se acepten ambas versiones del nombre, de tal manera que el documento se genere en cualquier computador.

La revisión de las transcripciones mostró que los transcriptores anotan entre corchetes las partes inaudibles, dudosas o interrumpidas, casi siempre con el minuto del audio ([INAD: 01:04], [DUD: 05:03], [INTERRUP], [RISAS], [PAUSA: 18:36]); y que algunos archivos incluyen códigos de audio (AUDIO 068-AA-00001-44794). Como no son palabras del testimoniante, se eliminan antes de segmentar.

candidatas <- c("Transcripciones seleccionadas 3", "Transcripciones_seleccionadas 3")
ruta <- candidatas[dir.exists(candidatas)][1]
if (is.na(ruta)) stop("No se encontró la carpeta de transcripciones junto al archivo Rmd.")

lista_pdf <- dir(path = ruta, recursive = TRUE, pattern = "\\.pdf$", ignore.case = TRUE)
texto_unido <- readtext(file.path(ruta, lista_pdf))
names(texto_unido)[names(texto_unido) == "text"] <- "texto"
texto_unido$doc <- lista_pdf
texto_unido$id <- seq_along(lista_pdf)

# Anotaciones de transcripción entre corchetes y códigos de audio
texto_unido$texto <- texto_unido$texto %>%
  str_remove_all("\\[[^\\]]*\\]") %>%
  str_remove_all("AUDIO\\s+[0-9]{3}-[A-Z]{2}-[0-9-]+")

Se leyeron 39 transcripciones. Para descartar archivos vacíos o escaneados, se revisa el número de caracteres por entrevista:

nrow(texto_unido)
## [1] 39
summary(nchar(texto_unido$texto))
##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##   23727   58060   75452   91425  113610  280301

Antes de segmentar, se revisan los rótulos de hablante. Además de ENT: y TEST:, aparecen un segundo entrevistador (ENT2:, ENT 2:), un segundo testimoniante (TEST2:) y errores de digitación (TES:, TETS:, TESET:, ETN:). El patrón de las instrucciones del taller no los reconoce, de modo que esos turnos quedarían unidos al turno anterior; por eso, antes de segmentar, se unifican en los rótulos TEST: y ENT:.

rotulos <- unlist(str_extract_all(texto_unido$texto, "\\b[A-ZÁÉÍÓÚÑ]{2,}[0-9]*:"))
head(sort(table(rotulos), decreasing = TRUE), 10)
## rotulos
##       ENT:      TEST:     TEST2:      ENT2:      INAD:      FARC:       TES: 
##       8345       8323         29         19          3          2          2 
##      TETS:     AUDIO: CONOCIDO3: 
##          2          1          1

4 Creación del corpus

Primero se unifican los rótulos: las intervenciones del segundo testimoniante y las variantes con errores de digitación pasan a TEST:, y las del segundo entrevistador y sus variantes pasan a ENT:. Luego, corpus_segment() divide cada transcripción según un patrón, que en este caso es el rótulo de quien habla. Cada intervención de un testimoniante se convierte en un documento, y se descartan las de los entrevistadores y el encabezado previo al primer rótulo.

texto_unido$texto <- texto_unido$texto %>%
  str_replace_all("\\b(TEST?[0-9]*|TETS|TESET):", "TEST:") %>%
  str_replace_all("\\b(ENT ?[0-9]*|ETN):", "ENT:")

mi_corpus <- corpus(texto_unido, text_field = "texto")
corpus_segmentado <- corpus_segment(mi_corpus,
                                    pattern = "\\bTEST:|\\bENT:",
                                    pattern_position = "before",
                                    valuetype = "regex",
                                    case_insensitive = FALSE)
table(docvars(corpus_segmentado, "pattern"))   # turnos por hablante
## 
##  ENT: TEST: 
##  8367  8357
corpus_testimoniante <- corpus_subset(corpus_segmentado, str_detect(pattern, "TEST:"))
meta(corpus_testimoniante, "Fuente") <- paste("Comisión para el Esclarecimiento de la Verdad,",
                                              "la Convivencia y la no Repetición.")

Se identifican 8357 intervenciones de testimoniantes, provenientes de 39 entrevistas.

5 Tokenización

Las transcripciones están anonimizadas con etiquetas en mayúscula, muchas de ellas numeradas (ej. LUGAR1, CONOCIDO7, RANGO1, FARC16, ORGANIZACIÓN PÚBLICA, UNIDAD MILITAR). Si se pasaran a minúsculas, se mezclarían con el vocabulario real y crearían falsos temas. Por ello, se eliminan antes de pasar a minúsculas. Además, se conservan las siglas reales (FARC, ELN, EPL, AUC, M-19, JEP) y las mismas palabras cuando el testimoniante las usa en minúscula.

Antes de pasar a minúsculas se protegen dos tipos de palabras:

  • Expresiones de varias palabras. Con tokens_compound(), se unen en un solo término las expresiones que perderían su sentido si se separaran o si se les quitaran las palabras vacías, como “proceso de paz”, “fuerza pública”, “derechos humanos” o “falsos positivos”. Se incluyen también lugares y personajes públicos que se mencionan con nombre y apellido (Montes de María, Carlos Castaño). Las expresiones se unen antes de retirar las palabras vacías, porque de lo contrario ya no existirían en los tokens. La lista salió de contar su frecuencia en las intervenciones.

  • “Estado” como institución. La lista de palabras vacías incluye “estado” porque es una forma del verbo estar (“había estado”). Pero en los testimonios “Estado”, con mayúscula, aparece 276 veces como institución (“agentes del Estado”). Para no perderla, esa forma se reemplaza por el término “estado (institución)” antes de pasar a minúsculas.

Luego, se eliminan puntuación, números y símbolos; todas las palabras pasan a minúsculas; y se retiran las palabras vacías.

A esto se suma el vector retirar, que se amplió por rondas: en cada una se agregaron las palabras que aparecían en todos los tópicos sin aportar sentido, como muletillas; verbos de apoyo (“hacer”, “dar”); adverbios de lugar y tiempo; y los pronombres que stopwords("es") no incluye. Los adverbios terminados en -mente se retiran con un patrón que exige al menos cuatro letras antes de la terminación, para no eliminar el sustantivo “mente”.

A diferencia del código de las instrucciones, retirar se aplica después del paso a singular: si se aplicara antes, al retirar “cosa” o “vez” desaparecería el singular y “cosas” o “veces” ya no tendrían con qué unirse, así que sobrevivirían en los tópicos. También se eliminan las contracciones con apóstrofo propias del habla oral (“pa’llá”, “pa’l”, “por’ai”), que equivalen a palabras vacías.En la ronda 7 se retiraron ‘rodrigo’ y ‘leonardo’: cada uno aparece en solo dos entrevistas y se refiere a personas de una historia particular, de modo que marcan un relato y no un tema compartido.

En una ronda final se retiraron las formas verbales que no se relacionan con el conflicto armado, con las experiencias de las víctimas ni con el contenido de las entrevistas. Para ello, se revisó todo el vocabulario que queda tras la limpieza y se clasificó cada verbo, con sus conjugaciones, participios, infinitivos y gerundios:

  • Se conservan los verbos de violencia y victimización (matar, secuestrar, desaparecer, amenazar, torturar, robar, quemar); de desplazamiento y despojo (huir, desplazar, sacar, quitar, abandonar); de la vida en los grupos armados (ingresar, entrenar, combatir, patrullar, desmovilizar); de justicia y memoria (denunciar, declarar, condenar, perdonar); y de la trayectoria de vida de los testimoniantes (vivir, nacer, crecer, estudiar, aprender, trabajar, sembrar, convivir, sufrir, buscar, perder).

  • Se retiran los verbos de uso general, que aparecen en cualquier relato: de movimiento (llegar, ir, venir, salir, entrar, volver); de inicio y fin (empezar, comenzar, acabar, terminar); de habla y percepción (hablar, decir, contar, mirar, ver, escuchar); de opinión y conocimiento (pensar, creer, saber, conocer, entender); y auxiliares o de apoyo (hacer, dar, poner, tomar, quedar, poder, querer, deber), entre otros. También se retiraron “hecho” y “hechos”, que el paso a singular une en una sola forma.

Por la misma razón, se retiraron las referencias al tiempo (día, hora, minuto, semana, mes, año, noche, época, días de la semana y meses), que acompañan a todos los relatos sin distinguir sus temas. La lista completa está en el bloque de código siguiente, plegado para no alargar el documento; se despliega con el botón Code.

# Formas verbales sin relación con el conflicto, agrupadas por verbo, y referencias al tiempo
verbos_sin_relacion <- c(
    "abierta", "abierto", "abre", "abren", "abriendo", "abrieron", "abrimos", "abrir",
    "abrió", "abrí", "abría",
    "acaba", "acababa", "acabado", "acabamos", "acaban", "acabando", "acabar", "acabaron",
    "acabe", "acabo", "acabé", "acabó",
    "aceptaba", "aceptaban", "aceptar", "aceptarlo", "acepté", "aceptó",
    "acompaña", "acompañar", "acompañara", "acompañó",
    "acordaba", "acordarme", "acordé", "acuerde",
    "acostumbra", "acostumbrada", "acostumbrado", "acostumbrando", "acostumbré",
    "acostumbró",
    "agarrado", "agarramos", "agarran", "agarrar", "agarrarlo", "agarraron", "agarró",
    "alcance", "alcancé", "alcanza", "alcanzaba", "alcanzaban", "alcanzamos", "alcanzaron",
    "alcanzó",
    "anda", "andaba", "andaban", "andado", "andamos", "andan", "andando", "andar", "ando",
    "anduve", "andábamos",
    "aportar", "aporte",
    "arranca", "arrancaba", "arrancamos", "arrancar", "arranqué",
    "arreglada", "arreglar", "arreglo",
    "avance", "avanzando", "avanzar",
    "bajaba", "bajaban", "bajamos", "bajando", "bajar", "bajarlo", "bajaron", "baje",
    "bajo", "bajábamos", "bajé", "bajó",
    "brinca",
    "cae", "caen", "caer", "caiga", "caigo", "cayendo", "cayeron", "cayó", "caí", "caía",
    "caído",
    "cambia", "cambiaba", "cambiado", "cambian", "cambiando", "cambiar", "cambiaron",
    "cambie", "cambié", "cambió",
    "caminaba", "caminada", "caminando", "caminar", "camine",
    "carga", "cargaba", "cargaban", "cargada", "cargado", "cargan", "cargando", "cargar",
    "cargue", "cargábamos",
    "cerrado", "cerraron", "cerró", "cierra",
    "cocinaba", "cocinar",
    "coge", "cogen", "coger", "cogerlo", "cogido", "cogiendo", "cogieran", "cogieron",
    "cogimos", "cogió", "cogí", "cogía", "cogíamos", "cogían", "coja", "cojan", "cojo",
    "colocaban", "colocan", "colocar", "colocaron",
    "comentaba", "comentado", "comentar", "comento", "comenté",
    "comencé", "comenzaba", "comenzaban", "comenzamos", "comenzando", "comenzar",
    "comenzaron", "comienza", "comienzan", "comienzo",
    "coma", "come", "comen", "comer", "comido", "comimos", "comí", "comía", "comíamos",
    "comían",
    "conoce", "conocen", "conocer", "conocerlo", "conocida", "conocido", "conociendo",
    "conociera", "conocimos", "conoció", "conocí", "conocía", "conocíamos", "conocían",
    "conozca", "conozco",
    "conseguido", "conseguimos", "conseguir", "conseguí", "conseguía", "conseguían",
    "consigue", "consiguió",
    "contaban", "contada", "contado", "contando", "contarle", "contaron", "conté",
    "cuentan",
    "contesto", "contestó",
    "coordinaba", "coordinaban", "coordinado",
    "corra", "corre", "correr", "corriendo", "corrí", "corría", "corrían",
    "crea", "cree", "creemos", "creen", "creer", "creí", "creía", "creían",
    "cumple", "cumplen", "cumplido", "cumpliendo", "cumpliera", "cumplir", "cumplió",
    "cumplí", "cumplía", "cumplíamos", "cumplían",
    "daban", "dado", "damos", "dando", "darle", "darme", "darnos", "den", "diera",
    "dieran", "doy", "dábamos",
    "debemos", "deber", "debería", "deberíamos", "deberían", "debido", "debiendo", "debió",
    "debo", "debíamos", "debían",
    "decimo", "decirme", "decirte", "decíamos", "diciendo", "digan", "dijimos", "diría",
    "dedica", "dedicaban", "dedicada", "dedicaron", "dediqué",
    "deja", "dejaba", "dejaban", "dejado", "dejamos", "dejan", "dejando", "dejar",
    "dejara", "dejaran", "dejarle", "dejarlo", "dejaron", "dejarse", "deje", "dejen",
    "dejo", "dejábamos", "dejé", "dejó",
    "demora", "demoramos", "demoraron", "demoré", "demoró",
    "descansaba", "descansar", "descanso",
    "devolvieron", "devolvió", "devolvían", "devuelvo",
    "dormida", "dormido", "dormir", "dormí", "dormía", "dormíamos", "dormían", "duerme",
    "durmiendo",
    "dura", "duraba", "duraban", "duramos", "durar", "dure", "duro", "duré", "duró",
    "echa", "echaba", "echaban", "echamos", "echan", "echando", "echar", "echarle",
    "echaron", "eche", "echo", "eché", "echó",
    "empecé", "empezaba", "empezaban", "empezamos", "empezando", "empezar", "empezábamos",
    "empezó", "empieza", "empiezan", "empiezo",
    "encarga", "encargaba", "encargaban", "encargada", "encargado", "encargan", "encargo",
    "entender", "entendido", "entendió", "entendí", "entendía", "entendíamos", "entendían",
    "entra", "entraba", "entraban", "entrado", "entramos", "entran", "entrando", "entrar",
    "entraran", "entraron", "entro", "entré", "entró",
    "escribiendo", "escribir", "escribí", "escrito",
    "escucha", "escuchaba", "escuchaban", "escuchado", "escuchamos", "escuchan",
    "escuchando", "escuchar", "escuche", "escucho", "escuché", "escuchó",
    "espera", "esperaba", "esperaban", "esperando", "esperar", "espere", "esperemos",
    "espero", "esperé",
    "existe", "existen", "existir", "existía", "existían",
    "explicaba", "explicaban", "explican", "explicando", "explicar", "explicarle",
    "explicaron", "explico", "explicó", "expliqué",
    "falta", "faltaba", "faltaban", "faltó",
    "fijo",
    "formaba", "formado", "formamos", "formando", "formar", "formaron", "formarse",
    "formo", "formó",
    "gusta", "gustaba", "gustaban", "gustado", "gustan", "gustaría", "gusto", "gustó",
    "habla", "hablaba", "hablaban", "hablado", "hablamo", "hablan", "hablando", "hablara",
    "hablarle", "hablarme", "hablaron", "hable", "hablemos", "hablo", "hablábamos",
    "hablé", "habló",
    "hacerla", "hacerle", "hacerlo", "hacerme", "hacernos", "hacerse", "haciéndole",
    "haciéndose", "hacíamos", "hagamos", "hicieran",
    "imagina", "imaginaba",
    "importa", "importaba",
    "interesa", "interesaba", "interesado",
    "irme", "irnos", "irse", "vayamos", "vayan", "váyase", "yendo",
    "juega", "juego", "jugaba", "jugada", "jugando", "jugar", "jugábamos", "jugó",
    "lea", "lee", "leer", "leo", "leyendo", "leía", "leían",
    "levanta", "levantaba", "levantamos", "levantar", "levanté", "levantó",
    "llama", "llamaba", "llamaban", "llamada", "llamado", "llamamos", "llaman", "llamando",
    "llamar", "llamara", "llamarlo", "llamaron", "llamarse", "llame", "llamen", "llamo",
    "llamábamos", "llamé", "llamó",
    "llega", "llegaba", "llegado", "llegamos", "llegan", "llegando", "llegar", "llegara",
    "llegaran", "llegarle", "llegaron", "llego", "llegue", "lleguen", "llegué",
    "llegábamos", "llegó",
    "logra", "lograba", "lograban", "logrado", "logramos", "lograr", "lograron", "logro",
    "logré", "logró",
    "manda", "mandaba", "mandaban", "mandado", "mandan", "mandando", "mandar", "mandara",
    "mandaran", "mandarle", "mandaron", "mande", "manden", "mandé", "mandó",
    "maneja", "manejaba", "manejaban", "manejan", "manejando", "manejar", "manejo",
    "manejábamos", "manejó",
    "mantener", "mantenido", "mantenía", "manteníamos", "mantenían", "mantiene",
    "meta", "metan", "mete", "metemos", "meten", "meter", "meterle", "meterme", "meternos",
    "meterse", "metida", "metido", "metiendo", "metiera", "metieran", "metieron",
    "metimos", "metió", "meto", "metí", "metía", "metíamos", "metían",
    "miraba", "miraban", "mirada", "miramos", "miran", "mirando", "mirar", "miren", "miro",
    "mirábamos", "miré", "miró",
    "montaba", "montado", "montamos", "montar", "montaron", "montó",
    "mostrar",
    "mover", "moverse", "movimos", "movía", "movían", "mueve",
    "necesita", "necesitaba", "necesitaban", "necesitamos", "necesitan", "necesiten",
    "necesito", "necesitábamos",
    "nota",
    "ocupado", "ocupar",
    "ocurre", "ocurrió",
    "olvida", "olvidaba", "olvidado", "olvidé", "olvidó",
    "oye", "oyó",
    "paraba", "paraban", "parado", "paran", "parar", "pararon", "pararse", "pare",
    "paremos", "paré", "paró",
    "parecer", "parecida", "parecido", "pareció", "parecía",
    "pasa", "pasaba", "pasaban", "pasada", "pasado", "pasamos", "pasan", "pasando",
    "pasar", "pasara", "pasaran", "pasaron", "pasaría", "pase", "paso", "pasábamos",
    "pasé", "pasó",
    "pedido", "pedimos", "pedir", "pedirle", "pedí", "pedía", "pedíamos", "pedían", "pida",
    "pide", "piden", "pidiendo", "pidieron", "pidió", "pido",
    "pensaba", "pensaban", "pensado", "pensamos", "pensando", "pensar", "pensara",
    "pensaron", "pensó", "piensa", "piensan", "piense",
    "podamos", "poderlo", "poderse", "podido", "podría", "pude", "pudiera", "pudieran",
    "pudieron", "pudimos", "pueda", "puedan", "puedo",
    "pone", "ponemos", "ponen", "poner", "ponerla", "ponerle", "ponerlo", "ponerme",
    "ponernos", "ponerse", "ponga", "pongan", "pongo", "poniendo", "ponía", "poníamos",
    "ponían", "puse", "pusiera", "pusieron", "pusimos", "puso",
    "preguntaba", "preguntaban", "preguntado", "preguntan", "preguntando", "preguntar",
    "preguntarle", "preguntarme", "preguntaron", "pregunte", "pregunto", "pregunté",
    "prepara", "preparaba", "preparaban", "preparada", "preparado", "preparando",
    "presenta", "presentaba", "presentaban", "presentar", "presentaron",
    "presenté", "presentó",
    "presta", "prestaba", "prestaban", "prestado", "prestando", "prestar", "prestarle",
    "presté",
    "queda", "quedaba", "quedaban", "quedado", "quedamos", "quedan", "quedando", "quedar",
    "quedara", "quedarme", "quedaron", "quedarse", "quede", "quedo", "quedábamos", "quedé",
    "quedó",
    "queremos", "querer", "querido", "queríamos", "querían", "quiera", "quieran",
    "quieren", "quise", "quisiera", "quisieran", "quisieron", "quiso",
    "rancha", "ranchar",
    "recibe", "recibido", "recibiendo", "recibieron", "recibir", "recibió", "recibí",
    "recibía", "recibíamos", "recibían",
    "recoge", "recogen", "recoger", "recogerlo", "recogido", "recogiendo", "recogieron",
    "recogió", "recogía", "recogían", "recoja",
    "recordar", "recuerde",
    "regresa", "regresamos", "regresar", "regresarme", "regresaron", "regresé", "regresó",
    "responde", "responder", "respondo", "respondía",
    "resultado", "resultó",
    "retiraba", "retirada", "retirado", "retirar", "retiro", "retiré",
    "sabido", "sabiendo", "sabría", "sabíamos", "sabían", "sepa", "supe", "supiera",
    "supieron", "supo",
    "sale", "salen", "salga", "salgan", "salgo", "salido", "saliendo", "saliera",
    "salieron", "salimos", "salir", "salirme", "salirse", "salió", "salí", "salía",
    "salíamos", "salían",
    "salto",
    "seguida", "seguido", "seguimos", "seguir", "seguí", "seguía", "seguíamos", "seguían",
    "siga", "sigan", "sigo", "siguen", "siguieron",
    "sentamos", "sentido", "sentimos", "sentir", "sentí", "sentía", "sentían", "sienta",
    "siente", "sienten", "siento", "sintieron", "sintió",
    "servido", "servir", "servía", "servían", "sirve", "sirviendo", "sirvió", "sirvo",
    "sonaba", "sonar", "sonó", "suena",
    "suba", "sube", "subido", "subiendo", "subieron", "subimos", "subir", "subió", "subo",
    "subí", "subía", "subían",
    "sucede", "suceder", "sucedido", "sucedió", "sucedía",
    "tenerla", "tenerlo",
    "termina", "terminaba", "terminado", "terminamos", "terminando", "terminar",
    "terminaron", "terminé", "terminó",
    "toca", "tocaba", "tocado", "tocar", "toco", "tocó", "toque", "toqué",
    "tomaba", "tomaban", "tomado", "tomamos", "toman", "tomando", "tomar", "tomara",
    "tomarnos", "tomaron", "tomarse", "tome", "tomen", "tomo", "tomé", "tomó",
    "trae", "traen", "traer", "traiga", "traigo", "traje", "trajeron", "trajo", "traía",
    "traíamos", "traían", "traído",
    "trata", "trataba", "trataban", "tratado", "tratamos", "tratan", "tratando", "tratar",
    "trato", "traté", "trató",
    "usa", "usaban", "usar", "uso",
    "utiliza", "utilizaba", "utilizaban", "utilizado", "utilizamos", "utilizan",
    "utilizar", "utilizaron", "utilizábamos", "utilizó",
    "venga", "vengan", "vengo", "venido", "venimos", "venirme", "venirnos", "venirse",
    "venía", "veníamos", "venían", "vienen", "viniera", "vinieran", "vinieron", "vinimos",
    "vemos", "ven", "veo", "verla", "verlo", "ves", "veíamos", "veían", "viendo", "viera",
    "vieran", "vieron", "vimos",
    "visitaba", "visitar", "visitarme", "visitó",
    "volver", "volviendo", "volvieron", "volvimos", "volvió", "volví", "volvía", "volvían",
    "vuelto", "vuelva", "vuelvan", "vuelve", "vuelven", "vuelvo",
    # otros verbos generales
    "abrazaba", "accionar", "acercó", "acerqué", "acogido", "acogió", "acostar", "acosté",
    "actuar", "adelantado", "administrar", "agradecido", "alimentar", "almorzar",
    "amanecer", "amaneció", "analizar", "aparecen", "aparecer", "aparecieron", "apareció",
    "aparecía", "aparecían", "aplicaban", "aplicar", "aplicó", "apretar", "aprovechar",
    "aprovecharon", "aprovechó", "ascendiendo", "asegurar", "asomó", "asumir", "atender",
    "atendieron", "atendía", "atendían", "atrevía", "autorizado", "averiguar", "bailar",
    "bailábamos", "barrer", "bañarse", "bañábamos", "beber", "beneficiado", "borrar",
    "bía", "bían", "cansada", "cansado", "cantaba", "cantar", "causaba", "causó", "citan",
    "compartir", "compartía", "comprometido", "comunicaba", "comunicado", "comunicar",
    "confiar", "conformado", "conformando", "conformar", "conformaron", "conformó",
    "consigan", "consiguiera", "construimos", "construir", "consultar", "continuar",
    "convencer", "convencerlo", "convencido", "convenciendo", "convierte", "convirtió",
    "copar", "copiar", "cortar", "creada", "creado", "crear", "crearon", "creó", "cruzado",
    "cruzando", "cruzar", "cuadraba", "cuadraban", "cuadramos", "cuadrando", "cuadrar",
    "cuadraron", "cualificado", "cubrir", "dada", "darse", "dañar", "decidido",
    "decidieron", "decidimos", "decidió", "decidía", "definir", "dentrar", "dependiendo",
    "dependía", "desarrollar", "descubrieron", "descubrir", "descubrían", "dijeran",
    "diré", "disciplinado", "distinguía", "distribuyó", "distribuía", "distribuían",
    "dividimos", "dividir", "dividía", "documentado", "dotan", "ejercer", "ejercía",
    "empeñada", "enfermé", "enfocado", "enredado", "enteraba", "enteré", "entiendan",
    "entrabamos", "enviaba", "enviaban", "enviar", "enviaron", "envían", "escoger",
    "estarme", "estarse", "evitar", "exigir", "exigía", "exigían", "expresaba", "expresar",
    "falló", "fortalecer", "fortalecido", "fortaleciendo", "fortaleció", "funcionaba",
    "funcionó", "ganaba", "ganaban", "ganamos", "ganan", "ganando", "ganar", "ganarme",
    "ganarse", "gané", "ganó", "gastaba", "generaba", "grabado", "gritar", "guardaba",
    "guardada", "guardado", "guardar", "guardaron", "guindar", "habemos", "haberme",
    "haberse", "haigan", "hiciste", "ida", "identificaba", "identificado", "identificar",
    "impactó", "incluido", "indisciplinado", "informaba", "informado", "informando",
    "informar", "informó", "iniciar", "inicié", "inició", "insistiendo", "intentaba",
    "intentó", "internado", "inventó", "invitaban", "invitaron", "invitó", "irte",
    "irán", "joden", "joder", "jodido", "jodiendo", "jodió", "jurado", "lanzar", "lavar",
    "legalizaba", "ligado", "limitaba", "llenaba", "llenando", "llenar", "llenó", "mamé",
    "manchaba", "marcado", "marcó", "medir", "mejorar", "mencionar", "mentir", "mirá",
    "métase", "negar", "negarlo", "nombraban", "nombrado", "nombran", "nombrar",
    "nombraron", "partir", "pasear", "permitido", "permitió", "permitía", "permitían",
    "pesaba", "pesado", "planificar", "podrido", "pongamos", "prefería", "premeditado",
    "prendió", "prendía", "preocupaba", "preocupado", "producir", "póngase", "recomendó",
    "recomiendo", "recorrido", "reflejado", "regalar", "regalaron", "regaló", "registrada",
    "registrado", "relajado", "remolcar", "repartir", "repartía", "repetir", "reportaban",
    "representar", "resolver", "respetaba", "respetaban", "respetar", "respetarla",
    "reunido", "reunieron", "reunimos", "reunir", "reunió", "reunía", "reuníamos",
    "reunían", "reventó", "revisar", "reúnen", "romper", "rompió", "sentaba", "sentado",
    "separaban", "separado", "sientan", "solicité", "solucionar", "sorprendido",
    "sorprendió", "sostener", "suponía", "taba", "tapar", "templó", "tendido", "torcido",
    "traigan", "transportar", "trasladaron", "traslado", "trotar", "tumbar", "ubicado",
    "ubicamos", "ubican", "ubicar", "unido", "unieron", "validar", "valió", "valía",
    "vengase", "verificar", "verme", "vernos", "verse", "verá", "vestido", "viajar",
    "viste"
)

referencias_tiempo <- c(
    "día", "hora", "minuto", "semana", "mes", "año", "tiempo", "mañana", "tarde", "noche",
    "madrugada", "hoy", "ayer", "anoche", "antier", "época", "fecha", "temporada",
    "década", "siglo", "ratico", "ratito", "mediodía", "medianoche", "mediados", "lunes",
    "martes", "miércoles", "jueves", "viernes", "sábado", "domingo", "enero", "febrero",
    "marzo", "abril", "mayo", "junio", "julio", "agosto", "septiembre", "octubre",
    "noviembre", "diciembre", "presente", "futuro", "fin", "inicio", "principio", "final"
)

5.1 Rondas de tokenización

El siguiente chunk convierte cada intervención en una lista de palabras (tokens) y aplica la limpieza descrita anteriormente.

# Etiquetas de anonimización en mayúscula (incluye variantes con errores de digitación)
etiquetas_anonimizacion <- c(
  "TEST", "ENT", "RANGO", "RANGOS", "EXRANGO", "ENXRANGO", "RANFO", "GRADO", "LUGAR",
  "CONOCIDO", "CONOCIDA", "CONCOIDO", "CONCOIDA", "CONCODIO", "CONOCDIO", "CONOCIOD",
  "CPONOCIDO", "FAMILIAR", "FAMILAIR", "GRUPO", "SOCIAL", "ORGANIZACION", "ORGANIZACIÓN",
  "ORGANIAZCIÓN", "INSTITUCION", "INSTITUCIÓN", "EDUCATIVA", "EDUCTAIVA", "PUBLICA",
  "PÚBLICA", "PÚBLIC", "PÚIBLICA", "PÚVLICA", "PRIVADA", "FIGURA", "UNIDAD", "MILITAR",
  "POLICIAL", "FUERZA", "AÉREA", "RESPONSABLE", "GUERRILLERO", "GUERRILLERA",
  "EXGUERRILLERO", "PARAMILITAR", "PARAMILIATR", "PARAMILTAR", "PARAILITAR",
  "EXPARAMILITAR", "NARCOTRAFICANTE", "SUPUESTO", "INDIGENA", "INDIGENAS", "AUDIO")

rondas_retirar <- list(
  "Instrucciones: marcas de transcripción" = c("inad", "dud", "interrup"),

  "Ronda 1: marcas sin cerrar o con errores" = c(
    "inau", "inaud", "inaudible", "ininteligible", "interurp", "dudd",
    "cont", "inc", "pausa", "risa", "risas"),

  "Ronda 1: muletillas y marcadores" = c(
    "pues", "pue", "entonces", "entonce", "bueno", "digamos", "osea",
    "aja", "mmm", "mmmm", "ehh", "eeh", "eee", "umm", "hmm",
    "claro", "listo", "vale", "dale", "exacto", "cierto", "obvio",
    "total", "igual"),

  "Ronda 1: adverbios de lugar" = c(
    "ahí", "ahi", "allá", "alla", "acá", "aca", "aquí", "aqui", "allí", "alli",
    "así", "asi", "adentro", "afuera", "abajo", "arriba", "cerca", "lejos",
    "alrededor", "encima", "debajo", "atrás", "atras", "adelante", "delante",
    "detrás", "detras"),

  "Ronda 1: verbos de habla" = c(
    "dice", "dijo", "decía", "decia", "dije", "decir", "dicen", "dijeron",
    "decían", "decian", "digo", "diga", "dijera", "dicho",
    "cuento", "contaba", "contó", "conto", "contar", "preguntó", "pregunta"),

  "Ronda 1: formas de trato" = c(
    "señor", "señora", "usted", "ustedes", "don", "doña",
    "mija", "mijo", "mijito", "mijita", "mamita", "papito"),

  "Ronda 2: verbos de opinión y memoria" = c(
    "creo", "sabe", "sabía", "sabia", "saber", "sabemos", "saben",
    "acuerdo", "acuerda", "recuerdo", "recuerda", "pienso", "pensé",
    "parece", "imagino", "entiendo"),

  "Ronda 2: verbos genéricos" = c(
    "iba", "íbamos", "iban", "voy", "vamos", "ido", "vaya",
    "vino", "venir", "vine", "viene",
    "dio", "dieron", "daba", "dan",
    "puede", "pudo", "podía", "podia", "poder", "podemos", "pueden",
    "ver", "vio", "veía", "visto", "quería", "queria", "quiero", "quiere",
    "sigue", "siguió"),

  "Ronda 2: tiempo genérico" = c(
    "ahora", "ahorita", "luego", "después", "despues", "todavía", "todavia",
    "aún", "siempre", "nunca", "jamás", "pronto", "rato", "momento", "vez"),

  "Ronda 3: cantidades y números en letra" = c(
    "harto", "harta", "montón", "poquito", "bastante", "demasiado",
    "dos", "tres", "cuatro", "cinco", "seis", "siete", "ocho", "nueve", "diez",
    "once", "doce", "quince", "veinte", "treinta", "cien", "mil",
    "primero", "primera", "segundo", "segunda", "tercero", "mitad"),

  "Ronda 3: conectores" = c(
    "cada", "además", "incluso", "inclusive", "sino", "aunque", "mientras",
    "según", "través", "dentro", "pesar", "solo", "sólo",
    "apenas", "casi", "mejor"),

  "Ronda 3: sustantivos comodín" = c(
    "cosa", "cuestión", "tipo", "parte", "manera", "forma", "lado",
    "nomás", "berraco", "verraco"),

  "Ronda 4: palabras observadas en los tópicos" = c("ajá", "vaina", "dar", "van"),

  "Ronda 4: verbo hacer" = c(
    "hacer", "hace", "hizo", "hacía", "hacia", "hago", "hacen", "hacían",
    "hicieron", "hice", "hicimos", "hacemos", "haciendo", "hiciera",
    "haga", "hagan", "haría"),

  "Ronda 4: pronombres no incluidos en stopwords" = c(
    "ello", "conmigo", "contigo", "consigo", "aquel", "aquella", "aquellos",
    "aquellas", "aquello", "cuales", "cuál", "cuáles", "quién", "quiénes",
    "cuyo", "cuya", "alguien", "nadie", "alguno", "alguna", "algún",
    "ninguno", "ninguna", "ningún", "cualquier", "cualquiera", "demás",
    "mismo", "misma", "mismos", "mismas", "tal", "unas", "toda", "todas",
    "tanta", "tantos", "tantas", "mucha", "muchas", "poca", "pocos", "pocas"),

  "Ronda 5: interrogativos, infinitivos y otras palabras frecuentes" = c(
    "cómo", "cuándo", "dónde", "cuánto", "cuántos", "cuánta", "bien",
    "ser", "tener", "haber", "ejemplo", "menos", "meno"),

  "Ronda 6: formas coloquiales" = c(
    "toes", "usté", "ustés", "pal", "mire", "vea", "oiga", "dizque",
    "fulano", "fulanito", "marica", "huevón", "chévere", "bacano"),

  "Ronda 7: expresiones del habla" = c(
    "cuenta", "mira", "tan", "debe", "deben", "debía", "resulta", "entiende",
    "decirlo", "decirle", "podíamos", "podían"),

  "Ronda 7: nombres propios de una sola historia" = c("rodrigo", "leonardo"),

  "Ronda 8: palabras observadas en los tópicos" = c(
    "hecho", "hechos", "hablar", "entoe", "llegaban", "empezaron", "comenzó"),

  "Ronda 8: muletillas y coloquialismos restantes" = c(
    "hágale", "magínese", "depende", "onde", "tonce", "hijueputa", "gracia"),

  "Ronda 8: verbos sin relación con el conflicto" = verbos_sin_relacion,

  "Ronda 8: referencias al tiempo" = referencias_tiempo
)
retirar <- unlist(rondas_retirar, use.names = FALSE)

# Expresiones de varias palabras que se protegen como un solo término
expresiones <- c(
  "proceso de paz", "acuerdo de paz", "justicia y paz", "fuerza pública",
  "derechos humanos", "falsos positivos", "lucha armada", "grupo armado",
  "grupos armados", "fuerzas armadas", "autodefensas unidas", "acción comunal",
  "partido comunista", "unión patriótica", "cultivos ilícitos", "violencia sexual",
  "zona de distensión", "estados unidos", "fuerza aérea", "cruz roja",
  "limpieza social", "servicio militar",
  "montes de maría", "san onofre", "el salado", "el naya", "canal del dique",
  "carlos pizarro", "jaime bateman", "carlos castaño", "manuel marulanda",
  "alfonso cano", "salvatore mancuso", "mono jojoy")

mis_tokens <- tokens(corpus_testimoniante, remove_punct = TRUE,
                     remove_numbers = TRUE, remove_symbols = TRUE) %>%
  tokens_remove("^[A-ZÁÉÍÓÚÑ]+[0-9]+$", valuetype = "regex",
                case_insensitive = FALSE) %>%   # etiquetas numeradas: LUGAR1, CONOCIDO7
  tokens_remove(etiquetas_anonimizacion, valuetype = "fixed", case_insensitive = FALSE) %>%
  tokens_compound(pattern = phrase(expresiones), concatenator = " ") %>%
  tokens_replace(pattern = "Estado", replacement = "estado (institución)",
                 valuetype = "fixed", case_insensitive = FALSE) %>%
  tokens_tolower() %>%
  tokens_replace(pattern = "grupos armados", replacement = "grupo armado",
                 valuetype = "fixed") %>%
  tokens_remove(stopwords(language = "es")) %>%   # 'retirar' se aplica después del singular
  tokens_remove(pattern = "^.{4,}mente$", valuetype = "regex") %>%   # adverbios en -mente
  tokens_remove(pattern = "['’]", valuetype = "regex") %>%           # contracciones: pa'llá
  tokens_select(min_nchar = 3)   # descarta restos de una o dos letras ("pa", "eh")

5.2 Bitácora de la depuración

La siguiente tabla resume el ciclo de mejoras del vocabulario. Registra, en orden, la limpieza previa de las etiquetas de anonimización y cada ronda del vector retirar, con las palabras eliminadas y su cantidad. En las rondas con más de 20 palabras solo se muestran las primeras; la lista completa está en el código. Esta tabla servirá como evidencia para la respuesta a la pregunta 1.

con_palabras <- rondas_retirar[lengths(rondas_retirar) > 0]
bitacora <- data.frame(Ronda = names(con_palabras),
                       Palabras = sapply(con_palabras, function(x)
                         if (length(x) > 20) paste0(paste(head(x, 12), collapse = ", "),
                                                    ", ... (lista completa en el código)")
                         else paste(x, collapse = ", ")),
                       Cantidad = as.character(lengths(con_palabras)))
bitacora <- rbind(
  data.frame(Ronda = "Limpieza previa: etiquetas de anonimización",
             Palabras = "Etiquetas en mayúscula, con o sin número (LUGAR1, CONOCIDO7, RANGO, UNIDAD MILITAR...)",
             Cantidad = as.character(length(etiquetas_anonimizacion) + 1)),
  bitacora,
  data.frame(Ronda = "Ronda 4: adverbios en -mente",
             Palabras = "Patrón ^.{4,}mente$ (realmente, prácticamente, etc.)",
             Cantidad = "Todas las coincidencias"))
knitr::kable(bitacora, row.names = FALSE,
             caption = "Palabras retiradas en la limpieza previa y en cada ronda")
Palabras retiradas en la limpieza previa y en cada ronda
Ronda Palabras Cantidad
Limpieza previa: etiquetas de anonimización Etiquetas en mayúscula, con o sin número (LUGAR1, CONOCIDO7, RANGO, UNIDAD MILITAR…) 55
Instrucciones: marcas de transcripción inad, dud, interrup 3
Ronda 1: marcas sin cerrar o con errores inau, inaud, inaudible, ininteligible, interurp, dudd, cont, inc, pausa, risa, risas 11
Ronda 1: muletillas y marcadores pues, pue, entonces, entonce, bueno, digamos, osea, aja, mmm, mmmm, ehh, eeh, … (lista completa en el código) 24
Ronda 1: adverbios de lugar ahí, ahi, allá, alla, acá, aca, aquí, aqui, allí, alli, así, asi, … (lista completa en el código) 27
Ronda 1: verbos de habla dice, dijo, decía, decia, dije, decir, dicen, dijeron, decían, decian, digo, diga, … (lista completa en el código) 21
Ronda 1: formas de trato señor, señora, usted, ustedes, don, doña, mija, mijo, mijito, mijita, mamita, papito 12
Ronda 2: verbos de opinión y memoria creo, sabe, sabía, sabia, saber, sabemos, saben, acuerdo, acuerda, recuerdo, recuerda, pienso, pensé, parece, imagino, entiendo 16
Ronda 2: verbos genéricos iba, íbamos, iban, voy, vamos, ido, vaya, vino, venir, vine, viene, dio, … (lista completa en el código) 32
Ronda 2: tiempo genérico ahora, ahorita, luego, después, despues, todavía, todavia, aún, siempre, nunca, jamás, pronto, rato, momento, vez 15
Ronda 3: cantidades y números en letra harto, harta, montón, poquito, bastante, demasiado, dos, tres, cuatro, cinco, seis, siete, … (lista completa en el código) 28
Ronda 3: conectores cada, además, incluso, inclusive, sino, aunque, mientras, según, través, dentro, pesar, solo, sólo, apenas, casi, mejor 16
Ronda 3: sustantivos comodín cosa, cuestión, tipo, parte, manera, forma, lado, nomás, berraco, verraco 10
Ronda 4: palabras observadas en los tópicos ajá, vaina, dar, van 4
Ronda 4: verbo hacer hacer, hace, hizo, hacía, hacia, hago, hacen, hacían, hicieron, hice, hicimos, hacemos, haciendo, hiciera, haga, hagan, haría 17
Ronda 4: pronombres no incluidos en stopwords ello, conmigo, contigo, consigo, aquel, aquella, aquellos, aquellas, aquello, cuales, cuál, cuáles, … (lista completa en el código) 43
Ronda 5: interrogativos, infinitivos y otras palabras frecuentes cómo, cuándo, dónde, cuánto, cuántos, cuánta, bien, ser, tener, haber, ejemplo, menos, meno 13
Ronda 6: formas coloquiales toes, usté, ustés, pal, mire, vea, oiga, dizque, fulano, fulanito, marica, huevón, chévere, bacano 14
Ronda 7: expresiones del habla cuenta, mira, tan, debe, deben, debía, resulta, entiende, decirlo, decirle, podíamos, podían 12
Ronda 7: nombres propios de una sola historia rodrigo, leonardo 2
Ronda 8: palabras observadas en los tópicos hecho, hechos, hablar, entoe, llegaban, empezaron, comenzó 7
Ronda 8: muletillas y coloquialismos restantes hágale, magínese, depende, onde, tonce, hijueputa, gracia 7
Ronda 8: verbos sin relación con el conflicto abierta, abierto, abre, abren, abriendo, abrieron, abrimos, abrir, abrió, abrí, abría, acaba, … (lista completa en el código) 1393
Ronda 8: referencias al tiempo día, hora, minuto, semana, mes, año, tiempo, mañana, tarde, noche, madrugada, hoy, … (lista completa en el código) 50
Ronda 4: adverbios en -mente Patrón ^.{4,}mente$ (realmente, prácticamente, etc.) Todas las coincidencias

6 Singularización

Las reglas de las instrucciones unen plural y singular solo si la forma singular existe en el corpus, lo que evita crear palabras inexistentes. Se hicieron tres ajustes:

  • Umbral de longitud: con más de 4 caracteres quedaban por fuera plurales frecuentes de cuatro letras (años, días, ojos). El umbral pasó a más de 3 y se protegió “dios”, que de otro modo se convertiría en “dio”. También se protegió “bienes” para que no se uniera con “bien”, que se retira como muletilla.

  • Plurales con cambio de tilde: se agregaron las reglas -ones → -ón, -anes → -án y -eses → -és (razones → razón, intereses → interés).

  • Plurales esdrújulos: se agregó un paso para los plurales en -enes cuyo singular no lleva tilde (jóvenes → joven, crímenes → crimen).

Se consideró lematizar con udpipe, como en las sesiones 10 y 11. Se descartó porque exige descargar un modelo al generar el documento; y porque anotar miles de intervenciones alarga el tiempo de ejecución del código.

unicas <- types(mis_tokens)
singular <- unicas
reglas <- list(c("ces$", "z"), c("iones$", "ión"), c("ones$", "ón"),
               c("anes$", "án"), c("eses$", "és"), c("es$", ""), c("s$", ""))
no_tocar <- c("dios", "bienes")
for (r in reglas) {
  candidata <- sub(pattern = r[1], replacement = r[2], x = unicas)
  ok <- singular == unicas &
    candidata != unicas &
    candidata %in% unicas &
    nchar(unicas) > 3 &
    !unicas %in% no_tocar
  singular[ok] <- candidata[ok]
}
termina_enes <- grepl("enes$", unicas)
candidata <- chartr("áéíóú", "aeiou", sub("enes$", "en", unicas))
ok <- termina_enes & singular == unicas & candidata %in% unicas
singular[ok] <- candidata[ok]

cambia <- singular != unicas
mis_tokens <- tokens_replace(mis_tokens, pattern = unicas[cambia],
                             replacement = singular[cambia], valuetype = "fixed")
# 'retirar' se aplica después del paso a singular, para que los plurales (cosas, veces)
# se unan primero con su singular y desaparezcan junto con él
mis_tokens <- tokens_remove(mis_tokens, retirar)

Se unificaron 2685 formas plurales. Algunos ejemplos se muestran a continuación:

knitr::kable(head(data.frame(Plural = unicas[cambia], Singular = singular[cambia]), 8),
             caption = "Ejemplos de unificación de plurales")
Ejemplos de unificación de plurales
Plural Singular
años año
armas arma
padres padre
hermanos hermano
mayores mayor
entonces entonce
complejos complejo
veces vez
sum(cambia)
## [1] 2685

7 Creación de la matriz de términos a documentos

En quanteda, la matriz guarda los documentos en las filas y los términos en las columnas (DFM). Es una representación de bolsa de palabras: importa cuántas veces figura cada término, no su posición (López-Torrijos y Tellez, 2026). Primero se eliminan las intervenciones con menos de 5 palabras y luego se aplica trimming para retirar los términos con frecuencia total menor que 5. El libro usa un umbral de 2 en su ejemplo; aquí se usa 5, como sugiere el enunciado cuando aparecen palabras muy raras con lambda bajo. Tras la limpieza, la mitad de las intervenciones tiene menos de diez palabras y una de cada tres tiene menos de cinco (“sí, claro”, “en el pueblo”). En textos tan cortos, el modelo no tiene información para estimar la mezcla de tópicos, así que solo agregan ruido. El filtro de intervenciones cortas se aplica antes del trimming: en el orden inverso, quedaban términos con frecuencia cero, que en la fórmula de relevancia producen una división entre cero y aparecían en el primer lugar de un tópico sin barra visible. Al final, se quitan las intervenciones que el trimming dejó vacías, porque LDA no admite filas sin palabras.

mi_dfm <- dfm(mis_tokens)
mi_dfm <- dfm_subset(mi_dfm, ntoken(mi_dfm) >= min_tokens_turno)
mi_dfm <- dfm_trim(mi_dfm, min_termfreq = min_frec)
mi_dfm <- dfm_subset(mi_dfm, ntoken(mi_dfm) > 0)

La matriz final tiene 4595 intervenciones y 2996 términos. Las palabras más frecuentes sirvieron para escoger candidatas a retirar en cada ronda:

topfeatures(mi_dfm, 30)
##       gente   guerrilla     persona    ejército  comandante        casa 
##        1419         935         897         633         571         569 
##       grupo   compañero      frente         man        farc       mujer 
##         515         514         503         451         450         448 
##      guerra     militar        mamá      pueblo        zona        papá 
##         446         444         438         420         420         417 
##       plata     familia        vida      verdad    muchacho        caso 
##         414         412         378         365         365         361 
##      hombre        arma paramilitar     hermano guerrillero        mano 
##         355         344         339         333         322         304

8 Aplicación de la técnica Latent Dirichlet Allocation (LDA)

LDA asigna temas al azar a cada palabra y los reasigna iterativamente según dos criterios: qué temas tiene el documento y qué palabras tiene cada tema. Al final, entrega dos distribuciones: tema-palabra (beta), con la que se nombran los tópicos; y documento-tema (theta), con la que se comparan los modelos (López-Torrijos y Tellez, 2026). Los tópicos salen sin nombre: es el analista quien los interpreta (Benoit, 2020; López-Torrijos y Tellez, 2026).

mi_dfm_tm <- quanteda::convert(mi_dfm, to = "topicmodels")
lda <- LDA(mi_dfm_tm, k = n_topicos, control = list(seed = semilla1))
b <- topicmodels::posterior(lda)$terms
pw <- colSums(mi_dfm)[colnames(b)] / sum(mi_dfm)
relevancia <- relevancia_lambda(b, pw, lambda)
topicos <- data.frame(topic = rep(seq_len(nrow(b)), ncol(b)),
                      term = rep(colnames(b), each = nrow(b)),
                      beta = as.vector(b),
                      relevancia = as.vector(relevancia))

8.1 Exploración del número de tópicos

Según López-Torrijos y Tellez (2026), el número de tópicos lo define el analista. El ejemplo 20.1 del libro ofrece el criterio para ajustarlo: si un tópico mezcla asuntos distintos, faltan tópicos; si dos tópicos se solapan, sobran. Benoit (2020) agrega que, para escogerlo, la interpretabilidad suele ser mejor criterio que las medidas estadísticas. Con esto en mente, se estimaron modelos con k entre 3 y 10; y, para cada uno, se revisaron sus diez términos más probables con terms(). El bloque siguiente se ejecutó en la consola y no se evalúa al generar el documento, porque imprime ocho listas extensas.

for (k_prueba in 3:10) {
  modelo_prueba <- LDA(mi_dfm_tm, k = k_prueba, control = list(seed = semilla1))
  print(terms(modelo_prueba, 10))
}

Para complementar la lectura de esas listas, se calcularon dos indicadores para cada valor de k. El primero es el porcentaje de las diez palabras principales que se repite en más de un tópico: una cifra menor indica tópicos más diferenciados. El segundo es la estabilidad frente a la semilla: el porcentaje de las 30 palabras más relevantes de cada tópico que reaparece, en promedio, al reestimar el modelo con la semilla 2026.

# Indicadores para escoger k: repetición de palabras entre tópicos y estabilidad frente a la semilla.
# Se ejecutó en la consola, porque estimar 16 modelos alarga mucho la generación del documento.
metricas_k <- do.call(rbind, lapply(3:10, function(k_prueba) {
  m1 <- LDA(mi_dfm_tm, k = k_prueba, control = list(seed = semilla1))
  m2 <- LDA(mi_dfm_tm, k = k_prueba, control = list(seed = semilla_alt))
  top10 <- as.vector(terms(m1, 10))
  coin <- coincidencias(top_terminos(posterior(m1)$terms, pw, lambda, cantidad),
                        top_terminos(posterior(m2)$terms, pw, lambda, cantidad))
  data.frame(k = k_prueba,
             Repetidas = round(100 * mean(top10 %in% top10[duplicated(top10)])),
             Estabilidad = round(100 * mean(apply(coin, 1, max)) / cantidad))
}))
# Resultados del bloque anterior, obtenidos en la consola
metricas_k <- data.frame(k = 3:10,
                         Repetidas = c(50, 48, 48, 17, 16, 24, 18, 27),
                         Estabilidad = c(41, 35, 29, 45, 45, 40, 40, 39))
knitr::kable(metricas_k, row.names = FALSE,
             col.names = c("k", "Palabras repetidas entre tópicos (%)",
                           "Estabilidad frente a la semilla (%)"),
             caption = "Indicadores para escoger el número de tópicos")
Indicadores para escoger el número de tópicos
k Palabras repetidas entre tópicos (%) Estabilidad frente a la semilla (%)
3 50 41
4 48 35
5 48 29
6 17 45
7 16 45
8 24 40
9 18 40
10 27 39

Entre k = 3 y k = 5, cerca de la mitad de las palabras principales se repite entre tópicos: los temas aparecen mezclados, lo que el libro asocia con un número insuficiente de tópicos. Con k = 6 la repetición cae a 17 % y la estabilidad alcanza su valor más alto (45 %). A partir de ese punto, aumentar el número de tópicos no mejora los resultados. Con k = 7 los indicadores son similares, pero tres de los tópicos combinan asuntos distintos, como la organización comunitaria y la política insurgente. Entre k = 8 y k = 10 la estabilidad desciende a cerca del 40 %. Con k = 10, además, la repetición vuelve a aumentar (27 %), porque el tema de la familia se divide en dos tópicos. Según el libro, ese solapamiento indica que el modelo tiene más tópicos de los necesarios.

Por consiguiente, se escogió k = 6, dado que es el número más pequeño de tópicos con el que se obtiene el mejor puntaje de estabilidad media y el menor porcentaje de palabras repetidas. Con k = 9 esos seis temas se mantienen y algunos se subdividen (el proceso de paz, los movimientos insurgentes y la experiencia de las mujeres), lo que muestra que no dependen del número de tópicos elegido; sin embargo, ese modelo agrega un tópico residual y es menos estable. En todo caso, la estabilidad es moderada para cualquier valor de k: al reestimar el modelo con otra semilla, cerca de la mitad de las palabras de cada tópico cambia. Por eso las etiquetas se apoyan en el núcleo, es decir, en las palabras que figuran entre las más relevantes con los tres valores de lambda. Esas palabras son, además, las más estables: el 50 % reaparece con la otra semilla, frente al 34 % de las demás.

8.2 Etiquetas de los tópicos de lda1

En el ejemplo 20.1 del libro, las palabras de cada tópico se ordenan solo por su probabilidad, lo que equivale a lambda = 1 (López-Torrijos y Tellez, 2026). Así dominan palabras frecuentes, como “gente” o “persona”, que aparecen en varios tópicos y no ayudan a distinguirlos. Por ello, se incorpora la relevancia de Sievert y Shirley (2014), que combina esa probabilidad con la exclusividad del término frente al resto del corpus. Lambda, entre 0 y 1, define el peso de cada componente: cerca de 1 predominan los términos frecuentes; cerca de 0, los exclusivos, que pueden ser muy raros. Los gráficos usan lambda = 0.6, y la tabla siguiente compara las diez primeras palabras con los valores 1, 0.6 y 0.3. Las palabras que figuran entre las 30 más relevantes con los tres valores forman el núcleo del tópico, su parte más confiable. Siguiendo el procedimiento del ejemplo 20.1, cada tópico se nombró a partir de lo que tienen en común las palabras de su núcleo.

etiquetas <- c("Familia y trayectoria de vida",
               "Vida comunitaria ante la presencia del conflicto armado",
               "Política, insurgencia y procesos de paz",
               "Violencia",
               "Estructura y combate de los grupos armados",
               "Economía de la guerra")
if (length(etiquetas) != n_topicos) etiquetas <- paste0("T", seq_len(n_topicos))

tabla_lda1 <- tabla_lambda(b, pw, etiquetas, n = cantidad)
tabla_lda1$Tópico <- paste0("**", tabla_lda1$Tópico, "**")   # negrilla en la columna Tópico
knitr::kable(tabla_lda1,
             align = c("c", "l", "l", "l", "l"),   # Tópico centrado; las demás a la izquierda
             caption = "lda1: diez primeras palabras según lambda y núcleo común")
lda1: diez primeras palabras según lambda y núcleo común
Tópico lambda = 1 lambda = 0.6 lambda = 0.3 Núcleo
Familia y trayectoria de vida casa, mamá, papá, familia, mujer, hijo, niño, hermano, vida, persona casa, mamá, papá, familia, mujer, hijo, niño, hermano, muchacha, niña mamá, papá, familia, casa, mujer, hijo, niño, muchacha, niña, tío casa, mamá, papá, familia, mujer, hijo, niño, hermano, vida, muchacha, trabajar, niña, tío, dios, hermana, vivía, sola, edad, estudiar, hija, padre, reglamento, menor
Vida comunitaria ante la presencia del conflicto armado gente, caso, persona, militar, comunidad, tema, organización, trabajo, eln, difícil gente, caso, comunidad, tema, organización, militar, persona, eln, trabajo, difícil comunidad, tema, caso, gente, organización, eln, difícil, servicio, mula, militar gente, caso, militar, comunidad, tema, organización, trabajo, eln, difícil, reunión, empresa, servicio, mula, operación, combustible, gasolina
Política, insurgencia y procesos de paz guerra, política, proceso, curso, colombia, nacional, estructura, arma, m-19, paz guerra, política, proceso, curso, nacional, estructura, epl, colombia, paz, libro guerra, política, curso, nacional, proceso, estructura, epl, libro, partido, lucha guerra, política, proceso, curso, colombia, nacional, estructura, paz, tierra, epl, proyecto, municipio, nivel, libro, partido, armado, lucha, proceso de paz, cauca, indígena
Violencia compañero, man, mano, mataron, policía, pueblo, muchacho, gente, cárcel, muerto compañero, man, mano, mataron, policía, cárcel, pueblo, muerto, muchacho, camarada compañero, man, mano, mataron, policía, cárcel, muerto, camarada, escuadra, pendiente compañero, man, mano, mataron, policía, pueblo, muchacho, cárcel, muerto, camarada, carro, escuadra, pendiente, toma, viejo, matan, moto, preso
Estructura y combate de los grupos armados ejército, guerrilla, comandante, frente, paramilitar, farc, guerrillero, arma, grupo, fusil ejército, frente, comandante, guerrilla, paramilitar, farc, fusil, guerrillero, combate, arma ejército, frente, comandante, paramilitar, fusil, guerrilla, combate, farc, información, unidad ejército, guerrilla, comandante, frente, paramilitar, farc, guerrillero, arma, fusil, orden, combate, área, soldado, información, mando, unidad, campamento, bloque, tropa, guardia, compañía, miedo, entrenamiento
Economía de la guerra zona, gente, plata, guerrilla, campesino, persona, finca, peso, coca, autodefensa zona, plata, campesino, peso, finca, coca, autodefensa, gente, narcotráfico, droga zona, campesino, peso, coca, autodefensa, plata, narcotráfico, finca, droga, cultivo zona, plata, campesino, finca, peso, coca, autodefensa, narcotráfico, gobierno, millón, droga, país, cultivo, ganado, negocio, pagar, pobre, impuesto, masacre

La comparación muestra que lambda cambia sobre todo la periferia de cada tópico, no su centro. Con lambda = 1 aparecen palabras generales que figuran en varios tópicos a la vez. Con lambda = 0.3 esas palabras desaparecen y ganan peso términos más específicos: “narcotráfico”, “droga” y “cultivo” en el tópico de economía de la guerra, o “partido” y “lucha” en el de política e insurgencia. Las palabras que encabezan cada tópico, en cambio, se mantienen con los tres valores; en el tópico de familia, las listas son casi idénticas. Esa coincidencia es lo que permite nombrar los tópicos a partir del núcleo.

Las etiquetas se justifican así:

  • T1. Familia y trayectoria de vida. El núcleo reúne los vínculos familiares (mamá, papá, hijo, hermano, familia) con palabras de la historia personal (vida, estudiar, edad, menor). El tópico recoge los relatos sobre la familia y la vida de los testimoniantes antes y durante el conflicto. Es el tópico más estable frente a la semilla.
  • T2. Vida comunitaria ante la presencia del conflicto armado. Combina palabras de la organización social (comunidad, organización, reunión, trabajo) con otras de la presencia armada (militar, eln, operación). Es el tópico más amplio y el menos estable, por lo que su etiqueta es la más tentativa.
  • T3. Política, insurgencia y procesos de paz. Agrupa el vocabulario de la lucha política (guerra, política, partido, lucha), de las organizaciones insurgentes (epl) y de la negociación (paz, proceso de paz).
  • T4. Violencia. Su núcleo describe hechos violentos y sus consecuencias: mataron, muerto, matan, policía, cárcel y preso.
  • T5. Estructura y combate de los grupos armados. Reúne los actores armados (ejército, guerrilla, paramilitar, farc), su organización interna (comandante, frente, mando, campamento, entrenamiento) y el enfrentamiento (combate, fusil).
  • T6. Economía de la guerra. Vincula el territorio rural (zona, campesino, finca, cultivo, ganado) con el narcotráfico y la economía ilegal (coca, narcotráfico, droga, plata, impuesto).

8.3 Estabilidad frente a la semilla

LDA inicia asignando temas aleatorios a cada palabra (López-Torrijos y Tellez, 2026), y la semilla fija ese punto de partida para que el resultado sea reproducible. Como el algoritmo converge a óptimos locales, con otra semilla los tópicos pueden cambiar. Según el enunciado del taller, si los temas son sólidos, deberían reaparecer. Para verificarlo, se reestima lda1 con la semilla 2026. El valor es arbitrario: se tomó el año en curso, pero cualquier número distinto de 1515 cumple el mismo propósito, que es hacer que el algoritmo arranque desde otro punto. Luego, se cuenta cuántas de las 30 palabras más relevantes de cada tópico reaparecen en el tópico más parecido del modelo alternativo.

lda_alt <- LDA(mi_dfm_tm, k = n_topicos, control = list(seed = semilla_alt))
b_alt <- topicmodels::posterior(lda_alt)$terms
comun_semilla <- coincidencias(top_terminos(b, pw, lambda, cantidad),
                               top_terminos(b_alt, pw, lambda, cantidad))
knitr::kable(data.frame(Tópico = etiquetas,
                        Coincidencias = apply(comun_semilla, 1, max)),
             col.names = c("Tópico", paste0("Palabras en común (de ", cantidad, ")")),
             caption = "lda1: estabilidad frente a una semilla alternativa")
lda1: estabilidad frente a una semilla alternativa
Tópico Palabras en común (de 30)
Familia y trayectoria de vida 23
Vida comunitaria ante la presencia del conflicto armado 10
Política, insurgencia y procesos de paz 11
Violencia 12
Estructura y combate de los grupos armados 13
Economía de la guerra 12

El siguiente bloque compara qué tan estables son las palabras del núcleo frente a las demás palabras relevantes cuando se cambia la semilla. Si el núcleo resulta más estable, se justifica usarlo para nombrar los tópicos.

# Estabilidad del núcleo frente al resto de las palabras más relevantes
top_base <- top_terminos(b, pw, lambda, cantidad)
top_alt <- top_terminos(b_alt, pw, lambda, cantidad)
par_alt <- apply(comun_semilla, 1, which.max)
rankings <- lapply(c(1, 0.6, 0.3), function(l) top_terminos(b, pw, l, cantidad))
estab <- sapply(seq_len(n_topicos), function(k) {
  nucleo <- Reduce(intersect, lapply(rankings, function(m) m[, k]))
  resto <- setdiff(top_base[, k], nucleo)
  c(sum(nucleo %in% top_alt[, par_alt[k]]), length(nucleo),
    sum(resto %in% top_alt[, par_alt[k]]), length(resto))
})
pct_nucleo <- round(100 * sum(estab[1, ]) / sum(estab[2, ]))
pct_resto <- round(100 * sum(estab[3, ]) / sum(estab[4, ]))

La estabilidad varía entre tópicos: de 10 a 23 palabras en común, de 30. El tópico más estable es «Familia y trayectoria de vida» y el menos estable, «Vida comunitaria ante la presencia del conflicto armado», cuya etiqueta es, por eso, la más tentativa. La estabilidad es mayor en el núcleo: el 50 % de sus palabras reaparece con la otra semilla, frente al 34 % de las demás palabras relevantes. Esto confirma que nombrar los tópicos a partir del núcleo reduce la dependencia de las etiquetas respecto del azar del algoritmo.

8.4 Gráficos de lda1

Las palabras se ordenan por relevancia y la longitud de la barra muestra su probabilidad dentro del tópico. Por eso las barras no aparecen ordenadas de mayor a menor.

color_barra <- "#B8A9D9"   # lavanda
color_titulo <- "#5E4B8B"  # lavanda oscuro
top <- topicos %>%
  group_by(topic) %>%
  slice_max(relevancia, n = cantidad, with_ties = FALSE) %>%
  ungroup()
tema <- theme(text = element_text(size = 8),
              panel.grid = element_blank(),
              panel.background = element_blank(),
              axis.line = element_line(colour = "black"),
              plot.subtitle = element_text(size = 7))
for (k in seq_along(etiquetas)) {
  p <- top %>%
    filter(topic == k) %>%
    ggplot(aes(beta, reorder(term, relevancia))) +
    geom_col(fill = color_barra, colour = "black", linewidth = 0.2) +
    labs(title = etiquetas[k],
         subtitle = paste0("Orden por relevancia (lambda = ", lambda, "); barra = probabilidad"),
         x = "Probabilidad de la palabra", y = "Términos") +
    tema +
    theme(plot.title = element_text(colour = color_titulo, face = "bold", size = 8))
  print(p)
}

9 Aplicación de la técnica LDA sobre un tf-idf: lda2

El cálculo del tf-idf incluye tres decisiones. En primer lugar y en atención a las instrucciones del taller, la frecuencia de cada palabra se mide como proporción del total de palabras de la entrevista y no como número de apariciones; así, una entrevista extensa no tiene más peso que una breve solo por su longitud. En segundo lugar, la plantilla usa el logaritmo natural en lugar del de base 10 que emplea el libro. Esta diferencia no afecta el resultado: cambiar la base multiplica todos los pesos por una misma constante, de modo que el orden de las palabras, y por tanto las que se seleccionan, no cambia.

En tercer lugar, antes del cálculo se exige que cada palabra aparezca en al menos 3 entrevistas. Sin este filtro, el tf-idf favorecería sobre todo a las palabras exclusivas de una sola entrevista, como los nombres propios de una historia particular. En el análisis de correspondencias, el libro advierte que las palabras concentradas en uno o dos documentos pueden producir resultados que solo separan esos documentos del resto (López-Torrijos y Tellez, 2026). Por analogía, en esta estrategia podrían generar tópicos que describen una entrevista y no un tema compartido. Con el vocabulario resultante, el modelo LDA se estima de nuevo sobre las intervenciones, igual que en lda1, de modo que las dos estrategias solo difieren en las palabras que el modelo puede ver.

mi_dfm_doc <- dfm_group(mi_dfm, groups = doc)

mi_dfm_doc <- dfm_trim(mi_dfm_doc, min_docfreq = min_entrevistas)

mi_dfm_tfidf <- dfm_tfidf(mi_dfm_doc, scheme_tf = "prop", base = exp(1))

peso <- apply(as.matrix(mi_dfm_tfidf), 2, max)
mi_dfm_sel2 <- dfm_keep(mi_dfm, names(peso)[peso >= quantile(peso, 0.75)],
                        valuetype = "fixed")

mi_dfm_sel2 <- dfm_subset(mi_dfm_sel2, ntoken(mi_dfm_sel2) > 0)
mi_dfm2_tm <- convert(mi_dfm_sel2, to = "topicmodels")
lda2 <- LDA(mi_dfm2_tm, k = n_topicos, control = list(seed = semilla2))

b2 <- topicmodels::posterior(lda2)$terms

pw2 <- colSums(mi_dfm_sel2)[colnames(b2)] / sum(mi_dfm_sel2)

rel2 <- relevancia_lambda(b2, pw2, lambda2)

topicos2 <- data.frame(topic = rep(seq_len(nrow(b2)), ncol(b2)),
                       term = rep(colnames(b2), each = nrow(b2)),
                       beta = as.vector(b2),
                       relevancia = as.vector(rel2))

El modelo lda2 trabaja con 683 términos y 4120 intervenciones.

9.1 Comparación de lambda y núcleo de cada tópico

Para leer los tópicos de lda2 se usa el mismo procedimiento que en lda1, de modo que ambas estrategias se interpreten con un criterio común. La tabla siguiente presenta las diez palabras más relevantes de cada tópico con lambda igual a 1, 0.6 y 0.3; y el núcleo de palabras comunes a los tres ordenamientos. La columna con lambda = 1 equivale a los diez términos más probables que entrega terms(), y los gráficos de lda2 usan lambda = 0.6.

etiquetas2 <- c("Experiencias en combate",
                "Control territorial de los grupos armados",
                "Familia y trayectoria de vida",
                "Militancia en el M-19",
                "Economía ilegal de los grupos armados",
                "Estructura y normas de los grupos armados")
if (length(etiquetas2) != n_topicos) etiquetas2 <- paste0("T", seq_len(n_topicos))

tabla_lda2 <- tabla_lambda(b2, pw2, etiquetas2, n = cantidad)
tabla_lda2$Tópico <- paste0("**", tabla_lda2$Tópico, "**")   # negrilla en la columna Tópico
knitr::kable(tabla_lda2,
             align = c("c", "l", "l", "l", "l"),
             caption = "lda2: diez primeras palabras según lambda y núcleo común")
lda2: diez primeras palabras según lambda y núcleo común
Tópico lambda = 1 lambda = 0.6 lambda = 0.3 Núcleo
Experiencias en combate man, situación, cárcel, muchacha, eln, camarada, droga, tropa, empresa, inteligencia man, situación, cárcel, muchacha, eln, camarada, droga, tropa, empresa, inteligencia man, situación, cárcel, muchacha, eln, camarada, droga, tropa, empresa, inteligencia man, situación, cárcel, muchacha, eln, camarada, droga, tropa, empresa, inteligencia, pelea, moto, embarazo, preso, palo, camión, encontramos, tranquilo, infiltrado, embarazada, encontraba, mina, hijuemadre, luchar, paraco, eleno, mercado, lancha, montes de maría
Control territorial de los grupos armados grupo, pueblo, policía, mando, área, tema, barrio, movimiento, entrenamiento, convivir grupo, pueblo, policía, mando, área, tema, barrio, entrenamiento, convivir, movimiento grupo, pueblo, policía, mando, área, entrenamiento, convivir, barrio, cierta, movimiento grupo, pueblo, policía, mando, área, tema, barrio, movimiento, entrenamiento, convivir, cierta, estrategia, ganadero, urbano, positivo, abogado, sucre, armada, complicada, presencia, ilegal, pueblito, cabo, máximo, izquierda, periodo, cuanto
Familia y trayectoria de vida mamá, comunidad, niña, tío, dios, hermana, sola, hija, proyecto, operación mamá, comunidad, niña, tío, dios, hermana, sola, hija, proyecto, operación mamá, comunidad, niña, tío, dios, hermana, sola, hija, proyecto, operación mamá, comunidad, niña, tío, dios, hermana, sola, hija, proyecto, operación, helicóptero, colegio, miliciano, baja, universidad, tolima, viví, ingresé, bus, aprendí, profesional, abuela, amiga, prima, informante, tía, charla, chico, chile
Militancia en el M-19 compañero, m-19, curso, estado (institución), toma, compañera, nivel, menor, acción, masacre compañero, m-19, curso, toma, compañera, estado (institución), nivel, menor, masacre, culpa compañero, m-19, curso, toma, compañera, nivel, menor, masacre, culpa, cauca compañero, m-19, curso, estado (institución), toma, compañera, nivel, menor, acción, masacre, culpa, cauca, iglesia, cerro, pizarro, valle, esposa, aprender, término, tortura, capaz, diálogo, enseñan, cuba
Economía ilegal de los grupos armados farc, paramilitar, colombia, fusil, coca, narcotráfico, millón, estado (institución), cultivo, bolívar farc, paramilitar, fusil, colombia, coca, narcotráfico, millón, cultivo, bolívar, servicio farc, paramilitar, fusil, colombia, coca, narcotráfico, millón, cultivo, bolívar, servicio farc, paramilitar, colombia, fusil, coca, narcotráfico, millón, cultivo, bolívar, servicio, río, mula, impuesto, combustible, dueño, gasolina, paramilitarismo, pelado, tubo, café, sur, estación, corrupción, cerquita, remesa, munición, pelao, bola, narcotraficante
Estructura y normas de los grupos armados frente, autodefensa, unidad, bloque, municipio, escuadra, estructura, compañía, reglamento, epl frente, autodefensa, unidad, bloque, municipio, escuadra, estructura, compañía, reglamento, epl frente, autodefensa, unidad, bloque, municipio, escuadra, estructura, compañía, reglamento, norma frente, autodefensa, unidad, bloque, municipio, escuadra, estructura, compañía, reglamento, epl, norma, general, médico, dirección, sanción, noticia, columna, móvil, central, departamento, alcaldía, auc, candidato, oficina, dólar, ejercicio, reemplazante, conferencia

A diferencia de lda1, en lda2 las listas casi no cambian entre los tres valores de lambda. Como el tf-idf ya retiró las palabras que usan todas las entrevistas, las palabras más probables de cada tópico son también las más exclusivas; y frecuencia y exclusividad coinciden. Por la misma razón, los tópicos de lda2 están formados por términos más específicos, como nombres de organizaciones, lugares y objetos.

9.2 Etiquetas de los tópicos de lda2

Los tópicos de lda2 se nombraron con el mismo procedimiento que los de lda1: a partir de lo que tienen en común las palabras de su núcleo. La tabla siguiente presenta la etiqueta de cada tópico y las primeras palabras de su núcleo.

nucleo_lda2 <- tabla_lambda(b2, pw2, etiquetas2, n = cantidad)$Núcleo
palabras_clave2 <- sapply(strsplit(nucleo_lda2, ", "),
                          function(x) paste(head(x, 8), collapse = ", "))
knitr::kable(data.frame(Tópico = paste0("T", seq_len(n_topicos)),
                        Etiqueta = etiquetas2,
                        Núcleo = palabras_clave2),
             col.names = c("Tópico", "Etiqueta", "Primeras palabras del núcleo"),
             caption = "lda2: etiquetas asignadas y palabras que las sustentan")
lda2: etiquetas asignadas y palabras que las sustentan
Tópico Etiqueta Primeras palabras del núcleo
T1 Experiencias en combate man, situación, cárcel, muchacha, eln, camarada, droga, tropa
T2 Control territorial de los grupos armados grupo, pueblo, policía, mando, área, tema, barrio, movimiento
T3 Familia y trayectoria de vida mamá, comunidad, niña, tío, dios, hermana, sola, hija
T4 Militancia en el M-19 compañero, m-19, curso, estado (institución), toma, compañera, nivel, menor
T5 Economía ilegal de los grupos armados farc, paramilitar, colombia, fusil, coca, narcotráfico, millón, cultivo
T6 Estructura y normas de los grupos armados frente, autodefensa, unidad, bloque, municipio, escuadra, estructura, compañía

Las etiquetas se justifican así:

  • T1. Experiencias en combate. El núcleo reúne palabras de la vida en las filas y del enfrentamiento (tropa, camarada, eln, mina, pelea), de la inteligencia y la infiltración (inteligencia, infiltrado) y de sus consecuencias (cárcel, preso). Es el tópico más heterogéneo de lda2, por lo que su etiqueta es la más general.
  • T2. Control territorial de los grupos armados. Combina los espacios donde se ejerce el control (pueblo, barrio, área, urbano) con los actores y mecanismos que lo ejercen (grupo, policía, mando, entrenamiento, convivir, ganadero).
  • T3. Familia y trayectoria de vida. Agrupa los vínculos familiares (mamá, niña, tío, hermana, hija, abuela) con la historia personal de los testimoniantes, incluidos sus estudios (colegio, universidad) y su ingreso a los grupos armados (ingresé, aprendí).
  • T4. Militancia en el M-19. Su núcleo gira en torno a esa organización y sus acciones (m-19, pizarro, toma, compañero, compañera, curso). Incluye también palabras de la confrontación con el Estado (estado (institución), masacre, tortura) y de la negociación (diálogo).
  • T5. Economía ilegal de los grupos armados. Vincula a los actores armados (farc, paramilitar) con las fuentes de financiación de la guerra: los cultivos de coca, el narcotráfico, los impuestos y el combustible.
  • T6. Estructura y normas de los grupos armados. Reúne las unidades de organización de los grupos (frente, bloque, escuadra, compañía, columna, estructura) y las reglas que rigen su funcionamiento (reglamento, norma, sanción).

9.3 Gráficos de lda2

color_barra <- "#F4B6C2"  
color_titulo <- "#B5485D"  
top2 <- topicos2 %>%
  group_by(topic) %>%
  slice_max(relevancia, n = cantidad, with_ties = FALSE) %>%
  ungroup()
for (k in seq_along(etiquetas2)) {
  p <- top2 %>%
    filter(topic == k) %>%
    ggplot(aes(beta, reorder(term, relevancia))) +
    geom_col(fill = color_barra, colour = "black", linewidth = 0.2) +
    labs(title = etiquetas2[k],
         subtitle = paste0("Orden por relevancia (lambda = ", lambda2, "); barra = probabilidad"),
         x = "Probabilidad de la palabra", y = "Términos") +
    tema +
    theme(plot.title = element_text(colour = color_titulo, face = "bold", size = 8))
  print(p)
}

10 Comparación entre estrategias

10.1 Correlación de los tópicos por entrevista

Comparar directamente las palabras de los dos modelos no basta para saber si encontraron los mismos temas. La numeración de los tópicos es arbitraria (el T1 de un modelo puede corresponder al T4 del otro). En adición, lda2 trabaja con un vocabulario distinto. Por ende, se compara dónde aparecen los tópicos, no qué palabras los forman.

Para ello se usa la distribución documento-tema que entrega LDA (López-Torrijos y Tellez, 2026), que indica qué proporción de cada intervención corresponde a cada tópico. Esas proporciones se promedian por entrevista, dando más peso a las intervenciones más largas. Así, cada una de las 39 entrevistas queda descrita por un perfil: cuánto pesa en ella cada tópico de lda1 y cada tópico de lda2. Posteriormente, se calcula la correlación entre los tópicos de ambos modelos a lo largo de las entrevistas. Si un tópico de lda1 y uno de lda2 crecen y decrecen en las mismas entrevistas, la correlación es alta: eso indica que ambos capturan el mismo tema, aunque tengan otro número y otras palabras.

El mapa de calor presenta esas correlaciones. Las filas corresponden a los tópicos de lda1 (en lavanda) y las columnas a los de lda2 (en palo de rosa). Cada celda muestra la correlación entre un par de tópicos, que va de -1 a 1. Las celdas verdes indican una relación positiva: los dos tópicos tienden a aparecer en las mismas entrevistas. Por el contrario, las celdas amarillas indican una relación negativa: donde uno pesa mucho, el otro pesa poco. Las celdas casi blancas indican que no hay relación. El recuadro negro marca, en cada fila, el tópico de lda2 más parecido al tópico de lda1 correspondiente.

th1 <- posterior(lda)$topics
n <- ntoken(mi_dfm)[rownames(th1)]
d <- docvars(mi_dfm, "doc")[match(rownames(th1), docnames(mi_dfm))]
th1_doc <- rowsum(th1 * n, d) / as.vector(rowsum(n, d))

th2 <- posterior(lda2)$topics
n <- ntoken(mi_dfm)[rownames(th2)]
d <- docvars(mi_dfm, "doc")[match(rownames(th2), docnames(mi_dfm))]
th2_doc <- rowsum(th2 * n, d) / as.vector(rowsum(n, d))

comunes <- intersect(rownames(th1_doc), rownames(th2_doc))
correlacion <- cor(th1_doc[comunes, ], th2_doc[comunes, ])
dimnames(correlacion) <- list(etiquetas, etiquetas2)


datos_cor <- data.frame(lda1 = rep(rownames(correlacion), times = ncol(correlacion)),
                        lda2 = rep(colnames(correlacion), each = nrow(correlacion)),
                        valor = as.vector(correlacion))
datos_cor$maximo <- datos_cor$valor == apply(correlacion, 1, max)[datos_cor$lda1]
datos_cor$lda1 <- factor(datos_cor$lda1, levels = rev(rownames(correlacion)))
datos_cor$lda2 <- factor(datos_cor$lda2, levels = colnames(correlacion))

ggplot(datos_cor, aes(x = lda2, y = lda1, fill = valor)) +
  geom_tile(colour = "white", linewidth = 0.8) +
  geom_tile(data = subset(datos_cor, maximo), fill = NA, colour = "black", linewidth = 0.6) +
  geom_text(aes(label = sprintf("%.2f", valor),
                fontface = ifelse(maximo, "bold", "plain")), size = 3) +
  scale_fill_gradient2(low = "#F2D16B", mid = "white", high = "#7FC28E",
                       midpoint = 0, limits = c(-1, 1), name = "Correlación") +
  scale_x_discrete(labels = function(x) str_wrap(x, 14), position = "top") +
  scale_y_discrete(labels = function(x) str_wrap(x, 28)) +
  labs(title = "Correlación entre los tópicos de lda1 (filas) y lda2 (columnas)",
       subtitle = "El recuadro negro marca el tópico de lda2 más parecido a cada tópico de lda1",
       x = "lda2", y = "lda1") +
  tema +
  theme(axis.line = element_blank(), axis.ticks = element_blank(),
        axis.text.y = element_text(colour = "#000000", face = "bold"),
        axis.text.x = element_text(colour = "#000000", face = "bold"),
        axis.title.y = element_text(colour = "#5E4B8B", face = "bold"),
        axis.title.x = element_text(colour = "#B5485D", face = "bold"),
        plot.title = element_text(face = "bold", size = 9))

El mapa muestra que las dos estrategias coinciden solo en parte. La correspondencia más clara se da en el tema de la familia: «Familia y trayectoria de vida» aparece en ambos modelos con una correlación de 0.90, la única cercana a 1. Las demás correspondencias son moderadas o débiles, entre 0.22 y 0.47. Dos tópicos de lda1, «Política, insurgencia y procesos de paz» y «Violencia», tienen su mayor correlación con el mismo tópico de lda2, «Militancia en el M-19». Esto sugiere que lda2 agrupó en un solo tema lo que lda1 separó en dos. A la inversa, «Estructura y normas de los grupos armados» no es el par más cercano de ningún tópico de lda1, y «Estructura y combate de los grupos armados» encuentra un par débil (0.22, con «Experiencias en combate»). Por último, la mayoría de las correlaciones de «Familia y trayectoria de vida» con los demás tópicos son negativas: las entrevistas centradas en la familia hablan poco de la estructura y la economía de los grupos armados.

Estas correlaciones deben leerse con cautela: se calculan sobre 39 entrevistas, de modo que unas pocas pueden modificarlas de manera apreciable.

La siguiente tabla resume el mapa de calor: para cada tópico de lda1 indica cuál es su tópico más parecido en lda2 y con qué correlación, es decir, los pares marcados con el recuadro negro. Así se puede leer de manera directa cuántos tópicos encuentran una correspondencia clara en la otra estrategia y cuántos coinciden solo de forma débil.

mejor_par <- apply(correlacion, 1, which.max)
pareo <- data.frame(lda1 = rownames(correlacion),
                    lda2 = colnames(correlacion)[mejor_par],
                    correlacion = round(apply(correlacion, 1, max), 2))
knitr::kable(pareo, row.names = FALSE,
             col.names = c("Tópico lda1", "Tópico lda2 más parecido", "Correlación"),
             caption = "Tópico de lda2 con mayor correlación para cada tópico de lda1")
Tópico de lda2 con mayor correlación para cada tópico de lda1
Tópico lda1 Tópico lda2 más parecido Correlación
Familia y trayectoria de vida Familia y trayectoria de vida 0.90
Vida comunitaria ante la presencia del conflicto armado Economía ilegal de los grupos armados 0.35
Política, insurgencia y procesos de paz Militancia en el M-19 0.43
Violencia Militancia en el M-19 0.47
Estructura y combate de los grupos armados Experiencias en combate 0.22
Economía de la guerra Control territorial de los grupos armados 0.43

10.2 Especificidad de las listas y concentración por entrevista

El mapa de calor y el pareo muestran en qué medida las dos estrategias encuentran los mismos temas. Para valorar cuál funcionó mejor, se revisan dos aspectos adicionales.

  • El primero es si lda2 cumplió su propósito: al retirar las palabras que usan todas las entrevistas, sus tópicos deberían estar más diferenciados. Para medirlo, la primera tabla calcula qué parte de las 30 palabras más relevantes de cada modelo se repite en más de un tópico: un porcentaje menor indica tópicos más distintos entre sí.

  • El segundo aspecto es el riesgo propio del tf-idf. Como esta estrategia favorece las palabras de pocos documentos, podría producir tópicos que describen una entrevista particular y no un tema compartido. La segunda tabla muestra, para cada tópico de lda2, la entrevista donde más pesa y qué porcentaje de su presencia total se concentra en ella. Si los tópicos se repartieran por igual, cada entrevista concentraría cerca del 2.6 %; un porcentaje muy superior señalaría ese problema.

top_lda1 <- top_terminos(b, pw, lambda, cantidad)
top_lda2 <- top_terminos(b2, pw2, lambda2, cantidad)
knitr::kable(data.frame(Modelo = c("lda1", "lda2"),
                        Compartidas = round(100 * c(proporcion_compartidas(top_lda1),
                                                    proporcion_compartidas(top_lda2)), 1)),
             col.names = c("Modelo", "Palabras repetidas entre tópicos (%)"),
             caption = "Especificidad de las listas de palabras")
Especificidad de las listas de palabras
Modelo Palabras repetidas entre tópicos (%)
lda1 14.4
lda2 1.1
knitr::kable(concentracion(th2_doc[comunes, , drop = FALSE], etiquetas2), row.names = FALSE,
             col.names = c("Tópico lda2", "Entrevista donde más pesa", "Porcentaje del tópico en ella"),
             caption = "lda2: concentración de cada tópico por entrevista")
lda2: concentración de cada tópico por entrevista
Tópico lda2 Entrevista donde más pesa Porcentaje del tópico en ella
Experiencias en combate 220-AA-00002.pdf 7.0
Control territorial de los grupos armados 428-AA-00428.pdf 6.4
Familia y trayectoria de vida 837-AA-00004.pdf 6.9
Militancia en el M-19 216-AA-00008.pdf 9.9
Economía ilegal de los grupos armados 240-AA-00004.pdf 6.9
Estructura y normas de los grupos armados 176-AA-00002.pdf 6.1

Los resultados indican que lda2 cumplió su propósito. En lda1, el 14.4 % de las palabras más relevantes se repite en más de un tópico; en lda2, solo el 1.1 %. Es decir, al retirar el vocabulario común a todas las entrevistas, los tópicos de lda2 quedaron formados por palabras que prácticamente no comparten entre sí, mientras que los de lda1 conservan una parte de vocabulario general que los acerca.

Esa mayor diferenciación no se obtuvo a costa de describir entrevistas aisladas. En todos los tópicos de lda2, la entrevista con mayor peso concentra entre el 6.1 % y el 9.9 % de la presencia total del tópico. Esos valores superan el 2.6 % que correspondería a un reparto perfectamente uniforme, lo cual es esperable, porque no todos los testimoniantes hablan de los mismos temas. Pero ningún tópico depende de una sola historia. El más concentrado es «Militancia en el M-19» (9.9 %), algo coherente con que solo una parte de los testimoniantes relata su paso por esa organización. El menos concentrado es «Estructura y normas de los grupos armados» (6.1 %), un tema que aparece de forma más repartida entre las entrevistas. En conjunto, el filtro que exige que cada palabra aparezca en al menos 3 entrevistas evitó que el tf-idf produjera tópicos dominados por una sola historia.

11 Preguntas del taller

11.1 Pregunta 1: ciclo de mejoras

El ciclo de mejoras siguió el procedimiento que ilustra el libro del curso: estimar el modelo; leer las palabras de cada tópico; identificar tópicos solapados o heterogéneos; y ajustar (López-Torrijos y Tellez, 2026). Cada decisión quedó registrada en la bitácora de la depuración y en la tabla de parámetros. A continuación se resumen en orden.

1. Línea base y limpieza del texto. La primera estimación, con las instrucciones originales y k = 4, mostró que parte del vocabulario no provenía de los testimonios. La revisión de las transcripciones identificó tres fuentes de ruido: las anotaciones de transcripción entre corchetes (como [INAD], [DUD] o [INTERRUP]); los rótulos que el patrón original no reconocía, como (ENT2:, TEST2:); y las etiquetas de anonimización (como LUGAR1, CONOCIDO7 o RANGO1). Las anotaciones se eliminaron antes de segmentar, los rótulos se unificaron en TEST: y ENT: y las etiquetas se retiraron antes de pasar a minúsculas, conservando las siglas reales (FARC, ELN, M-19).

2. Depuración del vocabulario. Con el texto limpio, las palabras más frecuentes seguían siendo propias del habla: “cosa”, “vez”, “hacer”, “tal”, “mismo”, “digo”, “entonce” o “vaina” aparecían en todos los tópicos sin distinguirlos. Por ello, el vector retirar se amplió en ocho rondas:

  • Las tres primeras retiraron muletillas; adverbios de lugar y tiempo; verbos de habla y de opinión; formas de trato; cantidades; y conectores.
  • La cuarta y la quinta retiraron palabras que seguían apareciendo en los tópicos (“ajá”, “vaina”, “dar”); las formas del verbo hacer; los pronombres que stopwords("es") no incluye; los interrogativos con tilde; y los adverbios terminados en -mente.
  • La sexta y la séptima retiraron formas coloquiales (“toes”, “usté”, “mire”); expresiones del habla (“cuenta”, “resulta”); y los nombres “rodrigo” y “leonardo”, concentrados cada uno en dos entrevistas.
  • La octava retiró los verbos de uso general y las referencias al tiempo; y conservó los verbos ligados al conflicto y a la experiencia de las víctimas, como matar, secuestrar, desplazar o vivir.

La depuración también obligó a corregir el procedimiento. Cuando retirar se aplicaba antes del paso a singular, “cosas” y “veces” sobrevivían, porque su singular ya había desaparecido; por eso pasó a aplicarse después. Para no perder información, se protegió “Estado” como institución, que la lista de palabras vacías eliminaba por ser una forma del verbo estar. Asimismo, se unieron, en un solo término, expresiones como “proceso de paz” o “falsos positivos” antes de retirar las palabras vacías (López-Torrijos y Tellez, 2026). Se consideró lematizar con udpipe, pero se descartó porque exige descargar un modelo al generar el documento.

3. Filtros de la matriz. Se fijó min_frec en 5, como sugiere el enunciado cuando aparecen palabras muy raras con lambda bajo. Además, se excluyeron las intervenciones con menos de cinco palabras: tras la limpieza, la mitad tenía menos de diez, y en textos tan cortos el modelo no puede estimar la mezcla de tópicos. Para lda2 se exigió que cada palabra apareciera en al menos 3 entrevistas, porque las palabras concentradas en uno o dos documentos tienden a separar esos documentos del resto (López-Torrijos y Tellez, 2026). Con ese filtro, los nombres propios de una sola entrevista dejaron de aparecer en lda2.

4. Número de tópicos. Se probaron valores de k entre 3 y 10. Hasta k = 5, cerca de la mitad de las palabras principales se repetía entre tópicos, y las listas mezclaban temas: con k = 4, por ejemplo, “papá” y “mamá” aparecían junto a “guerrilla” y “ejército”. Con k = 6 la repetición cayó al 17 % y la estabilidad frente a la semilla alcanzó su valor más alto (45 %): aparecieron seis temas definidos que se mantuvieron al aumentar k. Con k = 7, tres tópicos combinaban asuntos distintos; entre k = 8 y k = 10, la estabilidad bajó a cerca del 40 %, y con k = 10 el tema de la familia se dividió en dos tópicos, que se puede interpretar como el solapamiento que indica que sobran tópicos (López-Torrijos y Tellez, 2026). En este sentido, se escogió k = 6.

5. Valores de lambda. En lda1, las palabras que encabezan cada tópico se mantuvieron con lambda igual a 1, 0.6 y 0.3; y los cambios se concentraron en la periferia: con lambda = 1 aparecían términos generales como “gente” o “persona”, y con lambda = 0.3 ganaban peso términos específicos como “narcotráfico” o “cultivo”. En lda2, las tres listas fueron casi idénticas, porque el tf-idf ya había retirado el vocabulario común. Por eso, los tópicos se nombraron a partir del núcleo, es decir, de las palabras comunes a los tres valores.

6. Estabilidad. Al reestimar lda1 con otra semilla, cada tópico conservó entre 10 y 23 de sus 30 palabras más relevantes. El más estable fue «Familia y trayectoria de vida», y el menos, «Vida comunitaria ante la presencia del conflicto armado». Las palabras del núcleo resultaron más estables que las demás (50 % frente a 34 %), lo que respalda su uso para nombrar los tópicos.

7. Criterio de detención. El ciclo se dio por terminado cuando las palabras más frecuentes de la matriz fueron sustantivos ligados al conflicto (gente, guerrilla, ejército, comandante, casa, familia) y cada tópico pudo nombrarse a partir de su núcleo. No se retiraron palabras frecuentes con posible contenido temático, como “gente”, “persona” o “compañero”: eliminarlas habría implicado decidir de antemano qué temas debían aparecer.

11.2 Pregunta 2: etiquetas de lda1 y lda2

LDA no nombra los tópicos: son los analistas quienes interpretan los resultados para asignar un nombre a cada uno, a partir de las palabras más asociadas con él (Benoit, 2020; López-Torrijos y Tellez, 2026). Las etiquetas de ambos modelos se asignaron según lo que tienen en común las palabras de su núcleo.

nucleo1 <- tabla_lambda(b, pw, etiquetas, n = cantidad)$Núcleo
nucleo2 <- tabla_lambda(b2, pw2, etiquetas2, n = cantidad)$Núcleo
knitr::kable(data.frame(Modelo = rep(c("lda1", "lda2"), each = n_topicos),
                        Etiqueta = c(etiquetas, etiquetas2),
                        Núcleo = c(nucleo1, nucleo2)),
             caption = "Etiquetas asignadas y palabras del núcleo que las sustentan")
Etiquetas asignadas y palabras del núcleo que las sustentan
Modelo Etiqueta Núcleo
lda1 Familia y trayectoria de vida casa, mamá, papá, familia, mujer, hijo, niño, hermano, vida, muchacha, trabajar, niña, tío, dios, hermana, vivía, sola, edad, estudiar, hija, padre, reglamento, menor
lda1 Vida comunitaria ante la presencia del conflicto armado gente, caso, militar, comunidad, tema, organización, trabajo, eln, difícil, reunión, empresa, servicio, mula, operación, combustible, gasolina
lda1 Política, insurgencia y procesos de paz guerra, política, proceso, curso, colombia, nacional, estructura, paz, tierra, epl, proyecto, municipio, nivel, libro, partido, armado, lucha, proceso de paz, cauca, indígena
lda1 Violencia compañero, man, mano, mataron, policía, pueblo, muchacho, cárcel, muerto, camarada, carro, escuadra, pendiente, toma, viejo, matan, moto, preso
lda1 Estructura y combate de los grupos armados ejército, guerrilla, comandante, frente, paramilitar, farc, guerrillero, arma, fusil, orden, combate, área, soldado, información, mando, unidad, campamento, bloque, tropa, guardia, compañía, miedo, entrenamiento
lda1 Economía de la guerra zona, plata, campesino, finca, peso, coca, autodefensa, narcotráfico, gobierno, millón, droga, país, cultivo, ganado, negocio, pagar, pobre, impuesto, masacre
lda2 Experiencias en combate man, situación, cárcel, muchacha, eln, camarada, droga, tropa, empresa, inteligencia, pelea, moto, embarazo, preso, palo, camión, encontramos, tranquilo, infiltrado, embarazada, encontraba, mina, hijuemadre, luchar, paraco, eleno, mercado, lancha, montes de maría
lda2 Control territorial de los grupos armados grupo, pueblo, policía, mando, área, tema, barrio, movimiento, entrenamiento, convivir, cierta, estrategia, ganadero, urbano, positivo, abogado, sucre, armada, complicada, presencia, ilegal, pueblito, cabo, máximo, izquierda, periodo, cuanto
lda2 Familia y trayectoria de vida mamá, comunidad, niña, tío, dios, hermana, sola, hija, proyecto, operación, helicóptero, colegio, miliciano, baja, universidad, tolima, viví, ingresé, bus, aprendí, profesional, abuela, amiga, prima, informante, tía, charla, chico, chile
lda2 Militancia en el M-19 compañero, m-19, curso, estado (institución), toma, compañera, nivel, menor, acción, masacre, culpa, cauca, iglesia, cerro, pizarro, valle, esposa, aprender, término, tortura, capaz, diálogo, enseñan, cuba
lda2 Economía ilegal de los grupos armados farc, paramilitar, colombia, fusil, coca, narcotráfico, millón, cultivo, bolívar, servicio, río, mula, impuesto, combustible, dueño, gasolina, paramilitarismo, pelado, tubo, café, sur, estación, corrupción, cerquita, remesa, munición, pelao, bola, narcotraficante
lda2 Estructura y normas de los grupos armados frente, autodefensa, unidad, bloque, municipio, escuadra, estructura, compañía, reglamento, epl, norma, general, médico, dirección, sanción, noticia, columna, móvil, central, departamento, alcaldía, auc, candidato, oficina, dólar, ejercicio, reemplazante, conferencia

Tópicos de lda1

  • Familia y trayectoria de vida. Reúne los vínculos familiares (casa, mamá, papá, hijo, hermano) con la historia personal de los testimoniantes (vida, estudiar, edad, menor). Es el tópico más nítido y el más estable frente a la semilla.
  • Vida comunitaria ante la presencia del conflicto armado. Combina la organización social (comunidad, organización, reunión, trabajo) con la presencia armada (militar, ELN, operación), pero incluye también términos logísticos como “gasolina” o “mula”. Es el tópico más heterogéneo y el menos estable, por lo que su etiqueta es la más general
  • Política, insurgencia y procesos de paz. Agrupa el vocabulario de la lucha política (guerra, política, partido, lucha), de las organizaciones insurgentes (EPL) y de la negociación (paz, proceso de paz).
  • Violencia. Su núcleo describe hechos violentos y sus consecuencias: mataron, muerto, matan, cárcel y preso. Conserva palabras coloquiales como “man” y “mano”, que no alteran el sentido del tópico, pero explican que su etiqueta sea general.
  • Estructura y combate de los grupos armados. Reúne a los actores armados (ejército, guerrilla, paramilitar, FARC), su organización interna (comandante, frente, mando, campamento, entrenamiento) y el enfrentamiento (combate, fusil).
  • Economía de la guerra. Vincula el territorio rural (zona, campesino, finca, cultivo, ganado) con el narcotráfico y la economía ilegal (coca, narcotráfico, droga, plata, impuesto).

Tópicos de lda2

  • Experiencias en combate. Reúne la vida en las filas (tropa, camarada, ELN, mina), la inteligencia y la infiltración (inteligencia, infiltrado) y sus consecuencias (cárcel, preso). Incluye además términos dispersos, como “situación”, “empresa” o “embarazo”, por lo que es el tópico más heterogéneo de lda2 y su etiqueta recoge solo su hilo más visible.
  • Control territorial de los grupos armados. Combina los espacios donde se ejerce el control (pueblo, barrio, área) con los actores y mecanismos que lo ejercen (grupo, policía, mando, entrenamiento, Convivir, ganadero).
  • Familia y trayectoria de vida. Agrupa los vínculos familiares (mamá, niña, tío, hermana, hija, abuela) con los estudios (colegio, universidad) y el ingreso a los grupos armados (ingresé, aprendí). Coincide en contenido con el tópico homónimo de lda1.
  • Militancia en el M-19. Gira en torno a esa organización y sus acciones (M-19, Pizarro, toma, compañero, compañera), pero incluye también la confrontación con el Estado (Estado (institución), masacre, tortura) y la negociación (diálogo).
  • Economía ilegal de los grupos armados. Vincula a los actores armados (FARC, paramilitar) con las fuentes de financiación de la guerra: los cultivos de coca, el narcotráfico, los impuestos y el combustible.
  • Estructura y normas de los grupos armados. Reúne las unidades de organización (frente, bloque, escuadra, compañía, columna) y las reglas que rigen su funcionamiento (reglamento, norma, sanción), con un peso notable de las autodefensas (autodefensa, AUC).

11.3 Pregunta 3: ¿son diferentes los tópicos con cada estrategia?

Los 6 tópicos de lda1 encuentran su mayor correlación en 5 tópicos distintos de lda2. La correlación máxima promedio es 0.47 y la menor es 0.22. En lda1, el 14.4 % de las palabras más relevantes se repite en más de un tópico; en lda2, el 1.1 %.

Las dos estrategias llegan a temas de fondo semejantes, pero los delimitan de manera distinta. Como la numeración de los tópicos es arbitraria, las correspondencias se establecen por correlación y no por número: la familia, por ejemplo, es el primer tópico de lda1 y el tercero de lda2.

  • Coincidencia clara. Solo «Familia y trayectoria de vida» tiene un par inequívoco, con una correlación de 0.90.
  • Fusiones. «Política, insurgencia y procesos de paz» y «Violencia» tienen su mayor correlación con el mismo tópico de lda2, «Militancia en el M-19» (0.43 y 0.47). Por tanto, se puede afirmar que lda2 reunió en un tópico relatos que lda1 separó en dos.
  • Divisiones. «Economía de la guerra» se reparte entre «Control territorial de los grupos armados» (0.43) y «Economía ilegal de los grupos armados» (0.38): lda2 distinguió el control del territorio de la financiación de la guerra.
  • Correspondencias débiles. «Estructura y combate de los grupos armados» solo encuentra un par débil (0.22), y «Estructura y normas de los grupos armados» no es el par más cercano de ningún tópico de lda1, aunque su contenido se le parece.

En conjunto, los grandes dominios coinciden: la familia; los actores armados y su organización; la economía ilegal y el territorio; y la política y la insurgencia. La diferencia está en el corte. lda1 organiza los testimonios por experiencias amplias, como la violencia o la vida comunitaria, mientras que lda2 los organiza por organizaciones, actores y prácticas concretas.

Las listas de lda2 son más específicas que las de lda1. De las 30 palabras más relevantes de cada tópico, en lda1 el 14.4 % aparece también en otro tópico; en lda2, solo el 1.1 %. Es decir, casi cada palabra de lda2 pertenece a un único tópico, de modo que los tópicos apenas comparten vocabulario y se distinguen con más claridad. Sus núcleos, además, están formados por términos concretos, como nombres de organizaciones (M-19, AUC), lugares (Bolívar, Cauca) y objetos (fusil, munición); y no por palabras generales como “gente” o “persona”. Esa especificidad tiene un costo. Como solo conserva los términos más distintivos, lda2 trabaja con 683 términos, frente a los 2996 de lda1, y con 4120 intervenciones, frente a 4595, porque las que no contenían ninguno de esos términos quedaron por fuera. Por otra parte, algunos núcleos de lda2 incluyen términos sin relación clara con el tema del tópico, como “situación”, “empresa” o “embarazo” en «Experiencias en combate».

La segunda tabla descarta el principal riesgo del tf-idf: que un tópico describa una sola entrevista en lugar de un tema compartido. Si cada tópico se repartiera por igual entre las 39 entrevistas, cada una concentraría cerca del 2.6 % de su presencia. En lda2, la entrevista donde más pesa cada tópico concentra entre el 6.1 % y el 9.9 %. Esos valores muestran que los temas no se distribuyen de manera uniforme, algo esperable porque no todos los testimoniantes hablan de lo mismo. Pero ninguno se acerca a depender de una sola historia. El más concentrado, «Militancia en el M-19», tiene casi el 10 % de su presencia en una entrevista, lo que resulta coherente con que solo algunos testimoniantes relatan su relación con esa organización.

En síntesis, los dos indicadores arrojan porcentajes bajos y apuntan en la misma dirección. Por un lado, la mayor parte del vocabulario es exclusiva de un solo tópico en ambos modelos: el 85.6 % de las palabras más relevantes en lda1 y el 98.9 % en lda2. Los tópicos, por lo tanto, se distinguen entre sí por sus palabras, y lo hacen con más nitidez en lda2. Por otro lado, ningún tópico de lda2 depende de una sola entrevista: incluso en el caso más concentrado, más del 90 % de su presencia se reparte entre las demás. Así, la mayor especificidad de lda2 no se obtuvo a costa de fragmentar el corpus en historias individuales: sus tópicos siguen representando temas compartidos por varios testimoniantes.

12 Conclusión

Los testimonios analizados giran en torno a seis temas: la familia y la trayectoria de vida de los testimoniantes; la vida comunitaria bajo la presencia armada; la política, la insurgencia y los procesos de paz; la violencia, expresada en muertes y encarcelamientos; la estructura y el combate de los grupos armados; y la economía de la guerra, ligada a la coca, el narcotráfico y el territorio campesino. Los temas más confiables son los que aparecen en ambas estrategias: la familia, la organización de los grupos armados, la economía ilegal y la militancia política.

Las dos estrategias cumplen funciones complementarias. lda1 ofrece el mapa general más claro del corpus: sus seis tópicos cubren las grandes experiencias de los testimonios, pueden nombrarse a partir de su núcleo y su estabilidad fue verificada. lda2 produce listas más específicas y diferenciadas, útiles para identificar organizaciones y prácticas concretas, pero trabaja con un vocabulario más reducido e incluye un tópico heterogéneo. Por eso, para responder de qué hablan los testimoniantes, lda1 resulta más adecuada como lectura de conjunto, y lda2, como lectura de detalle.

El análisis tiene cinco limitaciones:

  • Representatividad. Las 39 entrevistas se seleccionaron por su legibilidad, de modo que los tópicos describen a testimoniantes capaces de relatar su experiencia de manera continua, y no al conjunto de las entrevistas de la Comisión.
  • Dependencia de la estimación. Los resultados dependen de la semilla y del número de tópicos: con otra semilla, los tópicos de lda1 conservaron entre 10 y 23 de sus 30 palabras más relevantes.
  • Decisiones de depuración. Lo que se retiró y lo que se protegió influye en los tópicos obtenidos.
  • Bolsa de palabras. El modelo considera la frecuencia de las palabras y no su orden (López-Torrijos y Tellez, 2026), por lo que no distingue negaciones ni matices del relato.
  • Interpretación. Las etiquetas son una interpretación de los analistas y no un resultado del modelo; y las correlaciones entre estrategias, calculadas sobre 39 entrevistas, pueden variar de manera apreciable con pocas observaciones.

En virtud de lo anterior, se propone lematizar el vocabulario y probar varias semillas en futuras investigaciones.

13 Declaración de uso de inteligencia artificial

Como apoyo para la realización del taller, se empleó la herramienta de inteligencia artificial Claude, de Anthropic, en su modelo Opus 5.5. Su uso tuvo cinco propósitos: comprender el código de la plantilla y la técnica de análisis a partir de los libros del curso; proponer mejoras al código; revisar las transcripciones para orientar la depuración del vocabulario; apoyar la elección del número de tópicos; mejorar la redacción, la ortografía y la estética del documento. Conviene señalar que nuestra participación fue activa y responsable: verificamos cada sugerencia contra los resultados del código y lo visto en clase, ajustamos los textos propuestos y tomamos las decisiones analíticas del taller.

De conformidad con los lineamientos para el uso de la IA de la Universidad Externado de Colombia, declaramos que las interacciones con la herramienta se guiaron a través de los siguientes momentos:

  1. Comprensión del taller y del código. Se insertaron las instrucciones del taller y las del taller anterior, y se empleó el siguiente prompt: “Actúa como docente experto en R y RStudio, con habilidades de pedagogía y mucha paciencia. Explícame cada uno de los apartados del taller y lo que hace cada chunk dado. Para cada chunk, identifica si hay una oportunidad de mejora”.

  2. Fundamentación en los libros y en las clases. Se procesaron los tres textos guía del curso con el objetivo de realizar un mapeo de literatura, utilizando el siguiente prompt: “Realiza un mapeo documental de los tres textos adjuntos para identificar y ubicar los capítulos o secciones exactas que abordan la técnica estadística LDA y la construcción de DFM”. Posteriormente, para revisar el código de la plantilla del taller, se analizaron los scripts de las sesiones 8 a 11 con el siguiente prompt: “Analiza la sintaxis y estructura lógica de los códigos adjuntos correspondientes a las sesiones 8 a 11. Contrasta estas metodologías con mi script actual e identifica si existen funciones que sean útiles para mejorar mi código”.

  3. Retroalimentación y mejora del código. Durante la elaboración del taller, se adoptó un enfoque iterativo y de mejora continua. Cada bloque de código (chunk) desarrollado fue sometido a un proceso de revisión de sintaxis mediante el prompt: “Revisa la sintaxis del siguiente ‘chunk’ que he redactado. Identifica oportunidades de mejora y sugiere ajustes puntuales”. Posteriormente, para la consolidación del documento final, se utilizó la herramienta exclusivamente para validar la coherencia y el formato en R Markdown, empleando el prompt: “Evalúa la estructura de este documento consolidado. A partir de los lineamientos del taller y los códigos de clase, revisa todo el código y el análisis escrito. Contrasta el documento con los criterios de evaluación y las penalizaciones, para señalar cualquier aspecto que deba ajustar antes de la entrega”.

  4. Revisión de las transcripciones y depuración del vocabulario. Se insertaron las 39 transcripciones con el prompt: “Memoriza los contenidos de estas entrevistas para futuras preguntas”. A partir de los resultados de cada ronda, se emplearon prompts como: “Sugiere un diccionario de stopwords (términos vacíos) adicionales para refinar la limpieza del texto”; “Identifica términos compuestos o conceptos clave del corpus que deban protegerse durante el proceso de tokenización”; y “Asiste en la configuración de un filtro de exclusión para verbos genéricos, garantizando la retención exclusiva de aquellos términos y acciones directamente asociados al análisis del conflicto armado y las víctimas [se insertaron los parámetros y ejemplos]”.

  5. Número de tópicos. Se insertaron las listas de términos obtenidas con k entre 3 y 10 con el prompt: “Ayúdanos a determinar cuál es el punto más informativo; explícalo de manera clara, detallada y estructurada”.

  6. Corrección de errores del código. Cada vez que el documento no se generaba, se empleó el prompt: “Al generar el documento aparece el siguiente error [se insertaba el mensaje de error]. Realiza una evaluación exhaustiva del error y dame las recomendaciones para su corrección”.

  7. Estética de los gráficos. Se empleó el prompt: “Dame una paleta de colores lavanda y palo de rosa para las gráficas, con bordes y texto en negro, sin modificar el tema”, y, para el mapa de calor: “Ayúdame a mejorar la estética de este gráfico [se insertaba el chunk]”.

  8. Revisión de redacción y ortografía. Para los textos explicativos se empleó: “Mejora la redacción de este párrafo. debe ser académico, claro y explicativo [se insertaba el párrafo]”. Para la ortografía se empleó: “Realiza un análisis exhaustivo de la ortografía del texto y dame una tabla con las líneas, los errores y sus correcciones”.

14 Referencias

  • Benoit, K. (2020). Text as data: An overview. En L. Curini y R. Franzese (Eds.), The SAGE Handbook of Research Methods in Political Science and International Relations. SAGE.
  • Blei, D. M., Ng, A. Y. y Jordan, M. I. (2003). Latent Dirichlet Allocation. Journal of Machine Learning Research, 3, 993-1022.
  • López-Torrijos, F. y Tellez, S. (2026). Análisis de texto como datos con R (versión 1.4, borrador). Universidad Externado de Colombia.
  • Sievert, C. y Shirley, K. (2014). LDAvis: A method for visualizing and interpreting topics. Proceedings of the Workshop on Interactive Language Learning, Visualization, and Interfaces, 63-70.