library(readtext)
library(stringr)
library(dplyr)
library(quanteda)
library(topicmodels)
library(ggplot2)
La Comisión para el Esclarecimiento de la Verdad, la Convivencia y la No Repetición realizó más de 14000 entrevistas, de las cuales transcribió, anonimizó y publicó más de 2230. Este taller trabaja con 39 de ellas, seleccionadas porque siguen las reglas de transcripción de la Comisión y tienen un índice de legibilidad adecuado. En conjunto, las entrevistas suman 1413 páginas; y no se sabe, de antemano, de qué tratan. Para responder esa pregunta sin leerlas una por una, se recurre a un análisis cuantitativo de texto: en lugar de interpretar cada relato, se cuenta qué palabras aparecen y cuáles tienden a aparecer juntas. Como plantean López-Torrijos y Tellez (2026), “La idea es partir de las palabras y llegar al tema” (p. 397). El supuesto es que las palabras de un mismo campo semántico se acompañan: por ejemplo, quien relata un desplazamiento probablemente menciona la finca, la vereda y la salida del pueblo.
Para identificar esos grupos de palabras se utiliza la técnica estadística bayesiana Latent Dirichlet Allocation (LDA). LDA supone que existe un número fijo de K temas, que cada documento es una mezcla de ellos en distintas proporciones y que cada tema es una distribución de probabilidad sobre las palabras (Blei et al., 2003). A través de la técnica, se asigna al azar un tema a cada palabra y se corrigen esas asignaciones iterativamente hasta estabilizarse. Al final, el modelo entrega dos resultados: la distribución tema-palabra, que indica qué palabras caracterizan cada tema; y la distribución documento-tema, que indica cuánto pesa cada tema en cada documento (López-Torrijos y Tellez, 2026). Sin embargo, la técnica no nombra los temas. Benoit (2020) advierte que los tópicos salen sin etiqueta y que “a human must assign these labels” a partir de sus palabras más asociadas. Advierte también que el número de tópicos debe fijarse de antemano.
Como el modelo solo ve conteos de palabras, la preparación del texto es tan importante como la estimación (López-Torrijos y Tellez, 2026). Cada intervención de los testimoniantes, separada de las preguntas de los entrevistadores, se trata como un documento. Luego, el vocabulario se depura por rondas: se retiran marcas de transcripción; etiquetas de anonimización; muletillas; verbos y verboides; artículos; adverbios y demás palabras que no aportan al tema. Cada ronda se decidió a partir de los resultados de la anterior, en el ciclo de mejoras que pide el taller. Sobre ese vocabulario se comparan dos estrategias: lda1, estimado con todo el vocabulario depurado, y lda2, estimado solo con los términos de mayor peso tf-idf, que favorece las palabras propias de pocas entrevistas y castiga las que usan todas (López-Torrijos y Tellez, 2026). Si ambas llegan a temas semejantes, hay más razones para confiar en ellos; si no, la estructura temática de los testimonios resulta frágil.
Todas las decisiones que se ajustaron durante el ciclo de mejoras se enlistan a continuación, para que cada iteración se haga cambiando un solo bloque.
n_topicos <- 6 # número de tópicos (k)
cantidad <- 30 # palabras por tópico en tablas y gráficos
lambda <- 0.6 # peso de la relevancia en lda1
lambda2 <- 0.6 # peso de la relevancia en lda2
min_frec <- 5 # frecuencia mínima de un término en todo el corpus
min_entrevistas <- 3 # número mínimo de entrevistas en que debe figurar un término (lda2)
min_tokens_turno <- 5 # número mínimo de palabras de una intervención para entrar al modelo
semilla1 <- 1515 # semilla de lda1
semilla2 <- 1526 # semilla de lda2
semilla_alt <- 2026 # semilla alternativa para verificar la estabilidad de lda1
knitr::kable(data.frame(
Parámetro = c("n_topicos", "cantidad", "lambda", "lambda2", "min_frec",
"min_entrevistas", "min_tokens_turno", "semilla_alt"),
Valor = as.character(c(n_topicos, cantidad, lambda, lambda2, min_frec, min_entrevistas,
min_tokens_turno, semilla_alt)),
Uso = c("Tópicos estimados en ambos modelos", "Palabras mostradas por tópico",
"Relevancia en lda1", "Relevancia en lda2", "Recorte de términos raros",
"Recorte de términos presentes en muy pocas entrevistas (lda2)",
"Recorte de intervenciones muy cortas",
"Prueba de estabilidad de lda1")),
caption = "Parámetros finales del análisis")
| Parámetro | Valor | Uso |
|---|---|---|
| n_topicos | 6 | Tópicos estimados en ambos modelos |
| cantidad | 30 | Palabras mostradas por tópico |
| lambda | 0.6 | Relevancia en lda1 |
| lambda2 | 0.6 | Relevancia en lda2 |
| min_frec | 5 | Recorte de términos raros |
| min_entrevistas | 3 | Recorte de términos presentes en muy pocas entrevistas (lda2) |
| min_tokens_turno | 5 | Recorte de intervenciones muy cortas |
| semilla_alt | 2026 | Prueba de estabilidad de lda1 |
Este bloque no genera resultados por sí mismo: define seis funciones auxiliares que se emplean más adelante en el análisis de ambos modelos (lda1 y lda2). Se agrupan en un solo lugar para evitar repetir el mismo procedimiento en cada modelo y para que cada cálculo se pueda revisar de manera independiente.
# Relevancia de cada término en cada tópico (Sievert y Shirley, 2014)
relevancia_lambda <- function(b, pw, lambda) {
lambda * log(b) + (1 - lambda) * log(sweep(b, 2, pw, "/"))
}
# Primeros n términos de cada tópico según la relevancia: matriz de n filas y k columnas
top_terminos <- function(b, pw, lambda, n) {
rel <- relevancia_lambda(b, pw, lambda)
sapply(seq_len(nrow(rel)), function(k) head(names(sort(rel[k, ], decreasing = TRUE)), n))
}
# Diez primeras palabras con lambda = 1, 0.6 y 0.3, y núcleo común a los tres rankings
tabla_lambda <- function(b, pw, etiquetas, n, lambdas = c(1, 0.6, 0.3), n_mostrar = 10) {
rankings <- lapply(lambdas, function(l) top_terminos(b, pw, l, n))
tabla <- data.frame(Tópico = etiquetas)
for (i in seq_along(lambdas)) {
tabla[[paste("lambda =", lambdas[i])]] <-
apply(head(rankings[[i]], n_mostrar), 2, paste, collapse = ", ")
}
tabla$Núcleo <- sapply(seq_along(etiquetas), function(k)
paste(Reduce(intersect, lapply(rankings, function(m) m[, k])), collapse = ", "))
tabla
}
# Número de palabras en común entre los tópicos de dos modelos (filas: a; columnas: b)
coincidencias <- function(top_a, top_b) {
sapply(seq_len(ncol(top_b)), function(j)
sapply(seq_len(ncol(top_a)), function(i) length(intersect(top_a[, i], top_b[, j]))))
}
# Proporción de las palabras del top que se repiten en más de un tópico del mismo modelo
proporcion_compartidas <- function(top) {
todas <- as.vector(top)
mean(todas %in% todas[duplicated(todas)])
}
# Entrevista donde más pesa cada tópico y porcentaje de su presencia total en ella
concentracion <- function(th_doc, etiquetas) {
data.frame(Tópico = etiquetas,
Entrevista = rownames(th_doc)[apply(th_doc, 2, which.max)],
Porcentaje = round(100 * apply(th_doc, 2, max) / colSums(th_doc), 1))
}
readtext() lee cada PDF como una fila con su nombre y su
texto. Teniendo en cuenta que el enunciado nombra la carpeta con guion
bajo y el chunk de las instrucciones no, reescribimos el código para que
se acepten ambas versiones del nombre, de tal manera que el documento se
genere en cualquier computador.
La revisión de las transcripciones mostró que los transcriptores
anotan entre corchetes las partes inaudibles, dudosas o interrumpidas,
casi siempre con el minuto del audio ([INAD: 01:04],
[DUD: 05:03], [INTERRUP],
[RISAS], [PAUSA: 18:36]); y que algunos
archivos incluyen códigos de audio
(AUDIO 068-AA-00001-44794). Como no son palabras del
testimoniante, se eliminan antes de segmentar.
candidatas <- c("Transcripciones seleccionadas 3", "Transcripciones_seleccionadas 3")
ruta <- candidatas[dir.exists(candidatas)][1]
if (is.na(ruta)) stop("No se encontró la carpeta de transcripciones junto al archivo Rmd.")
lista_pdf <- dir(path = ruta, recursive = TRUE, pattern = "\\.pdf$", ignore.case = TRUE)
texto_unido <- readtext(file.path(ruta, lista_pdf))
names(texto_unido)[names(texto_unido) == "text"] <- "texto"
texto_unido$doc <- lista_pdf
texto_unido$id <- seq_along(lista_pdf)
# Anotaciones de transcripción entre corchetes y códigos de audio
texto_unido$texto <- texto_unido$texto %>%
str_remove_all("\\[[^\\]]*\\]") %>%
str_remove_all("AUDIO\\s+[0-9]{3}-[A-Z]{2}-[0-9-]+")
Se leyeron 39 transcripciones. Para descartar archivos vacíos o escaneados, se revisa el número de caracteres por entrevista:
nrow(texto_unido)
## [1] 39
summary(nchar(texto_unido$texto))
## Min. 1st Qu. Median Mean 3rd Qu. Max.
## 23727 58060 75452 91425 113610 280301
Antes de segmentar, se revisan los rótulos de hablante. Además de
ENT: y TEST:, aparecen un segundo
entrevistador (ENT2:, ENT 2:), un segundo
testimoniante (TEST2:) y errores de digitación
(TES:, TETS:, TESET:,
ETN:). El patrón de las instrucciones del taller no los
reconoce, de modo que esos turnos quedarían unidos al turno anterior;
por eso, antes de segmentar, se unifican en los rótulos
TEST: y ENT:.
rotulos <- unlist(str_extract_all(texto_unido$texto, "\\b[A-ZÁÉÍÓÚÑ]{2,}[0-9]*:"))
head(sort(table(rotulos), decreasing = TRUE), 10)
## rotulos
## ENT: TEST: TEST2: ENT2: INAD: FARC: TES:
## 8345 8323 29 19 3 2 2
## TETS: AUDIO: CONOCIDO3:
## 2 1 1
Primero se unifican los rótulos: las intervenciones del segundo
testimoniante y las variantes con errores de digitación pasan a
TEST:, y las del segundo entrevistador y sus variantes
pasan a ENT:. Luego, corpus_segment() divide
cada transcripción según un patrón, que en este caso es el rótulo de
quien habla. Cada intervención de un testimoniante se convierte en un
documento, y se descartan las de los entrevistadores y el encabezado
previo al primer rótulo.
texto_unido$texto <- texto_unido$texto %>%
str_replace_all("\\b(TEST?[0-9]*|TETS|TESET):", "TEST:") %>%
str_replace_all("\\b(ENT ?[0-9]*|ETN):", "ENT:")
mi_corpus <- corpus(texto_unido, text_field = "texto")
corpus_segmentado <- corpus_segment(mi_corpus,
pattern = "\\bTEST:|\\bENT:",
pattern_position = "before",
valuetype = "regex",
case_insensitive = FALSE)
table(docvars(corpus_segmentado, "pattern")) # turnos por hablante
##
## ENT: TEST:
## 8367 8357
corpus_testimoniante <- corpus_subset(corpus_segmentado, str_detect(pattern, "TEST:"))
meta(corpus_testimoniante, "Fuente") <- paste("Comisión para el Esclarecimiento de la Verdad,",
"la Convivencia y la no Repetición.")
Se identifican 8357 intervenciones de testimoniantes, provenientes de 39 entrevistas.
Las transcripciones están anonimizadas con etiquetas en mayúscula,
muchas de ellas numeradas (ej. LUGAR1,
CONOCIDO7, RANGO1, FARC16,
ORGANIZACIÓN PÚBLICA, UNIDAD MILITAR). Si se
pasaran a minúsculas, se mezclarían con el vocabulario real y crearían
falsos temas. Por ello, se eliminan antes de pasar a minúsculas. Además,
se conservan las siglas reales (FARC, ELN, EPL, AUC, M-19, JEP) y las
mismas palabras cuando el testimoniante las usa en minúscula.
Antes de pasar a minúsculas se protegen dos tipos de palabras:
Expresiones de varias palabras. Con
tokens_compound(), se unen en un solo término las
expresiones que perderían su sentido si se separaran o si se les
quitaran las palabras vacías, como “proceso de paz”, “fuerza pública”,
“derechos humanos” o “falsos positivos”. Se incluyen también lugares y
personajes públicos que se mencionan con nombre y apellido (Montes de
María, Carlos Castaño). Las expresiones se unen antes de retirar las
palabras vacías, porque de lo contrario ya no existirían en los tokens.
La lista salió de contar su frecuencia en las intervenciones.
“Estado” como institución. La lista de palabras vacías incluye “estado” porque es una forma del verbo estar (“había estado”). Pero en los testimonios “Estado”, con mayúscula, aparece 276 veces como institución (“agentes del Estado”). Para no perderla, esa forma se reemplaza por el término “estado (institución)” antes de pasar a minúsculas.
Luego, se eliminan puntuación, números y símbolos; todas las palabras pasan a minúsculas; y se retiran las palabras vacías.
A esto se suma el vector retirar, que se amplió por
rondas: en cada una se agregaron las palabras que aparecían en todos los
tópicos sin aportar sentido, como muletillas; verbos de apoyo (“hacer”,
“dar”); adverbios de lugar y tiempo; y los pronombres que
stopwords("es") no incluye. Los adverbios terminados en
-mente se retiran con un patrón que exige al menos cuatro letras antes
de la terminación, para no eliminar el sustantivo “mente”.
A diferencia del código de las instrucciones, retirar se
aplica después del paso a singular: si se aplicara antes, al retirar
“cosa” o “vez” desaparecería el singular y “cosas” o “veces” ya no
tendrían con qué unirse, así que sobrevivirían en los tópicos. También
se eliminan las contracciones con apóstrofo propias del habla oral
(“pa’llá”, “pa’l”, “por’ai”), que equivalen a palabras vacías. En la
última ronda, se retiraron “rodrigo” y “leonardo”: cada uno aparece en
solo dos entrevistas y se refiere a personas de una historia particular,
de modo que marcan un relato y no un tema compartido.
En una ronda final se retiraron las formas verbales que no se relacionan con el conflicto armado, con las experiencias de las víctimas ni con el contenido de las entrevistas. Para ello, se revisó todo el vocabulario que queda tras la limpieza y se clasificó cada verbo, con sus conjugaciones, participios, infinitivos y gerundios:
Se conservan los verbos de violencia y victimización (matar, secuestrar, desaparecer, amenazar, torturar, robar, quemar); de desplazamiento y despojo (huir, desplazar, sacar, quitar, abandonar); de la vida en los grupos armados (ingresar, entrenar, combatir, patrullar, desmovilizar); de justicia y memoria (denunciar, declarar, condenar, perdonar); y de la trayectoria de vida de los testimoniantes (vivir, nacer, crecer, estudiar, aprender, trabajar, sembrar, convivir, sufrir, buscar, perder).
Se retiran los verbos de uso general, que aparecen en cualquier relato: de movimiento (llegar, ir, venir, salir, entrar, volver); de inicio y fin (empezar, comenzar, acabar, terminar); de habla y percepción (hablar, decir, contar, mirar, ver, escuchar); de opinión y conocimiento (pensar, creer, saber, conocer, entender); y auxiliares o de apoyo (hacer, dar, poner, tomar, quedar, poder, querer, deber), entre otros. También se retiraron “hecho” y “hechos”, que el paso a singular une en una sola forma.
Por la misma razón, se retiraron las referencias al tiempo (día, hora, minuto, semana, mes, año, noche, época, días de la semana y meses), que acompañan a todos los relatos sin distinguir sus temas. La lista completa está en el bloque de código siguiente, plegado para no alargar el documento; se despliega con el botón Code.
# Formas verbales sin relación con el conflicto, agrupadas por verbo, y referencias al tiempo
verbos_sin_relacion <- c(
"abierta", "abierto", "abre", "abren", "abriendo", "abrieron", "abrimos", "abrir",
"abrió", "abrí", "abría",
"acaba", "acababa", "acabado", "acabamos", "acaban", "acabando", "acabar", "acabaron",
"acabe", "acabo", "acabé", "acabó",
"aceptaba", "aceptaban", "aceptar", "aceptarlo", "acepté", "aceptó",
"acompaña", "acompañar", "acompañara", "acompañó",
"acordaba", "acordarme", "acordé", "acuerde",
"acostumbra", "acostumbrada", "acostumbrado", "acostumbrando", "acostumbré",
"acostumbró",
"agarrado", "agarramos", "agarran", "agarrar", "agarrarlo", "agarraron", "agarró",
"alcance", "alcancé", "alcanza", "alcanzaba", "alcanzaban", "alcanzamos", "alcanzaron",
"alcanzó",
"anda", "andaba", "andaban", "andado", "andamos", "andan", "andando", "andar", "ando",
"anduve", "andábamos",
"aportar", "aporte",
"arranca", "arrancaba", "arrancamos", "arrancar", "arranqué",
"arreglada", "arreglar", "arreglo",
"avance", "avanzando", "avanzar",
"bajaba", "bajaban", "bajamos", "bajando", "bajar", "bajarlo", "bajaron", "baje",
"bajo", "bajábamos", "bajé", "bajó",
"brinca",
"cae", "caen", "caer", "caiga", "caigo", "cayendo", "cayeron", "cayó", "caí", "caía",
"caído",
"cambia", "cambiaba", "cambiado", "cambian", "cambiando", "cambiar", "cambiaron",
"cambie", "cambié", "cambió",
"caminaba", "caminada", "caminando", "caminar", "camine",
"carga", "cargaba", "cargaban", "cargada", "cargado", "cargan", "cargando", "cargar",
"cargue", "cargábamos",
"cerrado", "cerraron", "cerró", "cierra",
"cocinaba", "cocinar",
"coge", "cogen", "coger", "cogerlo", "cogido", "cogiendo", "cogieran", "cogieron",
"cogimos", "cogió", "cogí", "cogía", "cogíamos", "cogían", "coja", "cojan", "cojo",
"colocaban", "colocan", "colocar", "colocaron",
"comentaba", "comentado", "comentar", "comento", "comenté",
"comencé", "comenzaba", "comenzaban", "comenzamos", "comenzando", "comenzar",
"comenzaron", "comienza", "comienzan", "comienzo",
"coma", "come", "comen", "comer", "comido", "comimos", "comí", "comía", "comíamos",
"comían",
"conoce", "conocen", "conocer", "conocerlo", "conocida", "conocido", "conociendo",
"conociera", "conocimos", "conoció", "conocí", "conocía", "conocíamos", "conocían",
"conozca", "conozco",
"conseguido", "conseguimos", "conseguir", "conseguí", "conseguía", "conseguían",
"consigue", "consiguió",
"contaban", "contada", "contado", "contando", "contarle", "contaron", "conté",
"cuentan",
"contesto", "contestó",
"coordinaba", "coordinaban", "coordinado",
"corra", "corre", "correr", "corriendo", "corrí", "corría", "corrían",
"crea", "cree", "creemos", "creen", "creer", "creí", "creía", "creían",
"cumple", "cumplen", "cumplido", "cumpliendo", "cumpliera", "cumplir", "cumplió",
"cumplí", "cumplía", "cumplíamos", "cumplían",
"daban", "dado", "damos", "dando", "darle", "darme", "darnos", "den", "diera",
"dieran", "doy", "dábamos",
"debemos", "deber", "debería", "deberíamos", "deberían", "debido", "debiendo", "debió",
"debo", "debíamos", "debían",
"decimo", "decirme", "decirte", "decíamos", "diciendo", "digan", "dijimos", "diría",
"dedica", "dedicaban", "dedicada", "dedicaron", "dediqué",
"deja", "dejaba", "dejaban", "dejado", "dejamos", "dejan", "dejando", "dejar",
"dejara", "dejaran", "dejarle", "dejarlo", "dejaron", "dejarse", "deje", "dejen",
"dejo", "dejábamos", "dejé", "dejó",
"demora", "demoramos", "demoraron", "demoré", "demoró",
"descansaba", "descansar", "descanso",
"devolvieron", "devolvió", "devolvían", "devuelvo",
"dormida", "dormido", "dormir", "dormí", "dormía", "dormíamos", "dormían", "duerme",
"durmiendo",
"dura", "duraba", "duraban", "duramos", "durar", "dure", "duro", "duré", "duró",
"echa", "echaba", "echaban", "echamos", "echan", "echando", "echar", "echarle",
"echaron", "eche", "echo", "eché", "echó",
"empecé", "empezaba", "empezaban", "empezamos", "empezando", "empezar", "empezábamos",
"empezó", "empieza", "empiezan", "empiezo",
"encarga", "encargaba", "encargaban", "encargada", "encargado", "encargan", "encargo",
"entender", "entendido", "entendió", "entendí", "entendía", "entendíamos", "entendían",
"entra", "entraba", "entraban", "entrado", "entramos", "entran", "entrando", "entrar",
"entraran", "entraron", "entro", "entré", "entró",
"escribiendo", "escribir", "escribí", "escrito",
"escucha", "escuchaba", "escuchaban", "escuchado", "escuchamos", "escuchan",
"escuchando", "escuchar", "escuche", "escucho", "escuché", "escuchó",
"espera", "esperaba", "esperaban", "esperando", "esperar", "espere", "esperemos",
"espero", "esperé",
"existe", "existen", "existir", "existía", "existían",
"explicaba", "explicaban", "explican", "explicando", "explicar", "explicarle",
"explicaron", "explico", "explicó", "expliqué",
"falta", "faltaba", "faltaban", "faltó",
"fijo",
"formaba", "formado", "formamos", "formando", "formar", "formaron", "formarse",
"formo", "formó",
"gusta", "gustaba", "gustaban", "gustado", "gustan", "gustaría", "gusto", "gustó",
"habla", "hablaba", "hablaban", "hablado", "hablamo", "hablan", "hablando", "hablara",
"hablarle", "hablarme", "hablaron", "hable", "hablemos", "hablo", "hablábamos",
"hablé", "habló",
"hacerla", "hacerle", "hacerlo", "hacerme", "hacernos", "hacerse", "haciéndole",
"haciéndose", "hacíamos", "hagamos", "hicieran",
"imagina", "imaginaba",
"importa", "importaba",
"interesa", "interesaba", "interesado",
"irme", "irnos", "irse", "vayamos", "vayan", "váyase", "yendo",
"juega", "juego", "jugaba", "jugada", "jugando", "jugar", "jugábamos", "jugó",
"lea", "lee", "leer", "leo", "leyendo", "leía", "leían",
"levanta", "levantaba", "levantamos", "levantar", "levanté", "levantó",
"llama", "llamaba", "llamaban", "llamada", "llamado", "llamamos", "llaman", "llamando",
"llamar", "llamara", "llamarlo", "llamaron", "llamarse", "llame", "llamen", "llamo",
"llamábamos", "llamé", "llamó",
"llega", "llegaba", "llegado", "llegamos", "llegan", "llegando", "llegar", "llegara",
"llegaran", "llegarle", "llegaron", "llego", "llegue", "lleguen", "llegué",
"llegábamos", "llegó",
"logra", "lograba", "lograban", "logrado", "logramos", "lograr", "lograron", "logro",
"logré", "logró",
"manda", "mandaba", "mandaban", "mandado", "mandan", "mandando", "mandar", "mandara",
"mandaran", "mandarle", "mandaron", "mande", "manden", "mandé", "mandó",
"maneja", "manejaba", "manejaban", "manejan", "manejando", "manejar", "manejo",
"manejábamos", "manejó",
"mantener", "mantenido", "mantenía", "manteníamos", "mantenían", "mantiene",
"meta", "metan", "mete", "metemos", "meten", "meter", "meterle", "meterme", "meternos",
"meterse", "metida", "metido", "metiendo", "metiera", "metieran", "metieron",
"metimos", "metió", "meto", "metí", "metía", "metíamos", "metían",
"miraba", "miraban", "mirada", "miramos", "miran", "mirando", "mirar", "miren", "miro",
"mirábamos", "miré", "miró",
"montaba", "montado", "montamos", "montar", "montaron", "montó",
"mostrar",
"mover", "moverse", "movimos", "movía", "movían", "mueve",
"necesita", "necesitaba", "necesitaban", "necesitamos", "necesitan", "necesiten",
"necesito", "necesitábamos",
"nota",
"ocupado", "ocupar",
"ocurre", "ocurrió",
"olvida", "olvidaba", "olvidado", "olvidé", "olvidó",
"oye", "oyó",
"paraba", "paraban", "parado", "paran", "parar", "pararon", "pararse", "pare",
"paremos", "paré", "paró",
"parecer", "parecida", "parecido", "pareció", "parecía",
"pasa", "pasaba", "pasaban", "pasada", "pasado", "pasamos", "pasan", "pasando",
"pasar", "pasara", "pasaran", "pasaron", "pasaría", "pase", "paso", "pasábamos",
"pasé", "pasó",
"pedido", "pedimos", "pedir", "pedirle", "pedí", "pedía", "pedíamos", "pedían", "pida",
"pide", "piden", "pidiendo", "pidieron", "pidió", "pido",
"pensaba", "pensaban", "pensado", "pensamos", "pensando", "pensar", "pensara",
"pensaron", "pensó", "piensa", "piensan", "piense",
"podamos", "poderlo", "poderse", "podido", "podría", "pude", "pudiera", "pudieran",
"pudieron", "pudimos", "pueda", "puedan", "puedo",
"pone", "ponemos", "ponen", "poner", "ponerla", "ponerle", "ponerlo", "ponerme",
"ponernos", "ponerse", "ponga", "pongan", "pongo", "poniendo", "ponía", "poníamos",
"ponían", "puse", "pusiera", "pusieron", "pusimos", "puso",
"preguntaba", "preguntaban", "preguntado", "preguntan", "preguntando", "preguntar",
"preguntarle", "preguntarme", "preguntaron", "pregunte", "pregunto", "pregunté",
"prepara", "preparaba", "preparaban", "preparada", "preparado", "preparando",
"presenta", "presentaba", "presentaban", "presentar", "presentaron",
"presenté", "presentó",
"presta", "prestaba", "prestaban", "prestado", "prestando", "prestar", "prestarle",
"presté",
"queda", "quedaba", "quedaban", "quedado", "quedamos", "quedan", "quedando", "quedar",
"quedara", "quedarme", "quedaron", "quedarse", "quede", "quedo", "quedábamos", "quedé",
"quedó",
"queremos", "querer", "querido", "queríamos", "querían", "quiera", "quieran",
"quieren", "quise", "quisiera", "quisieran", "quisieron", "quiso",
"rancha", "ranchar",
"recibe", "recibido", "recibiendo", "recibieron", "recibir", "recibió", "recibí",
"recibía", "recibíamos", "recibían",
"recoge", "recogen", "recoger", "recogerlo", "recogido", "recogiendo", "recogieron",
"recogió", "recogía", "recogían", "recoja",
"recordar", "recuerde",
"regresa", "regresamos", "regresar", "regresarme", "regresaron", "regresé", "regresó",
"responde", "responder", "respondo", "respondía",
"resultado", "resultó",
"retiraba", "retirada", "retirado", "retirar", "retiro", "retiré",
"sabido", "sabiendo", "sabría", "sabíamos", "sabían", "sepa", "supe", "supiera",
"supieron", "supo",
"sale", "salen", "salga", "salgan", "salgo", "salido", "saliendo", "saliera",
"salieron", "salimos", "salir", "salirme", "salirse", "salió", "salí", "salía",
"salíamos", "salían",
"salto",
"seguida", "seguido", "seguimos", "seguir", "seguí", "seguía", "seguíamos", "seguían",
"siga", "sigan", "sigo", "siguen", "siguieron",
"sentamos", "sentido", "sentimos", "sentir", "sentí", "sentía", "sentían", "sienta",
"siente", "sienten", "siento", "sintieron", "sintió",
"servido", "servir", "servía", "servían", "sirve", "sirviendo", "sirvió", "sirvo",
"sonaba", "sonar", "sonó", "suena",
"suba", "sube", "subido", "subiendo", "subieron", "subimos", "subir", "subió", "subo",
"subí", "subía", "subían",
"sucede", "suceder", "sucedido", "sucedió", "sucedía",
"tenerla", "tenerlo",
"termina", "terminaba", "terminado", "terminamos", "terminando", "terminar",
"terminaron", "terminé", "terminó",
"toca", "tocaba", "tocado", "tocar", "toco", "tocó", "toque", "toqué",
"tomaba", "tomaban", "tomado", "tomamos", "toman", "tomando", "tomar", "tomara",
"tomarnos", "tomaron", "tomarse", "tome", "tomen", "tomo", "tomé", "tomó",
"trae", "traen", "traer", "traiga", "traigo", "traje", "trajeron", "trajo", "traía",
"traíamos", "traían", "traído",
"trata", "trataba", "trataban", "tratado", "tratamos", "tratan", "tratando", "tratar",
"trato", "traté", "trató",
"usa", "usaban", "usar", "uso",
"utiliza", "utilizaba", "utilizaban", "utilizado", "utilizamos", "utilizan",
"utilizar", "utilizaron", "utilizábamos", "utilizó",
"venga", "vengan", "vengo", "venido", "venimos", "venirme", "venirnos", "venirse",
"venía", "veníamos", "venían", "vienen", "viniera", "vinieran", "vinieron", "vinimos",
"vemos", "ven", "veo", "verla", "verlo", "ves", "veíamos", "veían", "viendo", "viera",
"vieran", "vieron", "vimos",
"visitaba", "visitar", "visitarme", "visitó",
"volver", "volviendo", "volvieron", "volvimos", "volvió", "volví", "volvía", "volvían",
"vuelto", "vuelva", "vuelvan", "vuelve", "vuelven", "vuelvo",
# otros verbos generales
"abrazaba", "accionar", "acercó", "acerqué", "acogido", "acogió", "acostar", "acosté",
"actuar", "adelantado", "administrar", "agradecido", "alimentar", "almorzar",
"amanecer", "amaneció", "analizar", "aparecen", "aparecer", "aparecieron", "apareció",
"aparecía", "aparecían", "aplicaban", "aplicar", "aplicó", "apretar", "aprovechar",
"aprovecharon", "aprovechó", "ascendiendo", "asegurar", "asomó", "asumir", "atender",
"atendieron", "atendía", "atendían", "atrevía", "autorizado", "averiguar", "bailar",
"bailábamos", "barrer", "bañarse", "bañábamos", "beber", "beneficiado", "borrar",
"bía", "bían", "cansada", "cansado", "cantaba", "cantar", "causaba", "causó", "citan",
"compartir", "compartía", "comprometido", "comunicaba", "comunicado", "comunicar",
"confiar", "conformado", "conformando", "conformar", "conformaron", "conformó",
"consigan", "consiguiera", "construimos", "construir", "consultar", "continuar",
"convencer", "convencerlo", "convencido", "convenciendo", "convierte", "convirtió",
"copar", "copiar", "cortar", "creada", "creado", "crear", "crearon", "creó", "cruzado",
"cruzando", "cruzar", "cuadraba", "cuadraban", "cuadramos", "cuadrando", "cuadrar",
"cuadraron", "cualificado", "cubrir", "dada", "darse", "dañar", "decidido",
"decidieron", "decidimos", "decidió", "decidía", "definir", "dentrar", "dependiendo",
"dependía", "desarrollar", "descubrieron", "descubrir", "descubrían", "dijeran",
"diré", "disciplinado", "distinguía", "distribuyó", "distribuía", "distribuían",
"dividimos", "dividir", "dividía", "documentado", "dotan", "ejercer", "ejercía",
"empeñada", "enfermé", "enfocado", "enredado", "enteraba", "enteré", "entiendan",
"entrabamos", "enviaba", "enviaban", "enviar", "enviaron", "envían", "escoger",
"estarme", "estarse", "evitar", "exigir", "exigía", "exigían", "expresaba", "expresar",
"falló", "fortalecer", "fortalecido", "fortaleciendo", "fortaleció", "funcionaba",
"funcionó", "ganaba", "ganaban", "ganamos", "ganan", "ganando", "ganar", "ganarme",
"ganarse", "gané", "ganó", "gastaba", "generaba", "grabado", "gritar", "guardaba",
"guardada", "guardado", "guardar", "guardaron", "guindar", "habemos", "haberme",
"haberse", "haigan", "hiciste", "ida", "identificaba", "identificado", "identificar",
"impactó", "incluido", "indisciplinado", "informaba", "informado", "informando",
"informar", "informó", "iniciar", "inicié", "inició", "insistiendo", "intentaba",
"intentó", "internado", "inventó", "invitaban", "invitaron", "invitó", "irte",
"irán", "joden", "joder", "jodido", "jodiendo", "jodió", "jurado", "lanzar", "lavar",
"legalizaba", "ligado", "limitaba", "llenaba", "llenando", "llenar", "llenó", "mamé",
"manchaba", "marcado", "marcó", "medir", "mejorar", "mencionar", "mentir", "mirá",
"métase", "negar", "negarlo", "nombraban", "nombrado", "nombran", "nombrar",
"nombraron", "partir", "pasear", "permitido", "permitió", "permitía", "permitían",
"pesaba", "pesado", "planificar", "podrido", "pongamos", "prefería", "premeditado",
"prendió", "prendía", "preocupaba", "preocupado", "producir", "póngase", "recomendó",
"recomiendo", "recorrido", "reflejado", "regalar", "regalaron", "regaló", "registrada",
"registrado", "relajado", "remolcar", "repartir", "repartía", "repetir", "reportaban",
"representar", "resolver", "respetaba", "respetaban", "respetar", "respetarla",
"reunido", "reunieron", "reunimos", "reunir", "reunió", "reunía", "reuníamos",
"reunían", "reventó", "revisar", "reúnen", "romper", "rompió", "sentaba", "sentado",
"separaban", "separado", "sientan", "solicité", "solucionar", "sorprendido",
"sorprendió", "sostener", "suponía", "taba", "tapar", "templó", "tendido", "torcido",
"traigan", "transportar", "trasladaron", "traslado", "trotar", "tumbar", "ubicado",
"ubicamos", "ubican", "ubicar", "unido", "unieron", "validar", "valió", "valía",
"vengase", "verificar", "verme", "vernos", "verse", "verá", "vestido", "viajar",
"viste"
)
referencias_tiempo <- c(
"día", "hora", "minuto", "semana", "mes", "año", "tiempo", "mañana", "tarde", "noche",
"madrugada", "hoy", "ayer", "anoche", "antier", "época", "fecha", "temporada",
"década", "siglo", "ratico", "ratito", "mediodía", "medianoche", "mediados", "lunes",
"martes", "miércoles", "jueves", "viernes", "sábado", "domingo", "enero", "febrero",
"marzo", "abril", "mayo", "junio", "julio", "agosto", "septiembre", "octubre",
"noviembre", "diciembre", "presente", "futuro", "fin", "inicio", "principio", "final"
)
El siguiente chunk convierte cada intervención en una lista de palabras (tokens) y aplica la limpieza descrita anteriormente.
# Etiquetas de anonimización en mayúscula (incluye variantes con errores de digitación)
etiquetas_anonimizacion <- c(
"TEST", "ENT", "RANGO", "RANGOS", "EXRANGO", "ENXRANGO", "RANFO", "GRADO", "LUGAR",
"CONOCIDO", "CONOCIDA", "CONCOIDO", "CONCOIDA", "CONCODIO", "CONOCDIO", "CONOCIOD",
"CPONOCIDO", "FAMILIAR", "FAMILAIR", "GRUPO", "SOCIAL", "ORGANIZACION", "ORGANIZACIÓN",
"ORGANIAZCIÓN", "INSTITUCION", "INSTITUCIÓN", "EDUCATIVA", "EDUCTAIVA", "PUBLICA",
"PÚBLICA", "PÚBLIC", "PÚIBLICA", "PÚVLICA", "PRIVADA", "FIGURA", "UNIDAD", "MILITAR",
"POLICIAL", "FUERZA", "AÉREA", "RESPONSABLE", "GUERRILLERO", "GUERRILLERA",
"EXGUERRILLERO", "PARAMILITAR", "PARAMILIATR", "PARAMILTAR", "PARAILITAR",
"EXPARAMILITAR", "NARCOTRAFICANTE", "SUPUESTO", "INDIGENA", "INDIGENAS", "AUDIO")
rondas_retirar <- list(
"Instrucciones: marcas de transcripción" = c("inad", "dud", "interrup"),
"Ronda 1: marcas sin cerrar o con errores" = c(
"inau", "inaud", "inaudible", "ininteligible", "interurp", "dudd",
"cont", "inc", "pausa", "risa", "risas"),
"Ronda 1: muletillas y marcadores" = c(
"pues", "pue", "entonces", "entonce", "bueno", "digamos", "osea",
"aja", "mmm", "mmmm", "ehh", "eeh", "eee", "umm", "hmm",
"claro", "listo", "vale", "dale", "exacto", "cierto", "obvio",
"total", "igual"),
"Ronda 1: adverbios de lugar" = c(
"ahí", "ahi", "allá", "alla", "acá", "aca", "aquí", "aqui", "allí", "alli",
"así", "asi", "adentro", "afuera", "abajo", "arriba", "cerca", "lejos",
"alrededor", "encima", "debajo", "atrás", "atras", "adelante", "delante",
"detrás", "detras"),
"Ronda 1: verbos de habla" = c(
"dice", "dijo", "decía", "decia", "dije", "decir", "dicen", "dijeron",
"decían", "decian", "digo", "diga", "dijera", "dicho",
"cuento", "contaba", "contó", "conto", "contar", "preguntó", "pregunta"),
"Ronda 1: formas de trato" = c(
"señor", "señora", "usted", "ustedes", "don", "doña",
"mija", "mijo", "mijito", "mijita", "mamita", "papito"),
"Ronda 2: verbos de opinión y memoria" = c(
"creo", "sabe", "sabía", "sabia", "saber", "sabemos", "saben",
"acuerdo", "acuerda", "recuerdo", "recuerda", "pienso", "pensé",
"parece", "imagino", "entiendo"),
"Ronda 2: verbos genéricos" = c(
"iba", "íbamos", "iban", "voy", "vamos", "ido", "vaya",
"vino", "venir", "vine", "viene",
"dio", "dieron", "daba", "dan",
"puede", "pudo", "podía", "podia", "poder", "podemos", "pueden",
"ver", "vio", "veía", "visto", "quería", "queria", "quiero", "quiere",
"sigue", "siguió"),
"Ronda 2: tiempo genérico" = c(
"ahora", "ahorita", "luego", "después", "despues", "todavía", "todavia",
"aún", "siempre", "nunca", "jamás", "pronto", "rato", "momento", "vez"),
"Ronda 3: cantidades y números en letra" = c(
"harto", "harta", "montón", "poquito", "bastante", "demasiado",
"dos", "tres", "cuatro", "cinco", "seis", "siete", "ocho", "nueve", "diez",
"once", "doce", "quince", "veinte", "treinta", "cien", "mil",
"primero", "primera", "segundo", "segunda", "tercero", "mitad"),
"Ronda 3: conectores" = c(
"cada", "además", "incluso", "inclusive", "sino", "aunque", "mientras",
"según", "través", "dentro", "pesar", "solo", "sólo",
"apenas", "casi", "mejor"),
"Ronda 3: sustantivos comodín" = c(
"cosa", "cuestión", "tipo", "parte", "manera", "forma", "lado",
"nomás", "berraco", "verraco"),
"Ronda 4: palabras observadas en los tópicos" = c("ajá", "vaina", "dar", "van"),
"Ronda 4: verbo hacer" = c(
"hacer", "hace", "hizo", "hacía", "hacia", "hago", "hacen", "hacían",
"hicieron", "hice", "hicimos", "hacemos", "haciendo", "hiciera",
"haga", "hagan", "haría"),
"Ronda 4: pronombres no incluidos en stopwords" = c(
"ello", "conmigo", "contigo", "consigo", "aquel", "aquella", "aquellos",
"aquellas", "aquello", "cuales", "cuál", "cuáles", "quién", "quiénes",
"cuyo", "cuya", "alguien", "nadie", "alguno", "alguna", "algún",
"ninguno", "ninguna", "ningún", "cualquier", "cualquiera", "demás",
"mismo", "misma", "mismos", "mismas", "tal", "unas", "toda", "todas",
"tanta", "tantos", "tantas", "mucha", "muchas", "poca", "pocos", "pocas"),
"Ronda 5: interrogativos, infinitivos y otras palabras frecuentes" = c(
"cómo", "cuándo", "dónde", "cuánto", "cuántos", "cuánta", "bien",
"ser", "tener", "haber", "ejemplo", "menos", "meno"),
"Ronda 6: formas coloquiales" = c(
"toes", "usté", "ustés", "pal", "mire", "vea", "oiga", "dizque",
"fulano", "fulanito", "marica", "huevón", "chévere", "bacano"),
"Ronda 7: expresiones del habla" = c(
"cuenta", "mira", "tan", "debe", "deben", "debía", "resulta", "entiende",
"decirlo", "decirle", "podíamos", "podían"),
"Ronda 7: nombres propios de una sola historia" = c("rodrigo", "leonardo"),
"Ronda 8: palabras observadas en los tópicos" = c(
"hecho", "hechos", "hablar", "entoe", "llegaban", "empezaron", "comenzó"),
"Ronda 8: muletillas y coloquialismos restantes" = c(
"hágale", "magínese", "depende", "onde", "tonce", "hijueputa", "gracia"),
"Ronda 8: verbos sin relación con el conflicto" = verbos_sin_relacion,
"Ronda 8: referencias al tiempo" = referencias_tiempo
)
retirar <- unlist(rondas_retirar, use.names = FALSE)
# Expresiones de varias palabras que se protegen como un solo término
expresiones <- c(
"proceso de paz", "acuerdo de paz", "justicia y paz", "fuerza pública",
"derechos humanos", "falsos positivos", "lucha armada", "grupo armado",
"grupos armados", "fuerzas armadas", "autodefensas unidas", "acción comunal",
"partido comunista", "unión patriótica", "cultivos ilícitos", "violencia sexual",
"zona de distensión", "estados unidos", "fuerza aérea", "cruz roja",
"limpieza social", "servicio militar",
"montes de maría", "san onofre", "el salado", "el naya", "canal del dique",
"carlos pizarro", "jaime bateman", "carlos castaño", "manuel marulanda",
"alfonso cano", "salvatore mancuso", "mono jojoy")
mis_tokens <- tokens(corpus_testimoniante, remove_punct = TRUE,
remove_numbers = TRUE, remove_symbols = TRUE) %>%
tokens_remove("^[A-ZÁÉÍÓÚÑ]+[0-9]+$", valuetype = "regex",
case_insensitive = FALSE) %>% # etiquetas numeradas: LUGAR1, CONOCIDO7
tokens_remove(etiquetas_anonimizacion, valuetype = "fixed", case_insensitive = FALSE) %>%
tokens_compound(pattern = phrase(expresiones), concatenator = " ") %>%
tokens_replace(pattern = "Estado", replacement = "estado (institución)",
valuetype = "fixed", case_insensitive = FALSE) %>%
tokens_tolower() %>%
tokens_replace(pattern = "grupos armados", replacement = "grupo armado",
valuetype = "fixed") %>%
tokens_remove(stopwords(language = "es")) %>% # 'retirar' se aplica después del singular
tokens_remove(pattern = "^.{4,}mente$", valuetype = "regex") %>% # adverbios en -mente
tokens_remove(pattern = "['’]", valuetype = "regex") %>% # contracciones: pa'llá
tokens_select(min_nchar = 3) # descarta restos de una o dos letras ("pa", "eh")
La siguiente tabla resume el ciclo de mejoras del vocabulario.
Registra, en orden, la limpieza previa de las etiquetas de anonimización
y cada ronda del vector retirar, con las palabras
eliminadas y su cantidad. En las rondas con más de 20 palabras solo se
muestran las primeras; la lista completa está en el código. Esta tabla
servirá como evidencia para la respuesta a la pregunta 1.
con_palabras <- rondas_retirar[lengths(rondas_retirar) > 0]
bitacora <- data.frame(Ronda = names(con_palabras),
Palabras = sapply(con_palabras, function(x)
if (length(x) > 20) paste0(paste(head(x, 12), collapse = ", "),
", ... (lista completa en el código)")
else paste(x, collapse = ", ")),
Cantidad = as.character(lengths(con_palabras)))
bitacora <- rbind(
data.frame(Ronda = "Limpieza previa: etiquetas de anonimización",
Palabras = "Etiquetas en mayúscula, con o sin número (LUGAR1, CONOCIDO7, RANGO, UNIDAD MILITAR...)",
Cantidad = as.character(length(etiquetas_anonimizacion) + 1)),
bitacora,
data.frame(Ronda = "Ronda 4: adverbios en -mente",
Palabras = "Patrón ^.{4,}mente$ (realmente, prácticamente, etc.)",
Cantidad = "Todas las coincidencias"))
knitr::kable(bitacora, row.names = FALSE,
caption = "Palabras retiradas en la limpieza previa y en cada ronda")
| Ronda | Palabras | Cantidad |
|---|---|---|
| Limpieza previa: etiquetas de anonimización | Etiquetas en mayúscula, con o sin número (LUGAR1, CONOCIDO7, RANGO, UNIDAD MILITAR…) | 55 |
| Instrucciones: marcas de transcripción | inad, dud, interrup | 3 |
| Ronda 1: marcas sin cerrar o con errores | inau, inaud, inaudible, ininteligible, interurp, dudd, cont, inc, pausa, risa, risas | 11 |
| Ronda 1: muletillas y marcadores | pues, pue, entonces, entonce, bueno, digamos, osea, aja, mmm, mmmm, ehh, eeh, … (lista completa en el código) | 24 |
| Ronda 1: adverbios de lugar | ahí, ahi, allá, alla, acá, aca, aquí, aqui, allí, alli, así, asi, … (lista completa en el código) | 27 |
| Ronda 1: verbos de habla | dice, dijo, decía, decia, dije, decir, dicen, dijeron, decían, decian, digo, diga, … (lista completa en el código) | 21 |
| Ronda 1: formas de trato | señor, señora, usted, ustedes, don, doña, mija, mijo, mijito, mijita, mamita, papito | 12 |
| Ronda 2: verbos de opinión y memoria | creo, sabe, sabía, sabia, saber, sabemos, saben, acuerdo, acuerda, recuerdo, recuerda, pienso, pensé, parece, imagino, entiendo | 16 |
| Ronda 2: verbos genéricos | iba, íbamos, iban, voy, vamos, ido, vaya, vino, venir, vine, viene, dio, … (lista completa en el código) | 32 |
| Ronda 2: tiempo genérico | ahora, ahorita, luego, después, despues, todavía, todavia, aún, siempre, nunca, jamás, pronto, rato, momento, vez | 15 |
| Ronda 3: cantidades y números en letra | harto, harta, montón, poquito, bastante, demasiado, dos, tres, cuatro, cinco, seis, siete, … (lista completa en el código) | 28 |
| Ronda 3: conectores | cada, además, incluso, inclusive, sino, aunque, mientras, según, través, dentro, pesar, solo, sólo, apenas, casi, mejor | 16 |
| Ronda 3: sustantivos comodín | cosa, cuestión, tipo, parte, manera, forma, lado, nomás, berraco, verraco | 10 |
| Ronda 4: palabras observadas en los tópicos | ajá, vaina, dar, van | 4 |
| Ronda 4: verbo hacer | hacer, hace, hizo, hacía, hacia, hago, hacen, hacían, hicieron, hice, hicimos, hacemos, haciendo, hiciera, haga, hagan, haría | 17 |
| Ronda 4: pronombres no incluidos en stopwords | ello, conmigo, contigo, consigo, aquel, aquella, aquellos, aquellas, aquello, cuales, cuál, cuáles, … (lista completa en el código) | 43 |
| Ronda 5: interrogativos, infinitivos y otras palabras frecuentes | cómo, cuándo, dónde, cuánto, cuántos, cuánta, bien, ser, tener, haber, ejemplo, menos, meno | 13 |
| Ronda 6: formas coloquiales | toes, usté, ustés, pal, mire, vea, oiga, dizque, fulano, fulanito, marica, huevón, chévere, bacano | 14 |
| Ronda 7: expresiones del habla | cuenta, mira, tan, debe, deben, debía, resulta, entiende, decirlo, decirle, podíamos, podían | 12 |
| Ronda 7: nombres propios de una sola historia | rodrigo, leonardo | 2 |
| Ronda 8: palabras observadas en los tópicos | hecho, hechos, hablar, entoe, llegaban, empezaron, comenzó | 7 |
| Ronda 8: muletillas y coloquialismos restantes | hágale, magínese, depende, onde, tonce, hijueputa, gracia | 7 |
| Ronda 8: verbos sin relación con el conflicto | abierta, abierto, abre, abren, abriendo, abrieron, abrimos, abrir, abrió, abrí, abría, acaba, … (lista completa en el código) | 1393 |
| Ronda 8: referencias al tiempo | día, hora, minuto, semana, mes, año, tiempo, mañana, tarde, noche, madrugada, hoy, … (lista completa en el código) | 50 |
| Ronda 4: adverbios en -mente | Patrón ^.{4,}mente$ (realmente, prácticamente, etc.) | Todas las coincidencias |
Las reglas de las instrucciones unen plural y singular solo si la forma singular existe en el corpus, lo que evita crear palabras inexistentes. Se hicieron tres ajustes:
Umbral de longitud: con más de 4 caracteres quedaban por fuera plurales frecuentes de cuatro letras (años, días, ojos). El umbral pasó a más de 3 y se protegió “dios”, que de otro modo se convertiría en “dio”. También se protegió “bienes” para que no se uniera con “bien”, que se retira como muletilla.
Plurales con cambio de tilde: se agregaron las reglas -ones → -ón, -anes → -án y -eses → -és (razones → razón, intereses → interés).
Plurales esdrújulos: se agregó un paso para los plurales en -enes cuyo singular no lleva tilde (jóvenes → joven, crímenes → crimen).
Se consideró lematizar con udpipe, como en las sesiones
10 y 11. Se descartó porque exige descargar un modelo al generar el
documento; y porque anotar miles de intervenciones alarga el tiempo de
ejecución del código.
unicas <- types(mis_tokens)
singular <- unicas
reglas <- list(c("ces$", "z"), c("iones$", "ión"), c("ones$", "ón"),
c("anes$", "án"), c("eses$", "és"), c("es$", ""), c("s$", ""))
no_tocar <- c("dios", "bienes")
for (r in reglas) {
candidata <- sub(pattern = r[1], replacement = r[2], x = unicas)
ok <- singular == unicas &
candidata != unicas &
candidata %in% unicas &
nchar(unicas) > 3 &
!unicas %in% no_tocar
singular[ok] <- candidata[ok]
}
termina_enes <- grepl("enes$", unicas)
candidata <- chartr("áéíóú", "aeiou", sub("enes$", "en", unicas))
ok <- termina_enes & singular == unicas & candidata %in% unicas
singular[ok] <- candidata[ok]
cambia <- singular != unicas
mis_tokens <- tokens_replace(mis_tokens, pattern = unicas[cambia],
replacement = singular[cambia], valuetype = "fixed")
# 'retirar' se aplica después del paso a singular, para que los plurales (cosas, veces)
# se unan primero con su singular y desaparezcan junto con él
mis_tokens <- tokens_remove(mis_tokens, retirar)
Se unificaron 2685 formas plurales. Algunos ejemplos se muestran a continuación:
knitr::kable(head(data.frame(Plural = unicas[cambia], Singular = singular[cambia]), 8),
caption = "Ejemplos de unificación de plurales")
| Plural | Singular |
|---|---|
| años | año |
| armas | arma |
| padres | padre |
| hermanos | hermano |
| mayores | mayor |
| entonces | entonce |
| complejos | complejo |
| veces | vez |
sum(cambia)
## [1] 2685
En quanteda, la matriz guarda los documentos en las filas y los términos en las columnas (DFM). Es una representación de bolsa de palabras: importa cuántas veces figura cada término, no su posición (López-Torrijos y Tellez, 2026). Primero se eliminan las intervenciones con menos de 5 palabras y luego se aplica trimming para retirar los términos con frecuencia total menor que 5. El libro usa un umbral de 2 en su ejemplo; aquí se usa 5, como sugiere el enunciado cuando aparecen palabras muy raras con lambda bajo. Tras la limpieza, la mitad de las intervenciones tiene menos de diez palabras y una de cada tres tiene menos de cinco (“sí, claro”, “en el pueblo”). En textos tan cortos, el modelo no tiene información para estimar la mezcla de tópicos, así que solo agregan ruido. El filtro de intervenciones cortas se aplica antes del trimming: en el orden inverso, quedaban términos con frecuencia cero, que en la fórmula de relevancia producen una división entre cero y aparecían en el primer lugar de un tópico sin barra visible. Al final, se quitan las intervenciones que el trimming dejó vacías, porque LDA no admite filas sin palabras.
mi_dfm <- dfm(mis_tokens)
mi_dfm <- dfm_subset(mi_dfm, ntoken(mi_dfm) >= min_tokens_turno)
mi_dfm <- dfm_trim(mi_dfm, min_termfreq = min_frec)
mi_dfm <- dfm_subset(mi_dfm, ntoken(mi_dfm) > 0)
La matriz final tiene 4595 intervenciones y 2996 términos. Las
palabras más frecuentes sirvieron para escoger candidatas a
retirar en cada ronda:
topfeatures(mi_dfm, 30)
## gente guerrilla persona ejército comandante casa
## 1419 935 897 633 571 569
## grupo compañero frente man farc mujer
## 515 514 503 451 450 448
## guerra militar mamá pueblo zona papá
## 446 444 438 420 420 417
## plata familia vida verdad muchacho caso
## 414 412 378 365 365 361
## hombre arma paramilitar hermano guerrillero mano
## 355 344 339 333 322 304
LDA asigna temas al azar a cada palabra y los reasigna iterativamente según dos criterios: qué temas tiene el documento y qué palabras tiene cada tema. Al final, entrega dos distribuciones: tema-palabra (beta), con la que se nombran los tópicos; y documento-tema (theta), con la que se comparan los modelos (López-Torrijos y Tellez, 2026). Los tópicos salen sin nombre: es el analista quien los interpreta (Benoit, 2020; López-Torrijos y Tellez, 2026).
mi_dfm_tm <- quanteda::convert(mi_dfm, to = "topicmodels")
lda <- LDA(mi_dfm_tm, k = n_topicos, control = list(seed = semilla1))
b <- topicmodels::posterior(lda)$terms
pw <- colSums(mi_dfm)[colnames(b)] / sum(mi_dfm)
relevancia <- relevancia_lambda(b, pw, lambda)
topicos <- data.frame(topic = rep(seq_len(nrow(b)), ncol(b)),
term = rep(colnames(b), each = nrow(b)),
beta = as.vector(b),
relevancia = as.vector(relevancia))
Según López-Torrijos y Tellez (2026), el número de tópicos lo define
el analista. El ejemplo 20.1 del libro ofrece el criterio para
ajustarlo: si un tópico mezcla asuntos distintos, faltan tópicos; si dos
tópicos se solapan, sobran. Benoit (2020) agrega que, para escogerlo, la
interpretabilidad suele ser mejor criterio que las medidas estadísticas.
Con esto en mente, se estimaron modelos con k entre 3 y 10; y, para cada
uno, se revisaron sus diez términos más probables con
terms(). El bloque siguiente se ejecutó en la consola y no
se evalúa al generar el documento, porque imprime ocho listas
extensas.
for (k_prueba in 3:10) {
modelo_prueba <- LDA(mi_dfm_tm, k = k_prueba, control = list(seed = semilla1))
print(terms(modelo_prueba, 10))
}
Para complementar la lectura de esas listas, se calcularon dos indicadores para cada valor de k. El primero es el porcentaje de las diez palabras principales que se repite en más de un tópico: una cifra menor indica tópicos más diferenciados. El segundo es la estabilidad frente a la semilla: el porcentaje de las 30 palabras más relevantes de cada tópico que reaparece, en promedio, al reestimar el modelo con la semilla 2026.
# Indicadores para escoger k: repetición de palabras entre tópicos y estabilidad frente a la semilla.
# Se ejecutó en la consola, porque estimar 16 modelos alarga mucho la generación del documento.
metricas_k <- do.call(rbind, lapply(3:10, function(k_prueba) {
m1 <- LDA(mi_dfm_tm, k = k_prueba, control = list(seed = semilla1))
m2 <- LDA(mi_dfm_tm, k = k_prueba, control = list(seed = semilla_alt))
top10 <- as.vector(terms(m1, 10))
coin <- coincidencias(top_terminos(posterior(m1)$terms, pw, lambda, cantidad),
top_terminos(posterior(m2)$terms, pw, lambda, cantidad))
data.frame(k = k_prueba,
Repetidas = round(100 * mean(top10 %in% top10[duplicated(top10)])),
Estabilidad = round(100 * mean(apply(coin, 1, max)) / cantidad))
}))
# Resultados del bloque anterior, obtenidos en la consola
metricas_k <- data.frame(k = 3:10,
Repetidas = c(50, 48, 48, 17, 16, 24, 18, 27),
Estabilidad = c(41, 35, 29, 45, 45, 40, 40, 39))
knitr::kable(metricas_k, row.names = FALSE,
col.names = c("k", "Palabras repetidas entre tópicos (%)",
"Estabilidad frente a la semilla (%)"),
caption = "Indicadores para escoger el número de tópicos")
| k | Palabras repetidas entre tópicos (%) | Estabilidad frente a la semilla (%) |
|---|---|---|
| 3 | 50 | 41 |
| 4 | 48 | 35 |
| 5 | 48 | 29 |
| 6 | 17 | 45 |
| 7 | 16 | 45 |
| 8 | 24 | 40 |
| 9 | 18 | 40 |
| 10 | 27 | 39 |
Entre k = 3 y k = 5, cerca de la mitad de las palabras principales se repite entre tópicos: los temas aparecen mezclados, lo que el libro asocia con un número insuficiente de tópicos. Con k = 6 la repetición cae a (27 %) y la estabilidad alcanza su valor más alto (45 %). A partir de ese punto, aumentar el número de tópicos no mejora los resultados. Con k = 7 los indicadores son similares, pero tres de los tópicos combinan asuntos distintos, como la organización comunitaria y la política insurgente. Entre k = 8 y k = 10 la estabilidad desciende a cerca del 40 %. Con k = 10, además, la repetición vuelve a aumentar (r metricas_k\(Repetidas[metricas_k\)k == 10] %), porque el tema de la familia se divide en dos tópicos. Según el libro, ese solapamiento indica que el modelo tiene más tópicos de los necesarios.
Por consiguiente, se escogió k = 6, en tanto que es el menor número de tópicos en que todos son distintos y nombrables; y el más estable de los valores explorados. Con k = 9 esos seis temas se mantienen y algunos se subdividen (el proceso de paz, los movimientos insurgentes y la experiencia de las mujeres), lo que muestra que no dependen del número de tópicos elegido; sin embargo, ese modelo agrega un tópico residual y es menos estable. En todo caso, la estabilidad es moderada para cualquier valor de k: al reestimar el modelo con otra semilla, cerca de la mitad de las palabras de cada tópico cambia. Por eso las etiquetas se apoyan en el núcleo, es decir, en las palabras que figuran entre las más relevantes con los tres valores de lambda. Esas palabras son, además, las más estables: el 50 % reaparece con la otra semilla, frente al 34 % de las demás.
Siguiendo el procedimiento del ejemplo 20.1 del libro, cada tópico se nombró a partir de lo que tienen en común las palabras de su núcleo, que son las más relevantes con los tres valores de lambda; y, por lo tanto, las más confiables para interpretarlo (López-Torrijos y Tellez, 2026). La siguiente tabla presenta la etiqueta de cada tópico y las primeras palabras de su núcleo.
En el ejemplo 20.1 del libro, los términos se ordenan solo por su probabilidad dentro del tópico (López-Torrijos y Tellez, 2026), lo que equivale a lambda = 1. Con ese criterio dominan palabras frecuentes, como “gente” o “persona”, que suelen repetirse en varios tópicos y no ayudan a distinguirlos. El enunciado del taller agrega la relevancia propuesta por Sievert y Shirley (2014), que combina dos criterios: la probabilidad de la palabra dentro del tópico y su exclusividad, es decir, cuánto más probable es en ese tópico que en el corpus en general. El parámetro lambda, entre 0 y 1, define el peso de cada criterio: con valores cercanos a 1 predominan las palabras frecuentes; con valores cercanos a 0, las exclusivas, que pueden ser muy raras. Los gráficos usan lambda = 0.6, el valor de la plantilla del taller. La tabla compara los valores 1, 0.6 y 0.3, como pide el enunciado, y muestra las diez primeras palabras con cada uno. Las palabras que figuran entre las 30 más relevantes con los tres valores forman el núcleo, la base más segura para nombrar cada tópico.
etiquetas <- c("Familia y trayectoria de vida",
"Vida comunitaria ante la presencia del conflicto armado",
"Política, insurgencia y procesos de paz",
"Violencia",
"Estructura y combate de los grupos armados",
"Economía de la guerra")
if (length(etiquetas) != n_topicos) etiquetas <- paste0("T", seq_len(n_topicos))
tabla_lda1 <- tabla_lambda(b, pw, etiquetas, n = cantidad)
tabla_lda1$Tópico <- paste0("**", tabla_lda1$Tópico, "**") # negrilla en la columna Tópico
knitr::kable(tabla_lda1,
align = c("c", "l", "l", "l", "l"), # Tópico centrado; las demás a la izquierda
caption = "lda1: diez primeras palabras según lambda y núcleo común")
| Tópico | lambda = 1 | lambda = 0.6 | lambda = 0.3 | Núcleo |
|---|---|---|---|---|
| Familia y trayectoria de vida | casa, mamá, papá, familia, mujer, hijo, niño, hermano, vida, persona | casa, mamá, papá, familia, mujer, hijo, niño, hermano, muchacha, niña | mamá, papá, familia, casa, mujer, hijo, niño, muchacha, niña, tío | casa, mamá, papá, familia, mujer, hijo, niño, hermano, vida, muchacha, trabajar, niña, tío, dios, hermana, vivía, sola, edad, estudiar, hija, padre, reglamento, menor |
| Vida comunitaria ante la presencia del conflicto armado | gente, caso, persona, militar, comunidad, tema, organización, trabajo, eln, difícil | gente, caso, comunidad, tema, organización, militar, persona, eln, trabajo, difícil | comunidad, tema, caso, gente, organización, eln, difícil, servicio, mula, militar | gente, caso, militar, comunidad, tema, organización, trabajo, eln, difícil, reunión, empresa, servicio, mula, operación, combustible, gasolina |
| Política, insurgencia y procesos de paz | guerra, política, proceso, curso, colombia, nacional, estructura, arma, m-19, paz | guerra, política, proceso, curso, nacional, estructura, epl, colombia, paz, libro | guerra, política, curso, nacional, proceso, estructura, epl, libro, partido, lucha | guerra, política, proceso, curso, colombia, nacional, estructura, paz, tierra, epl, proyecto, municipio, nivel, libro, partido, armado, lucha, proceso de paz, cauca, indígena |
| Violencia | compañero, man, mano, mataron, policía, pueblo, muchacho, gente, cárcel, muerto | compañero, man, mano, mataron, policía, cárcel, pueblo, muerto, muchacho, camarada | compañero, man, mano, mataron, policía, cárcel, muerto, camarada, escuadra, pendiente | compañero, man, mano, mataron, policía, pueblo, muchacho, cárcel, muerto, camarada, carro, escuadra, pendiente, toma, viejo, matan, moto, preso |
| Estructura y combate de los grupos armados | ejército, guerrilla, comandante, frente, paramilitar, farc, guerrillero, arma, grupo, fusil | ejército, frente, comandante, guerrilla, paramilitar, farc, fusil, guerrillero, combate, arma | ejército, frente, comandante, paramilitar, fusil, guerrilla, combate, farc, información, unidad | ejército, guerrilla, comandante, frente, paramilitar, farc, guerrillero, arma, fusil, orden, combate, área, soldado, información, mando, unidad, campamento, bloque, tropa, guardia, compañía, miedo, entrenamiento |
| Economía de la guerra | zona, gente, plata, guerrilla, campesino, persona, finca, peso, coca, autodefensa | zona, plata, campesino, peso, finca, coca, autodefensa, gente, narcotráfico, droga | zona, campesino, peso, coca, autodefensa, plata, narcotráfico, finca, droga, cultivo | zona, plata, campesino, finca, peso, coca, autodefensa, narcotráfico, gobierno, millón, droga, país, cultivo, ganado, negocio, pagar, pobre, impuesto, masacre |
La comparación muestra que lambda cambia sobre todo la periferia de cada tópico, no su centro. Con lambda = 1 aparecen palabras generales, como “gente” o “persona”, que figuran en varios tópicos a la vez. Con lambda = 0.3 esas palabras desaparecen y ganan peso términos más específicos: “narcotráfico”, “droga” y “cultivo” en el tópico de economía de la guerra, o “partido” y “lucha” en el de política e insurgencia. Las palabras que encabezan cada tópico, en cambio, se mantienen con los tres valores; en el tópico de familia, las listas son casi idénticas. Esa coincidencia es lo que permite nombrar los tópicos a partir del núcleo.
Las etiquetas se justifican así:
LDA inicia asignando temas aleatorios a cada palabra (López-Torrijos y Tellez, 2026), y la semilla fija ese punto de partida para que el resultado sea reproducible. Como el algoritmo converge a óptimos locales, con otra semilla los tópicos pueden cambiar. Según el enunciado del taller, si los temas son sólidos, deberían reaparecer. Para verificarlo, se reestima lda1 con la semilla 2026. El valor es arbitrario: se tomó el año en curso, pero cualquier número distinto de 1515 cumple el mismo propósito, que es hacer que el algoritmo arranque desde otro punto. Luego, se cuenta cuántas de las 30 palabras más relevantes de cada tópico reaparecen en el tópico más parecido del modelo alternativo.
lda_alt <- LDA(mi_dfm_tm, k = n_topicos, control = list(seed = semilla_alt))
b_alt <- topicmodels::posterior(lda_alt)$terms
comun_semilla <- coincidencias(top_terminos(b, pw, lambda, cantidad),
top_terminos(b_alt, pw, lambda, cantidad))
knitr::kable(data.frame(Tópico = etiquetas,
Coincidencias = apply(comun_semilla, 1, max)),
col.names = c("Tópico", paste0("Palabras en común (de ", cantidad, ")")),
caption = "lda1: estabilidad frente a una semilla alternativa")
| Tópico | Palabras en común (de 30) |
|---|---|
| Familia y trayectoria de vida | 23 |
| Vida comunitaria ante la presencia del conflicto armado | 10 |
| Política, insurgencia y procesos de paz | 11 |
| Violencia | 12 |
| Estructura y combate de los grupos armados | 13 |
| Economía de la guerra | 12 |
El siguiente bloque compara qué tan estables son las palabras del núcleo frente a las demás palabras relevantes cuando se cambia la semilla. Si el núcleo resulta más estable, se justifica usarlo para nombrar los tópicos.
# Estabilidad del núcleo frente al resto de las palabras más relevantes
top_base <- top_terminos(b, pw, lambda, cantidad)
top_alt <- top_terminos(b_alt, pw, lambda, cantidad)
par_alt <- apply(comun_semilla, 1, which.max)
rankings <- lapply(c(1, 0.6, 0.3), function(l) top_terminos(b, pw, l, cantidad))
estab <- sapply(seq_len(n_topicos), function(k) {
nucleo <- Reduce(intersect, lapply(rankings, function(m) m[, k]))
resto <- setdiff(top_base[, k], nucleo)
c(sum(nucleo %in% top_alt[, par_alt[k]]), length(nucleo),
sum(resto %in% top_alt[, par_alt[k]]), length(resto))
})
pct_nucleo <- round(100 * sum(estab[1, ]) / sum(estab[2, ]))
pct_resto <- round(100 * sum(estab[3, ]) / sum(estab[4, ]))
La estabilidad varía entre tópicos: de 10 a 23 palabras en común, de 30. El tópico más estable es «Familia y trayectoria de vida» y el menos estable, «Vida comunitaria ante la presencia del conflicto armado», cuya etiqueta es, por eso, la más tentativa. La estabilidad es mayor en el núcleo: el 50 % de sus palabras reaparece con la otra semilla, frente al 34 % de las demás palabras relevantes. Esto confirma que nombrar los tópicos a partir del núcleo reduce la dependencia de las etiquetas respecto del azar del algoritmo.
Las palabras se ordenan por relevancia y la longitud de la barra muestra su probabilidad dentro del tópico. Por eso las barras no aparecen ordenadas de mayor a menor.
color_barra <- "#B8A9D9" # lavanda
color_titulo <- "#5E4B8B" # lavanda oscuro
top <- topicos %>%
group_by(topic) %>%
slice_max(relevancia, n = cantidad, with_ties = FALSE) %>%
ungroup()
tema <- theme(text = element_text(size = 8),
panel.grid = element_blank(),
panel.background = element_blank(),
axis.line = element_line(colour = "black"),
plot.subtitle = element_text(size = 7))
for (k in seq_along(etiquetas)) {
p <- top %>%
filter(topic == k) %>%
ggplot(aes(beta, reorder(term, relevancia))) +
geom_col(fill = color_barra, colour = "black", linewidth = 0.2) +
labs(title = etiquetas[k],
subtitle = paste0("Orden por relevancia (lambda = ", lambda, "); barra = probabilidad"),
x = "Probabilidad de la palabra", y = "Términos") +
tema +
theme(plot.title = element_text(colour = color_titulo, face = "bold", size = 8))
print(p)
}
El cálculo del tf-idf incluye tres decisiones. En primer lugar y en atención a las instrucciones del taller, la frecuencia de cada palabra se mide como proporción del total de palabras de la entrevista y no como número de apariciones; así, una entrevista extensa no tiene más peso que una breve solo por su longitud. En segundo lugar, la plantilla usa el logaritmo natural en lugar del de base 10 que emplea el libro. Esta diferencia no afecta el resultado: cambiar la base multiplica todos los pesos por una misma constante, de modo que el orden de las palabras, y por tanto las que se seleccionan, no cambia.
En tercer lugar, antes del cálculo se exige que cada palabra aparezca en al menos 3 entrevistas. Sin este filtro, el tf-idf favorecería sobre todo a las palabras exclusivas de una sola entrevista, como los nombres propios de una historia particular. En el análisis de correspondencias, el libro advierte que las palabras concentradas en uno o dos documentos pueden producir resultados que solo separan esos documentos del resto (López-Torrijos y Tellez, 2026). Por analogía, en esta estrategia podrían generar tópicos que describen una entrevista y no un tema compartido. Con el vocabulario resultante, el modelo LDA se estima de nuevo sobre las intervenciones, igual que en lda1, de modo que las dos estrategias solo difieren en las palabras que el modelo puede ver.
mi_dfm_doc <- dfm_group(mi_dfm, groups = doc)
mi_dfm_doc <- dfm_trim(mi_dfm_doc, min_docfreq = min_entrevistas)
mi_dfm_tfidf <- dfm_tfidf(mi_dfm_doc, scheme_tf = "prop", base = exp(1))
peso <- apply(as.matrix(mi_dfm_tfidf), 2, max)
mi_dfm_sel2 <- dfm_keep(mi_dfm, names(peso)[peso >= quantile(peso, 0.75)],
valuetype = "fixed")
mi_dfm_sel2 <- dfm_subset(mi_dfm_sel2, ntoken(mi_dfm_sel2) > 0)
mi_dfm2_tm <- convert(mi_dfm_sel2, to = "topicmodels")
lda2 <- LDA(mi_dfm2_tm, k = n_topicos, control = list(seed = semilla2))
b2 <- topicmodels::posterior(lda2)$terms
pw2 <- colSums(mi_dfm_sel2)[colnames(b2)] / sum(mi_dfm_sel2)
rel2 <- relevancia_lambda(b2, pw2, lambda2)
topicos2 <- data.frame(topic = rep(seq_len(nrow(b2)), ncol(b2)),
term = rep(colnames(b2), each = nrow(b2)),
beta = as.vector(b2),
relevancia = as.vector(rel2))
lda2 trabaja con 683 términos y 4120 intervenciones.
Para leer los tópicos de lda2 se usa el mismo procedimiento que en
lda1, de modo que ambas estrategias se interpreten con un criterio
común. La tabla siguiente presenta las diez palabras más relevantes de
cada tópico con lambda igual a 1, 0.6 y 0.3; y el núcleo de palabras
comunes a los tres ordenamientos. La columna con lambda = 1 equivale a
los diez términos más probables que entrega terms(), y los
gráficos de lda2 usan lambda = 0.6.
etiquetas2 <- c("Experiencias en combate",
"Control territorial de los grupos armados",
"Familia y trayectoria de vida",
"Militancia en el M-19",
"Economía ilegal de los grupos armados",
"Estructura y normas de los grupos armados")
if (length(etiquetas2) != n_topicos) etiquetas2 <- paste0("T", seq_len(n_topicos))
tabla_lda2 <- tabla_lambda(b2, pw2, etiquetas2, n = cantidad)
tabla_lda2$Tópico <- paste0("**", tabla_lda2$Tópico, "**") # negrilla en la columna Tópico
knitr::kable(tabla_lda2,
align = c("c", "l", "l", "l", "l"),
caption = "lda2: diez primeras palabras según lambda y núcleo común")
| Tópico | lambda = 1 | lambda = 0.6 | lambda = 0.3 | Núcleo |
|---|---|---|---|---|
| Experiencias en combate | man, situación, cárcel, muchacha, eln, camarada, droga, tropa, empresa, inteligencia | man, situación, cárcel, muchacha, eln, camarada, droga, tropa, empresa, inteligencia | man, situación, cárcel, muchacha, eln, camarada, droga, tropa, empresa, inteligencia | man, situación, cárcel, muchacha, eln, camarada, droga, tropa, empresa, inteligencia, pelea, moto, embarazo, preso, palo, camión, encontramos, tranquilo, infiltrado, embarazada, encontraba, mina, hijuemadre, luchar, paraco, eleno, mercado, lancha, montes de maría |
| Control territorial de los grupos armados | grupo, pueblo, policía, mando, área, tema, barrio, movimiento, entrenamiento, convivir | grupo, pueblo, policía, mando, área, tema, barrio, entrenamiento, convivir, movimiento | grupo, pueblo, policía, mando, área, entrenamiento, convivir, barrio, cierta, movimiento | grupo, pueblo, policía, mando, área, tema, barrio, movimiento, entrenamiento, convivir, cierta, estrategia, ganadero, urbano, positivo, abogado, sucre, armada, complicada, presencia, ilegal, pueblito, cabo, máximo, izquierda, periodo, cuanto |
| Familia y trayectoria de vida | mamá, comunidad, niña, tío, dios, hermana, sola, hija, proyecto, operación | mamá, comunidad, niña, tío, dios, hermana, sola, hija, proyecto, operación | mamá, comunidad, niña, tío, dios, hermana, sola, hija, proyecto, operación | mamá, comunidad, niña, tío, dios, hermana, sola, hija, proyecto, operación, helicóptero, colegio, miliciano, baja, universidad, tolima, viví, ingresé, bus, aprendí, profesional, abuela, amiga, prima, informante, tía, charla, chico, chile |
| Militancia en el M-19 | compañero, m-19, curso, estado (institución), toma, compañera, nivel, menor, acción, masacre | compañero, m-19, curso, toma, compañera, estado (institución), nivel, menor, masacre, culpa | compañero, m-19, curso, toma, compañera, nivel, menor, masacre, culpa, cauca | compañero, m-19, curso, estado (institución), toma, compañera, nivel, menor, acción, masacre, culpa, cauca, iglesia, cerro, pizarro, valle, esposa, aprender, término, tortura, capaz, diálogo, enseñan, cuba |
| Economía ilegal de los grupos armados | farc, paramilitar, colombia, fusil, coca, narcotráfico, millón, estado (institución), cultivo, bolívar | farc, paramilitar, fusil, colombia, coca, narcotráfico, millón, cultivo, bolívar, servicio | farc, paramilitar, fusil, colombia, coca, narcotráfico, millón, cultivo, bolívar, servicio | farc, paramilitar, colombia, fusil, coca, narcotráfico, millón, cultivo, bolívar, servicio, río, mula, impuesto, combustible, dueño, gasolina, paramilitarismo, pelado, tubo, café, sur, estación, corrupción, cerquita, remesa, munición, pelao, bola, narcotraficante |
| Estructura y normas de los grupos armados | frente, autodefensa, unidad, bloque, municipio, escuadra, estructura, compañía, reglamento, epl | frente, autodefensa, unidad, bloque, municipio, escuadra, estructura, compañía, reglamento, epl | frente, autodefensa, unidad, bloque, municipio, escuadra, estructura, compañía, reglamento, norma | frente, autodefensa, unidad, bloque, municipio, escuadra, estructura, compañía, reglamento, epl, norma, general, médico, dirección, sanción, noticia, columna, móvil, central, departamento, alcaldía, auc, candidato, oficina, dólar, ejercicio, reemplazante, conferencia |
A diferencia de lda1, en lda2 las listas casi no cambian entre los tres valores de lambda. Como el tf-idf ya retiró las palabras que usan todas las entrevistas, las palabras más probables de cada tópico son también las más exclusivas; y frecuencia y exclusividad coinciden. Por la misma razón, los tópicos de lda2 están formados por términos más específicos, como nombres de organizaciones, lugares y objetos.
Los tópicos de lda2 se nombraron con el mismo procedimiento que los de lda1: a partir de lo que tienen en común las palabras de su núcleo. La tabla siguiente presenta la etiqueta de cada tópico y las primeras palabras de su núcleo.
nucleo_lda2 <- tabla_lambda(b2, pw2, etiquetas2, n = cantidad)$Núcleo
palabras_clave2 <- sapply(strsplit(nucleo_lda2, ", "),
function(x) paste(head(x, 8), collapse = ", "))
knitr::kable(data.frame(Tópico = paste0("T", seq_len(n_topicos)),
Etiqueta = etiquetas2,
Núcleo = palabras_clave2),
col.names = c("Tópico", "Etiqueta", "Primeras palabras del núcleo"),
caption = "lda2: etiquetas asignadas y palabras que las sustentan")
| Tópico | Etiqueta | Primeras palabras del núcleo |
|---|---|---|
| T1 | Experiencias en combate | man, situación, cárcel, muchacha, eln, camarada, droga, tropa |
| T2 | Control territorial de los grupos armados | grupo, pueblo, policía, mando, área, tema, barrio, movimiento |
| T3 | Familia y trayectoria de vida | mamá, comunidad, niña, tío, dios, hermana, sola, hija |
| T4 | Militancia en el M-19 | compañero, m-19, curso, estado (institución), toma, compañera, nivel, menor |
| T5 | Economía ilegal de los grupos armados | farc, paramilitar, colombia, fusil, coca, narcotráfico, millón, cultivo |
| T6 | Estructura y normas de los grupos armados | frente, autodefensa, unidad, bloque, municipio, escuadra, estructura, compañía |
Las etiquetas se justifican así:
color_barra <- "#F4B6C2"
color_titulo <- "#B5485D"
top2 <- topicos2 %>%
group_by(topic) %>%
slice_max(relevancia, n = cantidad, with_ties = FALSE) %>%
ungroup()
for (k in seq_along(etiquetas2)) {
p <- top2 %>%
filter(topic == k) %>%
ggplot(aes(beta, reorder(term, relevancia))) +
geom_col(fill = color_barra, colour = "black", linewidth = 0.2) +
labs(title = etiquetas2[k],
subtitle = paste0("Orden por relevancia (lambda = ", lambda2, "); barra = probabilidad"),
x = "Probabilidad de la palabra", y = "Términos") +
tema +
theme(plot.title = element_text(colour = color_titulo, face = "bold", size = 8))
print(p)
}
Comparar directamente las palabras de los dos modelos no basta para saber si encontraron los mismos temas. La numeración de los tópicos es arbitraria (el T1 de un modelo puede corresponder al T4 del otro). En adición, lda2 trabaja con un vocabulario distinto. Por ende, se compara dónde aparecen los tópicos, no qué palabras los forman.
Para ello se usa la distribución documento-tema que entrega LDA (López-Torrijos y Tellez, 2026), que indica qué proporción de cada intervención corresponde a cada tópico. Esas proporciones se promedian por entrevista, dando más peso a las intervenciones más largas. Así, cada una de las 39 entrevistas queda descrita por un perfil: cuánto pesa en ella cada tópico de lda1 y cada tópico de lda2. Posteriormente, se calcula la correlación entre los tópicos de ambos modelos a lo largo de las entrevistas. Si un tópico de lda1 y uno de lda2 crecen y decrecen en las mismas entrevistas, la correlación es alta: eso indica que ambos capturan el mismo tema, aunque tengan otro número y otras palabras.
El mapa de calor presenta esas correlaciones. Las filas corresponden a los tópicos de lda1 (en lavanda) y las columnas a los de lda2 (en palo de rosa). Cada celda muestra la correlación entre un par de tópicos, que va de -1 a 1. Las celdas verdes indican una relación positiva: los dos tópicos tienden a aparecer en las mismas entrevistas. Por el contrario, las celdas amarillas indican una relación negativa: donde uno pesa mucho, el otro pesa poco. Las celdas casi blancas indican que no hay relación. El recuadro negro marca, en cada fila, el tópico de lda2 más parecido al tópico de lda1 correspondiente.
th1 <- posterior(lda)$topics
n <- ntoken(mi_dfm)[rownames(th1)]
d <- docvars(mi_dfm, "doc")[match(rownames(th1), docnames(mi_dfm))]
th1_doc <- rowsum(th1 * n, d) / as.vector(rowsum(n, d))
th2 <- posterior(lda2)$topics
n <- ntoken(mi_dfm)[rownames(th2)]
d <- docvars(mi_dfm, "doc")[match(rownames(th2), docnames(mi_dfm))]
th2_doc <- rowsum(th2 * n, d) / as.vector(rowsum(n, d))
comunes <- intersect(rownames(th1_doc), rownames(th2_doc))
correlacion <- cor(th1_doc[comunes, ], th2_doc[comunes, ])
dimnames(correlacion) <- list(etiquetas, etiquetas2)
datos_cor <- data.frame(lda1 = rep(rownames(correlacion), times = ncol(correlacion)),
lda2 = rep(colnames(correlacion), each = nrow(correlacion)),
valor = as.vector(correlacion))
datos_cor$maximo <- datos_cor$valor == apply(correlacion, 1, max)[datos_cor$lda1]
datos_cor$lda1 <- factor(datos_cor$lda1, levels = rev(rownames(correlacion)))
datos_cor$lda2 <- factor(datos_cor$lda2, levels = colnames(correlacion))
ggplot(datos_cor, aes(x = lda2, y = lda1, fill = valor)) +
geom_tile(colour = "white", linewidth = 0.8) +
geom_tile(data = subset(datos_cor, maximo), fill = NA, colour = "black", linewidth = 0.6) +
geom_text(aes(label = sprintf("%.2f", valor),
fontface = ifelse(maximo, "bold", "plain")), size = 3) +
scale_fill_gradient2(low = "#F2D16B", mid = "white", high = "#7FC28E",
midpoint = 0, limits = c(-1, 1), name = "Correlación") +
scale_x_discrete(labels = function(x) str_wrap(x, 14), position = "top") +
scale_y_discrete(labels = function(x) str_wrap(x, 28)) +
labs(title = "Correlación entre los tópicos de lda1 (filas) y lda2 (columnas)",
subtitle = "El recuadro negro marca el tópico de lda2 más parecido a cada tópico de lda1",
x = "lda2", y = "lda1") +
tema +
theme(axis.line = element_blank(), axis.ticks = element_blank(),
axis.text.y = element_text(colour = "#000000", face = "bold"),
axis.text.x = element_text(colour = "#000000", face = "bold"),
axis.title.y = element_text(colour = "#5E4B8B", face = "bold"),
axis.title.x = element_text(colour = "#B5485D", face = "bold"),
plot.title = element_text(face = "bold", size = 9))
El mapa muestra que las dos estrategias coinciden solo en parte. La correspondencia más clara se da en el tema de la familia: «Familia y trayectoria de vida» aparece en ambos modelos con una correlación de 0.90, la única cercana a 1. Las demás correspondencias son moderadas o débiles, entre 0.22 y 0.47. Dos tópicos de lda1, «Política, insurgencia y procesos de paz» y «Violencia», tienen su mayor correlación con el mismo tópico de lda2, «Militancia en el M-19». Esto sugiere que lda2 agrupó en un solo tema lo que lda1 separó en dos. A la inversa, «Estructura y normas de los grupos armados» no es el par más cercano de ningún tópico de lda1, y «Estructura y combate de los grupos armados» encuentra un par débil (0.22, con «Experiencias en combate»). Por último, la mayoría de las correlaciones de «Familia y trayectoria de vida» con los demás tópicos son negativas: las entrevistas centradas en la familia hablan poco de la estructura y la economía de los grupos armados.
Estas correlaciones deben leerse con cautela: se calculan sobre 39 entrevistas, de modo que unas pocas pueden modificarlas de manera apreciable.
La siguiente tabla resume el mapa de calor: para cada tópico de lda1 indica cuál es su tópico más parecido en lda2 y con qué correlación, es decir, los pares marcados con el recuadro negro. Así se puede leer de manera directa cuántos tópicos encuentran una correspondencia clara en la otra estrategia y cuántos coinciden solo de forma débil.
mejor_par <- apply(correlacion, 1, which.max)
pareo <- data.frame(lda1 = rownames(correlacion),
lda2 = colnames(correlacion)[mejor_par],
correlacion = round(apply(correlacion, 1, max), 2))
knitr::kable(pareo, row.names = FALSE,
col.names = c("Tópico lda1", "Tópico lda2 más parecido", "Correlación"),
caption = "Tópico de lda2 con mayor correlación para cada tópico de lda1")
| Tópico lda1 | Tópico lda2 más parecido | Correlación |
|---|---|---|
| Familia y trayectoria de vida | Familia y trayectoria de vida | 0.90 |
| Vida comunitaria ante la presencia del conflicto armado | Economía ilegal de los grupos armados | 0.35 |
| Política, insurgencia y procesos de paz | Militancia en el M-19 | 0.43 |
| Violencia | Militancia en el M-19 | 0.47 |
| Estructura y combate de los grupos armados | Experiencias en combate | 0.22 |
| Economía de la guerra | Control territorial de los grupos armados | 0.43 |
El mapa de calor y el pareo muestran en qué medida las dos estrategias encuentran los mismos temas. Para valorar cuál funcionó mejor, se revisan dos aspectos adicionales.
El primero es si lda2 cumplió su propósito: al retirar las palabras que usan todas las entrevistas, sus tópicos deberían estar más diferenciados. Para medirlo, la primera tabla calcula qué parte de las 30 palabras más relevantes de cada modelo se repite en más de un tópico: un porcentaje menor indica tópicos más distintos entre sí.
El segundo aspecto es el riesgo propio del tf-idf. Como esta estrategia favorece las palabras de pocos documentos, podría producir tópicos que describen una entrevista particular y no un tema compartido. La segunda tabla muestra, para cada tópico de lda2, la entrevista donde más pesa y qué porcentaje de su presencia total se concentra en ella. Si los tópicos se repartieran por igual, cada entrevista concentraría cerca del 2.6 %; un porcentaje muy superior señalaría ese problema.
top_lda1 <- top_terminos(b, pw, lambda, cantidad)
top_lda2 <- top_terminos(b2, pw2, lambda2, cantidad)
knitr::kable(data.frame(Modelo = c("lda1", "lda2"),
Compartidas = round(100 * c(proporcion_compartidas(top_lda1),
proporcion_compartidas(top_lda2)), 1)),
col.names = c("Modelo", "Palabras repetidas entre tópicos (%)"),
caption = "Especificidad de las listas de palabras")
| Modelo | Palabras repetidas entre tópicos (%) |
|---|---|
| lda1 | 14.4 |
| lda2 | 1.1 |
knitr::kable(concentracion(th2_doc[comunes, , drop = FALSE], etiquetas2), row.names = FALSE,
col.names = c("Tópico lda2", "Entrevista donde más pesa", "Porcentaje del tópico en ella"),
caption = "lda2: concentración de cada tópico por entrevista")
| Tópico lda2 | Entrevista donde más pesa | Porcentaje del tópico en ella |
|---|---|---|
| Experiencias en combate | 220-AA-00002.pdf | 7.0 |
| Control territorial de los grupos armados | 428-AA-00428.pdf | 6.4 |
| Familia y trayectoria de vida | 837-AA-00004.pdf | 6.9 |
| Militancia en el M-19 | 216-AA-00008.pdf | 9.9 |
| Economía ilegal de los grupos armados | 240-AA-00004.pdf | 6.9 |
| Estructura y normas de los grupos armados | 176-AA-00002.pdf | 6.1 |
Los resultados indican que lda2 cumplió su propósito. En lda1, el 14.4 % de las palabras más relevantes se repite en más de un tópico; en lda2, solo el 1.1 %. Es decir, al retirar el vocabulario común a todas las entrevistas, los tópicos de lda2 quedaron formados por palabras que prácticamente no comparten entre sí, mientras que los de lda1 conservan una parte de vocabulario general que los acerca.
Esa mayor diferenciación no se obtuvo a costa de describir entrevistas aisladas. En todos los tópicos de lda2, la entrevista con mayor peso concentra entre el 6.1 % y el 9.9 % de la presencia total del tópico. Esos valores superan el 2.6 % que correspondería a un reparto perfectamente uniforme, lo cual es esperable, porque no todos los testimoniantes hablan de los mismos temas. Pero ningún tópico depende de una sola historia. El más concentrado es «Militancia en el M-19» (9.9 %), algo coherente con que solo una parte de los testimoniantes relata su paso por esa organización. El menos concentrado es «Estructura y normas de los grupos armados» (6.1 %), un tema que aparece de forma más repartida entre las entrevistas. En conjunto, el filtro que exige que cada palabra aparezca en al menos 3 entrevistas evitó que el tf-idf produjera tópicos dominados por una sola historia.