library(readtext)
library(stringr)
library(dplyr)
library(quanteda)
library(topicmodels)
library(ggplot2)
La Comisión para el Esclarecimiento de la Verdad, la Convivencia y la No Repetición realizó más de 14000 entrevistas, de las cuales transcribió, anonimizó y publicó más de 2230. Este taller trabaja con 39 de ellas, seleccionadas porque siguen las reglas de transcripción de la Comisión y tienen un índice de legibilidad adecuado. En conjunto, las entrevistas suman 1413 páginas; y no se sabe, de antemano, de qué tratan. Para responder esa pregunta sin leerlas una por una, se recurre a un análisis cuantitativo de texto: en lugar de interpretar cada relato, se cuenta qué palabras aparecen y cuáles tienden a aparecer juntas. Como plantean López-Torrijos y Tellez (2026), “la idea es partir de las palabras y llegar al tema” (p. 397). El supuesto es que las palabras de un mismo campo semántico se acompañan: por ejemplo, quien relata un desplazamiento probablemente menciona la finca, la vereda y la salida del pueblo.
Para identificar esos grupos de palabras se utiliza la técnica estadística bayesiana Latent Dirichlet Allocation (LDA). LDA supone que existe un número fijo de K temas, que cada documento es una mezcla de ellos en distintas proporciones y que cada tema es una distribución de probabilidad sobre las palabras (Blei et al., 2003). A través de la técnica, se asigna al azar un tema a cada palabra y se corrigen esas asignaciones iterativamente hasta estabilizarse. Al final, el modelo entrega dos resultados: la distribución tema-palabra, que indica qué palabras caracterizan cada tema; y la distribución documento-tema, que indica cuánto pesa cada tema en cada documento (López-Torrijos y Tellez, 2026). Sin embargo, la técnica no nombra los temas. Benoit (2020) advierte que los tópicos salen sin etiqueta y que “a human must assign these labels” a partir de sus palabras más asociadas. Advierte también que el número de tópicos debe fijarse de antemano.
Como el modelo solo ve conteos de palabras, la preparación del texto es tan importante como la estimación (López-Torrijos y Tellez, 2026). Cada intervención de los testimoniantes, separada de las preguntas de los entrevistadores, se trata como un documento. Luego, el vocabulario se depura por rondas: se retiran marcas de transcripción; etiquetas de anonimización; muletillas; verbos y verboides; artículos; adverbios y demás palabras que no aportan al tema. Cada ronda se decidió a partir de los resultados de la anterior, en el ciclo de mejoras que pide el taller. Sobre ese vocabulario se comparan dos estrategias: lda1, estimado con todo el vocabulario depurado, y lda2, estimado solo con los términos de mayor peso tf-idf, que favorece las palabras propias de pocas entrevistas y castiga las que usan todas (López-Torrijos y Tellez, 2026). Si ambas llegan a temas semejantes, hay más razones para confiar en ellos; si no, la estructura temática de los testimonios resulta frágil.
Todas las decisiones que se ajustaron durante el ciclo de mejoras se enlistan a continuación, para que cada iteración se haga cambiando un solo bloque.
n_topicos <- 6 # número de tópicos (k)
cantidad <- 30 # palabras por tópico en tablas y gráficos
lambda <- 0.6 # peso de la relevancia en lda1
lambda2 <- 0.6 # peso de la relevancia en lda2
min_frec <- 5 # frecuencia mínima de un término en todo el corpus
min_entrevistas <- 3 # número mínimo de entrevistas en que debe figurar un término (lda2)
min_tokens_turno <- 5 # número mínimo de palabras de una intervención para entrar al modelo
semilla1 <- 1515 # semilla de lda1
semilla2 <- 1526 # semilla de lda2
semilla_alt <- 2026 # semilla alternativa para verificar la estabilidad de lda1
knitr::kable(data.frame(
Parámetro = c("n_topicos", "cantidad", "lambda", "lambda2", "min_frec",
"min_entrevistas", "min_tokens_turno", "semilla_alt"),
Valor = as.character(c(n_topicos, cantidad, lambda, lambda2, min_frec, min_entrevistas,
min_tokens_turno, semilla_alt)),
Uso = c("Tópicos estimados en ambos modelos", "Palabras mostradas por tópico",
"Relevancia en lda1", "Relevancia en lda2", "Recorte de términos raros",
"Recorte de términos presentes en muy pocas entrevistas (lda2)",
"Recorte de intervenciones muy cortas",
"Prueba de estabilidad de lda1")),
caption = "Parámetros finales del análisis")
| Parámetro | Valor | Uso |
|---|---|---|
| n_topicos | 6 | Tópicos estimados en ambos modelos |
| cantidad | 30 | Palabras mostradas por tópico |
| lambda | 0.6 | Relevancia en lda1 |
| lambda2 | 0.6 | Relevancia en lda2 |
| min_frec | 5 | Recorte de términos raros |
| min_entrevistas | 3 | Recorte de términos presentes en muy pocas entrevistas (lda2) |
| min_tokens_turno | 5 | Recorte de intervenciones muy cortas |
| semilla_alt | 2026 | Prueba de estabilidad de lda1 |
Este bloque no genera resultados por sí mismo: define seis funciones auxiliares que se emplean más adelante en el análisis de ambos modelos (lda1 y lda2). Se agrupan en un solo lugar para evitar repetir el mismo procedimiento en cada modelo y para que cada cálculo se pueda revisar de manera independiente.
# Relevancia de cada término en cada tópico (Sievert y Shirley, 2014)
relevancia_lambda <- function(b, pw, lambda) {
lambda * log(b) + (1 - lambda) * log(sweep(b, 2, pw, "/"))
}
# Primeros n términos de cada tópico según la relevancia: matriz de n filas y k columnas
top_terminos <- function(b, pw, lambda, n) {
rel <- relevancia_lambda(b, pw, lambda)
sapply(seq_len(nrow(rel)), function(k) head(names(sort(rel[k, ], decreasing = TRUE)), n))
}
# Diez primeras palabras con lambda = 1, 0.6 y 0.3, y núcleo común a los tres rankings
tabla_lambda <- function(b, pw, etiquetas, n, lambdas = c(1, 0.6, 0.3), n_mostrar = 10) {
rankings <- lapply(lambdas, function(l) top_terminos(b, pw, l, n))
tabla <- data.frame(Tópico = etiquetas)
for (i in seq_along(lambdas)) {
tabla[[paste("lambda =", lambdas[i])]] <-
apply(head(rankings[[i]], n_mostrar), 2, paste, collapse = ", ")
}
tabla$Núcleo <- sapply(seq_along(etiquetas), function(k)
paste(Reduce(intersect, lapply(rankings, function(m) m[, k])), collapse = ", "))
tabla
}
# Número de palabras en común entre los tópicos de dos modelos (filas: a; columnas: b)
coincidencias <- function(top_a, top_b) {
sapply(seq_len(ncol(top_b)), function(j)
sapply(seq_len(ncol(top_a)), function(i) length(intersect(top_a[, i], top_b[, j]))))
}
# Proporción de las palabras del top que se repiten en más de un tópico del mismo modelo
proporcion_compartidas <- function(top) {
todas <- as.vector(top)
mean(todas %in% todas[duplicated(todas)])
}
# Entrevista donde más pesa cada tópico y porcentaje de su presencia total en ella
concentracion <- function(th_doc, etiquetas) {
data.frame(Tópico = etiquetas,
Entrevista = rownames(th_doc)[apply(th_doc, 2, which.max)],
Porcentaje = round(100 * apply(th_doc, 2, max) / colSums(th_doc), 1))
}
readtext() lee cada PDF como una fila con su nombre y su
texto. Teniendo en cuenta que el enunciado nombra la carpeta con guion
bajo y el chunk de las instrucciones no, se rescribió el código para que
se acepten ambas versiones del nombre, de tal manera que el documento se
genere en cualquier computador.
La revisión de las transcripciones mostró que los transcriptores
anotan entre corchetes las partes inaudibles, dudosas o interrumpidas,
casi siempre con el minuto del audio ([INAD: 01:04],
[DUD: 05:03], [INTERRUP],
[RISAS], [PAUSA: 18:36]); y que algunos
archivos incluyen códigos de audio
(AUDIO 068-AA-00001-44794). Como no son palabras del
testimoniante, se eliminan antes de segmentar.
candidatas <- c("Transcripciones seleccionadas 3", "Transcripciones_seleccionadas 3")
ruta <- candidatas[dir.exists(candidatas)][1]
if (is.na(ruta)) stop("No se encontró la carpeta de transcripciones junto al archivo Rmd.")
lista_pdf <- dir(path = ruta, recursive = TRUE, pattern = "\\.pdf$", ignore.case = TRUE)
texto_unido <- readtext(file.path(ruta, lista_pdf))
names(texto_unido)[names(texto_unido) == "text"] <- "texto"
texto_unido$doc <- lista_pdf
texto_unido$id <- seq_along(lista_pdf)
# Anotaciones de transcripción entre corchetes y códigos de audio
texto_unido$texto <- texto_unido$texto %>%
str_remove_all("\\[[^\\]]*\\]") %>%
str_remove_all("AUDIO\\s+[0-9]{3}-[A-Z]{2}-[0-9-]+")
Se leyeron 39 transcripciones. Para descartar archivos vacíos o escaneados, se revisa el número de caracteres por entrevista:
nrow(texto_unido)
## [1] 39
summary(nchar(texto_unido$texto))
## Min. 1st Qu. Median Mean 3rd Qu. Max.
## 23727 58060 75452 91425 113610 280301
Antes de segmentar, se revisan los rótulos de hablante. Además de
ENT: y TEST:, aparecen un segundo
entrevistador (ENT2:, ENT 2:), un segundo
testimoniante (TEST2:) y errores de digitación
(TES:, TETS:, TESET:,
ETN:). El patrón de las instrucciones del taller no los
reconoce, de modo que esos turnos quedarían unidos al turno anterior;
por eso, antes de segmentar, se unifican en los rótulos
TEST: y ENT:.
rotulos <- unlist(str_extract_all(texto_unido$texto, "\\b[A-ZÁÉÍÓÚÑ]{2,}[0-9]*:"))
head(sort(table(rotulos), decreasing = TRUE), 10)
## rotulos
## ENT: TEST: TEST2: ENT2: INAD: FARC: TES:
## 8345 8323 29 19 3 2 2
## TETS: AUDIO: CONOCIDO3:
## 2 1 1
Primero se unifican los rótulos: las intervenciones del segundo
testimoniante y las variantes con errores de digitación pasan a
TEST:, y las del segundo entrevistador y sus variantes
pasan a ENT:. Luego, corpus_segment() divide
cada transcripción según un patrón, que en este caso es el rótulo de
quien habla. Cada intervención de un testimoniante se convierte en un
documento, y se descartan las de los entrevistadores y el encabezado
previo al primer rótulo.
texto_unido$texto <- texto_unido$texto %>%
str_replace_all("\\b(TEST?[0-9]*|TETS|TESET):", "TEST:") %>%
str_replace_all("\\b(ENT ?[0-9]*|ETN):", "ENT:")
mi_corpus <- corpus(texto_unido, text_field = "texto")
corpus_segmentado <- corpus_segment(mi_corpus,
pattern = "\\bTEST:|\\bENT:",
pattern_position = "before",
valuetype = "regex",
case_insensitive = FALSE)
table(docvars(corpus_segmentado, "pattern")) # turnos por hablante
##
## ENT: TEST:
## 8367 8357
corpus_testimoniante <- corpus_subset(corpus_segmentado, str_detect(pattern, "TEST:"))
meta(corpus_testimoniante, "Fuente") <- paste("Comisión para el Esclarecimiento de la Verdad,",
"la Convivencia y la no Repetición.")
Se identifican 8357 intervenciones de testimoniantes, provenientes de 39 entrevistas.
Las transcripciones están anonimizadas con etiquetas en mayúscula,
muchas de ellas numeradas (ej. LUGAR1,
CONOCIDO7, RANGO1, FARC16,
ORGANIZACIÓN PÚBLICA, UNIDAD MILITAR). Si se
pasaran a minúsculas, se mezclarían con el vocabulario real y crearían
falsos temas. Por ello, se eliminan antes de pasar a minúsculas. Además,
se conservan las siglas reales (FARC, ELN, EPL, AUC, M-19, JEP) y las
mismas palabras cuando el testimoniante las usa en minúscula.
Antes de pasar a minúsculas se protegen dos tipos de palabras:
Expresiones de varias palabras. Con
tokens_compound(), se unen en un solo término las
expresiones que perderían su sentido si se separaran o si se les
quitaran las palabras vacías, como “proceso de paz”, “fuerza pública”,
“derechos humanos” o “falsos positivos”. Se incluyen también lugares y
personajes públicos que se mencionan con nombre y apellido (Montes de
María, Carlos Castaño). Las expresiones se unen antes de retirar las
palabras vacías, porque de lo contrario ya no existirían en los tokens.
La lista salió de contar su frecuencia en las intervenciones.
“Estado” como institución. La lista de palabras vacías incluye “estado” porque es una forma del verbo estar (“había estado”). Pero en los testimonios “Estado”, con mayúscula, aparece 276 veces como institución (“agentes del Estado”). Para no perderla, esa forma se reemplaza por el término “estado (institución)” antes de pasar a minúsculas.
Luego, se eliminan puntuación, números y símbolos; todas las palabras pasan a minúsculas; y se retiran las palabras vacías.
A esto se suma el vector retirar, que se amplió por
rondas: en cada una se agregaron las palabras que aparecían en todos los
tópicos sin aportar sentido, como muletillas; verbos de apoyo (“hacer”,
“dar”); adverbios de lugar y tiempo; y los pronombres que
stopwords("es") no incluye. Los adverbios terminados en
-mente se retiran con un patrón que exige al menos cuatro letras antes
de la terminación, para no eliminar el sustantivo “mente”.
A diferencia del código de las instrucciones, retirar se
aplica después del paso a singular: si se aplicara antes, al retirar
“cosa” o “vez” desaparecería el singular y “cosas” o “veces” ya no
tendrían con qué unirse, así que sobrevivirían en los tópicos. También
se eliminan las contracciones con apóstrofo propias del habla oral
(“pa’llá”, “pa’l”, “por’ai”), que equivalen a palabras vacías.En la
ronda 7 se retiraron ‘rodrigo’ y ‘leonardo’: cada uno aparece en solo
dos entrevistas y se refiere a personas de una historia particular, de
modo que marcan un relato y no un tema compartido.
En una ronda final se retiraron las formas verbales que no se relacionan con el conflicto armado, con las experiencias de las víctimas ni con el contenido de las entrevistas. Para ello, se revisó todo el vocabulario que queda tras la limpieza y se clasificó cada verbo, con sus conjugaciones, participios, infinitivos y gerundios:
Se conservan los verbos de violencia y victimización (matar, secuestrar, desaparecer, amenazar, torturar, robar, quemar); de desplazamiento y despojo (huir, desplazar, sacar, quitar, abandonar); de la vida en los grupos armados (ingresar, entrenar, combatir, patrullar, desmovilizar); de justicia y memoria (denunciar, declarar, condenar, perdonar); y de la trayectoria de vida de los testimoniantes (vivir, nacer, crecer, estudiar, aprender, trabajar, sembrar, convivir, sufrir, buscar, perder).
Se retiran los verbos de uso general, que aparecen en cualquier relato: de movimiento (llegar, ir, venir, salir, entrar, volver); de inicio y fin (empezar, comenzar, acabar, terminar); de habla y percepción (hablar, decir, contar, mirar, ver, escuchar); de opinión y conocimiento (pensar, creer, saber, conocer, entender); y auxiliares o de apoyo (hacer, dar, poner, tomar, quedar, poder, querer, deber), entre otros. También se retiraron “hecho” y “hechos”, que el paso a singular une en una sola forma.
Por la misma razón, se retiraron las referencias al tiempo (día, hora, minuto, semana, mes, año, noche, época, días de la semana y meses), que acompañan a todos los relatos sin distinguir sus temas. La lista completa está en el bloque de código siguiente, plegado para no alargar el documento; se despliega con el botón Code.
# Formas verbales sin relación con el conflicto, agrupadas por verbo, y referencias al tiempo
verbos_sin_relacion <- c(
"abierta", "abierto", "abre", "abren", "abriendo", "abrieron", "abrimos", "abrir",
"abrió", "abrí", "abría",
"acaba", "acababa", "acabado", "acabamos", "acaban", "acabando", "acabar", "acabaron",
"acabe", "acabo", "acabé", "acabó",
"aceptaba", "aceptaban", "aceptar", "aceptarlo", "acepté", "aceptó",
"acompaña", "acompañar", "acompañara", "acompañó",
"acordaba", "acordarme", "acordé", "acuerde",
"acostumbra", "acostumbrada", "acostumbrado", "acostumbrando", "acostumbré",
"acostumbró",
"agarrado", "agarramos", "agarran", "agarrar", "agarrarlo", "agarraron", "agarró",
"alcance", "alcancé", "alcanza", "alcanzaba", "alcanzaban", "alcanzamos", "alcanzaron",
"alcanzó",
"anda", "andaba", "andaban", "andado", "andamos", "andan", "andando", "andar", "ando",
"anduve", "andábamos",
"aportar", "aporte",
"arranca", "arrancaba", "arrancamos", "arrancar", "arranqué",
"arreglada", "arreglar", "arreglo",
"avance", "avanzando", "avanzar",
"bajaba", "bajaban", "bajamos", "bajando", "bajar", "bajarlo", "bajaron", "baje",
"bajo", "bajábamos", "bajé", "bajó",
"brinca",
"cae", "caen", "caer", "caiga", "caigo", "cayendo", "cayeron", "cayó", "caí", "caía",
"caído",
"cambia", "cambiaba", "cambiado", "cambian", "cambiando", "cambiar", "cambiaron",
"cambie", "cambié", "cambió",
"caminaba", "caminada", "caminando", "caminar", "camine",
"carga", "cargaba", "cargaban", "cargada", "cargado", "cargan", "cargando", "cargar",
"cargue", "cargábamos",
"cerrado", "cerraron", "cerró", "cierra",
"cocinaba", "cocinar",
"coge", "cogen", "coger", "cogerlo", "cogido", "cogiendo", "cogieran", "cogieron",
"cogimos", "cogió", "cogí", "cogía", "cogíamos", "cogían", "coja", "cojan", "cojo",
"colocaban", "colocan", "colocar", "colocaron",
"comentaba", "comentado", "comentar", "comento", "comenté",
"comencé", "comenzaba", "comenzaban", "comenzamos", "comenzando", "comenzar",
"comenzaron", "comienza", "comienzan", "comienzo",
"coma", "come", "comen", "comer", "comido", "comimos", "comí", "comía", "comíamos",
"comían",
"conoce", "conocen", "conocer", "conocerlo", "conocida", "conocido", "conociendo",
"conociera", "conocimos", "conoció", "conocí", "conocía", "conocíamos", "conocían",
"conozca", "conozco",
"conseguido", "conseguimos", "conseguir", "conseguí", "conseguía", "conseguían",
"consigue", "consiguió",
"contaban", "contada", "contado", "contando", "contarle", "contaron", "conté",
"cuentan",
"contesto", "contestó",
"coordinaba", "coordinaban", "coordinado",
"corra", "corre", "correr", "corriendo", "corrí", "corría", "corrían",
"crea", "cree", "creemos", "creen", "creer", "creí", "creía", "creían",
"cumple", "cumplen", "cumplido", "cumpliendo", "cumpliera", "cumplir", "cumplió",
"cumplí", "cumplía", "cumplíamos", "cumplían",
"daban", "dado", "damos", "dando", "darle", "darme", "darnos", "den", "diera",
"dieran", "doy", "dábamos",
"debemos", "deber", "debería", "deberíamos", "deberían", "debido", "debiendo", "debió",
"debo", "debíamos", "debían",
"decimo", "decirme", "decirte", "decíamos", "diciendo", "digan", "dijimos", "diría",
"dedica", "dedicaban", "dedicada", "dedicaron", "dediqué",
"deja", "dejaba", "dejaban", "dejado", "dejamos", "dejan", "dejando", "dejar",
"dejara", "dejaran", "dejarle", "dejarlo", "dejaron", "dejarse", "deje", "dejen",
"dejo", "dejábamos", "dejé", "dejó",
"demora", "demoramos", "demoraron", "demoré", "demoró",
"descansaba", "descansar", "descanso",
"devolvieron", "devolvió", "devolvían", "devuelvo",
"dormida", "dormido", "dormir", "dormí", "dormía", "dormíamos", "dormían", "duerme",
"durmiendo",
"dura", "duraba", "duraban", "duramos", "durar", "dure", "duro", "duré", "duró",
"echa", "echaba", "echaban", "echamos", "echan", "echando", "echar", "echarle",
"echaron", "eche", "echo", "eché", "echó",
"empecé", "empezaba", "empezaban", "empezamos", "empezando", "empezar", "empezábamos",
"empezó", "empieza", "empiezan", "empiezo",
"encarga", "encargaba", "encargaban", "encargada", "encargado", "encargan", "encargo",
"entender", "entendido", "entendió", "entendí", "entendía", "entendíamos", "entendían",
"entra", "entraba", "entraban", "entrado", "entramos", "entran", "entrando", "entrar",
"entraran", "entraron", "entro", "entré", "entró",
"escribiendo", "escribir", "escribí", "escrito",
"escucha", "escuchaba", "escuchaban", "escuchado", "escuchamos", "escuchan",
"escuchando", "escuchar", "escuche", "escucho", "escuché", "escuchó",
"espera", "esperaba", "esperaban", "esperando", "esperar", "espere", "esperemos",
"espero", "esperé",
"existe", "existen", "existir", "existía", "existían",
"explicaba", "explicaban", "explican", "explicando", "explicar", "explicarle",
"explicaron", "explico", "explicó", "expliqué",
"falta", "faltaba", "faltaban", "faltó",
"fijo",
"formaba", "formado", "formamos", "formando", "formar", "formaron", "formarse",
"formo", "formó",
"gusta", "gustaba", "gustaban", "gustado", "gustan", "gustaría", "gusto", "gustó",
"habla", "hablaba", "hablaban", "hablado", "hablamo", "hablan", "hablando", "hablara",
"hablarle", "hablarme", "hablaron", "hable", "hablemos", "hablo", "hablábamos",
"hablé", "habló",
"hacerla", "hacerle", "hacerlo", "hacerme", "hacernos", "hacerse", "haciéndole",
"haciéndose", "hacíamos", "hagamos", "hicieran",
"imagina", "imaginaba",
"importa", "importaba",
"interesa", "interesaba", "interesado",
"irme", "irnos", "irse", "vayamos", "vayan", "váyase", "yendo",
"juega", "juego", "jugaba", "jugada", "jugando", "jugar", "jugábamos", "jugó",
"lea", "lee", "leer", "leo", "leyendo", "leía", "leían",
"levanta", "levantaba", "levantamos", "levantar", "levanté", "levantó",
"llama", "llamaba", "llamaban", "llamada", "llamado", "llamamos", "llaman", "llamando",
"llamar", "llamara", "llamarlo", "llamaron", "llamarse", "llame", "llamen", "llamo",
"llamábamos", "llamé", "llamó",
"llega", "llegaba", "llegado", "llegamos", "llegan", "llegando", "llegar", "llegara",
"llegaran", "llegarle", "llegaron", "llego", "llegue", "lleguen", "llegué",
"llegábamos", "llegó",
"logra", "lograba", "lograban", "logrado", "logramos", "lograr", "lograron", "logro",
"logré", "logró",
"manda", "mandaba", "mandaban", "mandado", "mandan", "mandando", "mandar", "mandara",
"mandaran", "mandarle", "mandaron", "mande", "manden", "mandé", "mandó",
"maneja", "manejaba", "manejaban", "manejan", "manejando", "manejar", "manejo",
"manejábamos", "manejó",
"mantener", "mantenido", "mantenía", "manteníamos", "mantenían", "mantiene",
"meta", "metan", "mete", "metemos", "meten", "meter", "meterle", "meterme", "meternos",
"meterse", "metida", "metido", "metiendo", "metiera", "metieran", "metieron",
"metimos", "metió", "meto", "metí", "metía", "metíamos", "metían",
"miraba", "miraban", "mirada", "miramos", "miran", "mirando", "mirar", "miren", "miro",
"mirábamos", "miré", "miró",
"montaba", "montado", "montamos", "montar", "montaron", "montó",
"mostrar",
"mover", "moverse", "movimos", "movía", "movían", "mueve",
"necesita", "necesitaba", "necesitaban", "necesitamos", "necesitan", "necesiten",
"necesito", "necesitábamos",
"nota",
"ocupado", "ocupar",
"ocurre", "ocurrió",
"olvida", "olvidaba", "olvidado", "olvidé", "olvidó",
"oye", "oyó",
"paraba", "paraban", "parado", "paran", "parar", "pararon", "pararse", "pare",
"paremos", "paré", "paró",
"parecer", "parecida", "parecido", "pareció", "parecía",
"pasa", "pasaba", "pasaban", "pasada", "pasado", "pasamos", "pasan", "pasando",
"pasar", "pasara", "pasaran", "pasaron", "pasaría", "pase", "paso", "pasábamos",
"pasé", "pasó",
"pedido", "pedimos", "pedir", "pedirle", "pedí", "pedía", "pedíamos", "pedían", "pida",
"pide", "piden", "pidiendo", "pidieron", "pidió", "pido",
"pensaba", "pensaban", "pensado", "pensamos", "pensando", "pensar", "pensara",
"pensaron", "pensó", "piensa", "piensan", "piense",
"podamos", "poderlo", "poderse", "podido", "podría", "pude", "pudiera", "pudieran",
"pudieron", "pudimos", "pueda", "puedan", "puedo",
"pone", "ponemos", "ponen", "poner", "ponerla", "ponerle", "ponerlo", "ponerme",
"ponernos", "ponerse", "ponga", "pongan", "pongo", "poniendo", "ponía", "poníamos",
"ponían", "puse", "pusiera", "pusieron", "pusimos", "puso",
"preguntaba", "preguntaban", "preguntado", "preguntan", "preguntando", "preguntar",
"preguntarle", "preguntarme", "preguntaron", "pregunte", "pregunto", "pregunté",
"prepara", "preparaba", "preparaban", "preparada", "preparado", "preparando",
"presenta", "presentaba", "presentaban", "presentar", "presentaron",
"presenté", "presentó",
"presta", "prestaba", "prestaban", "prestado", "prestando", "prestar", "prestarle",
"presté",
"queda", "quedaba", "quedaban", "quedado", "quedamos", "quedan", "quedando", "quedar",
"quedara", "quedarme", "quedaron", "quedarse", "quede", "quedo", "quedábamos", "quedé",
"quedó",
"queremos", "querer", "querido", "queríamos", "querían", "quiera", "quieran",
"quieren", "quise", "quisiera", "quisieran", "quisieron", "quiso",
"rancha", "ranchar",
"recibe", "recibido", "recibiendo", "recibieron", "recibir", "recibió", "recibí",
"recibía", "recibíamos", "recibían",
"recoge", "recogen", "recoger", "recogerlo", "recogido", "recogiendo", "recogieron",
"recogió", "recogía", "recogían", "recoja",
"recordar", "recuerde",
"regresa", "regresamos", "regresar", "regresarme", "regresaron", "regresé", "regresó",
"responde", "responder", "respondo", "respondía",
"resultado", "resultó",
"retiraba", "retirada", "retirado", "retirar", "retiro", "retiré",
"sabido", "sabiendo", "sabría", "sabíamos", "sabían", "sepa", "supe", "supiera",
"supieron", "supo",
"sale", "salen", "salga", "salgan", "salgo", "salido", "saliendo", "saliera",
"salieron", "salimos", "salir", "salirme", "salirse", "salió", "salí", "salía",
"salíamos", "salían",
"salto",
"seguida", "seguido", "seguimos", "seguir", "seguí", "seguía", "seguíamos", "seguían",
"siga", "sigan", "sigo", "siguen", "siguieron",
"sentamos", "sentido", "sentimos", "sentir", "sentí", "sentía", "sentían", "sienta",
"siente", "sienten", "siento", "sintieron", "sintió",
"servido", "servir", "servía", "servían", "sirve", "sirviendo", "sirvió", "sirvo",
"sonaba", "sonar", "sonó", "suena",
"suba", "sube", "subido", "subiendo", "subieron", "subimos", "subir", "subió", "subo",
"subí", "subía", "subían",
"sucede", "suceder", "sucedido", "sucedió", "sucedía",
"tenerla", "tenerlo",
"termina", "terminaba", "terminado", "terminamos", "terminando", "terminar",
"terminaron", "terminé", "terminó",
"toca", "tocaba", "tocado", "tocar", "toco", "tocó", "toque", "toqué",
"tomaba", "tomaban", "tomado", "tomamos", "toman", "tomando", "tomar", "tomara",
"tomarnos", "tomaron", "tomarse", "tome", "tomen", "tomo", "tomé", "tomó",
"trae", "traen", "traer", "traiga", "traigo", "traje", "trajeron", "trajo", "traía",
"traíamos", "traían", "traído",
"trata", "trataba", "trataban", "tratado", "tratamos", "tratan", "tratando", "tratar",
"trato", "traté", "trató",
"usa", "usaban", "usar", "uso",
"utiliza", "utilizaba", "utilizaban", "utilizado", "utilizamos", "utilizan",
"utilizar", "utilizaron", "utilizábamos", "utilizó",
"venga", "vengan", "vengo", "venido", "venimos", "venirme", "venirnos", "venirse",
"venía", "veníamos", "venían", "vienen", "viniera", "vinieran", "vinieron", "vinimos",
"vemos", "ven", "veo", "verla", "verlo", "ves", "veíamos", "veían", "viendo", "viera",
"vieran", "vieron", "vimos",
"visitaba", "visitar", "visitarme", "visitó",
"volver", "volviendo", "volvieron", "volvimos", "volvió", "volví", "volvía", "volvían",
"vuelto", "vuelva", "vuelvan", "vuelve", "vuelven", "vuelvo",
# otros verbos generales
"abrazaba", "accionar", "acercó", "acerqué", "acogido", "acogió", "acostar", "acosté",
"actuar", "adelantado", "administrar", "agradecido", "alimentar", "almorzar",
"amanecer", "amaneció", "analizar", "aparecen", "aparecer", "aparecieron", "apareció",
"aparecía", "aparecían", "aplicaban", "aplicar", "aplicó", "apretar", "aprovechar",
"aprovecharon", "aprovechó", "ascendiendo", "asegurar", "asomó", "asumir", "atender",
"atendieron", "atendía", "atendían", "atrevía", "autorizado", "averiguar", "bailar",
"bailábamos", "barrer", "bañarse", "bañábamos", "beber", "beneficiado", "borrar",
"bía", "bían", "cansada", "cansado", "cantaba", "cantar", "causaba", "causó", "citan",
"compartir", "compartía", "comprometido", "comunicaba", "comunicado", "comunicar",
"confiar", "conformado", "conformando", "conformar", "conformaron", "conformó",
"consigan", "consiguiera", "construimos", "construir", "consultar", "continuar",
"convencer", "convencerlo", "convencido", "convenciendo", "convierte", "convirtió",
"copar", "copiar", "cortar", "creada", "creado", "crear", "crearon", "creó", "cruzado",
"cruzando", "cruzar", "cuadraba", "cuadraban", "cuadramos", "cuadrando", "cuadrar",
"cuadraron", "cualificado", "cubrir", "dada", "darse", "dañar", "decidido",
"decidieron", "decidimos", "decidió", "decidía", "definir", "dentrar", "dependiendo",
"dependía", "desarrollar", "descubrieron", "descubrir", "descubrían", "dijeran",
"diré", "disciplinado", "distinguía", "distribuyó", "distribuía", "distribuían",
"dividimos", "dividir", "dividía", "documentado", "dotan", "ejercer", "ejercía",
"empeñada", "enfermé", "enfocado", "enredado", "enteraba", "enteré", "entiendan",
"entrabamos", "enviaba", "enviaban", "enviar", "enviaron", "envían", "escoger",
"estarme", "estarse", "evitar", "exigir", "exigía", "exigían", "expresaba", "expresar",
"falló", "fortalecer", "fortalecido", "fortaleciendo", "fortaleció", "funcionaba",
"funcionó", "ganaba", "ganaban", "ganamos", "ganan", "ganando", "ganar", "ganarme",
"ganarse", "gané", "ganó", "gastaba", "generaba", "grabado", "gritar", "guardaba",
"guardada", "guardado", "guardar", "guardaron", "guindar", "habemos", "haberme",
"haberse", "haigan", "hiciste", "ida", "identificaba", "identificado", "identificar",
"impactó", "incluido", "indisciplinado", "informaba", "informado", "informando",
"informar", "informó", "iniciar", "inicié", "inició", "insistiendo", "intentaba",
"intentó", "internado", "inventó", "invitaban", "invitaron", "invitó", "irte",
"irán", "joden", "joder", "jodido", "jodiendo", "jodió", "jurado", "lanzar", "lavar",
"legalizaba", "ligado", "limitaba", "llenaba", "llenando", "llenar", "llenó", "mamé",
"manchaba", "marcado", "marcó", "medir", "mejorar", "mencionar", "mentir", "mirá",
"métase", "negar", "negarlo", "nombraban", "nombrado", "nombran", "nombrar",
"nombraron", "partir", "pasear", "permitido", "permitió", "permitía", "permitían",
"pesaba", "pesado", "planificar", "podrido", "pongamos", "prefería", "premeditado",
"prendió", "prendía", "preocupaba", "preocupado", "producir", "póngase", "recomendó",
"recomiendo", "recorrido", "reflejado", "regalar", "regalaron", "regaló", "registrada",
"registrado", "relajado", "remolcar", "repartir", "repartía", "repetir", "reportaban",
"representar", "resolver", "respetaba", "respetaban", "respetar", "respetarla",
"reunido", "reunieron", "reunimos", "reunir", "reunió", "reunía", "reuníamos",
"reunían", "reventó", "revisar", "reúnen", "romper", "rompió", "sentaba", "sentado",
"separaban", "separado", "sientan", "solicité", "solucionar", "sorprendido",
"sorprendió", "sostener", "suponía", "taba", "tapar", "templó", "tendido", "torcido",
"traigan", "transportar", "trasladaron", "traslado", "trotar", "tumbar", "ubicado",
"ubicamos", "ubican", "ubicar", "unido", "unieron", "validar", "valió", "valía",
"vengase", "verificar", "verme", "vernos", "verse", "verá", "vestido", "viajar",
"viste"
)
referencias_tiempo <- c(
"día", "hora", "minuto", "semana", "mes", "año", "tiempo", "mañana", "tarde", "noche",
"madrugada", "hoy", "ayer", "anoche", "antier", "época", "fecha", "temporada",
"década", "siglo", "ratico", "ratito", "mediodía", "medianoche", "mediados", "lunes",
"martes", "miércoles", "jueves", "viernes", "sábado", "domingo", "enero", "febrero",
"marzo", "abril", "mayo", "junio", "julio", "agosto", "septiembre", "octubre",
"noviembre", "diciembre", "presente", "futuro", "fin", "inicio", "principio", "final"
)
El siguiente chunk convierte cada intervención en una lista de palabras (tokens) y aplica la limpieza descrita anteriormente.
# Etiquetas de anonimización en mayúscula (incluye variantes con errores de digitación)
etiquetas_anonimizacion <- c(
"TEST", "ENT", "RANGO", "RANGOS", "EXRANGO", "ENXRANGO", "RANFO", "GRADO", "LUGAR",
"CONOCIDO", "CONOCIDA", "CONCOIDO", "CONCOIDA", "CONCODIO", "CONOCDIO", "CONOCIOD",
"CPONOCIDO", "FAMILIAR", "FAMILAIR", "GRUPO", "SOCIAL", "ORGANIZACION", "ORGANIZACIÓN",
"ORGANIAZCIÓN", "INSTITUCION", "INSTITUCIÓN", "EDUCATIVA", "EDUCTAIVA", "PUBLICA",
"PÚBLICA", "PÚBLIC", "PÚIBLICA", "PÚVLICA", "PRIVADA", "FIGURA", "UNIDAD", "MILITAR",
"POLICIAL", "FUERZA", "AÉREA", "RESPONSABLE", "GUERRILLERO", "GUERRILLERA",
"EXGUERRILLERO", "PARAMILITAR", "PARAMILIATR", "PARAMILTAR", "PARAILITAR",
"EXPARAMILITAR", "NARCOTRAFICANTE", "SUPUESTO", "INDIGENA", "INDIGENAS", "AUDIO")
rondas_retirar <- list(
"Instrucciones: marcas de transcripción" = c("inad", "dud", "interrup"),
"Ronda 1: marcas sin cerrar o con errores" = c(
"inau", "inaud", "inaudible", "ininteligible", "interurp", "dudd",
"cont", "inc", "pausa", "risa", "risas"),
"Ronda 1: muletillas y marcadores" = c(
"pues", "pue", "entonces", "entonce", "bueno", "digamos", "osea",
"aja", "mmm", "mmmm", "ehh", "eeh", "eee", "umm", "hmm",
"claro", "listo", "vale", "dale", "exacto", "cierto", "obvio",
"total", "igual"),
"Ronda 1: adverbios de lugar" = c(
"ahí", "ahi", "allá", "alla", "acá", "aca", "aquí", "aqui", "allí", "alli",
"así", "asi", "adentro", "afuera", "abajo", "arriba", "cerca", "lejos",
"alrededor", "encima", "debajo", "atrás", "atras", "adelante", "delante",
"detrás", "detras"),
"Ronda 1: verbos de habla" = c(
"dice", "dijo", "decía", "decia", "dije", "decir", "dicen", "dijeron",
"decían", "decian", "digo", "diga", "dijera", "dicho",
"cuento", "contaba", "contó", "conto", "contar", "preguntó", "pregunta"),
"Ronda 1: formas de trato" = c(
"señor", "señora", "usted", "ustedes", "don", "doña",
"mija", "mijo", "mijito", "mijita", "mamita", "papito"),
"Ronda 2: verbos de opinión y memoria" = c(
"creo", "sabe", "sabía", "sabia", "saber", "sabemos", "saben",
"acuerdo", "acuerda", "recuerdo", "recuerda", "pienso", "pensé",
"parece", "imagino", "entiendo"),
"Ronda 2: verbos genéricos" = c(
"iba", "íbamos", "iban", "voy", "vamos", "ido", "vaya",
"vino", "venir", "vine", "viene",
"dio", "dieron", "daba", "dan",
"puede", "pudo", "podía", "podia", "poder", "podemos", "pueden",
"ver", "vio", "veía", "visto", "quería", "queria", "quiero", "quiere",
"sigue", "siguió"),
"Ronda 2: tiempo genérico" = c(
"ahora", "ahorita", "luego", "después", "despues", "todavía", "todavia",
"aún", "siempre", "nunca", "jamás", "pronto", "rato", "momento", "vez"),
"Ronda 3: cantidades y números en letra" = c(
"harto", "harta", "montón", "poquito", "bastante", "demasiado",
"dos", "tres", "cuatro", "cinco", "seis", "siete", "ocho", "nueve", "diez",
"once", "doce", "quince", "veinte", "treinta", "cien", "mil",
"primero", "primera", "segundo", "segunda", "tercero", "mitad"),
"Ronda 3: conectores" = c(
"cada", "además", "incluso", "inclusive", "sino", "aunque", "mientras",
"según", "través", "dentro", "pesar", "solo", "sólo",
"apenas", "casi", "mejor"),
"Ronda 3: sustantivos comodín" = c(
"cosa", "cuestión", "tipo", "parte", "manera", "forma", "lado",
"nomás", "berraco", "verraco"),
"Ronda 4: palabras observadas en los tópicos" = c("ajá", "vaina", "dar", "van"),
"Ronda 4: verbo hacer" = c(
"hacer", "hace", "hizo", "hacía", "hacia", "hago", "hacen", "hacían",
"hicieron", "hice", "hicimos", "hacemos", "haciendo", "hiciera",
"haga", "hagan", "haría"),
"Ronda 4: pronombres no incluidos en stopwords" = c(
"ello", "conmigo", "contigo", "consigo", "aquel", "aquella", "aquellos",
"aquellas", "aquello", "cuales", "cuál", "cuáles", "quién", "quiénes",
"cuyo", "cuya", "alguien", "nadie", "alguno", "alguna", "algún",
"ninguno", "ninguna", "ningún", "cualquier", "cualquiera", "demás",
"mismo", "misma", "mismos", "mismas", "tal", "unas", "toda", "todas",
"tanta", "tantos", "tantas", "mucha", "muchas", "poca", "pocos", "pocas"),
"Ronda 5: interrogativos, infinitivos y otras palabras frecuentes" = c(
"cómo", "cuándo", "dónde", "cuánto", "cuántos", "cuánta", "bien",
"ser", "tener", "haber", "ejemplo", "menos", "meno"),
"Ronda 6: formas coloquiales" = c(
"toes", "usté", "ustés", "pal", "mire", "vea", "oiga", "dizque",
"fulano", "fulanito", "marica", "huevón", "chévere", "bacano"),
"Ronda 7: expresiones del habla" = c(
"cuenta", "mira", "tan", "debe", "deben", "debía", "resulta", "entiende",
"decirlo", "decirle", "podíamos", "podían"),
"Ronda 7: nombres propios de una sola historia" = c("rodrigo", "leonardo"),
"Ronda 8: palabras observadas en los tópicos" = c(
"hecho", "hechos", "hablar", "entoe", "llegaban", "empezaron", "comenzó"),
"Ronda 8: muletillas y coloquialismos restantes" = c(
"hágale", "magínese", "depende", "onde", "tonce", "hijueputa", "gracia"),
"Ronda 8: verbos sin relación con el conflicto" = verbos_sin_relacion,
"Ronda 8: referencias al tiempo" = referencias_tiempo
)
retirar <- unlist(rondas_retirar, use.names = FALSE)
# Expresiones de varias palabras que se protegen como un solo término
expresiones <- c(
"proceso de paz", "acuerdo de paz", "justicia y paz", "fuerza pública",
"derechos humanos", "falsos positivos", "lucha armada", "grupo armado",
"grupos armados", "fuerzas armadas", "autodefensas unidas", "acción comunal",
"partido comunista", "unión patriótica", "cultivos ilícitos", "violencia sexual",
"zona de distensión", "estados unidos", "fuerza aérea", "cruz roja",
"limpieza social", "servicio militar",
"montes de maría", "san onofre", "el salado", "el naya", "canal del dique",
"carlos pizarro", "jaime bateman", "carlos castaño", "manuel marulanda",
"alfonso cano", "salvatore mancuso", "mono jojoy")
mis_tokens <- tokens(corpus_testimoniante, remove_punct = TRUE,
remove_numbers = TRUE, remove_symbols = TRUE) %>%
tokens_remove("^[A-ZÁÉÍÓÚÑ]+[0-9]+$", valuetype = "regex",
case_insensitive = FALSE) %>% # etiquetas numeradas: LUGAR1, CONOCIDO7
tokens_remove(etiquetas_anonimizacion, valuetype = "fixed", case_insensitive = FALSE) %>%
tokens_compound(pattern = phrase(expresiones), concatenator = " ") %>%
tokens_replace(pattern = "Estado", replacement = "estado (institución)",
valuetype = "fixed", case_insensitive = FALSE) %>%
tokens_tolower() %>%
tokens_replace(pattern = "grupos armados", replacement = "grupo armado",
valuetype = "fixed") %>%
tokens_remove(stopwords(language = "es")) %>% # 'retirar' se aplica después del singular
tokens_remove(pattern = "^.{4,}mente$", valuetype = "regex") %>% # adverbios en -mente
tokens_remove(pattern = "['’]", valuetype = "regex") %>% # contracciones: pa'llá
tokens_select(min_nchar = 3) # descarta restos de una o dos letras ("pa", "eh")
La siguiente tabla resume el ciclo de mejoras del vocabulario.
Registra, en orden, la limpieza previa de las etiquetas de anonimización
y cada ronda del vector retirar, con las palabras
eliminadas y su cantidad. En las rondas con más de 20 palabras solo se
muestran las primeras; la lista completa está en el código. Esta tabla
servirá como evidencia para la respuesta a la pregunta 1.
con_palabras <- rondas_retirar[lengths(rondas_retirar) > 0]
bitacora <- data.frame(Ronda = names(con_palabras),
Palabras = sapply(con_palabras, function(x)
if (length(x) > 20) paste0(paste(head(x, 12), collapse = ", "),
", ... (lista completa en el código)")
else paste(x, collapse = ", ")),
Cantidad = as.character(lengths(con_palabras)))
bitacora <- rbind(
data.frame(Ronda = "Limpieza previa: etiquetas de anonimización",
Palabras = "Etiquetas en mayúscula, con o sin número (LUGAR1, CONOCIDO7, RANGO, UNIDAD MILITAR...)",
Cantidad = as.character(length(etiquetas_anonimizacion) + 1)),
bitacora,
data.frame(Ronda = "Ronda 4: adverbios en -mente",
Palabras = "Patrón ^.{4,}mente$ (realmente, prácticamente, etc.)",
Cantidad = "Todas las coincidencias"))
knitr::kable(bitacora, row.names = FALSE,
caption = "Palabras retiradas en la limpieza previa y en cada ronda")
| Ronda | Palabras | Cantidad |
|---|---|---|
| Limpieza previa: etiquetas de anonimización | Etiquetas en mayúscula, con o sin número (LUGAR1, CONOCIDO7, RANGO, UNIDAD MILITAR…) | 55 |
| Instrucciones: marcas de transcripción | inad, dud, interrup | 3 |
| Ronda 1: marcas sin cerrar o con errores | inau, inaud, inaudible, ininteligible, interurp, dudd, cont, inc, pausa, risa, risas | 11 |
| Ronda 1: muletillas y marcadores | pues, pue, entonces, entonce, bueno, digamos, osea, aja, mmm, mmmm, ehh, eeh, … (lista completa en el código) | 24 |
| Ronda 1: adverbios de lugar | ahí, ahi, allá, alla, acá, aca, aquí, aqui, allí, alli, así, asi, … (lista completa en el código) | 27 |
| Ronda 1: verbos de habla | dice, dijo, decía, decia, dije, decir, dicen, dijeron, decían, decian, digo, diga, … (lista completa en el código) | 21 |
| Ronda 1: formas de trato | señor, señora, usted, ustedes, don, doña, mija, mijo, mijito, mijita, mamita, papito | 12 |
| Ronda 2: verbos de opinión y memoria | creo, sabe, sabía, sabia, saber, sabemos, saben, acuerdo, acuerda, recuerdo, recuerda, pienso, pensé, parece, imagino, entiendo | 16 |
| Ronda 2: verbos genéricos | iba, íbamos, iban, voy, vamos, ido, vaya, vino, venir, vine, viene, dio, … (lista completa en el código) | 32 |
| Ronda 2: tiempo genérico | ahora, ahorita, luego, después, despues, todavía, todavia, aún, siempre, nunca, jamás, pronto, rato, momento, vez | 15 |
| Ronda 3: cantidades y números en letra | harto, harta, montón, poquito, bastante, demasiado, dos, tres, cuatro, cinco, seis, siete, … (lista completa en el código) | 28 |
| Ronda 3: conectores | cada, además, incluso, inclusive, sino, aunque, mientras, según, través, dentro, pesar, solo, sólo, apenas, casi, mejor | 16 |
| Ronda 3: sustantivos comodín | cosa, cuestión, tipo, parte, manera, forma, lado, nomás, berraco, verraco | 10 |
| Ronda 4: palabras observadas en los tópicos | ajá, vaina, dar, van | 4 |
| Ronda 4: verbo hacer | hacer, hace, hizo, hacía, hacia, hago, hacen, hacían, hicieron, hice, hicimos, hacemos, haciendo, hiciera, haga, hagan, haría | 17 |
| Ronda 4: pronombres no incluidos en stopwords | ello, conmigo, contigo, consigo, aquel, aquella, aquellos, aquellas, aquello, cuales, cuál, cuáles, … (lista completa en el código) | 43 |
| Ronda 5: interrogativos, infinitivos y otras palabras frecuentes | cómo, cuándo, dónde, cuánto, cuántos, cuánta, bien, ser, tener, haber, ejemplo, menos, meno | 13 |
| Ronda 6: formas coloquiales | toes, usté, ustés, pal, mire, vea, oiga, dizque, fulano, fulanito, marica, huevón, chévere, bacano | 14 |
| Ronda 7: expresiones del habla | cuenta, mira, tan, debe, deben, debía, resulta, entiende, decirlo, decirle, podíamos, podían | 12 |
| Ronda 7: nombres propios de una sola historia | rodrigo, leonardo | 2 |
| Ronda 8: palabras observadas en los tópicos | hecho, hechos, hablar, entoe, llegaban, empezaron, comenzó | 7 |
| Ronda 8: muletillas y coloquialismos restantes | hágale, magínese, depende, onde, tonce, hijueputa, gracia | 7 |
| Ronda 8: verbos sin relación con el conflicto | abierta, abierto, abre, abren, abriendo, abrieron, abrimos, abrir, abrió, abrí, abría, acaba, … (lista completa en el código) | 1393 |
| Ronda 8: referencias al tiempo | día, hora, minuto, semana, mes, año, tiempo, mañana, tarde, noche, madrugada, hoy, … (lista completa en el código) | 50 |
| Ronda 4: adverbios en -mente | Patrón ^.{4,}mente$ (realmente, prácticamente, etc.) | Todas las coincidencias |
Las reglas de las instrucciones unen plural y singular solo si la forma singular existe en el corpus, lo que evita crear palabras inexistentes. Se hicieron tres ajustes:
Umbral de longitud: con más de 4 caracteres quedaban por fuera plurales frecuentes de cuatro letras (años, días, ojos). El umbral pasó a más de 3 y se protegió “dios”, que de otro modo se convertiría en “dio”. También se protegió “bienes” para que no se uniera con “bien”, que se retira como muletilla.
Plurales con cambio de tilde: se agregaron las reglas -ones → -ón, -anes → -án y -eses → -és (razones → razón, intereses → interés).
Plurales esdrújulos: se agregó un paso para los plurales en -enes cuyo singular no lleva tilde (jóvenes → joven, crímenes → crimen).
Se consideró lematizar con udpipe, como en las sesiones
10 y 11. Se descartó porque exige descargar un modelo al generar el
documento; y porque anotar miles de intervenciones alarga el tiempo de
ejecución del código.
unicas <- types(mis_tokens)
singular <- unicas
reglas <- list(c("ces$", "z"), c("iones$", "ión"), c("ones$", "ón"),
c("anes$", "án"), c("eses$", "és"), c("es$", ""), c("s$", ""))
no_tocar <- c("dios", "bienes")
for (r in reglas) {
candidata <- sub(pattern = r[1], replacement = r[2], x = unicas)
ok <- singular == unicas &
candidata != unicas &
candidata %in% unicas &
nchar(unicas) > 3 &
!unicas %in% no_tocar
singular[ok] <- candidata[ok]
}
termina_enes <- grepl("enes$", unicas)
candidata <- chartr("áéíóú", "aeiou", sub("enes$", "en", unicas))
ok <- termina_enes & singular == unicas & candidata %in% unicas
singular[ok] <- candidata[ok]
cambia <- singular != unicas
mis_tokens <- tokens_replace(mis_tokens, pattern = unicas[cambia],
replacement = singular[cambia], valuetype = "fixed")
# 'retirar' se aplica después del paso a singular, para que los plurales (cosas, veces)
# se unan primero con su singular y desaparezcan junto con él
mis_tokens <- tokens_remove(mis_tokens, retirar)
Se unificaron 2685 formas plurales. Algunos ejemplos se muestran a continuación:
knitr::kable(head(data.frame(Plural = unicas[cambia], Singular = singular[cambia]), 8),
caption = "Ejemplos de unificación de plurales")
| Plural | Singular |
|---|---|
| años | año |
| armas | arma |
| padres | padre |
| hermanos | hermano |
| mayores | mayor |
| entonces | entonce |
| complejos | complejo |
| veces | vez |
sum(cambia)
## [1] 2685
En quanteda, la matriz guarda los documentos en las filas y los términos en las columnas (DFM). Es una representación de bolsa de palabras: importa cuántas veces figura cada término, no su posición (López-Torrijos y Tellez, 2026). Primero se eliminan las intervenciones con menos de 5 palabras y luego se aplica trimming para retirar los términos con frecuencia total menor que 5. El libro usa un umbral de 2 en su ejemplo; aquí se usa 5, como sugiere el enunciado cuando aparecen palabras muy raras con lambda bajo. Tras la limpieza, la mitad de las intervenciones tiene menos de diez palabras y una de cada tres tiene menos de cinco (“sí, claro”, “en el pueblo”). En textos tan cortos, el modelo no tiene información para estimar la mezcla de tópicos, así que solo agregan ruido. El filtro de intervenciones cortas se aplica antes del trimming: en el orden inverso, quedaban términos con frecuencia cero, que en la fórmula de relevancia producen una división entre cero y aparecían en el primer lugar de un tópico sin barra visible. Al final, se quitan las intervenciones que el trimming dejó vacías, porque LDA no admite filas sin palabras.
mi_dfm <- dfm(mis_tokens)
mi_dfm <- dfm_subset(mi_dfm, ntoken(mi_dfm) >= min_tokens_turno)
mi_dfm <- dfm_trim(mi_dfm, min_termfreq = min_frec)
mi_dfm <- dfm_subset(mi_dfm, ntoken(mi_dfm) > 0)
La matriz final tiene 4595 intervenciones y 2996 términos. Las
palabras más frecuentes sirvieron para escoger candidatas a
retirar en cada ronda:
topfeatures(mi_dfm, 30)
## gente guerrilla persona ejército comandante casa
## 1419 935 897 633 571 569
## grupo compañero frente man farc mujer
## 515 514 503 451 450 448
## guerra militar mamá pueblo zona papá
## 446 444 438 420 420 417
## plata familia vida verdad muchacho caso
## 414 412 378 365 365 361
## hombre arma paramilitar hermano guerrillero mano
## 355 344 339 333 322 304
LDA asigna temas al azar a cada palabra y los reasigna iterativamente según dos criterios: qué temas tiene el documento y qué palabras tiene cada tema. Al final, entrega dos distribuciones: tema-palabra (beta), con la que se nombran los tópicos; y documento-tema (theta), con la que se comparan los modelos (López-Torrijos y Tellez, 2026). Los tópicos salen sin nombre: es el analista quien los interpreta (Benoit, 2020; López-Torrijos y Tellez, 2026).
mi_dfm_tm <- quanteda::convert(mi_dfm, to = "topicmodels")
lda <- LDA(mi_dfm_tm, k = n_topicos, control = list(seed = semilla1))
b <- topicmodels::posterior(lda)$terms
pw <- colSums(mi_dfm)[colnames(b)] / sum(mi_dfm)
relevancia <- relevancia_lambda(b, pw, lambda)
topicos <- data.frame(topic = rep(seq_len(nrow(b)), ncol(b)),
term = rep(colnames(b), each = nrow(b)),
beta = as.vector(b),
relevancia = as.vector(relevancia))
Según López-Torrijos y Tellez (2026), el número de tópicos lo define
el analista. El ejemplo 20.1 del libro ofrece el criterio para
ajustarlo: si un tópico mezcla asuntos distintos, faltan tópicos; si dos
tópicos se solapan, sobran. Benoit (2020) agrega que, para escogerlo, la
interpretabilidad suele ser mejor criterio que las medidas estadísticas.
Con esto en mente, se estimaron modelos con k entre 3 y 10; y, para cada
uno, se revisaron sus diez términos más probables con
terms(). El bloque siguiente se ejecutó en la consola y no
se evalúa al generar el documento, porque imprime ocho listas
extensas.
for (k_prueba in 3:10) {
modelo_prueba <- LDA(mi_dfm_tm, k = k_prueba, control = list(seed = semilla1))
print(terms(modelo_prueba, 10))
}
Para complementar la lectura de esas listas, se calcularon dos indicadores para cada valor de k. El primero es el porcentaje de las diez palabras principales que se repite en más de un tópico: una cifra menor indica tópicos más diferenciados. El segundo es la estabilidad frente a la semilla: el porcentaje de las 30 palabras más relevantes de cada tópico que reaparece, en promedio, al reestimar el modelo con la semilla 2026.
# Indicadores para escoger k: repetición de palabras entre tópicos y estabilidad frente a la semilla.
# Se ejecutó en la consola, porque estimar 16 modelos alarga mucho la generación del documento.
metricas_k <- do.call(rbind, lapply(3:10, function(k_prueba) {
m1 <- LDA(mi_dfm_tm, k = k_prueba, control = list(seed = semilla1))
m2 <- LDA(mi_dfm_tm, k = k_prueba, control = list(seed = semilla_alt))
top10 <- as.vector(terms(m1, 10))
coin <- coincidencias(top_terminos(posterior(m1)$terms, pw, lambda, cantidad),
top_terminos(posterior(m2)$terms, pw, lambda, cantidad))
data.frame(k = k_prueba,
Repetidas = round(100 * mean(top10 %in% top10[duplicated(top10)])),
Estabilidad = round(100 * mean(apply(coin, 1, max)) / cantidad))
}))
# Resultados del bloque anterior, obtenidos en la consola
metricas_k <- data.frame(k = 3:10,
Repetidas = c(50, 48, 48, 17, 16, 24, 18, 27),
Estabilidad = c(41, 35, 29, 45, 45, 40, 40, 39))
knitr::kable(metricas_k, row.names = FALSE,
col.names = c("k", "Palabras repetidas entre tópicos (%)",
"Estabilidad frente a la semilla (%)"),
caption = "Indicadores para escoger el número de tópicos")
| k | Palabras repetidas entre tópicos (%) | Estabilidad frente a la semilla (%) |
|---|---|---|
| 3 | 50 | 41 |
| 4 | 48 | 35 |
| 5 | 48 | 29 |
| 6 | 17 | 45 |
| 7 | 16 | 45 |
| 8 | 24 | 40 |
| 9 | 18 | 40 |
| 10 | 27 | 39 |
Entre k = 3 y k = 5, cerca de la mitad de las palabras principales se repite entre tópicos: los temas aparecen mezclados, lo que el libro asocia con un número insuficiente de tópicos. Con k = 6 la repetición cae a 17 % y la estabilidad alcanza su valor más alto (45 %). A partir de ese punto, aumentar el número de tópicos no mejora los resultados. Con k = 7 los indicadores son similares, pero tres de los tópicos combinan asuntos distintos, como la organización comunitaria y la política insurgente. Entre k = 8 y k = 10 la estabilidad desciende a cerca del 40 %. Con k = 10, además, la repetición vuelve a aumentar (27 %), porque el tema de la familia se divide en dos tópicos. Según el libro, ese solapamiento indica que el modelo tiene más tópicos de los necesarios.
Por consiguiente, se escogió k = 6, dado que es el número más pequeño de tópicos con el que se obtiene el mejor puntaje de estabilidad media y el menor porcentaje de palabras repetidas. Con k = 9 esos seis temas se mantienen y algunos se subdividen (el proceso de paz, los movimientos insurgentes y la experiencia de las mujeres), lo que muestra que no dependen del número de tópicos elegido; sin embargo, ese modelo agrega un tópico residual y es menos estable. En todo caso, la estabilidad es moderada para cualquier valor de k: al reestimar el modelo con otra semilla, cerca de la mitad de las palabras de cada tópico cambia. Por eso las etiquetas se apoyan en el núcleo, es decir, en las palabras que figuran entre las más relevantes con los tres valores de lambda. Esas palabras son, además, las más estables: el 50 % reaparece con la otra semilla, frente al 34 % de las demás.
En el ejemplo 20.1 del libro, las palabras de cada tópico se ordenan solo por su probabilidad, lo que equivale a lambda = 1 (López-Torrijos y Tellez, 2026). Así dominan palabras frecuentes, como “gente” o “persona”, que aparecen en varios tópicos y no ayudan a distinguirlos. Por ello, se incorpora la relevancia de Sievert y Shirley (2014), que combina esa probabilidad con la exclusividad del término frente al resto del corpus. Lambda, entre 0 y 1, define el peso de cada componente: cerca de 1 predominan los términos frecuentes; cerca de 0, los exclusivos, que pueden ser muy raros. Los gráficos usan lambda = 0.6, y la tabla siguiente compara las diez primeras palabras con los valores 1, 0.6 y 0.3. Las palabras que figuran entre las 30 más relevantes con los tres valores forman el núcleo del tópico, su parte más confiable. Siguiendo el procedimiento del ejemplo 20.1, cada tópico se nombró a partir de lo que tienen en común las palabras de su núcleo.
etiquetas <- c("Familia y trayectoria de vida",
"Vida comunitaria ante la presencia del conflicto armado",
"Política, insurgencia y procesos de paz",
"Violencia",
"Estructura y combate de los grupos armados",
"Economía de la guerra")
if (length(etiquetas) != n_topicos) etiquetas <- paste0("T", seq_len(n_topicos))
tabla_lda1 <- tabla_lambda(b, pw, etiquetas, n = cantidad)
tabla_lda1$Tópico <- paste0("**", tabla_lda1$Tópico, "**") # negrilla en la columna Tópico
knitr::kable(tabla_lda1,
align = c("c", "l", "l", "l", "l"), # Tópico centrado; las demás a la izquierda
caption = "lda1: diez primeras palabras según lambda y núcleo común")
| Tópico | lambda = 1 | lambda = 0.6 | lambda = 0.3 | Núcleo |
|---|---|---|---|---|
| Familia y trayectoria de vida | casa, mamá, papá, familia, mujer, hijo, niño, hermano, vida, persona | casa, mamá, papá, familia, mujer, hijo, niño, hermano, muchacha, niña | mamá, papá, familia, casa, mujer, hijo, niño, muchacha, niña, tío | casa, mamá, papá, familia, mujer, hijo, niño, hermano, vida, muchacha, trabajar, niña, tío, dios, hermana, vivía, sola, edad, estudiar, hija, padre, reglamento, menor |
| Vida comunitaria ante la presencia del conflicto armado | gente, caso, persona, militar, comunidad, tema, organización, trabajo, eln, difícil | gente, caso, comunidad, tema, organización, militar, persona, eln, trabajo, difícil | comunidad, tema, caso, gente, organización, eln, difícil, servicio, mula, militar | gente, caso, militar, comunidad, tema, organización, trabajo, eln, difícil, reunión, empresa, servicio, mula, operación, combustible, gasolina |
| Política, insurgencia y procesos de paz | guerra, política, proceso, curso, colombia, nacional, estructura, arma, m-19, paz | guerra, política, proceso, curso, nacional, estructura, epl, colombia, paz, libro | guerra, política, curso, nacional, proceso, estructura, epl, libro, partido, lucha | guerra, política, proceso, curso, colombia, nacional, estructura, paz, tierra, epl, proyecto, municipio, nivel, libro, partido, armado, lucha, proceso de paz, cauca, indígena |
| Violencia | compañero, man, mano, mataron, policía, pueblo, muchacho, gente, cárcel, muerto | compañero, man, mano, mataron, policía, cárcel, pueblo, muerto, muchacho, camarada | compañero, man, mano, mataron, policía, cárcel, muerto, camarada, escuadra, pendiente | compañero, man, mano, mataron, policía, pueblo, muchacho, cárcel, muerto, camarada, carro, escuadra, pendiente, toma, viejo, matan, moto, preso |
| Estructura y combate de los grupos armados | ejército, guerrilla, comandante, frente, paramilitar, farc, guerrillero, arma, grupo, fusil | ejército, frente, comandante, guerrilla, paramilitar, farc, fusil, guerrillero, combate, arma | ejército, frente, comandante, paramilitar, fusil, guerrilla, combate, farc, información, unidad | ejército, guerrilla, comandante, frente, paramilitar, farc, guerrillero, arma, fusil, orden, combate, área, soldado, información, mando, unidad, campamento, bloque, tropa, guardia, compañía, miedo, entrenamiento |
| Economía de la guerra | zona, gente, plata, guerrilla, campesino, persona, finca, peso, coca, autodefensa | zona, plata, campesino, peso, finca, coca, autodefensa, gente, narcotráfico, droga | zona, campesino, peso, coca, autodefensa, plata, narcotráfico, finca, droga, cultivo | zona, plata, campesino, finca, peso, coca, autodefensa, narcotráfico, gobierno, millón, droga, país, cultivo, ganado, negocio, pagar, pobre, impuesto, masacre |
La comparación muestra que lambda cambia sobre todo la periferia de cada tópico, no su centro. Con lambda = 1 aparecen palabras generales que figuran en varios tópicos a la vez. Con lambda = 0.3 esas palabras desaparecen y ganan peso términos más específicos: “narcotráfico”, “droga” y “cultivo” en el tópico de economía de la guerra, o “partido” y “lucha” en el de política e insurgencia. Las palabras que encabezan cada tópico, en cambio, se mantienen con los tres valores; en el tópico de familia, las listas son casi idénticas. Esa coincidencia es lo que permite nombrar los tópicos a partir del núcleo.
Las etiquetas se justifican así:
LDA inicia asignando temas aleatorios a cada palabra (López-Torrijos y Tellez, 2026), y la semilla fija ese punto de partida para que el resultado sea reproducible. Como el algoritmo converge a óptimos locales, con otra semilla los tópicos pueden cambiar. Según el enunciado del taller, si los temas son sólidos, deberían reaparecer. Para verificarlo, se reestima lda1 con la semilla 2026. El valor es arbitrario: se tomó el año en curso, pero cualquier número distinto de 1515 cumple el mismo propósito, que es hacer que el algoritmo arranque desde otro punto. Luego, se cuenta cuántas de las 30 palabras más relevantes de cada tópico reaparecen en el tópico más parecido del modelo alternativo.
lda_alt <- LDA(mi_dfm_tm, k = n_topicos, control = list(seed = semilla_alt))
b_alt <- topicmodels::posterior(lda_alt)$terms
comun_semilla <- coincidencias(top_terminos(b, pw, lambda, cantidad),
top_terminos(b_alt, pw, lambda, cantidad))
knitr::kable(data.frame(Tópico = etiquetas,
Coincidencias = apply(comun_semilla, 1, max)),
col.names = c("Tópico", paste0("Palabras en común (de ", cantidad, ")")),
caption = "lda1: estabilidad frente a una semilla alternativa")
| Tópico | Palabras en común (de 30) |
|---|---|
| Familia y trayectoria de vida | 23 |
| Vida comunitaria ante la presencia del conflicto armado | 10 |
| Política, insurgencia y procesos de paz | 11 |
| Violencia | 12 |
| Estructura y combate de los grupos armados | 13 |
| Economía de la guerra | 12 |
El siguiente bloque compara qué tan estables son las palabras del núcleo frente a las demás palabras relevantes cuando se cambia la semilla. Si el núcleo resulta más estable, se justifica usarlo para nombrar los tópicos.
# Estabilidad del núcleo frente al resto de las palabras más relevantes
top_base <- top_terminos(b, pw, lambda, cantidad)
top_alt <- top_terminos(b_alt, pw, lambda, cantidad)
par_alt <- apply(comun_semilla, 1, which.max)
rankings <- lapply(c(1, 0.6, 0.3), function(l) top_terminos(b, pw, l, cantidad))
estab <- sapply(seq_len(n_topicos), function(k) {
nucleo <- Reduce(intersect, lapply(rankings, function(m) m[, k]))
resto <- setdiff(top_base[, k], nucleo)
c(sum(nucleo %in% top_alt[, par_alt[k]]), length(nucleo),
sum(resto %in% top_alt[, par_alt[k]]), length(resto))
})
pct_nucleo <- round(100 * sum(estab[1, ]) / sum(estab[2, ]))
pct_resto <- round(100 * sum(estab[3, ]) / sum(estab[4, ]))
La estabilidad varía entre tópicos: de 10 a 23 palabras en común, de 30. El tópico más estable es «Familia y trayectoria de vida» y el menos estable, «Vida comunitaria ante la presencia del conflicto armado», cuya etiqueta es, por eso, la más tentativa. La estabilidad es mayor en el núcleo: el 50 % de sus palabras reaparece con la otra semilla, frente al 34 % de las demás palabras relevantes. Esto confirma que nombrar los tópicos a partir del núcleo reduce la dependencia de las etiquetas respecto del azar del algoritmo.
Las palabras se ordenan por relevancia y la longitud de la barra muestra su probabilidad dentro del tópico. Por eso las barras no aparecen ordenadas de mayor a menor.
color_barra <- "#B8A9D9" # lavanda
color_titulo <- "#5E4B8B" # lavanda oscuro
top <- topicos %>%
group_by(topic) %>%
slice_max(relevancia, n = cantidad, with_ties = FALSE) %>%
ungroup()
tema <- theme(text = element_text(size = 8),
panel.grid = element_blank(),
panel.background = element_blank(),
axis.line = element_line(colour = "black"),
plot.subtitle = element_text(size = 7))
for (k in seq_along(etiquetas)) {
p <- top %>%
filter(topic == k) %>%
ggplot(aes(beta, reorder(term, relevancia))) +
geom_col(fill = color_barra, colour = "black", linewidth = 0.2) +
labs(title = etiquetas[k],
subtitle = paste0("Orden por relevancia (lambda = ", lambda, "); barra = probabilidad"),
x = "Probabilidad de la palabra", y = "Términos") +
tema +
theme(plot.title = element_text(colour = color_titulo, face = "bold", size = 8))
print(p)
}
El cálculo del tf-idf incluye tres decisiones. En primer lugar y en atención a las instrucciones del taller, la frecuencia de cada palabra se mide como proporción del total de palabras de la entrevista y no como número de apariciones; así, una entrevista extensa no tiene más peso que una breve solo por su longitud. En segundo lugar, la plantilla usa el logaritmo natural en lugar del de base 10 que emplea el libro. Esta diferencia no afecta el resultado: cambiar la base multiplica todos los pesos por una misma constante, de modo que el orden de las palabras, y por tanto las que se seleccionan, no cambia.
En tercer lugar, antes del cálculo se exige que cada palabra aparezca en al menos 3 entrevistas. Sin este filtro, el tf-idf favorecería sobre todo a las palabras exclusivas de una sola entrevista, como los nombres propios de una historia particular. En el análisis de correspondencias, el libro advierte que las palabras concentradas en uno o dos documentos pueden producir resultados que solo separan esos documentos del resto (López-Torrijos y Tellez, 2026). Por analogía, en esta estrategia podrían generar tópicos que describen una entrevista y no un tema compartido. Con el vocabulario resultante, el modelo LDA se estima de nuevo sobre las intervenciones, igual que en lda1, de modo que las dos estrategias solo difieren en las palabras que el modelo puede ver.
mi_dfm_doc <- dfm_group(mi_dfm, groups = doc)
mi_dfm_doc <- dfm_trim(mi_dfm_doc, min_docfreq = min_entrevistas)
mi_dfm_tfidf <- dfm_tfidf(mi_dfm_doc, scheme_tf = "prop", base = exp(1))
peso <- apply(as.matrix(mi_dfm_tfidf), 2, max)
mi_dfm_sel2 <- dfm_keep(mi_dfm, names(peso)[peso >= quantile(peso, 0.75)],
valuetype = "fixed")
mi_dfm_sel2 <- dfm_subset(mi_dfm_sel2, ntoken(mi_dfm_sel2) > 0)
mi_dfm2_tm <- convert(mi_dfm_sel2, to = "topicmodels")
lda2 <- LDA(mi_dfm2_tm, k = n_topicos, control = list(seed = semilla2))
b2 <- topicmodels::posterior(lda2)$terms
pw2 <- colSums(mi_dfm_sel2)[colnames(b2)] / sum(mi_dfm_sel2)
rel2 <- relevancia_lambda(b2, pw2, lambda2)
topicos2 <- data.frame(topic = rep(seq_len(nrow(b2)), ncol(b2)),
term = rep(colnames(b2), each = nrow(b2)),
beta = as.vector(b2),
relevancia = as.vector(rel2))
El modelo lda2 trabaja con 683 términos y 4120 intervenciones.
Para leer los tópicos de lda2 se usa el mismo procedimiento que en
lda1, de modo que ambas estrategias se interpreten con un criterio
común. La tabla siguiente presenta las diez palabras más relevantes de
cada tópico con lambda igual a 1, 0.6 y 0.3; y el núcleo de palabras
comunes a los tres ordenamientos. La columna con lambda = 1 equivale a
los diez términos más probables que entrega terms(), y los
gráficos de lda2 usan lambda = 0.6.
etiquetas2 <- c("Experiencias en combate",
"Control territorial de los grupos armados",
"Familia y trayectoria de vida",
"Militancia en el M-19",
"Economía ilegal de los grupos armados",
"Estructura y normas de los grupos armados")
if (length(etiquetas2) != n_topicos) etiquetas2 <- paste0("T", seq_len(n_topicos))
tabla_lda2 <- tabla_lambda(b2, pw2, etiquetas2, n = cantidad)
tabla_lda2$Tópico <- paste0("**", tabla_lda2$Tópico, "**") # negrilla en la columna Tópico
knitr::kable(tabla_lda2,
align = c("c", "l", "l", "l", "l"),
caption = "lda2: diez primeras palabras según lambda y núcleo común")
| Tópico | lambda = 1 | lambda = 0.6 | lambda = 0.3 | Núcleo |
|---|---|---|---|---|
| Experiencias en combate | man, situación, cárcel, muchacha, eln, camarada, droga, tropa, empresa, inteligencia | man, situación, cárcel, muchacha, eln, camarada, droga, tropa, empresa, inteligencia | man, situación, cárcel, muchacha, eln, camarada, droga, tropa, empresa, inteligencia | man, situación, cárcel, muchacha, eln, camarada, droga, tropa, empresa, inteligencia, pelea, moto, embarazo, preso, palo, camión, encontramos, tranquilo, infiltrado, embarazada, encontraba, mina, hijuemadre, luchar, paraco, eleno, mercado, lancha, montes de maría |
| Control territorial de los grupos armados | grupo, pueblo, policía, mando, área, tema, barrio, movimiento, entrenamiento, convivir | grupo, pueblo, policía, mando, área, tema, barrio, entrenamiento, convivir, movimiento | grupo, pueblo, policía, mando, área, entrenamiento, convivir, barrio, cierta, movimiento | grupo, pueblo, policía, mando, área, tema, barrio, movimiento, entrenamiento, convivir, cierta, estrategia, ganadero, urbano, positivo, abogado, sucre, armada, complicada, presencia, ilegal, pueblito, cabo, máximo, izquierda, periodo, cuanto |
| Familia y trayectoria de vida | mamá, comunidad, niña, tío, dios, hermana, sola, hija, proyecto, operación | mamá, comunidad, niña, tío, dios, hermana, sola, hija, proyecto, operación | mamá, comunidad, niña, tío, dios, hermana, sola, hija, proyecto, operación | mamá, comunidad, niña, tío, dios, hermana, sola, hija, proyecto, operación, helicóptero, colegio, miliciano, baja, universidad, tolima, viví, ingresé, bus, aprendí, profesional, abuela, amiga, prima, informante, tía, charla, chico, chile |
| Militancia en el M-19 | compañero, m-19, curso, estado (institución), toma, compañera, nivel, menor, acción, masacre | compañero, m-19, curso, toma, compañera, estado (institución), nivel, menor, masacre, culpa | compañero, m-19, curso, toma, compañera, nivel, menor, masacre, culpa, cauca | compañero, m-19, curso, estado (institución), toma, compañera, nivel, menor, acción, masacre, culpa, cauca, iglesia, cerro, pizarro, valle, esposa, aprender, término, tortura, capaz, diálogo, enseñan, cuba |
| Economía ilegal de los grupos armados | farc, paramilitar, colombia, fusil, coca, narcotráfico, millón, estado (institución), cultivo, bolívar | farc, paramilitar, fusil, colombia, coca, narcotráfico, millón, cultivo, bolívar, servicio | farc, paramilitar, fusil, colombia, coca, narcotráfico, millón, cultivo, bolívar, servicio | farc, paramilitar, colombia, fusil, coca, narcotráfico, millón, cultivo, bolívar, servicio, río, mula, impuesto, combustible, dueño, gasolina, paramilitarismo, pelado, tubo, café, sur, estación, corrupción, cerquita, remesa, munición, pelao, bola, narcotraficante |
| Estructura y normas de los grupos armados | frente, autodefensa, unidad, bloque, municipio, escuadra, estructura, compañía, reglamento, epl | frente, autodefensa, unidad, bloque, municipio, escuadra, estructura, compañía, reglamento, epl | frente, autodefensa, unidad, bloque, municipio, escuadra, estructura, compañía, reglamento, norma | frente, autodefensa, unidad, bloque, municipio, escuadra, estructura, compañía, reglamento, epl, norma, general, médico, dirección, sanción, noticia, columna, móvil, central, departamento, alcaldía, auc, candidato, oficina, dólar, ejercicio, reemplazante, conferencia |
A diferencia de lda1, en lda2 las listas casi no cambian entre los tres valores de lambda. Como el tf-idf ya retiró las palabras que usan todas las entrevistas, las palabras más probables de cada tópico son también las más exclusivas; y frecuencia y exclusividad coinciden. Por la misma razón, los tópicos de lda2 están formados por términos más específicos, como nombres de organizaciones, lugares y objetos.
Los tópicos de lda2 se nombraron con el mismo procedimiento que los de lda1: a partir de lo que tienen en común las palabras de su núcleo. La tabla siguiente presenta la etiqueta de cada tópico y las primeras palabras de su núcleo.
nucleo_lda2 <- tabla_lambda(b2, pw2, etiquetas2, n = cantidad)$Núcleo
palabras_clave2 <- sapply(strsplit(nucleo_lda2, ", "),
function(x) paste(head(x, 8), collapse = ", "))
knitr::kable(data.frame(Tópico = paste0("T", seq_len(n_topicos)),
Etiqueta = etiquetas2,
Núcleo = palabras_clave2),
col.names = c("Tópico", "Etiqueta", "Primeras palabras del núcleo"),
caption = "lda2: etiquetas asignadas y palabras que las sustentan")
| Tópico | Etiqueta | Primeras palabras del núcleo |
|---|---|---|
| T1 | Experiencias en combate | man, situación, cárcel, muchacha, eln, camarada, droga, tropa |
| T2 | Control territorial de los grupos armados | grupo, pueblo, policía, mando, área, tema, barrio, movimiento |
| T3 | Familia y trayectoria de vida | mamá, comunidad, niña, tío, dios, hermana, sola, hija |
| T4 | Militancia en el M-19 | compañero, m-19, curso, estado (institución), toma, compañera, nivel, menor |
| T5 | Economía ilegal de los grupos armados | farc, paramilitar, colombia, fusil, coca, narcotráfico, millón, cultivo |
| T6 | Estructura y normas de los grupos armados | frente, autodefensa, unidad, bloque, municipio, escuadra, estructura, compañía |
Las etiquetas se justifican así:
color_barra <- "#F4B6C2"
color_titulo <- "#B5485D"
top2 <- topicos2 %>%
group_by(topic) %>%
slice_max(relevancia, n = cantidad, with_ties = FALSE) %>%
ungroup()
for (k in seq_along(etiquetas2)) {
p <- top2 %>%
filter(topic == k) %>%
ggplot(aes(beta, reorder(term, relevancia))) +
geom_col(fill = color_barra, colour = "black", linewidth = 0.2) +
labs(title = etiquetas2[k],
subtitle = paste0("Orden por relevancia (lambda = ", lambda2, "); barra = probabilidad"),
x = "Probabilidad de la palabra", y = "Términos") +
tema +
theme(plot.title = element_text(colour = color_titulo, face = "bold", size = 8))
print(p)
}
Comparar directamente las palabras de los dos modelos no basta para saber si encontraron los mismos temas. La numeración de los tópicos es arbitraria (el T1 de un modelo puede corresponder al T4 del otro). En adición, lda2 trabaja con un vocabulario distinto. Por ende, se compara dónde aparecen los tópicos, no qué palabras los forman.
Para ello se usa la distribución documento-tema que entrega LDA (López-Torrijos y Tellez, 2026), que indica qué proporción de cada intervención corresponde a cada tópico. Esas proporciones se promedian por entrevista, dando más peso a las intervenciones más largas. Así, cada una de las 39 entrevistas queda descrita por un perfil: cuánto pesa en ella cada tópico de lda1 y cada tópico de lda2. Posteriormente, se calcula la correlación entre los tópicos de ambos modelos a lo largo de las entrevistas. Si un tópico de lda1 y uno de lda2 crecen y decrecen en las mismas entrevistas, la correlación es alta: eso indica que ambos capturan el mismo tema, aunque tengan otro número y otras palabras.
El mapa de calor presenta esas correlaciones. Las filas corresponden a los tópicos de lda1 (en lavanda) y las columnas a los de lda2 (en palo de rosa). Cada celda muestra la correlación entre un par de tópicos, que va de -1 a 1. Las celdas verdes indican una relación positiva: los dos tópicos tienden a aparecer en las mismas entrevistas. Por el contrario, las celdas amarillas indican una relación negativa: donde uno pesa mucho, el otro pesa poco. Las celdas casi blancas indican que no hay relación. El recuadro negro marca, en cada fila, el tópico de lda2 más parecido al tópico de lda1 correspondiente.
th1 <- posterior(lda)$topics
n <- ntoken(mi_dfm)[rownames(th1)]
d <- docvars(mi_dfm, "doc")[match(rownames(th1), docnames(mi_dfm))]
th1_doc <- rowsum(th1 * n, d) / as.vector(rowsum(n, d))
th2 <- posterior(lda2)$topics
n <- ntoken(mi_dfm)[rownames(th2)]
d <- docvars(mi_dfm, "doc")[match(rownames(th2), docnames(mi_dfm))]
th2_doc <- rowsum(th2 * n, d) / as.vector(rowsum(n, d))
comunes <- intersect(rownames(th1_doc), rownames(th2_doc))
correlacion <- cor(th1_doc[comunes, ], th2_doc[comunes, ])
dimnames(correlacion) <- list(etiquetas, etiquetas2)
datos_cor <- data.frame(lda1 = rep(rownames(correlacion), times = ncol(correlacion)),
lda2 = rep(colnames(correlacion), each = nrow(correlacion)),
valor = as.vector(correlacion))
datos_cor$maximo <- datos_cor$valor == apply(correlacion, 1, max)[datos_cor$lda1]
datos_cor$lda1 <- factor(datos_cor$lda1, levels = rev(rownames(correlacion)))
datos_cor$lda2 <- factor(datos_cor$lda2, levels = colnames(correlacion))
ggplot(datos_cor, aes(x = lda2, y = lda1, fill = valor)) +
geom_tile(colour = "white", linewidth = 0.8) +
geom_tile(data = subset(datos_cor, maximo), fill = NA, colour = "black", linewidth = 0.6) +
geom_text(aes(label = sprintf("%.2f", valor),
fontface = ifelse(maximo, "bold", "plain")), size = 3) +
scale_fill_gradient2(low = "#F2D16B", mid = "white", high = "#7FC28E",
midpoint = 0, limits = c(-1, 1), name = "Correlación") +
scale_x_discrete(labels = function(x) str_wrap(x, 14), position = "top") +
scale_y_discrete(labels = function(x) str_wrap(x, 28)) +
labs(title = "Correlación entre los tópicos de lda1 (filas) y lda2 (columnas)",
subtitle = "El recuadro negro marca el tópico de lda2 más parecido a cada tópico de lda1",
x = "lda2", y = "lda1") +
tema +
theme(axis.line = element_blank(), axis.ticks = element_blank(),
axis.text.y = element_text(colour = "#000000", face = "bold"),
axis.text.x = element_text(colour = "#000000", face = "bold"),
axis.title.y = element_text(colour = "#5E4B8B", face = "bold"),
axis.title.x = element_text(colour = "#B5485D", face = "bold"),
plot.title = element_text(face = "bold", size = 9))
El mapa muestra que las dos estrategias coinciden solo en parte. La correspondencia más clara se da en el tema de la familia: «Familia y trayectoria de vida» aparece en ambos modelos con una correlación de 0.90, la única cercana a 1. Las demás correspondencias son moderadas o débiles, entre 0.22 y 0.47. Dos tópicos de lda1, «Política, insurgencia y procesos de paz» y «Violencia», tienen su mayor correlación con el mismo tópico de lda2, «Militancia en el M-19». Esto sugiere que lda2 agrupó en un solo tema lo que lda1 separó en dos. A la inversa, «Estructura y normas de los grupos armados» no es el par más cercano de ningún tópico de lda1, y «Estructura y combate de los grupos armados» encuentra un par débil (0.22, con «Experiencias en combate»). Por último, la mayoría de las correlaciones de «Familia y trayectoria de vida» con los demás tópicos son negativas: las entrevistas centradas en la familia hablan poco de la estructura y la economía de los grupos armados.
Estas correlaciones deben leerse con cautela: se calculan sobre 39 entrevistas, de modo que unas pocas pueden modificarlas de manera apreciable.
La siguiente tabla resume el mapa de calor: para cada tópico de lda1 indica cuál es su tópico más parecido en lda2 y con qué correlación, es decir, los pares marcados con el recuadro negro. Así se puede leer de manera directa cuántos tópicos encuentran una correspondencia clara en la otra estrategia y cuántos coinciden solo de forma débil.
mejor_par <- apply(correlacion, 1, which.max)
pareo <- data.frame(lda1 = rownames(correlacion),
lda2 = colnames(correlacion)[mejor_par],
correlacion = round(apply(correlacion, 1, max), 2))
knitr::kable(pareo, row.names = FALSE,
col.names = c("Tópico lda1", "Tópico lda2 más parecido", "Correlación"),
caption = "Tópico de lda2 con mayor correlación para cada tópico de lda1")
| Tópico lda1 | Tópico lda2 más parecido | Correlación |
|---|---|---|
| Familia y trayectoria de vida | Familia y trayectoria de vida | 0.90 |
| Vida comunitaria ante la presencia del conflicto armado | Economía ilegal de los grupos armados | 0.35 |
| Política, insurgencia y procesos de paz | Militancia en el M-19 | 0.43 |
| Violencia | Militancia en el M-19 | 0.47 |
| Estructura y combate de los grupos armados | Experiencias en combate | 0.22 |
| Economía de la guerra | Control territorial de los grupos armados | 0.43 |
El mapa de calor y el pareo muestran en qué medida las dos estrategias encuentran los mismos temas. Para valorar cuál funcionó mejor, se revisan dos aspectos adicionales.
El primero es si lda2 cumplió su propósito: al retirar las palabras que usan todas las entrevistas, sus tópicos deberían estar más diferenciados. Para medirlo, la primera tabla calcula qué parte de las 30 palabras más relevantes de cada modelo se repite en más de un tópico: un porcentaje menor indica tópicos más distintos entre sí.
El segundo aspecto es el riesgo propio del tf-idf. Como esta estrategia favorece las palabras de pocos documentos, podría producir tópicos que describen una entrevista particular y no un tema compartido. La segunda tabla muestra, para cada tópico de lda2, la entrevista donde más pesa y qué porcentaje de su presencia total se concentra en ella. Si los tópicos se repartieran por igual, cada entrevista concentraría cerca del 2.6 %; un porcentaje muy superior señalaría ese problema.
top_lda1 <- top_terminos(b, pw, lambda, cantidad)
top_lda2 <- top_terminos(b2, pw2, lambda2, cantidad)
knitr::kable(data.frame(Modelo = c("lda1", "lda2"),
Compartidas = round(100 * c(proporcion_compartidas(top_lda1),
proporcion_compartidas(top_lda2)), 1)),
col.names = c("Modelo", "Palabras repetidas entre tópicos (%)"),
caption = "Especificidad de las listas de palabras")
| Modelo | Palabras repetidas entre tópicos (%) |
|---|---|
| lda1 | 14.4 |
| lda2 | 1.1 |
knitr::kable(concentracion(th2_doc[comunes, , drop = FALSE], etiquetas2), row.names = FALSE,
col.names = c("Tópico lda2", "Entrevista donde más pesa", "Porcentaje del tópico en ella"),
caption = "lda2: concentración de cada tópico por entrevista")
| Tópico lda2 | Entrevista donde más pesa | Porcentaje del tópico en ella |
|---|---|---|
| Experiencias en combate | 220-AA-00002.pdf | 7.0 |
| Control territorial de los grupos armados | 428-AA-00428.pdf | 6.4 |
| Familia y trayectoria de vida | 837-AA-00004.pdf | 6.9 |
| Militancia en el M-19 | 216-AA-00008.pdf | 9.9 |
| Economía ilegal de los grupos armados | 240-AA-00004.pdf | 6.9 |
| Estructura y normas de los grupos armados | 176-AA-00002.pdf | 6.1 |
Los resultados indican que lda2 cumplió su propósito. En lda1, el 14.4 % de las palabras más relevantes se repite en más de un tópico; en lda2, solo el 1.1 %. Es decir, al retirar el vocabulario común a todas las entrevistas, los tópicos de lda2 quedaron formados por palabras que prácticamente no comparten entre sí, mientras que los de lda1 conservan una parte de vocabulario general que los acerca.
Esa mayor diferenciación no se obtuvo a costa de describir entrevistas aisladas. En todos los tópicos de lda2, la entrevista con mayor peso concentra entre el 6.1 % y el 9.9 % de la presencia total del tópico. Esos valores superan el 2.6 % que correspondería a un reparto perfectamente uniforme, lo cual es esperable, porque no todos los testimoniantes hablan de los mismos temas. Pero ningún tópico depende de una sola historia. El más concentrado es «Militancia en el M-19» (9.9 %), algo coherente con que solo una parte de los testimoniantes relata su paso por esa organización. El menos concentrado es «Estructura y normas de los grupos armados» (6.1 %), un tema que aparece de forma más repartida entre las entrevistas. En conjunto, el filtro que exige que cada palabra aparezca en al menos 3 entrevistas evitó que el tf-idf produjera tópicos dominados por una sola historia.
El ciclo de mejoras siguió el procedimiento que ilustra el libro del curso: estimar el modelo; leer las palabras de cada tópico; identificar tópicos solapados o heterogéneos; y ajustar (López-Torrijos y Tellez, 2026). Cada decisión quedó registrada en la bitácora de la depuración y en la tabla de parámetros. A continuación se resumen en orden.
1. Línea base y limpieza del texto. La primera
estimación, con las instrucciones originales y k = 4, mostró que parte
del vocabulario no provenía de los testimonios. La revisión de las
transcripciones identificó tres fuentes de ruido: las anotaciones de
transcripción entre corchetes (como [INAD],
[DUD] o [INTERRUP]); los rótulos que el patrón
original no reconocía, como (ENT2:, TEST2:); y
las etiquetas de anonimización (como LUGAR1,
CONOCIDO7 o RANGO1). Las anotaciones se
eliminaron antes de segmentar, los rótulos se unificaron en
TEST: y ENT: y las etiquetas se retiraron
antes de pasar a minúsculas, conservando las siglas reales (FARC, ELN,
M-19).
2. Depuración del vocabulario. Con el texto limpio,
las palabras más frecuentes seguían siendo propias del habla: “cosa”,
“vez”, “hacer”, “tal”, “mismo”, “digo”, “entonce” o “vaina” aparecían en
todos los tópicos sin distinguirlos. Por ello, el vector
retirar se amplió en ocho rondas:
stopwords("es") no incluye; los
interrogativos con tilde; y los adverbios terminados en -mente.La depuración también obligó a corregir el procedimiento. Cuando
retirar se aplicaba antes del paso a singular, “cosas” y
“veces” sobrevivían, porque su singular ya había desaparecido; por eso
pasó a aplicarse después. Para no perder información, se protegió
“Estado” como institución, que la lista de palabras vacías eliminaba por
ser una forma del verbo estar. Asimismo, se unieron, en un solo término,
expresiones como “proceso de paz” o “falsos positivos” antes de retirar
las palabras vacías (López-Torrijos y Tellez, 2026). Se consideró
lematizar con udpipe, pero se descartó porque exige
descargar un modelo al generar el documento.
3. Filtros de la matriz. Se fijó
min_frec en 5, como sugiere el enunciado cuando aparecen
palabras muy raras con lambda bajo. Además, se excluyeron las
intervenciones con menos de cinco palabras: tras la limpieza, la mitad
tenía menos de diez, y en textos tan cortos el modelo no puede estimar
la mezcla de tópicos. Para lda2 se exigió que cada palabra apareciera en
al menos 3 entrevistas, porque las palabras concentradas en uno o dos
documentos tienden a separar esos documentos del resto (López-Torrijos y
Tellez, 2026). Con ese filtro, los nombres propios de una sola
entrevista dejaron de aparecer en lda2.
4. Número de tópicos. Se probaron valores de k entre 3 y 10. Hasta k = 5, cerca de la mitad de las palabras principales se repetía entre tópicos, y las listas mezclaban temas: con k = 4, por ejemplo, “papá” y “mamá” aparecían junto a “guerrilla” y “ejército”. Con k = 6 la repetición cayó al 17 % y la estabilidad frente a la semilla alcanzó su valor más alto (45 %): aparecieron seis temas definidos que se mantuvieron al aumentar k. Con k = 7, tres tópicos combinaban asuntos distintos; entre k = 8 y k = 10, la estabilidad bajó a cerca del 40 %, y con k = 10 el tema de la familia se dividió en dos tópicos, que se puede interpretar como el solapamiento que indica que sobran tópicos (López-Torrijos y Tellez, 2026). En este sentido, se escogió k = 6.
5. Valores de lambda. En lda1, las palabras que encabezan cada tópico se mantuvieron con lambda igual a 1, 0.6 y 0.3; y los cambios se concentraron en la periferia: con lambda = 1 aparecían términos generales como “gente” o “persona”, y con lambda = 0.3 ganaban peso términos específicos como “narcotráfico” o “cultivo”. En lda2, las tres listas fueron casi idénticas, porque el tf-idf ya había retirado el vocabulario común. Por eso, los tópicos se nombraron a partir del núcleo, es decir, de las palabras comunes a los tres valores.
6. Estabilidad. Al reestimar lda1 con otra semilla, cada tópico conservó entre 10 y 23 de sus 30 palabras más relevantes. El más estable fue «Familia y trayectoria de vida», y el menos, «Vida comunitaria ante la presencia del conflicto armado». Las palabras del núcleo resultaron más estables que las demás (50 % frente a 34 %), lo que respalda su uso para nombrar los tópicos.
7. Criterio de detención. El ciclo se dio por terminado cuando las palabras más frecuentes de la matriz fueron sustantivos ligados al conflicto (gente, guerrilla, ejército, comandante, casa, familia) y cada tópico pudo nombrarse a partir de su núcleo. No se retiraron palabras frecuentes con posible contenido temático, como “gente”, “persona” o “compañero”: eliminarlas habría implicado decidir de antemano qué temas debían aparecer.
LDA no nombra los tópicos: son los analistas quienes interpretan los resultados para asignar un nombre a cada uno, a partir de las palabras más asociadas con él (Benoit, 2020; López-Torrijos y Tellez, 2026). Las etiquetas de ambos modelos se asignaron según lo que tienen en común las palabras de su núcleo.
nucleo1 <- tabla_lambda(b, pw, etiquetas, n = cantidad)$Núcleo
nucleo2 <- tabla_lambda(b2, pw2, etiquetas2, n = cantidad)$Núcleo
knitr::kable(data.frame(Modelo = rep(c("lda1", "lda2"), each = n_topicos),
Etiqueta = c(etiquetas, etiquetas2),
Núcleo = c(nucleo1, nucleo2)),
caption = "Etiquetas asignadas y palabras del núcleo que las sustentan")
| Modelo | Etiqueta | Núcleo |
|---|---|---|
| lda1 | Familia y trayectoria de vida | casa, mamá, papá, familia, mujer, hijo, niño, hermano, vida, muchacha, trabajar, niña, tío, dios, hermana, vivía, sola, edad, estudiar, hija, padre, reglamento, menor |
| lda1 | Vida comunitaria ante la presencia del conflicto armado | gente, caso, militar, comunidad, tema, organización, trabajo, eln, difícil, reunión, empresa, servicio, mula, operación, combustible, gasolina |
| lda1 | Política, insurgencia y procesos de paz | guerra, política, proceso, curso, colombia, nacional, estructura, paz, tierra, epl, proyecto, municipio, nivel, libro, partido, armado, lucha, proceso de paz, cauca, indígena |
| lda1 | Violencia | compañero, man, mano, mataron, policía, pueblo, muchacho, cárcel, muerto, camarada, carro, escuadra, pendiente, toma, viejo, matan, moto, preso |
| lda1 | Estructura y combate de los grupos armados | ejército, guerrilla, comandante, frente, paramilitar, farc, guerrillero, arma, fusil, orden, combate, área, soldado, información, mando, unidad, campamento, bloque, tropa, guardia, compañía, miedo, entrenamiento |
| lda1 | Economía de la guerra | zona, plata, campesino, finca, peso, coca, autodefensa, narcotráfico, gobierno, millón, droga, país, cultivo, ganado, negocio, pagar, pobre, impuesto, masacre |
| lda2 | Experiencias en combate | man, situación, cárcel, muchacha, eln, camarada, droga, tropa, empresa, inteligencia, pelea, moto, embarazo, preso, palo, camión, encontramos, tranquilo, infiltrado, embarazada, encontraba, mina, hijuemadre, luchar, paraco, eleno, mercado, lancha, montes de maría |
| lda2 | Control territorial de los grupos armados | grupo, pueblo, policía, mando, área, tema, barrio, movimiento, entrenamiento, convivir, cierta, estrategia, ganadero, urbano, positivo, abogado, sucre, armada, complicada, presencia, ilegal, pueblito, cabo, máximo, izquierda, periodo, cuanto |
| lda2 | Familia y trayectoria de vida | mamá, comunidad, niña, tío, dios, hermana, sola, hija, proyecto, operación, helicóptero, colegio, miliciano, baja, universidad, tolima, viví, ingresé, bus, aprendí, profesional, abuela, amiga, prima, informante, tía, charla, chico, chile |
| lda2 | Militancia en el M-19 | compañero, m-19, curso, estado (institución), toma, compañera, nivel, menor, acción, masacre, culpa, cauca, iglesia, cerro, pizarro, valle, esposa, aprender, término, tortura, capaz, diálogo, enseñan, cuba |
| lda2 | Economía ilegal de los grupos armados | farc, paramilitar, colombia, fusil, coca, narcotráfico, millón, cultivo, bolívar, servicio, río, mula, impuesto, combustible, dueño, gasolina, paramilitarismo, pelado, tubo, café, sur, estación, corrupción, cerquita, remesa, munición, pelao, bola, narcotraficante |
| lda2 | Estructura y normas de los grupos armados | frente, autodefensa, unidad, bloque, municipio, escuadra, estructura, compañía, reglamento, epl, norma, general, médico, dirección, sanción, noticia, columna, móvil, central, departamento, alcaldía, auc, candidato, oficina, dólar, ejercicio, reemplazante, conferencia |
Tópicos de lda1
Tópicos de lda2
Los 6 tópicos de lda1 encuentran su mayor correlación en 5 tópicos distintos de lda2. La correlación máxima promedio es 0.47 y la menor es 0.22. En lda1, el 14.4 % de las palabras más relevantes se repite en más de un tópico; en lda2, el 1.1 %.
Las dos estrategias llegan a temas de fondo semejantes, pero los delimitan de manera distinta. Como la numeración de los tópicos es arbitraria, las correspondencias se establecen por correlación y no por número: la familia, por ejemplo, es el primer tópico de lda1 y el tercero de lda2.
En conjunto, los grandes dominios coinciden: la familia; los actores armados y su organización; la economía ilegal y el territorio; y la política y la insurgencia. La diferencia está en el corte. lda1 organiza los testimonios por experiencias amplias, como la violencia o la vida comunitaria, mientras que lda2 los organiza por organizaciones, actores y prácticas concretas.
Las listas de lda2 son más específicas que las de lda1. De las 30 palabras más relevantes de cada tópico, en lda1 el 14.4 % aparece también en otro tópico; en lda2, solo el 1.1 %. Es decir, casi cada palabra de lda2 pertenece a un único tópico, de modo que los tópicos apenas comparten vocabulario y se distinguen con más claridad. Sus núcleos, además, están formados por términos concretos, como nombres de organizaciones (M-19, AUC), lugares (Bolívar, Cauca) y objetos (fusil, munición); y no por palabras generales como “gente” o “persona”. Esa especificidad tiene un costo. Como solo conserva los términos más distintivos, lda2 trabaja con 683 términos, frente a los 2996 de lda1, y con 4120 intervenciones, frente a 4595, porque las que no contenían ninguno de esos términos quedaron por fuera. Por otra parte, algunos núcleos de lda2 incluyen términos sin relación clara con el tema del tópico, como “situación”, “empresa” o “embarazo” en «Experiencias en combate».
La segunda tabla descarta el principal riesgo del tf-idf: que un tópico describa una sola entrevista en lugar de un tema compartido. Si cada tópico se repartiera por igual entre las 39 entrevistas, cada una concentraría cerca del 2.6 % de su presencia. En lda2, la entrevista donde más pesa cada tópico concentra entre el 6.1 % y el 9.9 %. Esos valores muestran que los temas no se distribuyen de manera uniforme, algo esperable porque no todos los testimoniantes hablan de lo mismo. Pero ninguno se acerca a depender de una sola historia. El más concentrado, «Militancia en el M-19», tiene casi el 10 % de su presencia en una entrevista, lo que resulta coherente con que solo algunos testimoniantes relatan su relación con esa organización.
En síntesis, los dos indicadores arrojan porcentajes bajos y apuntan en la misma dirección. Por un lado, la mayor parte del vocabulario es exclusiva de un solo tópico en ambos modelos: el 85.6 % de las palabras más relevantes en lda1 y el 98.9 % en lda2. Los tópicos, por lo tanto, se distinguen entre sí por sus palabras, y lo hacen con más nitidez en lda2. Por otro lado, ningún tópico de lda2 depende de una sola entrevista: incluso en el caso más concentrado, más del 90 % de su presencia se reparte entre las demás. Así, la mayor especificidad de lda2 no se obtuvo a costa de fragmentar el corpus en historias individuales: sus tópicos siguen representando temas compartidos por varios testimoniantes.
Los testimonios analizados giran en torno a seis temas: la familia y la trayectoria de vida de los testimoniantes; la vida comunitaria bajo la presencia armada; la política, la insurgencia y los procesos de paz; la violencia, expresada en muertes y encarcelamientos; la estructura y el combate de los grupos armados; y la economía de la guerra, ligada a la coca, el narcotráfico y el territorio campesino. Los temas más confiables son los que aparecen en ambas estrategias: la familia, la organización de los grupos armados, la economía ilegal y la militancia política.
Las dos estrategias cumplen funciones complementarias. lda1 ofrece el mapa general más claro del corpus: sus seis tópicos cubren las grandes experiencias de los testimonios, pueden nombrarse a partir de su núcleo y su estabilidad fue verificada. lda2 produce listas más específicas y diferenciadas, útiles para identificar organizaciones y prácticas concretas, pero trabaja con un vocabulario más reducido e incluye un tópico heterogéneo. Por eso, para responder de qué hablan los testimoniantes, lda1 resulta más adecuada como lectura de conjunto, y lda2, como lectura de detalle.
El análisis tiene cinco limitaciones:
En virtud de lo anterior, se propone lematizar el vocabulario y probar varias semillas en futuras investigaciones.
Como apoyo para la realización del taller, se empleó la herramienta de inteligencia artificial Claude, de Anthropic, en su modelo Opus 5.5. Su uso tuvo cinco propósitos: comprender el código de la plantilla y la técnica de análisis a partir de los libros del curso; proponer mejoras al código; revisar las transcripciones para orientar la depuración del vocabulario; apoyar la elección del número de tópicos; mejorar la redacción, la ortografía y la estética del documento. Conviene señalar que nuestra participación fue activa y responsable: verificamos cada sugerencia contra los resultados del código y lo visto en clase, ajustamos los textos propuestos y tomamos las decisiones analíticas del taller.
De conformidad con los lineamientos para el uso de la IA de la Universidad Externado de Colombia, declaramos que las interacciones con la herramienta se guiaron a través de los siguientes momentos:
Comprensión del taller y del código. Se insertaron las instrucciones del taller y las del taller anterior, y se empleó el siguiente prompt: “Actúa como docente experto en R y RStudio, con habilidades de pedagogía y mucha paciencia. Explícame cada uno de los apartados del taller y lo que hace cada chunk dado. Para cada chunk, identifica si hay una oportunidad de mejora”.
Fundamentación en los libros y en las clases. Se procesaron los tres textos guía del curso con el objetivo de realizar un mapeo de literatura, utilizando el siguiente prompt: “Realiza un mapeo documental de los tres textos adjuntos para identificar y ubicar los capítulos o secciones exactas que abordan la técnica estadística LDA y la construcción de DFM”. Posteriormente, para revisar el código de la plantilla del taller, se analizaron los scripts de las sesiones 8 a 11 con el siguiente prompt: “Analiza la sintaxis y estructura lógica de los códigos adjuntos correspondientes a las sesiones 8 a 11. Contrasta estas metodologías con mi script actual e identifica si existen funciones que sean útiles para mejorar mi código”.
Retroalimentación y mejora del código. Durante la elaboración del taller, se adoptó un enfoque iterativo y de mejora continua. Cada bloque de código (chunk) desarrollado fue sometido a un proceso de revisión de sintaxis mediante el prompt: “Revisa la sintaxis del siguiente ‘chunk’ que he redactado. Identifica oportunidades de mejora y sugiere ajustes puntuales”. Posteriormente, para la consolidación del documento final, se utilizó la herramienta exclusivamente para validar la coherencia y el formato en R Markdown, empleando el prompt: “Evalúa la estructura de este documento consolidado. A partir de los lineamientos del taller y los códigos de clase, revisa todo el código y el análisis escrito. Contrasta el documento con los criterios de evaluación y las penalizaciones, para señalar cualquier aspecto que deba ajustar antes de la entrega”.
Revisión de las transcripciones y depuración del vocabulario. Se insertaron las 39 transcripciones con el prompt: “Memoriza los contenidos de estas entrevistas para futuras preguntas”. A partir de los resultados de cada ronda, se emplearon prompts como: “Sugiere un diccionario de stopwords (términos vacíos) adicionales para refinar la limpieza del texto”; “Identifica términos compuestos o conceptos clave del corpus que deban protegerse durante el proceso de tokenización”; y “Asiste en la configuración de un filtro de exclusión para verbos genéricos, garantizando la retención exclusiva de aquellos términos y acciones directamente asociados al análisis del conflicto armado y las víctimas [se insertaron los parámetros y ejemplos]”.
Número de tópicos. Se insertaron las listas de términos obtenidas con k entre 3 y 10 con el prompt: “Ayúdanos a determinar cuál es el punto más informativo; explícalo de manera clara, detallada y estructurada”.
Corrección de errores del código. Cada vez que el documento no se generaba, se empleó el prompt: “Al generar el documento aparece el siguiente error [se insertaba el mensaje de error]. Realiza una evaluación exhaustiva del error y dame las recomendaciones para su corrección”.
Estética de los gráficos. Se empleó el prompt: “Dame una paleta de colores lavanda y palo de rosa para las gráficas, con bordes y texto en negro, sin modificar el tema”, y, para el mapa de calor: “Ayúdame a mejorar la estética de este gráfico [se insertaba el chunk]”.
Revisión de redacción y ortografía. Para los textos explicativos se empleó: “Mejora la redacción de este párrafo. debe ser académico, claro y explicativo [se insertaba el párrafo]”. Para la ortografía se empleó: “Realiza un análisis exhaustivo de la ortografía del texto y dame una tabla con las líneas, los errores y sus correcciones”.