Estudiar qué se propone contratar el Estado colombiano a partir de las descripciones de los procesos publicados en SECOP II durante 2025. Utilice técnicas de minería de texto y análisis de redes para reconocer patrones temáticos y evaluar si la información lingüística mejora la predicción del presupuesto estimado de los procesos de contratación.
La pregunta central es:
¿Qué temas caracterizan la contratación pública colombiana y cuánto aporta el contenido de las descripciones a la predicción del precio base de un proceso, más allá de su modalidad y localización?
Utilice el conjunto oficial SECOP II – Procesos de Contratación, publicado por la Agencia Nacional de Contratación Pública – Colombia Compra Eficiente. El conjunto incluye procesos adjudicados y no adjudicados, se actualiza periódicamente y contiene registros correspondientes a 2025.
Considere las siguientes variables, cuyos nombres en la API se indican entre paréntesis:
| Variable | Uso |
|---|---|
id_del_proceso |
Identificador del documento |
descripci_n_del_procedimiento |
Texto principal del corpus |
nombre_del_procedimiento |
Referencia complementaria, no sustituye la descripción |
fecha_de_publicacion_del |
Fecha de publicación en 2025 |
departamento_entidad |
Localización de la entidad, no necesariamente del proyecto |
modalidad_de_contratacion |
Modalidad del procedimiento |
precio_base |
Presupuesto proyectado del proceso, en pesos colombianos |
ordenentidad |
Orden de la entidad contratante |
Importante. El precio base no corresponde necesariamente al valor contratado, pagado o ejecutado. Asimismo, este conjunto registra procesos, no una lista exhaustiva de contratos firmados. No interprete las predicciones como estimaciones del gasto público efectivamente realizado.
Seleccione exclusivamente procesos publicados entre el 1 de enero y el 31 de diciembre de 2025, con precio base positivo y descripción no vacía. Para que el ejercicio sea manejable, construya un corpus de aproximadamente 2 000 a 3 000 procesos, conservando distintos trimestres, departamentos y modalidades. Establezca una regla reproducible de selección y examine la distribución de la muestra antes de analizarla.
Nota. Cada proceso de contratación
constituye un documento. Construya una tabla con una fila por
id_del_proceso, el texto y sus metadatos. Si alguna
descripción contiene información personal o identificadores
innecesarios, elimínelos de las salidas compartidas. Documente la fecha
de consulta y conserve el archivo de datos utilizado.
Revise valores faltantes, duplicados, textos demasiado cortos, fechas, departamentos, modalidades y valores extremos del precio base. Describa el número de documentos, la longitud de las descripciones y la distribución de los presupuestos, justificando las exclusiones realizadas. Aplique tokenización, normalización y eliminación de palabras vacías en español, conservando los términos relevantes para la contratación pública.
Identifique palabras y bigramas frecuentes, así como términos distintivos entre modalidades o grupos de precios. Utilice keyness para identificar expresiones relevantes y distinguir contenidos sustantivos de fórmulas administrativas recurrentes.
Construya la matriz documento–término \(\mathbf{X}\), cuyas filas representan procesos y columnas, términos. Examine su dimensión y dispersión. Compare frecuencias y TF–IDF, calcule similitudes de Jaccard y coseno entre documentos e interprete los resultados según las características de los procesos.
Aplique una descomposición en valores singulares truncada (LSA) y represente los procesos en dos dimensiones. Interprete las agrupaciones mediante ejemplos concretos y examine su relación con las modalidades de contratación y los departamentos, sin asumir que corresponden a categorías oficiales de gasto.
Construya redes no dirigidas de coocurrencia mediante ventanas de palabras. Para controlar su tamaño, defina un vocabulario y criterios de selección de aristas comparables entre grupos. Contraste la frecuencia de los bigramas con una medida de asociación, como PMI, excluyendo asociaciones basadas en ocurrencias muy escasas.
Caracterice las redes mediante grado, fuerza, componentes, transitividad, centralidad y comunidades. Compare al menos dos redes correspondientes a grupos relevantes (por ejemplo, dos modalidades de contratación), identifique sus términos centrales e interprete las principales diferencias temáticas. Tenga en cuenta que los pesos de coocurrencia representan intensidad de asociación, no distancia geodésica.
A partir de TF–IDF, construya una red de documentos en la que dos procesos estén conectados cuando sus descripciones presenten suficiente similitud. Justifique el criterio de conexión y evalúe la sensibilidad de los resultados. Identifique comunidades y examine si agrupan procesos con características similares, incluso entre diferentes entidades o departamentos.
Compare las distribuciones del precio base entre comunidades, considerando las modalidades de contratación. Identifique diferencias relevantes e interprete los resultados sin establecer relaciones causales.
Defina \(y_i=\log(\text{precio base}_i)\) para los procesos con precio base positivo y evalúe la siguiente pregunta: ¿el contenido de las descripciones mejora la predicción del presupuesto proyectado? Divida los datos en entrenamiento (80 %) y prueba (20 %), fijando una semilla y evitando que procesos duplicados o descripciones idénticas aparezcan en ambos conjuntos.
Compare al menos dos modelos de regresión:
Realice el preprocesamiento, la construcción de TF–IDF y la estimación de LSA utilizando únicamente los datos de entrenamiento. Seleccione el número de componentes mediante validación cruzada y evalúe ambos modelos en el conjunto de prueba mediante MAE y RMSE, calculados sobre el logaritmo del precio base. Incluya como referencia la predicción constante de la mediana del entrenamiento.
Determine si la información textual mejora la capacidad predictiva frente a las variables administrativas. Examine los procesos con mayores errores e identifique posibles características asociadas. Evite utilizar variables que revelen directamente el presupuesto o información posterior a la publicación del proceso.
Repita los análisis principales utilizando al menos dos criterios de preprocesamiento y construcción de redes. Examine la sensibilidad de los términos más relevantes, las comunidades identificadas y la capacidad predictiva de los modelos. Discuta cómo las diferencias en la cobertura de la muestra limitan la generalización de los resultados a la contratación pública colombiana.
A partir de los resultados obtenidos, responda las siguientes preguntas:
Entregue un informe reproducible en R Markdown, su versión HTML y el conjunto de datos utilizado. Incluya únicamente figuras y tablas relevantes, acompañadas de interpretaciones concisas. Organice y comente brevemente el código, garantizando su ejecución a partir de los datos guardados. Documente las decisiones de preprocesamiento, modelado y validación.
No se requiere análisis de sentimiento ni modelos avanzados de lenguaje. El objetivo es integrar las técnicas de análisis de texto y redes con una evaluación estadística de la capacidad predictiva fuera de muestra.