Presentado por:
Marcos David Carrillo Builes
Tomás Escobar Rivera
Jose Fernando
López Ramírez
Esteban Vásquez Pérez
Profesor: Juan David Ospina Arango
Monitor: Andrés Mauricio Zapata Rincón
Universidad Nacional de Colombia
Facultad de Minas
Ingeniería de
Sistemas e Informática
15 de July de 2025
5. Evaluación y Análisis de Resultados
Este proyecto desarrolla un agente creativo basado en LLMs para generación colaborativa de historias. Utiliza DeepSeek V3 através de OpenRouter API con arquitectura modular en Python e interfaz Streamlit. Los usuarios especifican elementos narrativos (personajes, escenario, género, tono) para generar historias originales de 300-800 palabras.
Objetivos Cumplidos: Prompts especializados por género, validación robusta, gestión de estado persistente, y evaluación de calidad narrativa.
Contribuciones: Estrategias diferenciadas de prompt engineering creativo, análisis de colaboración humano-IA, y sistemas de filtrado ético con implementación de listas de control de contenido inapropiado.
Comprensión de Principios de Agentes LLM: Desarrollo de agente interactivo que colabora con usuarios para escritura creativa, implementando principios de diseño modular y gestión de estado.
Prompts Efectivos para Tareas Creativas: Creación de estrategias de prompt engineering diferenciadas por género narrativo, con instrucciones específicas para fantasía, misterio, terror, ciencia ficción, romance, comedia y aventura.
Procesamiento y Validación de Entradas: Sistema robusto que maneja formularios estructurados y descripciones en lenguaje natural, proporcionando mensajes de error específicos.
Manejo de APIs y Gestión de Errores: Integración efectiva con OpenRouter API, implementación de timeouts y manejo comprehensivo de excepciones.
El agente creativo genera relatos cortos mediante colaboración humano-IA. El sistema acepta especificaciones detalladas del usuario y produce narrativas coherentes que incorporan elementos solicitados manteniendo adherencia al género.
Elementos Manejados:
Personajes: Nombre, rol, rasgos de personalidad.
Escenario: Período temporal, ubicación, atmósfera.
Género: 7 géneros principales con estrategias específicas.
Tono: Humorístico, Oscuro, Caprichoso, Dramático, Satírico.
Conflicto Central: Problema principal que impulsa la narrativa.
Obstáculos Principales: Desafíos específicos que enfrentan los personajes.
Resolución Esperada: Desenlace deseado para la historia.
Longitud: Corta (300-400), Mediana (400-600), Larga (600-800 palabras).
Los LLMs han transformado la generación de texto creativo, pero requieren diseño cuidadoso para equilibrar control del usuario con calidad del output. Este proyecto aborda el desafío de crear herramientas que permitan especificación granular de elementos narrativos mientras preservan creatividad.
Principio de Colaboración Activa: El agente actúa como co-creador inteligente, no como generador autónomo. El usuario mantiene control creativo proporcionando elementos narrativos específicos.
Principio de Especialización por Contexto: Diferentes géneros narrativos requieren aproximaciones distintas. El agente implementa estrategias específicas para cada género.
Principio de Retroalimentación Constructiva: El sistema proporciona validación inmediata y sugerencias específicas para entradas incompletas.
Captura estructurada de especificaciones narrativas.
Retroalimentación inmediata con validación en tiempo real.
Gestión de configuraciones favoritas.
Validación semántica de completitud y coherencia.
Construcción de contexto optimizado.
Selección de estrategia según género.
Interfaz API optimizada con DeepSeek V3.
Control de parámetros (temperatura 0.8, max_tokens 1500).
Manejo robusto de errores y recuperación.
La implementación proporciona validación jerárquica:
Validación de Presencia: Verifica campos requeridos (personajes, escenario, género, tono, longitud).
Validación de Contenido: Utiliza expresiones regulares para detectar entradas sin valor semántico.
Mensajes Constructivos: Proporciona ejemplos específicos para entradas problemáticas. El sistema detecta cuando los usuarios ingresan únicamente números en el campo de personajes y responde con mensajes educativos como “El campo ‘personajes’ no puede ser solo números. Ejemplo: ‘Lina, una científica curiosa y valiente.’” Esta aproximación pedagógica ayuda a los usuarios a comprender qué tipos de entradas producen mejores resultados narrativos.
Filtrado de Contenido: Implementa verificación de contenido inapropiado utilizando listas estandarizadas de términos problemáticos (LDNOOBW, 2024) para garantizar generación de contenido apropiado y familiar.
El sistema establece conexión con OpenRouter utilizando configuraciones específicas que optimizan la comunicación con DeepSeek V3. La implementación incluye headers personalizados para identificación del proyecto y manejo de referencias HTTP apropiadas para aplicaciones Streamlit desplegadas.
Parámetros Optimizados:
Modelo: DeepSeek V3 (balance calidad-costo).
Temperatura: 0.8 (equilibrio creatividad-coherencia, siguiendo las recomendaciones de (Boonstra, 2025), para salidas imaginativas pero coherentes).
Max_tokens: 1500 (suficiente para rango especificado).
Cada género implementa instrucciones específicas adaptadas a sus convenciones narrativas particulares. Para fantasía, el sistema enfatiza la inclusión de elementos mágicos, criaturas míticas y mundos imaginarios coherentes. En misterio, se instruye al modelo para plantear enigmas con pistas distribuidas estratégicamente y resoluciones lógicas. El género terror recibe directrices para crear tensión progresiva, atmósferas inquietantes y elementos de suspense apropiados. Esta especialización por género permite que cada historia mantenga autenticidad dentro de su categoría narrativa.
La interfaz utiliza componentes Streamlit organizados en columnas para optimizar el espacio visual. Los campos incluyen iconos descriptivos como emoji de personas para personajes, globo terrestre para escenario, y máscaras teatrales para género. Esta aproximación visual facilita la navegación intuitiva y reduce la curva de aprendizaje para nuevos usuarios.
Gestión de Estado: Preservación de entradas durante
errores y re-renders usando st.session_state
y storage de
preferencias en json
.
La ingeniería de prompts para tareas creativas difiere de las factuales, requiriendo:
Contexto Emocional: Establecimiento de tono y atmósfera.
Role-playing: Contextualización como “escritor profesional especializado” técnica de role prompting (Boonstra, 2025).
Estructuras Flexibles: Guías que preservan creatividad
El prompt fundamental establece al modelo como escritor profesional especializado en el género específico solicitado, incorporando el tono emocional deseado. Las consideraciones específicas para cada género proporcionan contexto relevante sin limitar creatividad, implementando técnicas de contextual prompting (Boonstra, 2025). La estructura sugerida incluye tres fases narrativas: introducción que presenta escenario y personajes, desarrollo que introduce conflicto y obstáculos, y resolución que cierra satisfactoriamente la historia.
Las instrucciones de longitud se calibraron empíricamente para producir historias dentro de rangos específicos. Historias cortas entre 300-400 palabras mantienen narrativas concisas pero completas, mientras que historias medianas de 400-600 palabras permiten desarrollo intermedio con mayor detalle caracterológico. Las historias largas de 600-800 palabras facilitan exploración profunda de temas y desarrollo extenso de tramas complejas.
Adherencia al Género: Evaluación de elementos específicos (magia en fantasía, investigación en misterio).
Consistencia de Personajes: Verificación de mantenimiento de rasgos establecidos.
Control de Longitud: Precisión en rangos de palabras especificados.
Calidad Técnica: Fluidez, coherencia y corrección gramatical.
Nota: Las historias completas generadas por el agente se
encuentran disponibles en la carpeta examples/
del
repositorio del proyecto.
Personajes: Aelwyn: elfo guardián, sabio y reservado, protector del bosque; Kael: joven humano impulsivo, aprendiz de hechicero; Nira: dragona antigua, aliada impredecible.
Escenarios: Reino de Sylvaria, una tierra cubierta de bosques encantados y ruinas antiguas; Época medieval mágica, atmósfera mística y ancestral.
Género: Fantasía.
Tono: Dramático.
Conflicto Central: Un artefacto oscuro ha sido activado y amenaza con corromper el equilibrio entre magia y naturaleza.
Obstáculos principales: La desconfianza entre razas; Criaturas corrompidas que custodian el artefacto; El tiempo: el artefacto se fortalece con cada luna llena.
Resolución esperada: Aelwyn y Kael deben unir fuerzas con Nira para destruir el artefacto en un templo oculto, a través de un ritual que pondrá en riesgo sus vidas.
Longitud: Larga (600-800 palabras)
Incluir diálogos entre personas: Sí
Análisis:
La historia cumple exitosamente con todos los parámetros establecidos, creando una narrativa épica que equilibra elementos de fantasía tradicional con desarrollo de personajes profundo. El agente logra manejar la desconfianza entre razas como obstáculo central, introduciendo a Nira de manera orgánica y desarrollando diálogos naturales que revelan personalidades distintas pero complementarias. La estructura narrativa sigue el arco clásico de fantasía épica con llamado a la aventura, reclutamiento de aliados, enfrentamiento del mal y resolución heroica, mientras el ritual de destrucción del Orbe proporciona el elemento de sacrificio prometido, culminando en una lección sobre la unidad que trasciende las diferencias raciales y generacionales.
Personajes: Inspectora Laura Márquez: metódica, cínica, obsesionada con resolver el caso; Andrés: joven periodista curioso, nuevo en el pueblo; Elías: dueño de una librería antigua, enigmático.
Escenarios: Pueblo costero de Brumablanca, lleno de niebla y supersticiones; Presente, atmósfera tensa y sombría.
Género: Misterio.
Tono: Oscuro.
Conflicto Central: Aparecen mensajes encriptados en libros antiguos antes de cada desaparición misteriosa.
Obstáculos principales: Resistencia de los habitantes del pueblo; El caso fue cerrado hace años; Andrés es visto como forastero y causa sospechas.
Resolución esperada: Laura y Andrés descubren que el asesino sigue activo, usando los libros como forma de confesar sin ser atrapado.
Longitud: Mediana (400-600 palabras)
Incluir diálogos entre personas: Sí
Análisis:
La historia demuestra un manejo sofisticado del género policial que crea una atmósfera gótica efectiva en el pueblo costero de Brumablanca. El agente desarrolla exitosamente la investigación de mensajes encriptados en libros, introduciendo a Elías como sospechoso inicial para luego revelar una conspiración más profunda donde el verdadero asesino utiliza el sistema de falsas identidades como cobertura. Los diálogos entre Laura y Andrés construyen tensión progresiva mientras exploran la resistencia del pueblo, y la revelación final en el faro mantiene el misterio abierto con la promesa de “El Nieblón”, equilibrando resolución parcial con suspense continuo típico del género noir contemporáneo. Adicionalmente, el agente demostró capacidad para crear una continuación coherente que mantiene la consistencia de personajes y desarrolla orgánicamente los elementos establecidos, escalando el horror sobrenatural mientras preserva la lógica interna de la narrativa original. Esta capacidad de extensión narrativa refleja la aplicación de técnicas de Chain-of-Thought para mantener coherencia en desarrollos complejos (Boonstra, 2025).
Personajes: Camila: chef perfeccionista, dueña de un pequeño restaurante; Diego: músico bohemio, nuevo vecino que siempre está tocando a todo volumen.
Escenarios: Ciudad moderna, barrio artístico lleno de cafés y murales; Presente, atmósfera cálida y caótica.
Género: Romance.
Tono: Humorístico.
Conflicto Central: Camila y Diego chocan constantemente por sus estilos de vida opuestos, pero una competencia culinaria los obliga a colaborar.
Obstáculos principales: Orgullo de ambos; Malentendidos constantes; Interferencias de amigos y vecinos entrometidos.
Resolución esperada: A través del trabajo conjunto, aprenden a valorar sus diferencias y terminan creando un plato ganador… y algo más.
Longitud: Corta (300-400 palabras)
Incluir diálogos entre personas: Sí
Análisis:
La historia ejecuta perfectamente el romance contemporáneo, capturando la esencia humorística y caprichosa solicitada através de la dinámica chef-músico que refleja personalidades opuestas complementarias. El agente maneja hábilmente los obstáculos del orgullo y malentendidos mediante diálogos chispeantes que revelan la tensión romántica subyacente, mientras la competencia culinaria “Fusión Creativa” proporciona el catalizador perfecto para su colaboración forzada. La resolución integra orgánicamente elementos culinarios y musicales en el plato “Canción de Pasta”, culminando en un desenlace romántico sutil pero satisfactorio que transforma el conflicto inicial en armonía tanto personal como artística, demostrando cómo las diferencias pueden enriquecerse mutuamente en lugar de separar.
Personajes: Dr. Liu: astrobióloga pragmática, líder de la misión; Myra: inteligencia artificial con tendencias filosóficas; Enrique: ingeniero con ansiedad crónica, segundo al mando.
Escenarios: Estación orbital “Argonauta”, cerca del planeta Gliese-581d; Futuro lejano, atmósfera aislada y tecnológica.
Género: Ciencia Ficción.
Tono: Satírico.
Conflicto Central: Aparece un mensaje codificado proveniente del planeta, pero la IA Myra comienza a actuar de forma extraña.
Obstáculos principales: Desconfianza en la IA; Riesgo biológico si bajan al planeta; Fallas en el sistema de comunicación.
Resolución esperada: La doctora Liu arriesga todo para activar el protocolo de contacto y descubre que Myra no es hostil, sino un puente entre humanos y la vida alienígena.
Longitud: Larga (600-800 palabras)
Incluir diálogos entre personas: Sí
Análisis:
La historia de ciencia ficción logra crear una narrativa reflexiva y tensa que explora magistralmente temas de confianza humano-IA y comunicación interestelar. El agente desarrolla efectivamente la evolución de Myra desde herramienta técnica hasta puente consciente, manejando el conflicto entre protocolo científico y riesgo existencial a través de diálogos auténticos que revelan las personalidades de Liu (pragmática) y Enrique (ansioso). La resolución trasciende expectativas al presentar una forma de vida no basada en materia que se comunica através de emociones puras, convirtiendo el aparente malfuncionamiento de la IA en un descubrimiento revolucionario que redefine los conceptos de consciencia y comunicación interplanetaria, todo mientras mantiene tensión narrativa hasta el momento final de revelación.
Personajes: Clara: joven historiadora apasionada por lo oculto; Sr. Rivas: anciano con delirios proféticos, vive en el pueblo desde hace 90 años.
Escenarios: Mansión abandonada en los Andes colombianos, envuelta en niebla; Años 1950, atmósfera lúgubre y sobrenatural.
Género: Terror.
Tono: Dramático.
Conflicto Central: Clara debe pasar una noche en la mansión para estudiar los diarios de un inquisidor, pero descubre que hay algo más que papel entre esas paredes.
Obstáculos principales: Presencias invisibles; El diario cambia su contenido cada noche; Clara empieza a tener visiones que no sabe si son suyas.
Resolución esperada: Clara logra escapar al romper el ciclo de maldición al escribir una última entrada en el diario, sellando el espíritu.
Longitud: Mediana (400-600 palabras)
Incluir diálogos entre personas: No
Análisis:
La historia de terror gótico ejecuta brillantemente la atmósfera tenebrosa y dramática solicitada, creando una narrativa sin diálogos que intensifica la sensación de aislamiento sobrenatural. El agente maneja efectivamente la ambientación andina de los años 1950, integrando elementos culturales colombianos con el horror gótico clásico através del diario que cambia contenido como elemento sobrenatural activo. La progresión del terror es gradual y psicológica, desde la desconfianza inicial hasta la revelación de que Clara está siendo observada por entidades atrapadas, mientras la resolución requiere participación activa de la protagonista al escribir la línea liberadora, demostrando cómo el agente puede crear narrativas de horror efectivas que combinan elementos sobrenaturales tradicionales con escenarios geográficos específicos.
Personajes: Chef Marcus: cocinero molecular obsesivo del siglo XXI; Abuela Remedios: espíritu de cocinera tradicional del siglo XVIII; Robot-Asistente XK-7: inteligencia artificial culinaria del año 3025.
Escenarios: Restaurante interdimensional flotante; Época: simultáneamente pasado, presente y futuro; atmósfera caótica y surrealista.
Género: Aventura.
Tono: Humorístico.
Conflicto Central: Un chef debe preparar la cena perfecta usando técnicas de tres épocas diferentes mientras el tiempo se fragmenta y los ingredientes cobran vida propia, todo esto para una cita romántica con un crítico gastronómico que resulta ser un vampiro vegetariano.
Obstáculos principales: Los utensilios de cocina viajan en el tiempo; Los ingredientes del pasado y futuro son incompatibles químicamente; El cliente vampiro tiene alergia al ajo pero ama la comida italiana; El restaurante está siendo investigado por la policía temporal por violaciones culinarias interdimensionales.
Resolución esperada: Marcus debe fusionar las técnicas culinarias de las tres épocas creando un nuevo estilo de cocina “temporal” que satisfaga al vampiro, detenga la investigación policial y mantenga la estabilidad del espacio-tiempo, todo mientras descubre que el amor verdadero trasciende las dimensiones temporales.
Longitud: Larga (600-800 palabras)
Incluir diálogos entre personas: Sí
Análisis:
La historia caso extremo logra algo mejor de lo esperado al generar una narrativa que, aunque completamente absurda, mantiene un hilo de coherencia interna sorprendente. El agente consigue capturar todos los elementos contradictorios del prompt - vampiro vegetariano alérgico al ajo, cocina temporal interdimensional, policía temporal - y de alguna manera los entreteje en una historia que por lo menos tiene sentido dentro de su propia lógica disparatada. La resolución del “recuerdo del ajo” es especialmente ingeniosa para abordar la contradicción aparentemente imposible del personaje vampiro, mientras que la fusión de elementos temporales resulta muy loca pero coherente con el escenario establecido. Aunque la premisa es completamente descabellada, el agente logra mantener el tono humorístico y crear una narrativa que funciona como entretenimiento, demostrando capacidad para generar creatividad coherente incluso ante especificaciones deliberadamente imposibles.
Logros Técnicos:
Arquitectura modular escalable facilitando mantenimiento.
Prompts especializados por género con control de longitud preciso.
Sistema de validación robusto con retroalimentación constructiva.
Integración API efectiva con manejo de errores comprehensivo.
Contribuciones al Campo:
Diferenciación clara entre prompt engineering creativo vs. factual.
Modelo de colaboración humano-IA preservando autoría humana.
Estrategias de mitigación de sesgos culturales.
Implementación de filtros de contenido apropiado para aplicaciones familiares.
Limitaciones Actuales:
Dependencia completa de servicios API externos.
Optimización para uso individual únicamente.
Evaluación de calidad dependiente de juicio humano subjetivo.
Costos operacionales potencialmente prohibitivos.
Direcciones Futuras:
Mejoras Técnicas: Sistema de cache, multi-proveedor LLM, retry logic.
Funcionalidades Avanzadas: Historia interactiva por capítulos, soporte multi-idioma.
Investigación: Métricas objetivas para calidad narrativa, detección automatizada de sesgos.
Visión a Largo Plazo: El futuro de IA creativa reside en colaboración que amplifica rather than reemplaza creatividad humana. Herramientas como esta pueden democratizar escritura creativa manteniendo valor de expertise profesional y control editorial humano.