Enlace de publicación en RPubs: https://rpubs.com/marisabelms/1391238
El presente estudio analiza el impacto de la integración metodológicamente guiada de herramientas de inteligencia artificial generativa en el aprendizaje en educación superior, a través de su articulación con una estrategia de Aprendizaje Basado en Problemas. Se desarrolló una investigación cuantitativa con un diseño cuasi-experimental de tipo pretest–postest con un solo grupo, aplicada a estudiantes de octavo semestre de la carrera de Ingeniería de Sistemas de una universidad pública. La muestra estuvo conformada por 65 estudiantes, y el instrumento de recolección de datos consistió en un cuestionario estructurado con ítems en escala Likert y variables categóricas nominales, aplicado antes y después de la intervención pedagógica.
El análisis estadístico incluyó pruebas de normalidad y la aplicación de la prueba no paramétrica de rangos con signo de Wilcoxon para muestras relacionadas, complementada con estadística descriptiva. Los resultados evidencian diferencias estadísticamente significativas en diversas dimensiones del aprendizaje, particularmente en el uso académico de la inteligencia artificial, el desarrollo de habilidades cognitivas, la motivación y la participación activa de los estudiantes. No obstante, no se observaron cambios significativos en las preferencias nominales sobre áreas o tipos específicos de herramientas de inteligencia artificial utilizadas.
Los hallazgos indican que el impacto de la inteligencia artificial en el aprendizaje no depende exclusivamente de la tecnología empleada, sino del marco pedagógico que orienta su uso. En este sentido, la integración de ChatGPT como apoyo cognitivo dentro de una metodología activa favoreció un uso más reflexivo y crítico de la herramienta, contribuyendo al fortalecimiento del aprendizaje en educación superior. El estudio aporta evidencia empírica desde un enfoque de ciencia de datos aplicada a la educación y destaca la importancia de diseñar intervenciones pedagógicas estructuradas para maximizar el potencial educativo de la inteligencia artificial.
Palabras clave: inteligencia artificial; educación superior; aprendizaje basado en problemas; análisis cuantitativo; ciencia de datos educativa.
El uso de herramientas de inteligencia artificial generativa, como ChatGPT, se ha extendido rápidamente en la educación superior, modificando la forma en que los estudiantes buscan información y elaboran respuestas académicas. Diversos estudios señalan que estas tecnologías pueden apoyar procesos de retroalimentación, tutoría y acceso al conocimiento (Luckin et al. 2016; Zawacki-Richter et al. 2019). No obstante, también se advierte que un uso espontáneo y no guiado puede fomentar aprendizajes superficiales y dependencia de las respuestas generadas por el sistema (Selwyn 2019; Kasneci et al. 2023).
La literatura pedagógica indica que el impacto de las tecnologías educativas depende en gran medida de su integración dentro de metodologías activas que obliguen al estudiante a analizar y resolver problemas, en lugar de limitarse a reproducir información (Prince 2004; Freeman et al. 2014). En este marco, el Aprendizaje Basado en Problemas (ABP) ha mostrado efectos positivos en la comprensión conceptual y el pensamiento crítico (Hmelo-Silver 2004; Strobel and Barneveld 2009), lo que sugiere que herramientas como ChatGPT podrían potenciar el aprendizaje cuando se emplean como apoyo cognitivo dentro de este tipo de estrategias.
Sin embargo, aún existe una escasez de evidencia cuantitativa que compare mediciones antes y después de una intervención pedagógica que combine inteligencia artificial y metodologías activas, particularmente en contextos de educación superior latinoamericanos y mediante análisis estadísticos reproducibles.(Baker and Inventado 2014).
En este contexto, el presente estudio evalúa, como caso en educación superior, la integración de ChatGPT dentro de una estrategia de Aprendizaje Basado en Problemas mediante un análisis cuantitativo de datos pretest–postest, orientado por la siguiente pregunta de investigación, ¿Existen diferencias significativas en el aprendizaje en educación superior asociadas al uso metodológicamente guiado de herramientas de inteligencia artificial?
Se desarrolló un estudio cuantitativo con un diseño cuasi-experimental de tipo pretest–postest con un solo grupo. Este diseño permitió evaluar cambios en las mediciones de los mismos participantes antes y después de la implementación de una intervención pedagógica, sin asignación aleatoria de grupos. Dicho enfoque resulta adecuado en contextos académicos reales, donde la reorganización de cursos o la conformación de grupos de control no es viable por razones administrativas y pedagógicas.
El objetivo del diseño fue identificar la existencia de diferencias estadísticamente significativas en variables asociadas al aprendizaje, atribuibles a la integración metodológicamente guiada de herramientas de inteligencia artificial dentro del proceso educativo.
La investigación se llevó a cabo en el nivel de educación superior con estudiantes de octavo semestre de la carrera de Ingeniería de Sistemas de la Universidad Pública de El Alto (UPEA). Participaron estudiantes inscritos en el semestre y la intervención se aplicó de manera focalizada durante el desarrollo de una unidad del programa de la asignatura.
La muestra estuvo integrada por 65 estudiantes, seleccionados mediante un muestreo no probabilístico por conveniencia, considerando la totalidad del curso. La participación fue voluntaria y las respuestas fueron tratadas de forma anónima y agregada, garantizando la confidencialidad de la información y su uso exclusivo con fines de investigación académica.
La intervención pedagógica se desarrolló de forma acotada durante el abordaje de una unidad específica del programa de la asignatura, integrando la herramienta de inteligencia artificial generativa ChatGPT dentro de una estrategia de Aprendizaje Basado en Problemas (ABP). A diferencia de un uso libre o espontáneo de la inteligencia artificial, las actividades fueron diseñadas de manera estructurada para que los estudiantes formularan problemas, analizaran información, contrastaran respuestas y justificaran sus decisiones académicas a partir de los contenidos abordados.
En este contexto, ChatGPT fue utilizado como un recurso de consulta y apoyo cognitivo, mientras que la responsabilidad del análisis, la selección crítica de la información y la validación de las respuestas recayó en los estudiantes bajo la orientación del docente. Esta integración metodológica tuvo como propósito evitar la sustitución del razonamiento propio por respuestas automáticas y promover un uso reflexivo de la inteligencia artificial dentro de procesos de resolución de problemas, discusión argumentativa y toma de decisiones fundamentadas.
Se utilizó un cuestionario estructurado diseñado para evaluar el uso de herramientas de inteligencia artificial y la percepción de estrategias de enseñanza activa en el proceso de enseñanza aprendizaje de estudiantes de pregrado. El instrumento fue aplicado en dos momentos del estudio (pre-test y post-test) y estuvo conformado por 14 ítems principales.
La mayoría de los ítems fueron formulados mediante una escala tipo Likert de cinco categorías ordenadas, que permitieron medir gradualmente el grado de acuerdo, frecuencia o utilidad percibida por los estudiantes. Estas escalas generaron datos de naturaleza ordinal, adecuados para análisis comparativos pre–post.
El contenido del cuestionario se organizó en las siguientes dimensiones analíticas:
Acceso y frecuencia de uso de herramientas de inteligencia artificial, orientada a identificar la disponibilidad y recurrencia del uso de IA en el contexto académico.
Uso de la inteligencia artificial como apoyo en tareas académicas, incluyendo búsqueda de información, resolución de actividades y apoyo en el aprendizaje.
Desarrollo de habilidades cognitivas, tales como comprensión conceptual, pensamiento crítico y resolución de problemas.
Participación activa y motivación para el aprendizaje, asociadas a la interacción del estudiante con las actividades propuestas.
Comprensión y retención de contenidos, como indicadores del fortalecimiento del aprendizaje.
Adicionalmente, algunos ítems correspondieron a variables categóricas nominales, relacionadas con el tipo de herramientas de IA utilizadas y las estrategias de enseñanza activa predominantes. Estos ítems no fueron concebidos para análisis inferencial, sino para caracterizar descriptivamente las prácticas y preferencias de los estudiantes.
El estudio se desarrolló bajo un diseño cuasi-experimental con mediciones antes y después de la intervención. En una primera fase, se aplicó el cuestionario a los estudiantes participantes con el objetivo de establecer una línea base sobre el uso de herramientas de inteligencia artificial y su percepción respecto a las estrategias de enseñanza activa (pre-test).
Posteriormente, se implementó una intervención pedagógica basada en el Aprendizaje Basado en Problemas (ABP), en la cual se integró el uso metodológicamente guiado de ChatGPT como herramienta de apoyo cognitivo para la resolución de tareas académicas. La intervención se desarrolló dentro del contexto regular de la asignatura, manteniendo coherencia con los objetivos formativos del curso.
Al finalizar el periodo de aplicación de la estrategia didáctica, se administró nuevamente el mismo cuestionario a los mismos participantes (post-test), garantizando la comparabilidad de las mediciones y la evaluación del efecto de la intervención sobre las variables analizadas.
Se realizó un análisis cuantitativo comparativo de las respuestas obtenidas en el pre-test y post-test para cada uno de los ítems del cuestionario. Como paso previo, se evaluó el supuesto de normalidad de las variables medidas en escala Likert mediante las pruebas de Kolmogorov-Smirnov y Shapiro-Wilk aplicadas a los datos del pre-test. En la mayoría de los ítems se obtuvieron valores de significancia inferiores a 0.05, lo que indicó desviaciones respecto a la distribución normal.
Dado que las variables analizadas presentaban naturaleza ordinal y no cumplían los supuestos de normalidad, se empleó la prueba no paramétrica de rangos con signo de Wilcoxon para muestras relacionadas, con el fin de comparar las diferencias entre las mediciones pre-test y post-test para cada estudiante.
La hipótesis nula estableció que la mediana de las diferencias entre ambas mediciones era igual a cero. Se adoptó un nivel de significancia de α = 0.05; valores p inferiores a este umbral fueron interpretados como evidencia de diferencias estadísticamente significativas atribuibles a la intervención pedagógica.
Los ítems correspondientes a variables categóricas nominales no fueron sometidos a pruebas inferenciales, por lo que sus resultados se reportaron exclusivamente mediante estadística descriptiva.
El procesamiento de los datos se realizó en el lenguaje R, importando los archivos generados en SPSS. Se efectuó la conversión de variables etiquetadas a formato numérico, la depuración de pares incompletos y la ejecución automatizada de las pruebas estadísticas, garantizando reproducibilidad y transparencia del análisis desde un enfoque propio de la ciencia de datos aplicada a la educación.
El análisis cuantitativo de los datos se orientó a comparar las mediciones obtenidas antes (pre-test) y después (post-test) de la intervención pedagógica basada en la integración metodológicamente guiada de herramientas de inteligencia artificial dentro de una estrategia de Aprendizaje Basado en Problemas. Para este propósito, se emplearon análisis inferenciales no paramétricos y representaciones gráficas complementarias, que permiten una interpretación integral de los resultados.
La Tabla 1 presenta los resultados de la prueba de rangos con signo de Wilcoxon aplicada a los ítems del cuestionario con escala tipo Likert. En ella se reportan el número de pares válidos analizados, el estadístico V, el valor p asociado y la decisión estadística para cada ítem evaluado.
| Pregunta | N (pares) | Estadístico V | p-valor | Decision |
|---|---|---|---|---|
| Pregunta 1 | 65 | 18.0 | < 0.001 | Diferencia significativa |
| Pregunta 2 | 65 | 0.0 | < 0.001 | Diferencia significativa |
| Pregunta 3 | 65 | 201.0 | 0.005 | Diferencia significativa |
| Pregunta 4 | 65 | 36.0 | 0.014 | Diferencia significativa |
| Pregunta 5 | 65 | 3.0 | 0.581 | No significativa |
| Pregunta 6 | 0 | NA | NA | Análisis descriptivo |
| Pregunta 7 | 0 | NA | NA | Análisis descriptivo |
| Pregunta 8 | 65 | 151.5 | 0.008 | Diferencia significativa |
| Pregunta 9 | 65 | 290.5 | 0.002 | Diferencia significativa |
| Pregunta 10 | 65 | 217.5 | < 0.001 | Diferencia significativa |
| Pregunta 11 | 65 | 127.0 | 0.007 | Diferencia significativa |
| Pregunta 12 | 65 | 141.0 | 0.003 | Diferencia significativa |
| Pregunta 13 | 65 | 268.5 | 0.009 | Diferencia significativa |
| Pregunta 14 | 65 | 266.0 | 0.009 | Diferencia significativa |
Nota. Se reportan pares válidos (N), el estadístico V de la prueba de rangos con signo de Wilcoxon para muestras relacionadas y el valor p correspondiente. Se consideró un nivel de significancia igual a 0.05. Los ítems 6 y 7 corresponden a variables categóricas nominales y, por tanto, se describen únicamente mediante estadística descriptiva.
Los resultados muestran diferencias estadísticamente significativas en la mayoría de los ítems analizados. En particular, los ítems 1 y 2 presentan valores de p < 0.001, lo que evidencia cambios altamente significativos tras la intervención pedagógica. Estos ítems se asocian con el nivel de conocimiento y el acceso percibido a herramientas de inteligencia artificial, lo que sugiere una mejora sustancial en la familiaridad y disponibilidad de dichos recursos en el contexto académico.
Asimismo, los ítems 3, 4, 8, 9, 10, 11, 12, 13 y 14 registran valores de p inferiores a 0.05, confirmando la existencia de diferencias estadísticamente significativas entre las mediciones pre-test y post-test. Estos cambios se relacionan con una mayor frecuencia y utilidad percibida del uso de herramientas de inteligencia artificial, así como con mejoras en dimensiones clave del aprendizaje, tales como la comprensión conceptual, la resolución de problemas, el pensamiento crítico, la motivación para aprender y la participación activa en el proceso educativo.
En contraste, el ítem 5 presenta un valor de p = 0.581, superior al umbral de significancia establecido (α = 0.05), por lo que no se rechaza la hipótesis nula. Este resultado indica que no se observaron cambios estadísticamente significativos en el tipo específico de herramientas de inteligencia artificial de procesamiento de lenguaje natural utilizadas con mayor frecuencia. Ello sugiere que la intervención no modificó las preferencias nominales de los estudiantes respecto a las herramientas empleadas, sino la forma y profundidad con que dichas herramientas fueron utilizadas.
Por su parte, los ítems 6 y 7 no fueron sometidos a la prueba de Wilcoxon debido a su naturaleza categórica nominal, lo que impide una comparación ordinal pre–post mediante esta prueba. En estos casos, los resultados se reportan exclusivamente mediante estadística descriptiva.
Con el fin de complementar los resultados inferenciales y explorar la distribución de las respuestas, se elaboró la Figura 1, que presenta diagramas de caja (boxplots) para los ítems Likert considerados clave en el análisis (P9, P10, P11, P12 y P14), comparando las mediciones del pre-test y del post-test.
Nota. La figura presenta diagramas de caja para comparar la distribución de respuestas entre pre-test y post-test en ítems Likert seleccionados. La línea central representa la mediana; la caja corresponde al rango intercuartílico (Q1–Q3) y los bigotes indican la dispersión de los datos. Los puntos, cuando aparecen, representan valores atípicos. La escala Likert se interpreta de 1 (muy baja) a 5 (muy alta).
La Figura 1 permite observar desplazamientos en la mediana y cambios en la distribución de las respuestas tras la intervención. En general, se aprecia una tendencia hacia valores más altos en el post-test, lo que indica una mejora en la percepción y valoración de los aspectos evaluados. Asimismo, la dispersión observada en las respuestas respalda la elección de una prueba no paramétrica, dado que las distribuciones no presentan simetría ni normalidad.
Para sintetizar el efecto de la intervención pedagógica en cada ítem Likert, se construyó la Figura 2, que muestra el cambio en la mediana de las respuestas entre el pre-test y el post-test mediante un gráfico tipo dumbbell. En este gráfico, los puntos representan las medianas de cada momento y la línea indica el desplazamiento de la mediana desde el pre-test hacia el post-test.
Nota. La estabilidad de la mediana en algunos ítems no implica ausencia de cambio, sino una redistribución interna de las respuestas hacia categorías superiores de la escala Likert. Este patrón es consistente con los resultados descriptivos que muestran incrementos en las categorías de mayor utilidad y motivación en el post-test.
La Figura 2 sintetiza el cambio en la mediana de las respuestas por ítem Likert entre el pre-test y el post-test. En varios ítems se observa un desplazamiento positivo de la mediana, lo que evidencia una mejora global tras la intervención. Sin embargo, en algunos ítems la mediana permanece constante, lo que no implica ausencia de cambio, sino estabilidad en el nivel central de las respuestas.
Este comportamiento se explica al considerar los resultados descriptivos de ítems específicos, como la percepción de utilidad de las herramientas de inteligencia artificial en el aprendizaje y su contribución a la motivación. En estos casos, los datos muestran una redistribución interna de las respuestas hacia categorías más altas (por ejemplo, de neutral a útil o de mucho a muchísimo), sin que ello modifique necesariamente la mediana. En consecuencia, la Figura 2 refleja la estabilidad del valor central, mientras que las tablas y figuras descriptivas evidencian cambios relevantes en la distribución de frecuencias.
En conjunto, estos resultados indican que la intervención pedagógica fortaleció percepciones ya positivas sobre la utilidad de la inteligencia artificial y las estrategias de enseñanza activa, profundizando su valoración más que produciendo cambios abruptos en el nivel central de respuesta.
En conjunto, los resultados inferenciales y descriptivos evidencian que la integración de herramientas de inteligencia artificial dentro de una metodología de enseñanza activa produjo cambios estadísticamente significativos en variables clave del aprendizaje en educación superior. Estos cambios se manifestaron principalmente en dimensiones vinculadas al uso académico de la inteligencia artificial, el desarrollo de habilidades cognitivas y la participación activa de los estudiantes.
No obstante, los resultados también muestran que la intervención no se asoció con una modificación de las preferencias nominales respecto a las áreas o tipos específicos de herramientas de inteligencia artificial utilizadas. En su lugar, los efectos observados se relacionan con una transformación en la forma en que dichas herramientas fueron incorporadas al proceso de enseñanza y aprendizaje, evidenciando un uso más reflexivo, crítico y pedagógicamente orientado.
Esta diferenciación entre variables sensibles a la intervención y variables relativamente estables permite una interpretación más precisa del impacto de la inteligencia artificial en contextos educativos, evitando atribuir efectos indiscriminados a la sola introducción de la tecnología.
Los resultados del presente estudio muestran que la integración metodológicamente guiada de herramientas de inteligencia artificial generativa, específicamente ChatGPT, dentro de una estrategia de Aprendizaje Basado en Problemas, se asocia con diferencias estadísticamente significativas en diversas dimensiones del aprendizaje en educación superior. Estos hallazgos refuerzan la idea de que el impacto educativo de la inteligencia artificial no depende exclusivamente de la tecnología en sí, sino del marco pedagógico que orienta su uso y regula su incorporación en el proceso formativo (Selwyn 2019; Kasneci et al. 2023).
Las mejoras observadas en los ítems relacionados con el uso académico de la inteligencia artificial y el desarrollo de habilidades cognitivas concuerdan con investigaciones previas que destacan el potencial de la IA como apoyo cognitivo cuando se integra en metodologías activas y reflexivas (Luckin et al. 2016; Zawacki-Richter et al. 2019). En este sentido, la intervención permitió que los estudiantes utilizaran ChatGPT no como un sustituto del razonamiento propio, sino como un recurso para contrastar información, generar alternativas y profundizar en la comprensión conceptual de los contenidos abordados.
Asimismo, los resultados evidencian efectos significativos en variables asociadas al pensamiento crítico, la resolución de problemas y la motivación para aprender, dimensiones ampliamente vinculadas con el Aprendizaje Basado en Problemas (Prince 2004; Freeman et al. 2014). Estudios previos sobre ABP señalan que este enfoque favorece la construcción activa del conocimiento y el aprendizaje profundo, particularmente cuando los estudiantes deben justificar decisiones, analizar información y participar de manera autónoma en la resolución de situaciones problemáticas (Hmelo-Silver 2004; Strobel and Barneveld 2009). Los hallazgos del presente estudio sugieren que la incorporación de herramientas de inteligencia artificial puede potenciar estos efectos cuando su uso se encuentra metodológicamente estructurado y orientado por criterios pedagógicos claros.
Por el contrario, el ítem relacionado con el tipo específico de herramientas de inteligencia artificial utilizadas no presentó diferencias estadísticamente significativas. Este resultado indica que la intervención no modificó las preferencias nominales de los estudiantes respecto a las herramientas empleadas, sino la forma y profundidad de su utilización. Desde una perspectiva de ciencia de datos aplicada a la educación, este hallazgo resulta particularmente relevante, ya que permite distinguir entre variables que responden directamente a la intervención pedagógica y variables que representan prácticas o percepciones previamente consolidadas (Baker and Inventado 2014).
Cabe destacar que los ítems de naturaleza categórica nominal fueron analizados exclusivamente mediante estadística descriptiva, evitando la aplicación inapropiada de pruebas inferenciales. Este criterio metodológico fortalece la validez de los resultados y se alinea con las buenas prácticas recomendadas para el análisis de datos educativos (Field 2018).
Los resultados deben interpretarse considerando que la intervención se aplicó de forma acotada durante el desarrollo de una unidad específica del programa de la asignatura y no a lo largo de todo el semestre. No obstante, incluso bajo este alcance delimitado, se observaron cambios significativos en variables centrales del aprendizaje, lo que coincide con investigaciones que señalan que intervenciones focalizadas pueden generar efectos medibles cuando están adecuadamente diseñadas e implementadas (Freeman et al. 2014).
Desde el enfoque de la ciencia de datos, este estudio aporta evidencia empírica sobre el valor del análisis cuantitativo pretest–postest y del uso de técnicas estadísticas no paramétricas para evaluar intervenciones educativas mediadas por inteligencia artificial. El empleo de flujos de trabajo reproducibles en el entorno R refuerza la transparencia, la trazabilidad y la replicabilidad del análisis, aspectos cada vez más valorados en la investigación educativa contemporánea (Baker and Inventado 2014).
El presente estudio permitió identificar diferencias estadísticamente significativas en diversas dimensiones del aprendizaje en educación superior asociadas a la integración metodológicamente guiada de herramientas de inteligencia artificial dentro de una estrategia de Aprendizaje Basado en Problemas. A partir de un análisis cuantitativo pretest–postest, se evidencia que el uso estructurado de la inteligencia artificial puede contribuir de manera positiva al fortalecimiento del aprendizaje cuando se inserta en un marco pedagógico activo y reflexivo.
Los hallazgos indican que las mejoras observadas no dependen únicamente de la disponibilidad ni del tipo específico de herramienta de inteligencia artificial utilizada, sino fundamentalmente de la metodología que orienta su incorporación en el proceso educativo. En este sentido, la combinación de ChatGPT con el Aprendizaje Basado en Problemas favoreció el desarrollo de habilidades cognitivas, la participación activa, la motivación para aprender y la comprensión de los contenidos, evitando una utilización pasiva o mecánica de la tecnología.
Desde la perspectiva de la ciencia de datos aplicada a la educación, el estudio pone en evidencia la utilidad del análisis cuantitativo de datos educativos para evaluar el impacto de intervenciones pedagógicas mediadas por inteligencia artificial. El empleo de técnicas estadísticas no paramétricas y de un flujo de análisis reproducible en el entorno R permitió garantizar rigor metodológico, transparencia analítica y trazabilidad de los resultados, aspectos relevantes para la investigación educativa contemporánea.
Es importante señalar que la intervención se aplicó de forma acotada a una unidad específica de una asignatura y no a lo largo de todo el semestre. Por tanto, los resultados deben interpretarse dentro de este alcance delimitado. No obstante, incluso bajo estas condiciones, se observaron efectos significativos en variables clave del aprendizaje, lo que sugiere que intervenciones focalizadas, correctamente diseñadas e implementadas, pueden generar cambios medibles en contextos reales de educación superior.
Finalmente, este estudio aporta evidencia empírica que respalda la necesidad de orientar el uso de la inteligencia artificial en educación superior mediante metodologías activas y criterios pedagógicos claramente definidos. Se recomienda que futuras investigaciones amplíen el alcance temporal de las intervenciones, incorporen grupos de comparación y exploren modelos analíticos más complejos desde la ciencia de datos, con el fin de profundizar en la comprensión del impacto de la inteligencia artificial en los procesos de enseñanza y aprendizaje.