Datos a Estudiar

Para comenzar con el proyecto es necesario conocer cuáles serán los datos que se utilizarán. En esta investigación se hará uso de los datos obtenidos en el proyecto anterior, los cuales contienen distintas bases de datos que permitirán analizar, en una primera instancia, los factores asociados a las diferencias entre la carga académica efectiva, declarada y percibida. A continuación, se presentan las bases de datos utilizadas:

Una vez identificadas las bases de datos, es necesario revisar la información que contiene cada una de ellas para determinar qué variables serán utilizadas durante el análisis. A continuación, se presenta un breve resumen de los datos disponibles en cada una de estas bases.

Notas

La base de datos de notas contiene las asignaturas cursadas por los estudiantes que participaron en la encuesta, asociadas al identificador único (ID) de cada estudiante. Además, registra las calificaciones finales obtenidas en cada una de las asignaturas cursadas, incluyendo tanto asignaturas aprobadas como reprobadas.

Base de datos de la notas
variable Descripción
ID Identificador especifico del estudiante
Asignatura 1-6 Asignaturas cursadas del estudiante dividido en seis secciones
Notas 1-6 Notas finales de las asignaturas cursadas por el estudiante, dividido en seis secciones

Encuesta

La base de datos de la encuesta contiene las respuestas entregadas por todos los estudiantes que participaron en el estudio. Las preguntas pueden agruparse en distintas categorías para facilitar su análisis, tales como antecedentes personales, asignaturas cursadas y percepción sobre las asignaturas.

Si bien en esta sección no se presentarán todas las variables contenidas en la base de datos, sí se mostrarán aquellas consideradas más relevantes para comprender el proceso de análisis. Las variables restantes serán incorporadas y explicadas en las secciones correspondientes cuando sea necesario. En caso de requerirse una descripción completa de todas las preguntas de la encuesta, esta podrá consultarse en el anexo correspondiente.

Base de datos de la encuesta
variables Descripción tipo
ID Identificador especifico del estudiante Identificador
Carrera La carrera que el estudiante esta cursando Categórica
Nivel El nivel dentro de la carrera que esta cursando Numérica
Asignaturas 1-6 Asignaturas cursadas del estudiante dividido en seis secciones Categórica
Porcentaje de tiempo dedicado 1-6 El porcentaje del tiempo dedicado a cada asignatura cursada Porcentaje
Percepcion del tiempo dedicado 1-6 La percepion del estudiante al tiempo que dedico a la asignatura Ordinal

Bitácora

Detro de la base de datos de la bitacora se encuentra un registro de las actividades de los estudiantes voluntarios, estas registros son guardados a traves de intervalos de 15 minutos, ademas de contener la actividad estas contienen una categorización de la actividad junto a un subcategoria con la finalidad de organizar las actividades.

Base de datos de la bitácora
Variable Descripción Tipo
ID Identificador especifico del estudiante Identificador
Hora de inicio Hora de inicio de la actividad Hora
Hora de termino Hora de termino de la actividad Hora
Fehca Fecha de la actividad Fehca
día Dia el cual se realizo la actividad Categorico
Actividad La actividad realizada por el estudiante Categorico

Sct

Por ultimo esta la base de datos de la SCT, esta contiene las carreras y asignaturas de los estudiantes voluntarios ademas de contener el respectivo créditos de SCT-Chile entregados a cada uno de las asignaturas.

Base de datos de la SCT
Valores Descripción Tipo
Carrera Carrera que contiene la asignatura Categorico
Asignatura Asignatura la cual se esta estudiando Categorico
Creditos Creditos de la asignatura Numérica

Estandarizar los datos

Ya conociendo, a grandes rasgos, el contenido de las bases de datos, se mostrarán los pasos realizados para estandarizar los datos. Esto tiene como finalidad mejorar y facilitar el manejo de la información, además de mantener un estándar en los nombres de las asignaturas, carreras y demás variables. A continuación, se presentan cada uno de los pasos realizados.

Eliminación de datos repetidos

Durante el análisis de la base de datos Encuesta, se descubrió que existían estudiantes registrados más de una vez, presentando leves diferencias en sus respuestas. Para esta investigación se decidió conservar únicamente la respuesta más reciente de cada estudiante, descartando las respuestas anteriores.

Destribución de los estudiantes.

Durante la revisión de las carreras de los estudiantes se encontraron tres casos que podían generar problemas durante el análisis estadístico. Estos correspondían a carreras representadas por un único estudiante (Doctorado en Informática, Doctorado en Biomedicina y Magíster en Ingeniería Informática), lo que podía introducir sesgos al momento del modelamiento.

Con el fin de evitar categorías con muy baja representación, se decidió recodificar los estudiantes de doctorado en la carrera de pregrado más afín a su especialidad: Doctorado en Informática fue asociado a Ingeniería Civil en Informática y Doctorado en Biomedicina a Ingeniería Civil en Biomedicina. En el caso del estudiante perteneciente al Magíster en Ingeniería Informática, al no existir una categoría equivalente para su agrupación, se decidió excluirlo del análisis.

Estandarizar la escritura.

  • Se sustituyeron todas las letras mayúsculas por sus correspondientes letras minúsculas.
  • Se eliminaron las tildes de los textos.
  • Se eliminaron espacios en blanco innecesarios.
  • Se transformaron los números romanos a números arábigos.
  • Se eliminaron las palabras “Electivos 1-6” presentes en algunas asignaturas de la base de datos Encuesta.
  • Se estandarizaron los niveles de estudio a valores numéricos.

Estandarizar asignaturas, niveles y carreras.

Durante la revisión de los datos entregados por el estudiantado se observó que las respuestas relacionadas con asignaturas, carreras y niveles presentaban diferencias ortográficas, abreviaciones y distintas formas de numeración.

Para los casos de carreras y niveles, debido a que las diferencias encontradas eran mínimas, se optó por realizar un reemplazo manual.

En el caso de las asignaturas, fue necesario desarrollar un diccionario de correspondencias mediante emparejamiento difuso (Fuzzy Matching) utilizando la distancia de Jaro-Winkler, empleando un umbral máximo de distancia de 0.30. Para construir este diccionario se utilizaron las asignaturas pertenecientes a las bases de datos SCT-Chile y Notas, ya que ambas contienen los nombres oficiales de las asignaturas impartidas por cada carrera.

Además, el uso de la carrera como criterio adicional permitió diferenciar asignaturas con nombres similares, pero pertenecientes a carreras distintas, evitando reemplazos incorrectos que el emparejamiento difuso, por sí solo, no lograba distinguir.

Abreviación de los nombres

Con la finalidad de mejorar la visualización y comprensión de los datos, se redujeron los nombres de las variables, conservando únicamente las palabras más representativas de cada una.

Cambio de los nombres de la variables
Original Cambio
Indique a continuación el porcentaje de tiempo total que dedicó a cada asignatura de este semestre, procurando que la suma de todas las asignaturas sea un 100% Asignatura 1-6 Carga_Declarada_Encuesta
El nivel de carga académica de la asignatura fue bastante abrumadora. Asignatura 1-6 Carga_Percibida_Encuesta
Esta asignatura tuvo una dificultad muy alta. Asignatura 1-6 Dificultad_Percibida_Encuesta
Esta asignatura tuvo una importancia muy alta durante este semestre. 1-6 Importancia_Percibida_Encuesta
Esta asignatura me generó niveles de motivación muy alta durante el semestre. Asignatura 1-6 Motivacion_Percibida_Encuesta
La dedicación a la asignatura fue proporción al rendimiento obtenido. Asignatura 1-6 Dedicacion_Rendimiento_Encuesta
Nivel que cursa actualmente en la carrera (corresponde a la asignatura de nivel mas bajo Nivel
Expresa qué tan de acuerdo o en desacuerdo estás con las siguientes afirmaciones. La carga académica de este semestre es bastante abrumadora. Semestre_Abrumador
Expresa qué tan de acuerdo o en desacuerdo estás con las siguientes afirmaciones. Considero que no tengo suficiente tiempo para completar mis tareas académicas. Tiempo_Insuficiente
Expresa qué tan de acuerdo o en desacuerdo estás con las siguientes afirmaciones. Generalmente me siento estresado/a por las tareas asignadas. Estres_percibido
¿Tiene alguna(s) persona(s) bajo su responsabilidad (cónyugue, familiar, entre otros)? Factor_Responsabilidad
En relación al tiempo de traslado desde y hacia la Universidad, ¿cuánto tiempo invierte diariamente? Factor_Viaje
¿Tuvo, durante el semestre, problemas de salud crónicos o relevantes (incluye condiciones médicas y psicológicas) que haya(n) incidido en el desempeño y tiempo dedicado a las actividades (académicas, personales y laborales)? Factor_Salud
¿Cuál es su principal fuente de financiamiento de sus estudios? Factor_Financiamiento
Tipo establecimiento escolar de egreso Factor_Establecimiento_Escolar

Tambien se hicieron algunos cambios a los nombres de las variables, debido a algunos modificaciónes hechas para analisis que más adelantes se explicaran.

Estandarización de la unidad de medida de la carga académica

Uno de los pasos más importantes de esta investigación consiste en estandarizar la unidad de medida de las distintas formas de carga académica (efectiva, declarada y percibida). Debido a que las cargas efectiva y declarada representan tiempo de dedicación, mientras que la carga percibida corresponde a una escala de opinión, fue necesario definir una unidad común para las primeras dos.

Se optó por expresar la carga académica en horas por semana, ya que este formato facilita la interpretación de los resultados y permite comparar directamente las distintas mediciones.

Conversión de créditos SCT-Chile a horas por semana

Cada crédito SCT-Chile representa 27 horas de trabajo durante el semestre. Considerando que la Universidad de Santiago de Chile define una duración de 18 semanas por semestre, la conversión a horas por semana se realizó mediante la siguiente ecuación:

\[H_s = \frac{C \times 27}{18}\] donde C corresponde a la cantidad de créditos SCT de la asignatura.

Conversión de la carga académica declarada de la encuesta

La carga académica declarada en la encuesta fue registrada como el porcentaje del tiempo total dedicado por el estudiante a cada asignatura. Sin embargo, dicho porcentaje no posee una cantidad absoluta de horas asociada.

Para obtener una estimación en horas por semana, se calcularon primero las horas totales del semestre utilizando la suma de los créditos SCT de todas las asignaturas cursadas por el estudiante. Posteriormente, este total de horas fue distribuido proporcionalmente según los porcentajes declarados por el estudiante y, finalmente, convertido a horas por semana.

Este procedimiento permitió obtener una estimación de la cantidad de horas semanales declaradas para cada asignatura.

Conversión de la carga académica declarada de la bitácora

La base de datos Bitácora posee un formato distinto, por lo que requirió un procedimiento adicional.

En primer lugar, se contabilizó el número de registros asociados a cada asignatura. Posteriormente, cada registro fue multiplicado por 15 minutos, duración correspondiente a cada intervalo registrado en la bitácora. Finalmente, el tiempo total fue convertido a horas y dividido por las 18 semanas del semestre, obteniendo así la carga académica declarada en horas por semana.

Carga académica percibida

En el caso de la carga académica percibida, no fue posible establecer una transformación objetiva desde la escala Likert hacia una unidad de tiempo como horas por semana.

Por esta razón, para esta investigación se decidió mantener esta variable en su escala Likert original y utilizarla como una medida ordinal de percepción de carga académica.

Tabla Descriptiva

Ya teniendo los datos estandarizados para facilitar el análisis, es posible reorganizar las bases de datos para asociar todos los datos dependientes de las asignaturas con su respectiva asignatura. Para ello, se decidió separar las distintas asignaturas cursadas por cada estudiante en filas independientes, manteniendo el identificador del estudiante (ID), la carrera y todos los valores asociados a dicha asignatura. De esta forma, cada fila representa la relación Estudiante–Asignatura. Para ejemplificar esta transformación, véase la siguiente tabla.

Tabla Descriptiva de ejemplo.
estudiante carrera asignatura Carga_Efectiva
ID_1 Carrera 1 Asignatura 1 6
ID_1 Carrera 1 Asignatura 2 5
ID_1 Carrera 1 Asignatura 3 4
ID_1 Carrera 1 Asignatura 4 6
ID_2 Carrera 2 Asignatura 1 6
ID_2 Carrera 2 Asignatura 2 5
ID_2 Carrera 2 Asignatura 3 6
ID_3 Carrera 1 Asignatura 1 4
ID_3 Carrera 1 Asignatura 2 5
ID_3 Carrera 1 Asignatura 3 5
ID_3 Carrera 1 Asignatura 4 6
ID_3 Carrera 1 Asignatura 5 6

Con esta estructura es posible desarrollar una tabla descriptiva para cada una de las bases de datos con la finalidad de integrarlas posteriormente en una única tabla de análisis. A continuación, se describen las modificaciones realizadas en cada una de ellas.

Descriptiva Efectiva

Para la realización de esta tabla no fue necesario modificar su estructura original, ya que esta contiene información propia de las asignaturas y no de los estudiantes. Por ello, no es posible transformarla al formato Estudiante–Asignatura descrito anteriormente.

Sin embargo, esta base de datos será utilizada posteriormente para complementar la información de las demás tablas mediante una unión utilizando como variables comunes la carrera y la asignatura.

Descriptiva Encuesta y Percibida

Para la base de datos de la encuesta se realizó una transformación al formato Estudiante–Asignatura. Para ello, cada asignatura cursada por un estudiante fue convertida en una nueva fila, manteniendo todos los demás datos correspondientes al estudiante.

Como resultado, un mismo estudiante puede aparecer repetido tantas veces como asignaturas haya cursado durante el semestre.

Posteriormente, debido a que este procedimiento genera filas correspondientes a asignaturas inexistentes (valores vacíos), se eliminaron todas aquellas filas que no contenían una asignatura válida.

Dentro de esta misma transformación también se incorporaron los valores correspondientes a la carga académica percibida, ya que estos se encuentran asociados directamente a cada asignatura respondida por el estudiante.

Descriptiva Bitacora

La construcción de esta tabla es más compleja debido a la estructura de la base de datos. La bitácora registra distintas actividades realizadas por el estudiante, como viajes, alimentación, actividades recreativas y estudio.

Para esta investigación únicamente se utilizaron los registros pertenecientes a las categorías Tiempo de estudio autónomo y Asistencia a clases, ya que corresponden al tiempo dedicado a las asignaturas. Posteriormente, mediante la subcategoría registrada fue posible identificar la asignatura correspondiente y construir una tabla en formato Estudiante–Asignatura, acumulando el tiempo dedicado a cada una de ellas.

Durante este proceso se identificó un problema importante relacionado con la calidad de los datos. Un número considerable de estudiantes no completó la bitácora o la completó de forma parcial, por lo que esta base de datos contiene una cantidad significativamente menor de observaciones que la encuesta. En particular, existen aproximadamente 65 registros de asignaturas sin información proveniente de la bitácora.

Debido a que esta situación puede introducir un sesgo en los resultados, posteriormente se realizará un análisis para evaluar dicho sesgo.

Descriptiva Notas

Para incorporar las notas finales de las asignaturas se realizó una transformación similar a la utilizada en la encuesta, convirtiendo las distintas asignaturas de cada estudiante en filas independientes. Debido a que la información de notas ya se encuentra asociada al estudiante, no fue necesario utilizar la carrera durante esta transformación.

Tabla final

Finalmente, se integraron todas las tablas descriptivas en una única base de datos.

Como tabla base se utilizó la información proveniente de la encuesta, ya que contiene la mayor cantidad de variables del estudio. Posteriormente, se incorporó la información de las demás bases de datos mediante uniones utilizando como variables comunes el ID del estudiante, la asignatura y, cuando fue necesario, la carrera.

Este procedimiento permitió asociar correctamente la información correspondiente a cada asignatura cursada por cada estudiante, obteniendo una única tabla que contiene todos los datos necesarios para realizar los análisis posteriores de la investigación.

Sesgo

Como se hizo notar en la sección de la tabla descriptiva de la bitácora, surgió el problema de varios datos faltantes. Debido a esto, la base de datos podría presentar una tendencia hacia un tipo de estudiante en particular, en vez de representar a la población en general. Para comprobar esto, se realizarán distintas pruebas estadísticas con la finalidad de determinar si realmente existe un sesgo o no.

Para ello, se compararon los diferentes resultados de la carga académica declarada con distintas variables que comparten ambas bases de datos.

Notas

Primero se realizó una comparación utilizando las notas de las asignaturas. Para ello se utilizó un t-test, debido a que las notas corresponden a una variable numérica continua. Esta prueba evalúa si existen diferencias entre el promedio de las notas de quienes respondieron la bitácora y quienes no la respondieron.

A continuación se presentan los resultados y su interpretación.

  1. P-value = 0.7439
  • Este valor, al ser mayor que 0.05, indica que no existe evidencia estadísticamente significativa para afirmar que los promedios de ambos grupos sean diferentes, dando un indicio de que no existe un sesgo asociado al rendimiento académico.
  1. No respondió: 4.569 | Respondió: 4.603
  • Se puede observar que los promedios de las notas son muy similares, por lo que no existen diferencias relevantes entre ambos grupos.
  • La diferencia entre ambos promedios es de 0.034, lo que también apoya la ausencia de diferencias estadísticamente significativas.
  • El intervalo de confianza [-0.240 ; 0.173] contiene el valor 0, indicando que la diferencia entre ambos grupos podría ser nula.

Por lo tanto, respecto al rendimiento académico, no se encontró evidencia de un sesgo entre quienes respondieron y quienes no respondieron la bitácora.

Carrera

Posteriormente se comparó la carrera de los estudiantes que respondieron la bitácora con la de aquellos que no lo hicieron. Para ello se utilizaron dos pruebas estadísticas: Chi-cuadrado y Fisher. Ambas evalúan si la probabilidad de responder la bitácora depende de la carrera del estudiante.

  1. Chi-cuadrado: p = 4.8e-06
  • Como el valor obtenido es menor que 0.05, existe evidencia estadísticamente significativa de que la probabilidad de responder la bitácora depende de la carrera cursada por el estudiante.
  1. Fisher: p = 3e-05
  • Al igual que la prueba anterior, este resultado indica que existe una asociación entre la carrera y la probabilidad de responder la bitácora.

Como se puede observar, ambas pruebas indican que sí existe un sesgo asociado a la carrera, lo que significa que algunas carreras se encuentran sobre representadas mientras que otras están subrepresentadas.

Nivel

Al igual que en la comparación por carrera, en esta sección se utilizaron las pruebas de Chi-cuadrado y Fisher para comprobar si existe una relación entre el nivel cursado por el estudiante y la probabilidad de responder la bitácora.

  1. Chi-cuadrado: p = 6.6e-10
  • El valor obtenido indica que existe una asociación estadísticamente significativa entre el nivel del estudiante y la probabilidad de responder la bitácora.
  1. Fisher: p = 1e-05
  • Esta prueba confirma el mismo resultado obtenido anteriormente, indicando que existe una asociación entre ambas variables.

Al igual que ocurrió con la carrera, se observa una sobrerrepresentación de algunos niveles y una subrepresentación de otros, indicando la presencia de un sesgo.

Carga Percibida

Por último, se comparó la carga académica percibida entre quienes respondieron y quienes no respondieron la bitácora. Debido a que esta variable corresponde a una escala de Likert, se utilizó la prueba de Wilcoxon, ya que es apropiada para este tipo de datos.

  1. P-value = 0.5988
  • Como el valor obtenido es mayor que 0.05, no existe evidencia estadísticamente significativa de diferencias en la percepción de la carga académica entre ambos grupos.

Esto indica que los estudiantes que respondieron la bitácora presentan una percepción de la carga académica similar a la de aquellos que no la respondieron.

Como se puede observar a partir de todas las pruebas realizadas, no se encontraron diferencias estadísticamente significativas entre la base de datos de la encuesta y la bitácora respecto al rendimiento académico ni a la percepción de la carga académica. Sin embargo, sí se encontraron diferencias en la distribución de los estudiantes según su carrera y el nivel que cursan.

En consecuencia, la base de datos de la bitácora no representa de manera completamente homogénea a toda la población estudiada. Por ello, los resultados obtenidos a partir de esta base de datos deberán interpretarse considerando el posible sesgo asociado a la carrera y al nivel del estudiante.

Correlaciones

Ya teniendo los datos organizados en una sola tabla y verificando el posible sesgo de estos, se buscará determinar si las cargas académicas presentan algún tipo de relación entre ellas y cuál es la intensidad de dicha relación. Para ello se utilizarán diferentes métodos de correlación, siendo estos Spearman, Pearson y Kendall, los cuales entregarán un primer indicio de la relación existente entre las variables.

Como se observa en los resultados, si bien no existe una correlación considerablemente alta, sí se muestran indicios de una relación entre la carga académica efectiva y la carga académica declarada en la encuesta. Por el contrario, la relación entre la carga académica efectiva y la carga académica declarada en la bitácora es considerablemente menor, lo que podría indicar una mayor discrepancia entre ambas mediciones.

Si bien este análisis permite conocer la relación entre las variables principales, aún es necesario profundizar en otras formas de comparación para comprender de mejor manera las diferencias existentes entre las distintas cargas académicas.

Descripción de las discrepancias respecto de la carga académica efectiva

Tras realizar una revisión de la correlación entre las cargas académicas, queda claro que, si bien estos resultados son importantes, no responden directamente al objetivo principal de esta investigación. Para identificar las discrepancias entre las distintas cargas académicas es necesario analizar las diferencias entre ellas. Para ello se compararán la media, mediana y desviación estándar de las cargas académicas expresadas en horas por semana.

Tabla_media
Medición Media SD Mediana
Carga académica efectiva 5.363985 1.031096 6.000000
Carga académica declarada encuesta 8.481609 4.124788 8.400000
Carga académica declarada bitacora 2.570707 2.268515 1.722222

Como se puede observar en la tabla, la media de la carga académica declarada en la encuesta supera considerablemente el valor medio de la carga académica efectiva. Esto indica que, en promedio, el estudiantado declara dedicar más tiempo al estudio de lo que fue estimado por el profesorado mediante el SCT-Chile. Por otro lado, la carga académica declarada en la bitácora presenta un promedio considerablemente menor que la carga académica efectiva.

Estos resultados muestran la existencia de una discrepancia importante entre las distintas formas de medir la carga académica. En el caso de la encuesta, el estudiantado declara aproximadamente 3.1 horas semanales más que las estimadas por la carga académica efectiva. En cambio, la bitácora presenta el comportamiento opuesto, mostrando que el estudiantado registra menos horas de las esperadas. Una posible explicación para este comportamiento es que algunos estudiantes no registraron la totalidad de las horas dedicadas al estudio o simplemente omitieron algunos registros, situación que cobra relevancia considerando la cantidad de datos faltantes observados previamente.

Por otra parte, la variabilidad de las cargas académicas muestra que la carga académica efectiva presenta una distribución relativamente homogénea, seguida por la carga declarada en la bitácora. En cambio, la carga académica declarada en la encuesta presenta una variabilidad considerablemente mayor, lo que podría indicar que el estudiantado distribuye el tiempo de estudio de manera diferente entre las asignaturas, priorizando algunas por sobre otras.

Por último, es importante destacar la diferencia entre la media y la mediana de la carga académica declarada en la bitácora. Mientras la media corresponde aproximadamente a 2.5 horas por semana, la mediana alcanza solo 1.7 horas por semana. Esta diferencia indica que la distribución presenta una asimetría positiva, donde la mayoría de los estudiantes registra pocas horas de estudio, mientras que un grupo reducido declara una cantidad considerablemente mayor de horas, elevando el promedio general.

Tras analizar estas diferencias, es posible avanzar al estudio de la discrepancia entre la carga académica efectiva y las cargas académicas declaradas en la encuesta y la bitácora. Para ello se incorporarán nuevas columnas que representarán la diferencia entre ambas mediciones mediante la siguiente ecuación: \[D = Declarada-Efectiva \] Con esta diferencia será posible determinar cuántas horas por semana difieren ambas mediciones. Valores positivos indicarán que el estudiante declara dedicar más tiempo del estimado por la carga académica efectiva, mientras que valores negativos indicarán que dedica menos tiempo. Para facilitar la interpretación de estos resultados se utilizarán histogramas y diagramas de caja.

Los histogramas muestran la distribución de la diferencia entre la carga académica efectiva y las cargas declaradas en la encuesta y la bitácora, respectivamente. Mientras más cercanos se encuentren los valores al cero, menor será la discrepancia entre ambas mediciones.

En el histograma correspondiente a la encuesta se observa que la mayor parte de las diferencias son positivas, indicando que el estudiantado declara dedicar más horas al estudio que las estimadas por la carga académica efectiva. Esto evidencia una discrepancia importante entre ambas mediciones.

Por el contrario, el histograma correspondiente a la bitácora muestra que la mayoría de las diferencias son negativas, indicando que las horas registradas por el estudiantado son inferiores a las estimadas por la carga académica efectiva, resultado consistente con las diferencias observadas anteriormente en las medias.

Posteriormente se analizarán los diagramas de caja para ambas diferencias.

Los diagramas de caja muestran un comportamiento similar al observado en los histogramas. En el caso de la encuesta, la mediana se encuentra sobre el valor cero, indicando que predominan diferencias positivas. Además, se observan algunos valores atípicos considerablemente alejados del resto de los datos, correspondientes a estudiantes que declaran dedicar una cantidad de horas muy superior a la estimada por la carga académica efectiva.

Por otra parte, el diagrama de caja correspondiente a la bitácora presenta una mediana bajo el valor cero, indicando que predominan diferencias negativas. Esto refuerza la observación de que el estudiantado registra menos horas de estudio que las estimadas por la carga académica efectiva. No obstante, estos resultados deben interpretarse con cautela, ya que la información registrada en la bitácora depende completamente del registro realizado por cada estudiante, pudiendo existir horas de estudio que no fueron registradas.

Análisis de equivalencia de las formas de medir la carga académica

Tras analizar el comportamiento de las discrepancias entre las formas de medir la carga académica, es necesario revisar si estas formas de medición son equivalentes entre ellas. Para ello se utilizará el método de Bland-Altman, el cual ayudará a evaluar el grado de acuerdo existente entre las mediciones.

Para realizar este análisis, primero se debe averiguar si las diferencias entre las cargas académicas presentan un sesgo sistemático. Para esto se utilizará la media de las diferencias, la cual permitirá identificar si una medición presenta valores sistemáticamente superiores, inferiores o semejantes respecto a la otra.

Como se observó anteriormente, estos resultados muestran la presencia de un sesgo sistemático. En el caso de la encuesta, el sesgo positivo indica que los valores de la carga académica declarada son, en promedio, mayores que los valores de la carga académica efectiva. Por el contrario, el sesgo negativo encontrado en la bitácora indica que los valores registrados son, en promedio, inferiores a la carga académica efectiva.

Posteriormente, es necesario conocer la magnitud del desacuerdo entre las mediciones mediante los límites de acuerdo, los cuales permiten identificar el intervalo donde se espera encontrar la mayoría de las diferencias.

  1. Diferencia Encuesta:
  1. Diferencia Bitácora:

Se puede observar que los límites de acuerdo de la bitácora presentan un intervalo menor que los encontrados para la encuesta, indicando una menor dispersión de las diferencias. También se puede observar el desplazamiento de ambos intervalos respecto al valor cero: en el caso de la bitácora, el intervalo se encuentra mayormente en valores negativos, mientras que en la encuesta se encuentra principalmente en valores positivos.

Por último, es necesario revisar si la diferencia entre las mediciones depende de la magnitud de la carga académica. Para ello se utilizarán las diferencias calculadas anteriormente junto con el promedio de ambas mediciones para generar los diagramas de Bland-Altman. Estos permitirán observar si la discrepancia presenta algún patrón relacionado con el tamaño de la carga académica.

Bland_Altman_Dif_Encuesta

Bland_Altman_Dif_Bitacora
## Warning: Removed 63 rows containing missing values or values outside the scale range
## (`geom_point()`).

El análisis de Bland-Altman entre la carga académica efectiva y la declarada mediante la encuesta muestra un sesgo positivo. El promedio de las diferencias indica que los estudiantes declaran dedicar aproximadamente tres horas semanales adicionales respecto a la carga académica efectiva. Por otro lado, los límites de acuerdo muestran una variabilidad considerable, pudiendo encontrarse diferencias positivas de hasta aproximadamente 10 horas semanales.

Finalmente, se observa visualmente una tendencia creciente entre el promedio de ambas mediciones y sus diferencias, lo que podría sugerir la presencia de un sesgo proporcional. Esto indicaría que, a medida que aumenta la magnitud promedio de la carga académica, también tiende a aumentar la discrepancia entre ambas formas de medición.

Por su parte, el análisis de Bland-Altman entre la carga académica registrada mediante la bitácora y la carga efectiva evidencia un sesgo negativo. En consecuencia, las horas semanales registradas por los estudiantes son, en promedio, inferiores a las estimadas mediante los créditos SCT. También se puede observar que los límites de acuerdo, si bien son menores que los obtenidos mediante la encuesta, presentan una variabilidad considerable, por lo que ambas formas de medición no pueden considerarse completamente intercambiables.

Además, al analizar el diagrama se puede observar visualmente una tendencia entre el promedio de las mediciones y la diferencia observada, lo que podría sugerir, al igual que en la encuesta, la presencia de un sesgo proporcional. Finalmente, la distribución escalonada de los puntos puede estar relacionada con el carácter discreto de las mediciones utilizadas, particularmente por la forma en que se encuentran estructurados los créditos SCT y los intervalos de tiempo registrados en la bitácora.

Análisis de la concordancia entre las formas de medir la carga académica

Tras el análisis de Bland-Altman se encontró que las distintas formas de medir la carga académica presentan diferencias importantes. Sin embargo, también es necesario determinar el grado de concordancia existente entre ellas. Para ello se utilizará el coeficiente de correlación de concordancia de Lin, el cual permite evaluar el grado de acuerdo entre dos mediciones.

Concordancia de lim
comparación concordancia IC95
SCT vs Encuesta 0.131 0.094 - 0.168
SCT vs Bitácora 0.054 0.011 - 0.097

Como se puede observar en la tabla, los valores de concordancia obtenidos son considerablemente bajos. Esto se observa especialmente en la comparación entre la carga académica efectiva (SCT) y la carga registrada mediante la bitácora, donde se obtuvo un coeficiente de aproximadamente 0.05. Estos resultados indican una concordancia muy baja entre las formas de medición y sugieren que no pueden considerarse intercambiables con la carga académica efectiva.

Las representaciones gráficas permiten visualizar con mayor claridad estas diferencias. Para la carga académica declarada mediante la encuesta se observa una cantidad importante de valores por encima de la línea de concordancia, indicando que las horas declaradas tienden a ser superiores a las correspondientes a la carga académica efectiva. Por otro lado, en la bitácora se observa el comportamiento contrario, con una mayor presencia de valores por debajo de la línea de concordancia, indicando registros de horas inferiores a la carga efectiva.

Hasta este punto, los resultados obtenidos mediante Bland-Altman y el coeficiente de concordancia de Lin indican que la carga académica efectiva basada en SCT presenta un bajo grado de concordancia con las mediciones obtenidas mediante la encuesta y la bitácora para la población analizada.

Analisis preventivo sobre los factores influyentes a la carga academica

Tras encontrar que existe una discrepancia entre la carga académica efectiva y las mediciones obtenidas mediante la encuesta y la bitácora, se continuará la investigación utilizando modelos mixtos con el propósito de identificar factores que puedan estar asociados a estas discrepancias.

Este enfoque permite distinguir la variabilidad asociada al estudiante y a la asignatura mediante el uso de efectos aleatorios. Posteriormente, se incorporarán variables académicas, personales e institucionales como efectos fijos para evaluar su asociación con las diferencias observadas.

##      Modelo      AIC DeltaAIC
## 1  Personal 1271.793  0.00000
## 2 Académico 1287.638 15.84447
## 3  Completo 1298.932 27.13907
##      Modelo      AIC DeltaAIC
## 1  Personal 784.3606 4.406509
## 2 Académico 787.0867 7.132582
## 3  Completo 779.9541 0.000000

Como se puede observar en los resultados de las tablas de comparación, para la carga académica declarada mediante la encuesta, el modelo Personal presenta el menor AIC, con un valor de 1271.793. Los modelos Académico y Completo presentan diferencias de AIC de 15.84 y 27.14, respectivamente, indicando un apoyo considerablemente menor respecto al modelo Personal. Por otro lado, para la carga académica declarada mediante la bitácora, el modelo Completo presenta el menor AIC, con un valor de 779.954. En este caso, los modelos Personal y Académico presentan diferencias de AIC de 4.41 y 7.13, respectivamente. Por lo tanto, se seleccionará el modelo Personal para el análisis de la discrepancia de la encuesta y el modelo Completo para el análisis de la discrepancia de la bitácora.

De acuerdo con el criterio de Burnham y Anderson (2002), diferencias de AIC superiores a 10 indican un apoyo considerablemente menor para los modelos con mayor AIC. Esto se observa claramente en el caso de la encuesta, donde los modelos Académico y Completo presentan diferencias superiores a 10 respecto al modelo Personal. En el caso de la bitácora, si bien el modelo Completo presenta el menor AIC y será utilizado para los análisis posteriores, las diferencias respecto a los modelos Personal y Académico son menores a 10, por lo que la evidencia a favor del modelo Completo no es tan marcada como en el caso de la encuesta.

Una vez seleccionado el modelo correspondiente, es de interés determinar qué proporción de la variabilidad observada puede asociarse al estudiante y cuál a la asignatura. Para ello se analizarán los efectos aleatorios incorporados en el modelo, representando gráficamente las varianzas correspondientes al estudiante, la asignatura y el componente residual.

Los resultados muestran que, entre los efectos aleatorios considerados, la asignatura presenta una mayor variabilidad que el estudiante. Esto sugiere que las diferencias entre asignaturas podrían estar relacionadas con una mayor proporción de la variabilidad observada en las discrepancias. Sin embargo, también se observa un componente residual considerable, indicando que una parte importante de la variabilidad no es explicada por los efectos aleatorios incluidos en el modelo.

Tras analizar la variabilidad correspondiente a los efectos aleatorios, es de interés identificar cuáles de las variables incorporadas como efectos fijos presentan una mayor asociación con la discrepancia. Para ello se utilizará un forest plot, el cual permitirá representar los efectos estimados y su incertidumbre para cada una de las variables consideradas.

En el caso de la carga académica declarada mediante la encuesta, el forest plot permite observar que variables relacionadas con la carga percibida, la dificultad percibida y la importancia percibida presentan algunos de los efectos estimados de mayor magnitud sobre la discrepancia. Por otro lado, para la carga académica registrada mediante la bitácora, variables como el tiempo insuficiente, la motivación y el estrés percibido presentan efectos estimados relevantes.

Estos resultados sugieren que diferentes características relacionadas con la percepción del estudiante podrían estar asociadas con las discrepancias observadas entre la carga académica efectiva y las mediciones declaradas. Sin embargo, estos resultados representan asociaciones estadísticas y no necesariamente relaciones causales, por lo que deberán ser interpretados junto con los demás análisis realizados.

Prediccón de la discrepancia

Teniendo un análisis de cuáles son las variables asociadas a la discrepancia entre las cargas académicas, es momento de evaluar si es posible predecir esta diferencia entre la carga académica efectiva y las cargas académicas declaradas mediante la encuesta y la bitácora. Para ello, primero es necesario determinar qué algoritmos pueden generalizar de mejor manera, con la finalidad de estimar esta diferencia para observaciones no utilizadas durante el entrenamiento. Considerando lo anterior, se decidió utilizar los siguientes algoritmos:

Tabla de algoritmos
metodo Algoritmo Tipo
lm Regresión Lineal Múltiple Lineal
ridge Regresión Ridge Regresión regularizada
lasso Regresión LASSO Regresión regularizada
glmnet Elastic Net Regresión regularizada
pcr Regresión por Componentes Principales Reducción de dimensionalidad
pls Regresión por Mínimos Cuadrados Parciales Reducción de dimensionalidad
knn K-Nearest Neighbors Regression Basado en vecinos
svmRadial Support Vector Machine con kernel radial Aprendizaje de margen máximo
rpart Árbol de Decisión para Regresión Árbol
rf Random Forest Ensamble de árboles
ranger Random Forest (implementación Ranger) Ensamble de árboles
gbm Gradient Boosting Machine Boosting
cubist Cubist Rule-Based Regression Reglas + árboles
earth Multivariate Adaptive Regression Splines Regresión no lineal

Antes de comenzar a analizar estos algoritmos, primero es necesario preparar los datos, debido a que algunos de ellos no fueron diseñados para trabajar directamente con datos categóricos. Por esta razón, se modificarán estas variables para que puedan ser utilizadas durante el entrenamiento. Para lograrlo se hará uso de variables dummy, las cuales transforman una variable categórica en nuevas columnas dependiendo de las categorías que esta contenga. Estas nuevas columnas toman valores de cero y uno, indicando si una observación pertenece o no a una determinada categoría.

Tabla Descriptiva de ejemplo.
estudiante Original A B C
Estudiante 1 Respuesta A 1 0 0
Estudiante 2 Respuesta A 1 0 0
Estudiante 3 Respuesta B 0 1 0
Estudiante 4 Respuesta B 0 1 0
Estudiante 5 Respuesta C 0 0 1

Tras transformar las variables categóricas en variables dummy y eliminar las columnas categóricas originales correspondientes, se puede comenzar con el entrenamiento de los algoritmos. Para ello se hará uso del método Group K-Fold, el cual permite generar particiones manteniendo agrupadas las observaciones que poseen un elemento en común. Esto es importante debido a la estructura Estudiante-Asignatura de los datos, donde un mismo estudiante puede aparecer múltiples veces dependiendo de la cantidad de asignaturas que curse. De esta manera, las observaciones correspondientes a un mismo estudiante permanecen dentro de un mismo grupo y no son distribuidas simultáneamente entre entrenamiento y validación. Este procedimiento se realizará utilizando 10 particiones. Por otro lado, algunos algoritmos requieren que las variables numéricas sean escaladas debido a que son sensibles a las diferencias de escala. Por esta razón, el preprocesamiento mediante escalado será aplicado a aquellos algoritmos que lo requieran.

Teniendo los algoritmos entrenados mediante validación cruzada, será posible distinguir cuáles presentan un mejor desempeño con los datos disponibles. Para ello se utilizarán los valores de RMSE, MAE y R2. El RMSE y el MAE permiten evaluar el error de las predicciones, donde valores menores indican un mejor desempeño. Por otro lado, R2 representa la proporción de la variabilidad de la discrepancia que puede ser explicada por las predicciones del modelo. Por lo tanto, en términos generales, menores valores de RMSE y MAE, junto con mayores valores de R2, indican un mejor desempeño predictivo. A continuación, se presentan los resultados obtenidos después del entrenamiento de cada algoritmo.

Tabla Comparativa Encuetsa.
Metodo RMSE RMSE_SD MAE MAE_SD R2 R2_SD
Baseline (Media) 3.797741 NA 2.914436 NA 0.0000000 NA
lm 3.410513 0.9183876 2.667395 0.6430046 0.3163266 0.2098776
glmnet 3.270435 0.9149907 2.545273 0.6561278 0.3467603 0.2230007
rpart 3.569673 1.0128454 2.855191 0.7456741 0.2374341 0.2511373
rf 3.281229 0.9233844 2.537914 0.6990052 0.3003544 0.1889970
svmRadial 3.365404 1.0243082 2.617333 0.7219884 0.3107607 0.1888182
ridge 3.317179 0.8656495 2.606374 0.5918941 0.3373575 0.2237708
pls 3.240918 0.8539255 2.537466 0.6030463 0.3485498 0.2159174
pcr 3.711894 1.1110185 2.868055 0.7867273 0.0931945 0.1210064
knn 3.510448 1.0045786 2.736023 0.7290749 0.2670134 0.1907483
ranger 3.209919 0.6452442 2.488052 0.4983222 0.2258810 0.1190233
gbm 3.267752 0.7490347 2.569957 0.5993544 0.2939932 0.1858791
cubist 3.362865 0.8528292 2.629583 0.5856528 0.2825142 0.2414999
earth 3.430647 0.8442804 2.677906 0.5796569 0.2762274 0.2137514
Tabla Comparativa Bitacora
Metodo RMSE RMSE_SD MAE MAE_SD R2 R2_SD
Baseline (Media) 2.315138 NA 1.781640 NA 0.0000000 NA
lm 2.430619 0.5530274 1.985624 0.5304815 0.1423202 0.1199184
glmnet 2.080265 0.6143542 1.647328 0.5099424 0.1631855 0.1262584
rpart 2.286920 0.5965878 1.733190 0.5033641 0.1190882 0.0542050
rf 2.070767 0.5661045 1.635520 0.4808277 0.1473142 0.1089040
svmRadial 2.090203 0.6829910 1.610903 0.5322919 0.1815807 0.1739500
ridge 2.316476 0.5788614 1.875569 0.5277087 0.1578863 0.1334865
pls 2.092506 0.5959954 1.662201 0.5045541 0.1761480 0.0918167
pcr 2.133852 0.5847733 1.699768 0.4547555 0.0886262 0.0942256
knn 2.252153 0.6299373 1.756814 0.5998361 0.1213750 0.1274652
ranger 1.994799 0.5033790 1.620726 0.4570491 0.1500301 0.1221339
gbm 2.112473 0.4495774 1.670527 0.3929494 0.1151172 0.0867505
cubist 2.204853 0.5952728 1.712346 0.5259362 0.1357326 0.1027838
earth 2.276122 0.5533158 1.775244 0.4675483 0.1303288 0.1027948

Observando los valores presentados en la tabla anterior, se puede comenzar la selección considerando inicialmente los cinco algoritmos con menor RMSE. Posteriormente, estos algoritmos serán comparados utilizando también sus valores de MAE y R2, con la finalidad de determinar cuáles presentan un mejor desempeño general con los datos disponibles. Con ello, se obtienen los siguientes cinco algoritmos con mejores resultados:

Tabla Comparativa Encuesta
algoritmos ranger rf pls gbm glmnet
ranger empatan empatan empatan empatan empatan
rf empatan empatan empatan empatan empatan
pls empatan empatan empatan empatan empatan
gbm empatan empatan empatan empatan empatan
glmnet empatan empatan empatan empatan empatan
Tabla Comparativa Bitacora
algoritmos ranger rf pls svmRadial glmnet
ranger empatan empatan empatan empatan empatan
rf empatan empatan empatan empatan empatan
pls empatan empatan empatan empatan empatan
svmRadial empatan empatan empatan empatan empatan
glmnet empatan empatan empatan empatan empatan

Como se puede observar, los cinco algoritmos seleccionados presentan desempeños estadísticamente similares. Si bien existen diferencias en sus métricas, estas no son suficientes para establecer una superioridad estadísticamente significativa de uno de ellos sobre los demás. Por esta razón, y considerando sus resultados de RMSE, MAE y R2, se seleccionaron Ranger y PLS para la discrepancia obtenida mediante la encuesta, mientras que para la discrepancia obtenida mediante la bitácora se seleccionaron Random Forest (RF) y SVM Radial.

Tabla de algoritmos
Base Algoritmo RMSE MAE R2
Encuesta 1 Ranger 3.209919 2.488052 0.2258810
Encuesta 2 Pls 3.240918 2.537466 0.3485498
Bitácora 1 Rf 2.070767 1.635520 0.1473142
Bitácora 2 SvmRadial 2.090203 1.610903 0.1815807

Teniendo los algoritmos entrenados y seleccionados, se puede comenzar a analizar cómo realizan sus predicciones sobre las discrepancias entre las cargas académicas. Para comprender estas predicciones se utilizarán inicialmente gráficos de importancia de variables y SHAP. Primero se visualizará el gráfico de importancia, el cual busca mostrar qué variables son más importantes para mantener la capacidad predictiva del algoritmo. En este caso, la importancia se obtiene mediante el cambio en el desempeño del modelo cuando la información de una variable es alterada. Por ello, una mayor importancia indica que el modelo depende en mayor medida de dicha variable para realizar sus predicciones. Sin embargo, este análisis no permite determinar por sí solo si una variable aumenta o disminuye la discrepancia.

Dentro de los algoritmos utilizados para predecir la diferencia entre la carga académica efectiva y la carga académica declarada mediante la encuesta, se observa que para Ranger una de las variables con mayor importancia corresponde a la dificultad percibida de las asignaturas, presentando una importancia considerablemente mayor que otras variables. Por otro lado, la dedicación relacionada con el rendimiento presenta una importancia menor. Esto indica que la dificultad percibida contiene información relevante para las predicciones realizadas por Ranger, aunque este gráfico por sí solo no permite determinar si una mayor dificultad aumenta o disminuye la discrepancia. Por otro lado, el algoritmo PLS muestra una importancia elevada para la asignatura Bioinformática, seguida por la dificultad percibida y la asignatura Paradigmas de Programación. Si bien resulta interesante que determinadas asignaturas presenten una importancia elevada, esto indica que pertenecer a estas categorías contiene información utilizada por el algoritmo para realizar sus predicciones. Además, la dificultad percibida aparece nuevamente entre las variables importantes, mostrando un elemento en común entre ambos algoritmos.

De manera similar a lo observado en los algoritmos correspondientes a la encuesta, en los modelos utilizados para la bitácora se observa que la dificultad percibida presenta una importancia relevante. Aunque este análisis no permite determinar si su efecto aumenta o disminuye la discrepancia, indica que esta variable contiene información utilizada por los modelos para realizar sus predicciones. Además, al igual que ocurrió con PLS, en SVM Radial aparecen asignaturas como Paradigmas de Programación y Bioinformática entre las variables de mayor importancia, indicando que estas categorías aportan información relevante para las predicciones realizadas por el algoritmo.

Una vez analizados los gráficos de importancia, se utilizarán los valores SHAP para comprender con mayor profundidad la contribución de las variables a las predicciones realizadas por los algoritmos. Los valores SHAP permiten representar cuánto contribuye una determinada variable a desplazar una predicción respecto al valor de referencia del modelo. Una contribución positiva desplaza la predicción hacia valores mayores de la discrepancia, mientras que una contribución negativa la desplaza hacia valores menores. Analizando los resultados correspondientes a la encuesta, se observa que la importancia percibida de la asignatura presenta contribuciones relevantes hacia valores positivos de la discrepancia. Esto sugiere que, para determinadas observaciones, valores asociados a una mayor importancia percibida contribuyen a que el modelo prediga discrepancias más positivas. En el caso de Ranger, también se observan contribuciones asociadas a la motivación percibida. Por otro lado, en PLS, además de la importancia, aparecen la dificultad y la motivación entre las variables con contribuciones relevantes. Finalmente, ambos modelos muestran contribuciones relacionadas con la variable correspondiente al establecimiento escolar particular subvencionado, aunque su interpretación debe realizarse considerando cuál es la categoría de referencia utilizada durante la codificación dummy.

Los diagramas correspondientes a la diferencia entre la carga académica efectiva y la declarada mediante la bitácora presentan algunos patrones similares a los encontrados para la encuesta. La importancia percibida de la asignatura presenta contribuciones relevantes sobre las predicciones de la discrepancia. Además, la motivación y la dificultad percibida también aparecen entre las variables con contribuciones importantes, aunque con magnitudes diferentes. La presencia repetida de estas variables en los modelos de encuesta y bitácora resulta relevante, ya que sugiere que contienen información útil para predecir ambas formas de discrepancia. Por otro lado, nuevamente aparecen contribuciones asociadas a la variable correspondiente al establecimiento escolar particular subvencionado. Sin embargo, estos resultados no permiten afirmar que la procedencia de un determinado establecimiento provoque una mejor adaptación a la carga académica, sino solamente que esta variable contribuye a las predicciones realizadas por los modelos.

Por último, se analizará el gráfico SHAP beeswarm, el cual permite observar simultáneamente la distribución y magnitud de las contribuciones SHAP de cada variable a través de las diferentes observaciones. De esta forma, es posible identificar variables cuyas contribuciones presentan una mayor dispersión y, por lo tanto, pueden modificar las predicciones en distinta magnitud dependiendo del estudiante y la asignatura. En los gráficos correspondientes a la encuesta se observa nuevamente que variables como la importancia, la motivación y la dificultad percibida presentan contribuciones relevantes. Además, se observan diferencias en la dispersión de los valores SHAP entre Ranger y PLS, indicando que la magnitud y variabilidad de las contribuciones de estas variables dependen del algoritmo utilizado.

Finalmente, en los gráficos correspondientes a los algoritmos utilizados para predecir la discrepancia de la bitácora se observan patrones similares a los encontrados para la encuesta. Variables como la importancia, dificultad y motivación percibida presentan contribuciones relevantes en las predicciones. También se observa nuevamente la presencia de la variable asociada al establecimiento escolar particular subvencionado. En conjunto, estos resultados muestran que algunas variables relacionadas con la percepción de las asignaturas aparecen repetidamente como información relevante para la predicción de las discrepancias, aunque la magnitud y dirección de sus contribuciones varían dependiendo del algoritmo y de cada observación.