Universidad Católica de Oriente, a la Verdad por la Fé y la Ciencia

1. Análisis de estudiantes en Riesgo

Uno de los objetivos más importantes a la hora de presentar la prueba diagnóstica es identificar cuáles de los estudiantes presentan alguna condición de riesgo para que puedan ser intervenidos. Desde el programa Pedagogos, desde la dirección de Bienestar y Pastoral y desde las diferentes decanaturas y coordinaciones es bien sabido que los recursos son limitados y se deben atender a los estudiantes con mayores necesidades con el fin de evitar eventos de bajo rendimiento académico y desersión universitaria. El riesgo asociado a tener un bajo rendimiento académico en las competencias evaluadas se estimó a partir de un modelo de capacidad, corregido por los diferentes programas y sus áreas de aprendizaje. Para iniciar presentaremos el resultado global de las pruebas presentadas, si desea puede filtrar la información para ver representado su programa:

##           Group1  Overlap         Group2
## 1         Inglés 82.82482 Lectoescritura
## 2         Inglés 58.03924    Matemáticas
## 3 Lectoescritura 82.63152         Inglés
## 4 Lectoescritura 58.52290    Matemáticas
## 5    Matemáticas 58.33215         Inglés
## 6    Matemáticas 58.95585 Lectoescritura
## NULL

Figura 1: Histograma de frecuencia sobre la calificación de la prueba de matemáticas, lectoescritura e inglés

En esta Figura se observan las distribuciones características de las calificaciones obtenidas por los estudiantes, es de anotar que las notas promedio en las pruebas de lectoescritura e inglés fueron superiores a las de matemáticas. En el recuadro Overlap se muestra el porcentaje de cruce entre las puntuaciones de las diferentes pruebas, por ejemplo el 82.82% de los estudiantes tuvieron puntuaciones similares en la prueba de inglés y lectoescritura

Tabla 1: análisis descriptivo de la prueba

Para clasificar a los estudiantes en riesgo se hizo uso de un modelo para datos atípicos utilizando 1.5 veces el RIQ y se utiliza una regresión logística para corregir el riesgo de acuerdo al tipo de programa y área del conocimiento.

En la siguiente Tabla publicamos los resultados del análisis de Riesgo por Estudiantes: Haga click en el siguiente link para descargar el archivo de excel:Base de Datos en Excel

Tabla 2: Gestión del riesgo en estudiantes que presentaron la prueba

En la Tabla de Excel aparecen resaltado con rojo aquellos estudiantes que presentan un alto riesgo de tener un bajo rendimiento académico o de desertar, en amarillo aquellos estudiantes con un riesgo moderado y en verde los que definitivamente de acuerdo al modelo no presentan riesgos. De todos los estudiantes que presentaron la prueba 27 (Aproximadamente el 11.84% ) presentan alto riesgo de deserción.

Con base en los límites planteados por el modelo, se realizó un modelo de capacidad que permite estimar la distribución de la calificación de los estudiantes y predice el porcentaje de ellos que tendrán bajo rendimiento académico y probablemente desertarán según los resultados presentados:

## 
##  Anderson Darling Test for normal distribution
## 
## data:  datos[, var] 
## A = 2.5232, mean = 2.566, sd = 1.048, p-value = 2.164e-06
## alternative hypothesis: true distribution is not equal to normal

Figura 2: indices de capacidad para los resultados de la prueba de Inglés

La Figura 2, 3 y 4 presentan la distribución de las puntuaciones de los estudiantes y permite predecir (unicamente con base en los resultados de las pruebas) el porcentaje de ellos que tendrán algún tipo de dificultad con el área de conocimiento evaluado (Expected Fraction Nonconforming - criterio PL). En este caso para la prueba de inglés el porcentaje de estudiantes nuevos que podría tener problemas en su rendimiento académico por inglés es del 15.45%, identificados estos en la Tabla 2 con riesgo moderado y alto. Por otro lado el indicador PL ubicado en el cuadro (Expected Fraction Nonconforming PU) indica que el 1.65% de los estudiantes (PU) tuvieron puntuaciones extremadamente sobresaliente. De acuerdo a los índices de capacidad el escenario ideal de la prueba es CpKU = 1.00 y en este caso la prueba tuvo un Cpku = 0.52, lo que puede llevar a ajustes en la prueba como por ejemplo incrementar el número de preguntas o clasificar las preguntas por competencias específicas en inglés (reading, speaking and listening and, writting).

El estadístico de Anderson Darling (A) es una prueba de hipótesis la cuál determina si la distribución de los datos se comporta de manera normal. Cuando el valor-P de la prueba es menor a 0.05, es evidencia de que no hay una distribución normal de las puntuaciones. En este tipo de pruebas lo ideal es tener una distribución normal de las puntuaciones, en caso de que no puede ser debido a respuestas dadas al azar, plagio en el exámen o nivel de dificultad inadecuado.

## 
##  Anderson Darling Test for normal distribution
## 
## data:  datos[, var] 
## A = 1.2285, mean = 2.366, sd = 0.837, p-value = 0.00329
## alternative hypothesis: true distribution is not equal to normal

Figura 3: Índices de capacidad para los resultados de la prueba de Lectoescritura

Para el caso de la prueba de Lectoescritura (Figura 3), se predice que el 15.05% de los estudiantes (Pl) pueden tener déficit en la puntuación y por tanto pueden ser clasificados como estudiantes en riesgo, mientras que el 0.18% de los estudiantes (PU) tuvieron puntuaciones extremadamente sobresaliente. De acuerdo a los índices de capacidad el escenario ideal de la prueba es CpKu = 1.00 y en este caso la prueba tuvo un CpkU = 0.97. En ese sentido el comportamiento de esta prueba fue bueno, aunque se sugiere organizarla por competencias.

## 
##  Anderson Darling Test for normal distribution
## 
## data:  datos[, var] 
## A = 0.9047, mean = 1.507, sd = 0.659, p-value = 0.02079
## alternative hypothesis: true distribution is not equal to normal

Figura 4: Índice de capacidad para los resultados de la prueba de Matemáticas

En la Figura 4 se identifica que el 14.68% de los estudiantes (Pl) que presentaron la prueba de matemáticas tendrán déficit en las competencias evaluadas y por tanto pueden ser clasificados como estudiantes en riesgo, mientras que el 0.05% de los estudiantes (PU) tuvieron puntuaciones extremadamente sobresaliente. De acuerdo a los índices de capacidad el escenario ideal de la prueba es CpKu = 1.00 y en este caso la prueba tuvo un Cpu= 0.86, también se recomienda aumentar el número de preguntas para tener mejor comportamiento en las pruebas.

1.1. Estudiantes nuevos que no presentaron la prueba diagnóstica en el 2021-2

De acuerdo a los estudiantes de nuevo ingreso, se construyó una Tabla para identificar cuáles fueron los estudiantes que no presentaron las pruebas, a continuación en la Tabla 2 se presentan estos estudiantes:

Tabla 3: Estudiantes que no presentaron la prueba:

Para los estudiantes que no presentaron la prueba diagnóstica 126 correspondientes al *26% del total de estudiantes nuevos se recomienda actualizar la prueba diagnóstica incluyendo las competencias en el componente de LectoEscritura e Inglés y configurar Moodle para poder realizar el análisis factorial y validar la prueba.

2. Análisis de fiabilidad de escala y estructura factorial: indicadores de la validez de constructo de la prueba diagnóstica

Para poder realizar un análisis de fiabilidad y validez de constructo a partir del estadístico de estadísticos de Autocorrelación multivariada (Indicador de Kayser Meyer-Olkin (KMO)), fiabilidad de escala (alpha de Cronbach y Lambda de Guttman) y el análisis factorial exploratorio y confirmatorio es necesario que las preguntas en cada uno de los cuestionarios se les haya hecho la debida tipificación por competencias, temas o resultados de aprendizaje; es por ello que este tipo de análisis solo será posible realizarlo a la prueba de matemáticas donde se ha tipificado adecuadamente cada una de las preguntas.

2.1. Prueba de Matemáticas

2.1.1. Pruebas de fiabilidad de escala e indices de adecuación factorial

Para analizar el grado de confiabilidad inicial y adecuacuón de las tres competencias en la prueba de matemáticas creada (Formulación y ejecución,Razonamiento y argumentación e interpretación y representación), se calculó el coeficiente Alpha de Cronbach y el Lambda 6 de Guttman para las 15 preguntas que agrupan las 3 competencias, con ellas se aplicó el estadístico KMO, el cuál si es superior a 0.7 permite realizar el análisis factorial adecuadamente.

El Alfa de Cronbach evalúa la consistencia o confiabilidad interna que tienen las preguntas de un instrumento construido con cualquier tipo de escala de opciones múltiples. Para esta prueba se calcula la correlación de cada variable con cada una de los otras, dejando una cantidad de coeficientes de correlación, donde el promedio de todos los coeficientes es el valor de la prueba. Si esta medida es alta, suponemos tener evidencia de la homogeneidad de dicha escala, es decir, que los ítems están “apuntando” en la misma dirección y viceversa (Quero, 2010).

El Lambda 6 de Guttman es otra medida de confiabilidad, obtenida a partir del coeficiente de determinación de cada ítem con respecto a todos los demás, es decir, de correlaciones múltiples al cuadrado. (Mendoza, 2018)

En la Tabla 4 se muestra el cálculo del Alfa de Cronbach crudo y estandarizado para esta prueba de Matemáticas:

Tabla 4 se presenta el alfa de Cronbach y el Lambda de Guttman para todo el instrumento

De acuerdo a la Tabla 4 como el alfa de Cronbach crudo y estandarizado es de 0.31 se concluye que la prueba de matemáticas no está midiendo adecuadamente las habilidades en matemáticas, es decir los items no apuntan en el mismo sentido, por lo que la pruebano cuenta con una fiabilidad adecuada. Se recomienda entonces aumentar el número de preguntas por competencias.

El Índice Kaiser-Meyer-Olkin -KMO- mide la adecuación de la muestra. Indica qué tan apropiado es aplicar el análisis factorial. Cuanto más cerca de 1 esté el valor obtenido de la prueba KMO, implica que la relación entre las variables es alta.

Si KMO ≥ 0.9, la prueba es muy buena; notable para KMO ≥ 0.8; mediano para KMO ≥ 0.7; bajo para KMO ≥ 0.6; y muy bajo para KMO < 0.5.. Para el caso de la prueba de Matemáticas el KMO es de 0.47 por lo que para esta prueba no es adecuado aplicar el análisis factorial.

La prueba de esfericidad de Bartlett evalúa la aplicabilidad del análisis factorial de las variables estudiadas. El modelo es significativo (no se rechaza la hipótesis nula, H0) cuando se puede aplicar el análisis factorial (Chávez, 2017). Los valores de P menores a 0.001 indican que se puede realizar un análisis factorial. Para este caso, el análisis de Bartlett sugiere que no existe correlación significativa entre las variables por lo tanto no es posible hacer el análisis factorial 0.05

Los resultados del análisis permiten concluir que las variables no poseen una alta relación entre ellas y se presenta una fiabilidad de escala baja por el Alpha de Cronbach y el Lamda 6 de Guttman. Por otro lado, se observa que los estadísticos KMO y Barlett permitieron concluir que el análisis factorial sobre los datos no es viable, por lo que el instrumento no permite medir adecuadamente las competencias que se presentaron inicialmente en el test.

2.1.2. Análisis Factorial Exploratorio para identificar el nivel de adecuación de la escala a los factores iniciales

Con el fin de conocer la estructura factorial de la prueba de matemáticas se hizo uso de un análisis factorial exploratorio utilizando una rotación Oblimin adecuada para este tipo de pruebas. Para que la prueba sea considerada consistente y mida de acuerdo a los tres factores que se pensaron inicialmente el porcentaje de varianza acumulada debería estar en el 80% o más en esos primeros tres factores. En la Tabla 6 se muestra la varianza explicada utilizando el análisis factorial de componentes principales:

Tabla 6: Varianza Acumulada en las primeras ocho dimensiones o factores identificados en el análisis Factorial

Del mismo modo se presenta en la Figura 5 el gráfico de Saturación que permite evidenciar cuáles son los factores identificados por el análisis factorial como dimensiones independientes:

Figura 5: gráfico de saturación de los factores extraidos por el análisis factorial

Es así como si tomamos en cuenta las tres competencias o factores que se pensaron inicialmente, la prueba de matemáticas únicamente explica el 29% de la varianza. Para que la prueba sea válida de acuerdo al análisis factorial, la varianza explicada debe ser mayor al 80%. En la Figura 5 se observa la cantidad de factores o componentes que se identificaron en el cuestionario, es así como la prueba identificó 6 factores ocultos y significativos en las respuestas de los estudiante y no los tres con los cuáles se pensó la prueba.

Por último y para confirmar los hallazgos realizados, se presenta el Gráfico de senderos (Figura 6), en esta Figura confirmamos que si la prueba fuese válida las preguntas asociadas a cada competencia deberían estar agrupadas en un mismo factor, sin embargo como se observa en dicha Figura no hay una relación entre los factores y las competencias evaluadas por lo que la prueba nuevamente es inválida para medir las competencias en matemáticas de nuestros estudiantes de nuevo ingreso.

Figura 6: gráfico de senderos que permite establecer la asociación entre los factores y las preguntas realizadas

Igualmente de la Figura 6 se observan unas flechas intensas que ingresan por el lado derecho de las preguntas, dichas flechas representan el error aleatorio o azar en las respuestas: es interesante notar que dichas flechas exhiben un color intenso por lo que el azar estuvo marcado muy fuertemente en la respuesta de los estudiantes.

3. Conclusiones

3.1. Para próximas ocasiones es importante incluir en las pruebas específicas de inglés y lectoescritura las competencias evaluadas en cada una de las preguntas realizadas, estas deben incluirse en el título de la pregunta

3.2. Para tener mejores indicadores de fiabilidad y validez de la prueba de matemáticas es necesario duplicar o incluso triplicar el número de preguntas que se le realizan a los estudiantes por competencias, teniendo en cuenta diferentes niveles de dificultad, esto con el fin de lograr clasificar de la mejor manera a los estudiantes según sus conocimientos

3.3. Debido a la poca fiabilidad y adecuación factorial los índices de discriminación y dificultad presentaron sesgos y por tanto no se publican en este informe

3.4. Se anexan todas las presentaciones hechas por la Unidad de Estadística e Informaciones y la Secretaría de Planeación sobre los resultados de la prueba diagnóstica 2021-1 y 2021-2. Se plantea como trabajo por realizar el análisis longitudinal de todas las pruebas

-Circular 41 Secretaría de Planeación

-Informe Anexo a la circular 41 Secretaría de Planeación