Contexto del modelo

Este trabajo reproduce con el paquete lavaan de R el modelo de ecuaciones estructurales de Sharif Nia et al. (2023) y comprueba si se obtienen los resultados publicados.

Problema de investigación y marco teórico

Durante la pandemia de COVID-19 el cierre de las universidades forzó el paso a la enseñanza en línea. El artículo se pregunta qué factores explican la satisfacción del estudiante con esa modalidad y su autoeficacia académica, y si el engagement (el grado de implicación del estudiante en el curso) actúa como mediador entre esos factores y esos dos resultados.

El planteamiento combina dos marcos. El Self-System Model of Motivational Development (Connell y Wellborn) sostiene que las condiciones del contexto educativo influyen en las percepciones del estudiante sobre su competencia y su relación con el entorno, y que esas percepciones se traducen en mayor o menor implicación (engagement), que a su vez condiciona los resultados. La Expectancy-Value Theory (Eccles) añade que la conducta de logro depende de cuánto espera el estudiante tener éxito y del valor que concede a la tarea. De ambos marcos se deriva la cadena que prueba el modelo: contenido del curso, interacción y aceptación del e-learning \(\rightarrow\) engagement \(\rightarrow\) satisfacción y autoeficacia. El diseño del estudio original es transversal (una sola medición), de modo que las relaciones son de covariación y no permiten, en sentido estricto, conclusiones causales.

Descripción de la muestra

Distribución de la muestra por país (archivo S1 Data).
País n %
China 1504 23.2 %
Irán 921 14.2 %
Turquía 413 6.4 %
Serbia 595 9.2 %
India 518 8.0 %
Portugal 1172 18.0 %
Malasia 383 5.9 %
Italia 465 7.2 %
EAU 525 8.1 %
Total 6496 100 %

Estudiantes universitarios de nueve países (Cuadro 1). La edad mediana es 21 años; el 53 % son mujeres; y por nivel, 84 % cursan grado, 11 % máster y 5 % doctorado. El archivo contiene 6496 registros (el artículo reporta N = 6489; los 7 de diferencia son registros sin sexo válido, y el .sav incluye además la variable de filtrado de SPSS filter_$). El modelo se estima sobre los 6342 casos con respuesta completa en los 42 ítems.

Definición de los constructos e instrumentos

Correspondencia ítem \(\rightarrow\) constructo en el archivo S1 Data.
Constructo Ítems del .sav (n) Instrumento de origen
Contenido del curso (CC) c1–c10 (10) SPOC (Chung y Chen, 2020)
Interacción en línea (INT) in1–in6 (6) SPOC (Chung y Chen, 2020)
Aceptación del e-learning (ACE) ac1–ac3 (3) Pham y Tran (2020)
Satisfacción (SAT) sat1–sat2 (2) Lee (2010)
Autoeficacia académica (AE) ef1–ef6 (6) Hu y Schaufeli (2009)
Engagement conductual (BEH) eng1–eng5 (5) USEI (Marôco et al., 2016)
Engagement emocional (EMO) eng6–eng10 (5) USEI (ítem 6 invertido)
Engagement cognitivo (COG) eng11–eng15 (5) USEI (Marôco et al., 2016)
Engagement (2.º orden, ENG) BEH + EMO + COG —

Definición conceptual de cada constructo (según el artículo y los instrumentos de origen): CC, percepción de la calidad, claridad y organización del material del curso; INT, frecuencia y utilidad de la interacción estudiante–docente y entre pares en el entorno en línea; ACE, actitud favorable y disposición hacia el aprendizaje en línea; SAT, valoración global de la experiencia de formación en línea; AE, confianza del estudiante en su propia capacidad para cumplir con éxito las tareas académicas; ENG (engagement), grado de implicación del estudiante en el curso en sus tres facetas: conductual (BEH, esfuerzo y participación), emocional (EMO, interés y sentido de pertenencia) y cognitiva (COG, autorregulación y profundidad de procesamiento).

Todos los ítems son Likert de 1 a 5. El archivo solo trae los códigos de las variables, sin etiquetas; la correspondencia del Cuadro 2 se estableció cruzando esos códigos con la sección Research instruments del artículo (número de ítems e ítem de ejemplo de cada escala). Dos bloques (c1--c10 y sp1--sp8) podían ser el contenido del curso; al no existir libro de códigos en los datos, se ajustó el modelo con cada uno y se comprobó cuál reproduce el ajuste publicado: c1--c10 da CFI = .947 (como el artículo) y sp1--sp8 da CFI = .943 con coeficientes que se apartan de la Figura 1, por lo que se adopta CC = c1--c10. Las escalas sp1--sp8 y b1--b18 no forman parte del modelo de seis constructos y se descartan.

Lectura, recodificación y datos faltantes

Lectura con haven::read_sav(). Antes de estimar se hicieron tres ajustes. (1) Se invirtieron los dos ítems redactados en negativo, ac1 (“el aprendizaje en línea es un fracaso”) y eng6 (“no me siento realizado”), con \(x \to 6-x\): en ellos una puntuación alta significaba menos del constructo. La inversión de eng6 la indica el artículo; la de ac1 se apoya en que su correlación con ac2/ac3 pasa de \(\approx-.21\) a \(\approx+.21\) y en que la Tabla 2 del artículo reporta cargas positivas para ACE. (2) El ítem c3 traía 146 valores fuera del rango 1–5 (error de grabación), recodificados como perdidos. (3) 154 casos (2.4 %) tienen algún perdido en los 42 ítems; se usa eliminación por lista (6342 casos). El borrado por parejas da índices idénticos (Sección 6).

Descriptivos

Media, desviación estándar, asimetría y curtosis de los 42 ítems.
Ítem M DE Asim. Curt. Ítem M DE Asim. Curt. Ítem M DE Asim. Curt.
c1 3.62 1.08 -0.56 -0.23 in5 3.47 1.21 -0.42 -0.72 eng2 4.30 0.87 -1.18 0.97
c2 3.63 1.12 -0.57 -0.38 in6 3.73 1.13 -0.67 -0.28 eng3 4.13 0.97 -0.95 0.22
c3 3.74 1.07 -0.66 -0.11 ac1 3.20 1.31 -0.15 -1.02 eng4 3.56 1.18 -0.41 -0.76
c4 3.66 1.11 -0.62 -0.25 ac2 3.10 1.23 -0.14 -0.85 eng5 4.06 1.02 -0.95 0.25
c5 3.62 1.11 -0.57 -0.30 ac3 3.06 1.31 -0.09 -1.04 eng6 2.78 1.27 0.20 -0.96
c6 3.40 1.19 -0.39 -0.67 sat1 3.22 1.27 -0.27 -0.91 eng7 3.52 1.12 -0.37 -0.56
c7 3.43 1.23 -0.44 -0.69 sat2 3.09 1.30 -0.15 -1.02 eng8 3.67 1.22 -0.64 -0.49
c8 3.61 1.18 -0.56 -0.54 ef1 3.49 1.06 -0.44 -0.31 eng9 3.65 1.15 -0.55 -0.44
c9 3.63 1.16 -0.57 -0.47 ef2 3.29 1.17 -0.23 -0.70 eng10 3.61 1.15 -0.50 -0.51
c10 3.51 1.18 -0.48 -0.58 ef3 3.69 1.08 -0.57 -0.26 eng11 3.84 1.02 -0.64 -0.12
in1 3.49 1.14 -0.46 -0.52 ef4 3.75 1.10 -0.66 -0.22 eng12 3.74 1.05 -0.56 -0.27
in2 3.84 1.09 -0.77 -0.04 ef5 4.17 0.96 -1.11 0.81 eng13 4.19 0.91 -1.02 0.69
in3 3.64 1.12 -0.57 -0.37 ef6 3.57 1.14 -0.51 -0.45 eng14 4.05 0.89 -0.71 0.09
in4 3.78 1.10 -0.73 -0.12 eng1 3.72 1.00 -0.43 -0.42 eng15 4.01 0.93 -0.68 -0.05

Ninguna asimetría supera 1.18 ni ninguna curtosis 1.04 en valor absoluto, por debajo de los umbrales de 3 y 7 (Finney y DiStefano, 2006). El alfa de Cronbach por bloque es alto salvo en dos casos: CC = .94, INT = .92, SAT = .91, AE = .86, BEH = .80, COG = .86; ACE = .67 y EMO = .66 (por ac1 y eng6; véase Sección 5.1).

Hipótesis

El artículo plantea 14 hipótesis: H1–H8 son efectos directos y H9–H14, efectos de mediación a través del engagement. Todas se formulan como efectos positivos: por ejemplo, H1 = “a mayor calidad percibida del contenido, mayor satisfacción”; H9 = “el contenido eleva la satisfacción de forma indirecta, a través del engagement”. En el Cuadro 4 la columna Ruta se lee predictor \(\rightarrow\) resultado (y predictor \(\rightarrow\) ENG \(\rightarrow\) resultado en la mediación). Cada hipótesis equivale a un parámetro del modelo, o a un producto de dos parámetros en la mediación (método del producto de coeficientes). Etiquetas usadas en lavaan: a1--a3 para CC/INT/ACE \(\rightarrow\) ENG; b1, b2 para ENG \(\rightarrow\) SAT/AE; cc1--cc3 y d1--d3 para los efectos directos sobre SAT y AE.

Las 14 hipótesis y su parámetro asociado.
Tipo Ruta Parámetro
H1 Directo CC -> SAT gamma_cc1
H2 Directo CC -> AE gamma_d1
H3 Directo INT -> SAT gamma_cc2
H4 Directo INT -> AE gamma_d2
H5 Directo ACE -> SAT gamma_cc3
H6 Directo ACE -> AE gamma_d3
H7 Directo ENG -> SAT beta_b1
H8 Directo ENG -> AE beta_b2
H9 Mediación CC -> ENG -> SAT a1 * b1
H10 Mediación CC -> ENG -> AE a1 * b2
H11 Mediación INT -> ENG -> SAT a2 * b1
H12 Mediación INT -> ENG -> AE a2 * b2
H13 Mediación ACE -> ENG -> SAT a3 * b1
H14 Mediación ACE -> ENG -> AE a3 * b2

Ecuaciones, identificación y grados de libertad

Ecuaciones del modelo (notación de Bollen, 1989)

Sea \(\boldsymbol{\xi}=(\text{CC},\text{INT},\text{ACE})^\top\) el vector de \(n=3\) factores exógenos y \(\boldsymbol{\eta}=(\text{ENG},\text{BEH},\text{EMO},\text{COG},\text{SAT},\text{AE})^\top\) el de \(m=6\) endógenos. El modelo de medida (Bollen ecs. 8.2–8.3) es \[\mathbf{x}=\boldsymbol{\Lambda}_x\boldsymbol{\xi}+\boldsymbol{\delta},\qquad \mathbf{y}=\boldsymbol{\Lambda}_y\boldsymbol{\eta}+\boldsymbol{\varepsilon},\] con \(\mathbf{x}\) = los 19 ítems de CC/INT/ACE y \(\mathbf{y}\) = los 23 ítems endógenos (eng1–eng5 en BEH; eng7–eng10 y eng6 en EMO; eng11–eng15 en COG; sat1–sat2 en SAT; ef1–ef6 en AE). El modelo de variables latentes (ec. 8.1) es \(\boldsymbol{\eta}=\mathbf{B}\boldsymbol{\eta}+ \boldsymbol{\Gamma}\boldsymbol{\xi}+\boldsymbol{\zeta}\). Como hay un factor de segundo orden, las cargas de BEH, EMO y COG sobre ENG van en \(\mathbf{B}\) (efecto de un endógeno sobre otros; Bollen, cap. 7): “the higher-order factors could be defined as part of \(\boldsymbol{\eta}\) with their respective coefficients in \(\mathbf{B}\)”. Las seis filas de \(\boldsymbol{\eta}\) son: \[ \begin{aligned} \text{ENG} &= a_1\text{CC}+a_2\text{INT}+a_3\text{ACE}+\zeta_{\text{ENG}} &&(3\ \text{de }\boldsymbol{\Gamma})\\ \text{BEH} &= \lambda_B\text{ENG}+\zeta_B,\ \ \text{EMO} = \lambda_E\text{ENG}+\zeta_E,\ \ \text{COG} = \lambda_C\text{ENG}+\zeta_C &&(3\ \text{de }\mathbf{B})\\ \text{SAT} &= \gamma_{cc1}\text{CC}+\gamma_{cc2}\text{INT}+\gamma_{cc3}\text{ACE} +b_1\text{ENG}+\zeta_{\text{SAT}} &&(3\ \boldsymbol{\Gamma},\ 1\ \mathbf{B})\\ \text{AE} &= \gamma_{d1}\text{CC}+\gamma_{d2}\text{INT}+\gamma_{d3}\text{ACE} +b_2\text{ENG}+\zeta_{\text{AE}} &&(3\ \boldsymbol{\Gamma},\ 1\ \mathbf{B}) \end{aligned} \] Así \(\mathbf{B}\) (\(6\times6\)) tiene 5 elementos libres y es triangular inferior; \(\boldsymbol{\Gamma}\) (\(6\times3\)) tiene 9. Supuestos habituales (Bollen, p. 320): errores de media cero, \(\mathrm{Cov}(\boldsymbol{\xi}, \boldsymbol{\zeta})=\mathbf 0\), \(\boldsymbol{\Theta}_\delta\) y \(\boldsymbol{\Theta}_\varepsilon\) diagonales, \((\mathbf I-\mathbf B)\) no singular. \(\boldsymbol{\Phi}\) recoge las 3 covarianzas entre CC, INT y ACE. std.lv = TRUE fija en 1 la varianza (residual, en los endógenos) de cada factor para dar escala; por eso los coeficientes se leen de la solución estandarizada y \(\boldsymbol{\Psi}\) solo aporta la covarianza libre \(\mathrm{Cov}(\zeta_{\text{SAT}},\zeta_{\text{AE}})\).

Identificación

Se aplica la regla de dos pasos de Bollen (1989, Tabla 8.1), condición suficiente para el modelo general.

Condición necesaria (regla-\(t\)). El nº de parámetros libres (\(228\)) no puede superar el nº de datos independientes. Con ítems ordinales estos son las \(\binom{42}{2}=861\) correlaciones policóricas más los \(42\times4=168\) umbrales, es decir 1029; se cumple.

Paso 1 (medida). Un factor con \(\ge3\) indicadores está identificado (regla de los tres indicadores): CC, INT, AE, BEH, EMO y COG. SAT tiene 2 indicadores, pero la regla de los dos indicadores se cumple porque covaría con los demás factores y sus errores no están correlacionados. El factor de segundo orden ENG tiene 3 indicadores (BEH, EMO, COG): sus 3 covarianzas determinan las 3 cargas de segundo orden (las 3 perturbaciones quedan implicadas al fijar la escala), de modo que ese nivel queda justo identificado (0 g.l. propios) sin generar subidentificación en el conjunto.

Paso 2 (estructura). \(\mathbf{B}\) es triangular: el sistema es recursivo (sin bucles ni efectos recíprocos), lo que basta para identificar \(\mathbf{B}\), \(\boldsymbol{\Gamma}\) y \(\boldsymbol{\Psi}\) (regla recursiva, Bollen cap. 4). La covarianza libre SAT–AE no lo altera porque no hay ruta dirigida entre ambas.

Cumplidos los dos pasos, el modelo está identificado; con \(801\) g.l. \(>0\) está sobreidentificado. El modelo convergió y la solución es admisible (sin varianzas residuales negativas).

Grados de libertad

\[ \underbrace{\binom{42}{2}}_{861} + \underbrace{42\times4}_{168\ \text{umbrales}} = 1029 \ \text{datos}; \qquad \text{g.l.} = 1029 - 228 = 801, \] que coincide con el valor de lavaan. Reparto de los 228 parámetros:

Recuento de parámetros. Las varianzas de los factores (fijadas por std.lv) y las de error de los ítems (fijadas por la parametrización delta) no se estiman.
Tipo Matriz n
Cargas de medida de primer orden \(\Lambda_x,\Lambda_y\) 42
Cargas de segundo orden (ENG\(\to\)BEH,EMO,COG) \(\mathbf B\) 3
Efectos ENG\(\to\)SAT, ENG\(\to\)AE \(\mathbf B\) 2
Efectos de CC/INT/ACE sobre ENG, SAT, AE \(\boldsymbol\Gamma\) 9
Covarianzas entre factores exógenos \(\boldsymbol\Phi\) 3
Covarianza de perturbaciones SAT–AE \(\boldsymbol\Psi\) 1
Umbrales (\(42\times4\)) — 168
Total 228

Diagrama de caminos

La Figura 1 muestra la parte estructural (solo variables latentes) y la Figura 2, el modelo completo con los 42 ítems, sus errores de medida y las perturbaciones. Los números son coeficientes estandarizados (los estructurales figuran también en el Cuadro 9).

Modelo estructural. Coeficientes estandarizados; *** p < .001. Flechas discontinuas = correlaciones. R2 = varianza explicada.

Modelo estructural. Coeficientes estandarizados; *** p < .001. Flechas discontinuas = correlaciones. R2 = varianza explicada.

Tabla de estimaciones e interpretación

Cargas factoriales estandarizadas y fiabilidad

Rango de cargas estandarizadas, fiabilidad (omega) y AVE por factor, junto a los valores de la Tabla 2 del artículo.
Factor n Rango carga omega AVE Rango (art.) omega (art.)
CC 10 .78–.89 .95 .69 .713–.895 .941
INT 6 .81–.90 .94 .73 .843–.904 .917
ACE 3 .20–.95 .69 .57 .282–.941 .748
SAT 2 .93–.95 .91 .88 .939–.939 .907
AE 6 .67–.84 .87 .58 .738–.840 .868
BEH 5 .71–.77 .83 .55 .727–.767 .823
EMO 5 -.21–.87 .75 .53 .733–.894 .851
COG 5 .73–.90 .89 .65 .736–.904 .870
Carga estandarizada de cada uno de los 42 ítems.
Ítem carga Ítem carga Ítem carga
c1 .82 in5 .85 eng2 .73
c2 .84 in6 .81 eng3 .71
c3 .81 ac1 .20 eng4 .75
c4 .85 ac2 .95 eng5 .74
c5 .85 ac3 .88 eng6 -.21
c6 .89 sat1 .95 eng7 .86
c7 .87 sat2 .93 eng8 .67
c8 .78 ef1 .79 eng9 .87
c9 .82 ef2 .74 eng10 .82
c10 .78 ef3 .67 eng11 .75
in1 .86 ef4 .84 eng12 .73
in2 .85 ef5 .70 eng13 .78
in3 .90 ef6 .80 eng14 .90
in4 .87 eng1 .77 eng15 .86

Todas las cargas son significativas (\(p<.001\)) y los rangos coinciden con los de la Tabla 2 del artículo: en siete de los ocho factores el solapamiento es casi total y los \(\omega\) difieren en centésimas. Dos ítems se apartan: ac1 (\(\lambda=.20\)), el ítem inverso de aceptación, que el propio artículo retiene con carga \(\approx.28\) (rango .282–.941 en su Tabla 2); y eng6 (\(\lambda=-.21\)), único punto en que la reproducción no recupera la Tabla 2 (engagement emocional .733–.894). Su correlación policórica con los otros cuatro ítems emocionales es de solo .06–.27 en esta muestra multinacional, y la inversión no es la causa: dejando eng6 sin invertir su carga pasa a \(+.21\) (signo correcto), pero la distancia respecto a la Tabla 2 no cambia y ningún coeficiente estructural ni índice de ajuste se altera (diferencias \(<.001\)). Es, por tanto, un problema de comportamiento del ítem —un enunciado en negativo traducido a siete idiomas— y no un error de codificación. Se conserva por fidelidad al USEI de 15 ítems; excluirlo deja el modelo prácticamente idéntico (se verificó reajustándolo sin él).

Validez discriminante

Correlaciones entre factores (bajo la diagonal) y raíz del AVE (en la diagonal). Un valor mayor que la diagonal de su fila o columna incumple el criterio de Fornell-Larcker.
Factor CC INT ACE SAT AE BEH EMO COG
CC .83
INT .90 .86
ACE .54 .51 .76
SAT .71 .68 .88 .94
AE .70 .71 .60 .67 .76
BEH .48 .49 .35 .38 .74 .74
EMO .49 .51 .40 .45 .72 .71 .73
COG .50 .50 .28 .32 .65 .70 .64 .81

Por el criterio de Fornell-Larcker (1981), la raíz del AVE de un factor debe superar su correlación con cualquier otro. Fallan tres pares. El más claro es CC–INT (\(r=.90\), por encima de \(\sqrt{\text{AVE}}=.83\) y \(.86\)): el contenido del curso y la interacción casi no se distinguen empíricamente —el artículo, de hecho, los reúne en un factor de segundo orden en su Tabla 2—, así que sus efectos directos por separado deben leerse con cautela. Los otros pares son ACE–SAT (\(r=.88\)) y AE–BEH (\(r=.74\)); la fuerte relación aceptación–satisfacción explica en parte que el \(R^2\) de SAT sea tan alto.

Coeficientes estructurales

Coeficientes estructurales estandarizados (beta) con error estándar (EE).
Ruta beta (EE) z p IC 95%
CC -> ENG .193 (.032) 6.13 <.001 [.132, .255]
INT -> ENG .367 (.031) 11.92 <.001 [.306, .427]
ACE -> ENG .125 (.014) 9.23 <.001 [.099, .152]
CC -> SAT .250 (.018) 13.61 <.001 [.214, .286]
INT -> SAT .115 (.019) 6.05 <.001 [.078, .152]
ACE -> SAT .701 (.007) 99.02 <.001 [.687, .715]
ENG -> SAT -.041 (.010) -4.04 <.001 [-.061, -.021]
CC -> AE .104 (.022) 4.77 <.001 [.061, .147]
INT -> AE .120 (.022) 5.41 <.001 [.076, .163]
ACE -> AE .228 (.010) 22.68 <.001 [.208, .248]
ENG -> AE .621 (.011) 55.52 <.001 [.599, .643]

Efectos indirectos, totales y \(R^2\)

Los seis efectos indirectos (H9–H14) y los seis totales se definieron en el propio modelo de lavaan con el operador := como productos y sumas de los coeficientes etiquetados (p. ej. ind_CC_SAT := a1*b1 y tot_CC_SAT := cc1 + a1*b1); sus errores estándar e intervalos de confianza se obtienen por el método delta.

Descomposición de efectos estandarizados con IC al 95 por ciento (indirecto = mediado por ENG, hipótesis H9-H14).
Ruta Directo Indirecto IC 95% p Total IC 95%
CC -> SAT .250 -.008 [-.013, -.003] <.001 .242 [.207, .278]
INT -> SAT .115 -.015 [-.023, -.007] <.001 .100 [.063, .136]
ACE -> SAT .701 -.005 [-.008, -.002] <.001 .696 [.682, .709]
CC -> AE .104 .120 [.081, .159] <.001 .224 [.174, .274]
INT -> AE .120 .228 [.189, .267] <.001 .348 [.299, .396]
ACE -> AE .228 .078 [.061, .094] <.001 .306 [.284, .327]

\[R^2_{\text{ENG}}=.389,\quad R^2_{\text{SAT}}=.850,\quad R^2_{\text{AE}}=.823.\]

Todos los efectos indirectos son significativos. Hacia la autoeficacia la mediación es apreciable (H10, H12, H14 = .12, .23, .08) y en CC e INT supera al efecto directo; hacia la satisfacción (H9, H11, H13) es casi nula y negativa, porque hereda la ruta ENG\(\to\)SAT (\(\beta=-.04\)).

Contraste de hipótesis

Contraste de las 14 hipótesis (coeficientes estandarizados; para H9-H14, efecto indirecto).
Ruta beta p Decisión
H1 CC -> SAT .250 <.001 Se sostiene
H2 CC -> AE .104 <.001 Se sostiene
H3 INT -> SAT .115 <.001 Se sostiene
H4 INT -> AE .120 <.001 Se sostiene
H5 ACE -> SAT .701 <.001 Se sostiene
H6 ACE -> AE .228 <.001 Se sostiene
H7 ENG -> SAT -.041 <.001 Signif. pero trivial
H8 ENG -> AE .621 <.001 Se sostiene
H9 CC -> ENG -> SAT -.008 <.001 Signif. pero trivial
H10 CC -> ENG -> AE .120 <.001 Se sostiene
H11 INT -> ENG -> SAT -.015 <.001 Signif. pero trivial
H12 INT -> ENG -> AE .228 <.001 Se sostiene
H13 ACE -> ENG -> SAT -.005 <.001 Signif. pero trivial
H14 ACE -> ENG -> AE .078 <.001 Se sostiene

Regla de decisión: “se sostiene” si el efecto es significativo (\(p<.05\)), del signo positivo previsto y con \(|\beta|\ge.05\); “signo opuesto” si es significativo, negativo y \(|\beta|\ge.05\); “signif. pero trivial” si es significativo pero \(|\beta|<.05\) (efecto detectable solo por el gran tamaño muestral, sin relevancia sustantiva); “no se sostiene” si no es significativo. Como referencia orientativa de magnitud para rutas SEM se consideran pequeños los \(|\beta|\) en torno a \(.05\), moderados los cercanos a \(.10\) y grandes los que se acercan a \(.25\) o lo superan.

Sobre la satisfacción, domina la aceptación del e-learning (\(\beta=.70\), efecto grande); el contenido tiene un efecto moderado-grande (\(.25\)) y la interacción, moderado (\(.11\)): H1, H3, H5 se sostienen. Sobre la autoeficacia manda el engagement (\(\beta=.62\), grande), seguido de la aceptación (\(.23\), moderado); CC e INT tienen efectos moderados: H2, H4, H6, H8 se sostienen. El efecto directo de ENG sobre SAT es \(-.04\): significativo solo por el tamaño muestral, de magnitud trivial (\(|\beta|<.05\)) y de signo contrario al previsto, así que H7 no se sostiene (el artículo lo describe igual). En la mediación, H10, H12 y H14 (hacia AE) se sostienen y para CC e INT superan al efecto directo; H9, H11 y H13 (hacia SAT) tienen efectos triviales (\(|\beta|\le.015\)) y no se sostienen.

Bondad de ajuste y comparación con el artículo

Índices de ajuste: reproducción vs. artículo.
Índice Este estudio Artículo Criterio (Hu y Bentler, 1999)
chi2 escalado (WLSMV) 22715.3 – –
g.l. 801 – –
p <.001 – –
CFI .947 .947 >= .95 bueno; >= .90 acept.
TLI .943 .943 >= .95 bueno; >= .90 acept.
RMSEA [IC 90%] .066 [.065, .066] .068 <= .06 bueno; <= .08 acept.
SRMR .048 .048 <= .08
Coeficientes estandarizados: reproducción vs. Figura 1 del artículo.
Ruta Este estudio Artículo
CC->SAT .25 .26
CC->AE .10 .11
CC->ENG .19 .21
INT->SAT .11 .10
INT->AE .12 .12
INT->ENG .37 .35
ACE->SAT .70 .70
ACE->AE .23 .23
ACE->ENG .13 .13
ENG->SAT -.04 -.04
ENG->AE .62 .61
R2 SAT .85 .85
R2 AE .82 .82

El ajuste es aceptable, no óptimo: CFI (.947) y TLI (.943) quedan por debajo del corte estricto de .95 aunque por encima de .90, el RMSEA (.066) está en la zona aceptable y solo el SRMR (.048) alcanza el criterio de buen ajuste. Son los mismos valores que reporta el artículo (que también los calificó de “buen ajuste”): CFI, TLI y SRMR coinciden al tercer decimal y el RMSEA difiere en .002.

Esa diferencia de RMSEA no procede del tratamiento de faltantes (el borrado por parejas, \(n=6495\), da índices idénticos) ni del estimador (se usó WLSMV/DWLS sobre la matriz policórica, como el artículo; con máxima verosimilitud sobre ítems tratados como continuos los resultados no serían comparables); lo más probable es la versión de lavaan (0.7.2 aquí, frente a la de 2022–2023) y el redondeo. Las 11 rutas se reproducen con diferencias \(\le.03\).

Los efectos indirectos hacia AE obtenidos (\(.120\), \(.228\), \(.078\)) coinciden con lo que implican los coeficientes de la Figura 1 del artículo (\(.21\times.61\), \(.35\times.61\), \(.13\times.61\)) y, para la interacción, con el .213 que el artículo declara en su texto; los valores .228 y .030 de ese mismo párrafo no encajan con su Figura 1. Puesto que la reproducción es consistente con la Figura 1, la diferencia parece estar en el texto del artículo y no en el modelo aquí ajustado.

Dos limitaciones que el propio artículo señala: el modelo no es invariante entre países (\(\Delta\chi^2(231)=2750.2\), \(p<.001\)), por lo que los coeficientes combinados son un promedio que oculta diferencias nacionales (Tabla 3 del artículo); y el diseño transversal solo admite lectura asociativa, no causal.

Conclusiones

La reproducción con lavaan recupera los índices de ajuste publicados (CFI = .947, TLI = .943, RMSEA = .066, SRMR = .048) y las 11 rutas estructurales con diferencias inferiores a .03 respecto a la Figura 1, usando c1--c10 como Contenido del curso y estimación WLSMV sobre la matriz policórica. El ajuste, como en el artículo, es aceptable pero no excelente.

Sustantivamente: la satisfacción depende sobre todo de aceptar la modalidad en línea y, en menor grado, de la calidad del contenido; la autoeficacia depende sobre todo del engagement, que además canaliza buena parte del efecto del contenido y de la interacción. El engagement no eleva la satisfacción de forma directa.

Debilidades del modelo: es transversal (asociaciones, no causas); la validez discriminante es floja (CC–INT correlacionan .90; ACE–SAT, .88), lo que infla los \(R^2\) de SAT y AE; y dos ítems (ac1, eng6) funcionan mal en la muestra multinacional. Además, la elección de CC = c1--c10 se validó contra el resultado publicado por falta de libro de códigos en los datos. Con todo, la conclusión central del artículo se reproduce sin problemas: el engagement es el mecanismo que enlaza las condiciones del curso con la autoeficacia.

Referencias

Bollen, K. A. (1989). Structural Equations with Latent Variables. Wiley.

Chung, J., y Chen, H.-C. (2020). Development and psychometric properties of student perceptions of an online course (SPOC). Nurse Education Today, 85, 104303.

Connell, J. P., y Wellborn, J. G. (1991). Competence, autonomy and relatedness: A motivational analysis of self-system processes. En M. R. Gunnar y L. A. Sroufe (Eds.), Self processes and development (pp. 43–77). Erlbaum.

Eccles, J. S., Adler, T. F., Futterman, R., Goff, S. B., Kaczala, C. M., Meece, J. L., y Midgley, C. (1983). Expectancies, values, and academic behaviors. En J. T. Spence (Ed.), Achievement and achievement motives (pp. 75–146). Freeman.

Finney, S. J., y DiStefano, C. (2006). Non-normal and categorical data in structural equation modeling. En G. R. Hancock y R. O. Mueller (Eds.), Structural equation modeling: A second course (pp. 269–314). IAP.

Fornell, C., y Larcker, D. F. (1981). Evaluating structural equation models with unobservable variables and measurement error. Journal of Marketing Research, 18(1), 39–50.

Hu, L., y Bentler, P. M. (1999). Cutoff criteria for fit indexes in covariance structure analysis. Structural Equation Modeling, 6(1), 1–55.

Marôco, J., Marôco, A. L., Campos, J. A. D. B., y Fredricks, J. A. (2016). University student’s engagement: development of the University Student Engagement Inventory (USEI). Psicologia: Reflexão e Crítica, 29, 21.

Rosseel, Y. (2012). lavaan: An R package for structural equation modeling. Journal of Statistical Software, 48(2), 1–36.

Sharif Nia, H., Marôco, J., She, L., et al. (2023). Student satisfaction and academic efficacy during online learning with the mediating effect of student engagement: A multi-country study. PLOS ONE, 18(10), e0285315.