En
Les fichiers disponibles sont des fichiers intermédiaires, i.e préparés par les ingénieurs d’étude de l’université pour être compatibles entre eux (il ne s’agit donc pas des fichiers bruts issus de la collecte directe des données). Ils ne possèdent pas le même nombre d’observations, mais possède la même structure, i.e. le même nombres de caractéristiques (facteurs).
library(tidyverse)
library(ggplot2)
library(dplyr)
library(ggExtra)
library(ggpubr)
# % de NA (NA percentage) : function 1
calculate_na_percentage <- function(data) {
n_observations <- nrow(data)
na_percentage <- sapply(data, function(x) sum(is.na(x)) / n_observations * 100)
return(na_percentage)
}
# Thème personnel (custom ggplot theme)
blue_theme <- function() {
theme(
# add border
panel.border = element_rect(colour = "blue", fill = NA, linetype = 2),
# color background
panel.background = element_rect(fill = "aliceblue"),
# modify grid
panel.grid.major.x = element_line(colour = "steelblue", linetype = 3, linewidth = 0.5),
panel.grid.minor.x = element_blank(),
panel.grid.major.y = element_line(colour = "steelblue", linetype = 3, linewidth = 0.5),
panel.grid.minor.y = element_blank(),
# modify text, axis and colour
axis.text = element_text(colour = "steelblue", face = "italic"),
axis.title = element_text(colour = "steelblue"),
axis.ticks = element_line(colour = "steelblue"),
# text elements
plot.title = element_text(size = 16, face = 'bold', hjust = 0, vjust = 2, color="steelblue"),
plot.subtitle = element_text(size = 12),
plot.caption = element_text(size = 9, hjust = 1),
# legend at the bottom
legend.position = "bottom"
)
}
Deux variables vides FOD et FOFG, comme dans la spécification des
données, pas d’autres valeurs manquantes. Il n’est donc pas possible de
les imputer en l’état des données disponibles. Notons que le type des
variables FOF a été modifié pour rester compatible avec la fusion des
jeux de données. Certaines variables affichent cependant des types qu’il
est possible de modifier pour faciliter les traitement ultérieurs
(variable qualitative/catégorielle de type caractère au lieu de
facteur). Ils seront globalement corrigés après la concaténation.
En
Two empty variables FOD and FOFG, as in the data specification, no
other missing values. It is therefore not possible to impute them on the
basis of the available data. It should be noted that the type of FOF
variables has been modified to remain compatible with dataset merging.
However, some variables display types that can be modified to facilitate
subsequent processing (qualitative or categorical variable of character
type instead of factor). These will be globally corrected after
concatenation.
# Chargement des données etude 1 (Loading study 1 data)
etu1 <- read.csv("expe1.csv", header = TRUE, sep=",", dec=".")
summary(etu1)
## Domaine Specialite Expertise Complexite
## Length:228 Length:228 Length:228 Length:228
## Class :character Class :character Class :character Class :character
## Mode :character Mode :character Mode :character Mode :character
##
##
##
## Tps_Tot Tps_Xplr Tps_Xplo Tps_RI
## Min. :4.665 Min. :3.491 Min. :3.556 Min. :3.888
## 1st Qu.:5.395 1st Qu.:4.452 1st Qu.:4.840 1st Qu.:5.083
## Median :5.603 Median :4.846 Median :5.184 Median :5.334
## Mean :5.543 Mean :4.748 Mean :5.074 Mean :5.279
## 3rd Qu.:5.741 3rd Qu.:5.146 3rd Qu.:5.438 3rd Qu.:5.627
## Max. :6.112 Max. :5.678 Max. :5.849 Max. :6.044
## SW2a SW2b Docs TG_Tot
## Min. : 1.000 Min. :0.0000 Min. : 1.000 Min. :0.000000
## 1st Qu.: 2.500 1st Qu.:0.0000 1st Qu.: 2.000 1st Qu.:0.008463
## Median : 4.000 Median :0.5000 Median : 3.000 Median :0.017458
## Mean : 4.803 Mean :0.8684 Mean : 3.399 Mean :0.042668
## 3rd Qu.: 7.000 3rd Qu.:1.0000 3rd Qu.: 4.500 3rd Qu.:0.032726
## Max. :15.000 Max. :5.0000 Max. :11.000 Max. :0.555787
## FOFG FOFD SAE Eleve
## Mode:logical Mode:logical Min. :19.00 Length:228
## NA's:228 NA's:228 1st Qu.:39.00 Class :character
## Median :41.50 Mode :character
## Mean :41.13
## 3rd Qu.:45.00
## Max. :49.00
calculate_na_percentage(etu1)
## Domaine Specialite Expertise Complexite Tps_Tot Tps_Xplr Tps_Xplo
## 0 0 0 0 0 0 0
## Tps_RI SW2a SW2b Docs TG_Tot FOFG FOFD
## 0 0 0 0 0 100 100
## SAE Eleve
## 0 0
# Transformation des variables metacognitive en numeric (transforming metacognitive variables into numerical variables)
metacog <- c("FOFG", "FOFD")
for (var in metacog) {
etu1[,var] <- as.numeric(etu1[,var])
}
# Verification (Check)
str(etu1)
## 'data.frame': 228 obs. of 16 variables:
## $ Domaine : chr "HIST" "HIST" "HIST" "HIST" ...
## $ Specialite: chr "3EME" "3EME" "3EME" "3EME" ...
## $ Expertise : chr "expert" "expert" "expert" "expert" ...
## $ Complexite: chr "TC" "TC" "TC" "TC" ...
## $ Tps_Tot : num 5.51 5.15 5.21 5.58 4.68 ...
## $ Tps_Xplr : num 4.4 4.91 4.86 4.27 3.83 ...
## $ Tps_Xplo : num 5.14 4.15 4.7 5 3.94 ...
## $ Tps_RI : num 5.22 4.98 5.09 5.07 4.19 ...
## $ SW2a : num 3.5 4 3 2 1 1 2.5 3 4.5 1 ...
## $ SW2b : num 0 0 0 0.5 0 0 0 0 0.5 0 ...
## $ Docs : num 4.5 1 2 1.5 1 1 1 3 1.5 1 ...
## $ TG_Tot : num 0.0287 0.1424 0.0401 0.0404 0.2285 ...
## $ FOFG : num NA NA NA NA NA NA NA NA NA NA ...
## $ FOFD : num NA NA NA NA NA NA NA NA NA NA ...
## $ SAE : int 19 45 33 45 45 39 49 49 44 41 ...
## $ Eleve : chr "ALE3A" "ALI3C" "ANAEL3A" "Anna3B" ...
# Ajout d'un identifiant d'étude (Add a study identifier)
etu1 <- etu1 %>%
mutate(Etude = "Etude1")
Ces données sont validables en l’état, hors le type des variables
catégorielles à corriger ultérieurement (caractère au lieu de facteur).
Le nombre de valeurs manquantes est faible (2,29%), représentant deux
individus. Compte tenu de leur faible volume, donc de l’impact
négligeable sur les données de l’échantillon, nous avons préféré imputer
en utilisant la méthode d’imputation par analyse en composante
principale afin de conserver le maximum d’observation d’un échantillon
déjà petit et privilégier la méthode la plus précise sans perte trop
importante de temps de calculs. Mais elles auraient pu être supprimées
dans le cadre d’une étude sur cas complet.
En
These data are valid as they stand, with the exception of the type of categorical variables to be corrected later (character instead of factor). The number of missing values is low (2.29%), representing two individuals. Given their low volume, and therefore their negligible impact on the sample data, we preferred to impute them using the principal component analysis imputation method, in order to retain the maximum number of observations from an already reduced sample, and to favor the most accurate method without losing too much computation time. But they could have been eliminated in a full case study.
# Chargement des données etude 2
etu2 <- read.csv("expe2.csv", header = TRUE, sep=",", dec=".")
summary(etu2)
## Domaine Specialite Expertise Complexite
## Length:87 Length:87 Length:87 Length:87
## Class :character Class :character Class :character Class :character
## Mode :character Mode :character Mode :character Mode :character
##
##
##
##
## Tps_Tot Tps_Xplr Tps_Xplo Tps_RI
## Min. :4.593 Min. :3.247 Min. :3.399 Min. :4.095
## 1st Qu.:4.894 1st Qu.:3.731 1st Qu.:4.408 1st Qu.:4.739
## Median :5.125 Median :4.014 Median :4.751 Median :4.966
## Mean :5.111 Mean :4.040 Mean :4.679 Mean :4.932
## 3rd Qu.:5.297 3rd Qu.:4.290 3rd Qu.:4.968 3rd Qu.:5.160
## Max. :5.729 Max. :5.260 Max. :5.304 Max. :5.598
## NA's :2 NA's :2 NA's :2 NA's :2
## SW2a SW2b Docs TG_Tot
## Min. :0.0000 Min. :0.0 Min. :1.000 Min. :0.00000
## 1st Qu.:0.0000 1st Qu.:0.0 1st Qu.:1.000 1st Qu.:0.01093
## Median :0.0000 Median :0.0 Median :1.000 Median :0.01951
## Mean :0.4235 Mean :0.4 Mean :1.447 Mean :0.04387
## 3rd Qu.:1.0000 3rd Qu.:0.0 3rd Qu.:2.000 3rd Qu.:0.04670
## Max. :5.0000 Max. :5.0 Max. :5.000 Max. :0.79808
## NA's :2 NA's :2 NA's :2 NA's :2
## FOFG FOFD SAE Eleve
## Min. :1.000 Min. :1.00 Min. :27.00 Length:87
## 1st Qu.:2.000 1st Qu.:1.00 1st Qu.:33.00 Class :character
## Median :2.000 Median :2.00 Median :34.00 Mode :character
## Mean :2.701 Mean :2.54 Mean :34.07
## 3rd Qu.:3.000 3rd Qu.:3.00 3rd Qu.:36.00
## Max. :9.000 Max. :7.00 Max. :38.00
##
calculate_na_percentage(etu2)
## Domaine Specialite Expertise Complexite Tps_Tot Tps_Xplr Tps_Xplo
## 0.000000 0.000000 0.000000 0.000000 2.298851 2.298851 2.298851
## Tps_RI SW2a SW2b Docs TG_Tot FOFG FOFD
## 2.298851 2.298851 2.298851 2.298851 2.298851 0.000000 0.000000
## SAE Eleve
## 0.000000 0.000000
Pour comparer les différentes méthodes d’imputation (moyenne, forêts
aléatoires ou de type multidimensionnelle - ACP) et l’étude sur cas
complet (élimination des valeurs manquantes), nous avons procédé comme
suit : - Imputation pour les colonnes ayant des valeurs manquantes. -
Création d’un sous-ensemble sans valeurs manquantes en supprimant les
lignes contenant des NA. - Comparaison des distributions avant et après
imputation, et entre les datasets imputés et le dataset sans NA. -
Entraînement et évaluation d’un modèle simple (régressions linéaires
multiples, puisque ce sera la base des calculs de vérification des
hypothèses) sur les versions du dataset pour voir l’impact sur les
performances, notamment la distorsion ou biais introduit (critère de
précision : RMSE).
En
To compare the different imputation methods (average, random forests or multidimensional - PCA) and the complete case study (elimination of missing values), we proceeded as follows: - Imputation of columns with missing values. - Creation of a subset without missing values by deleting rows containing NA. - Comparison of distributions before and after imputation, and between imputed and NA-free data sets. - Train and evaluate a simple model (multiple linear regressions, as this will be the basis for hypothesis testing calculations) on versions of the dataset to see the impact on performance, in particular the distortion or bias introduced (accuracy criterion: RMSE).
# liste des variables à imputer
imputa_var <- c("Tps_Tot", "Tps_Xplr", "Tps_Xplo", "Tps_RI", "SW2a", "SW2b", "Docs", "TG_Tot")
# construction d'un dataset sans NA
etu2_no_na <- na.omit(etu2[, imputa_var])
# construction d'un dataset imputé à la moyenne
etu2_imp_moy <- etu2[, imputa_var]
for (var in imputa_var) {
etu2_imp_moy[, var] <- ifelse(is.na(etu2_imp_moy[, var]),
mean(etu2_imp_moy[, var], na.rm = TRUE),
etu2_imp_moy[, var])
}
calculate_na_percentage(etu2_imp_moy)
## Tps_Tot Tps_Xplr Tps_Xplo Tps_RI SW2a SW2b Docs TG_Tot
## 0 0 0 0 0 0 0 0
# construction d'un dataset imputé par random forest
library(randomForest)
## Warning: le package 'randomForest' a été compilé avec la version R 4.3.2
## randomForest 4.7-1.1
## Type rfNews() to see new features/changes/bug fixes.
##
## Attachement du package : 'randomForest'
## L'objet suivant est masqué depuis 'package:dplyr':
##
## combine
## L'objet suivant est masqué depuis 'package:ggplot2':
##
## margin
library(missForest)
## Warning: le package 'missForest' a été compilé avec la version R 4.3.2
etu2_imp_rf <- missForest(etu2[, imputa_var])
## Warning in randomForest.default(x = obsX, y = obsY, ntree = ntree, mtry = mtry,
## : The response has five or fewer unique values. Are you sure you want to do
## regression?
## Warning in randomForest.default(x = obsX, y = obsY, ntree = ntree, mtry = mtry,
## : The response has five or fewer unique values. Are you sure you want to do
## regression?
## Warning in randomForest.default(x = obsX, y = obsY, ntree = ntree, mtry = mtry,
## : The response has five or fewer unique values. Are you sure you want to do
## regression?
## Warning in randomForest.default(x = obsX, y = obsY, ntree = ntree, mtry = mtry,
## : The response has five or fewer unique values. Are you sure you want to do
## regression?
## Warning in randomForest.default(x = obsX, y = obsY, ntree = ntree, mtry = mtry,
## : The response has five or fewer unique values. Are you sure you want to do
## regression?
## Warning in randomForest.default(x = obsX, y = obsY, ntree = ntree, mtry = mtry,
## : The response has five or fewer unique values. Are you sure you want to do
## regression?
## Warning in randomForest.default(x = obsX, y = obsY, ntree = ntree, mtry = mtry,
## : The response has five or fewer unique values. Are you sure you want to do
## regression?
## Warning in randomForest.default(x = obsX, y = obsY, ntree = ntree, mtry = mtry,
## : The response has five or fewer unique values. Are you sure you want to do
## regression?
## Warning in randomForest.default(x = obsX, y = obsY, ntree = ntree, mtry = mtry,
## : The response has five or fewer unique values. Are you sure you want to do
## regression?
## Warning in randomForest.default(x = obsX, y = obsY, ntree = ntree, mtry = mtry,
## : The response has five or fewer unique values. Are you sure you want to do
## regression?
## Warning in randomForest.default(x = obsX, y = obsY, ntree = ntree, mtry = mtry,
## : The response has five or fewer unique values. Are you sure you want to do
## regression?
## Warning in randomForest.default(x = obsX, y = obsY, ntree = ntree, mtry = mtry,
## : The response has five or fewer unique values. Are you sure you want to do
## regression?
## Warning in randomForest.default(x = obsX, y = obsY, ntree = ntree, mtry = mtry,
## : The response has five or fewer unique values. Are you sure you want to do
## regression?
## Warning in randomForest.default(x = obsX, y = obsY, ntree = ntree, mtry = mtry,
## : The response has five or fewer unique values. Are you sure you want to do
## regression?
## Warning in randomForest.default(x = obsX, y = obsY, ntree = ntree, mtry = mtry,
## : The response has five or fewer unique values. Are you sure you want to do
## regression?
etu2_imp_rf <- data.frame(etu2_imp_rf$ximp)
calculate_na_percentage(etu2_imp_rf)
## Tps_Tot Tps_Xplr Tps_Xplo Tps_RI SW2a SW2b Docs TG_Tot
## 0 0 0 0 0 0 0 0
# construction d'un dataset imputé par Analyse en composante Principale (ACP)
library(FactoMineR)
## Warning: le package 'FactoMineR' a été compilé avec la version R 4.3.2
library(missMDA)
## Warning: le package 'missMDA' a été compilé avec la version R 4.3.2
results_imp_PCA <- imputePCA(etu2[, imputa_var], method = "Regularized", ncp = 5) # La méthode régularisée permet de stabiliser l'estimation des composantes principales lorsque les données sont incomplètes (avec ici en outre une assez faible proportion d'observations par rapport aux variables caractéristiques), conduisant ainsi à des estimations plus robustes des composantes principales, en particulier les structures des données sous-jacentes sont complexes (comem dans le cas de mesures psychométriques). Elle est particulièrement utile pour améliorer la précision de l'imputation dans des datasets avec un risque de surajustement. (EN : The regularized method stabilizes the estimation of principal components when the data are incomplete (in this case, with a relatively low proportion of observations to characteristic variables), leading to more robust estimates of principal components, especially when the underlying data structures are complex (as in the case of psychometric measures). It is particularly useful for improving the accuracy of imputation in datasets with a risk of over-fitting.
etu2_imp_PCA <- data.frame(results_imp_PCA$completeObs)
etu2_imp_PCA
calculate_na_percentage(etu2_imp_PCA) # Check
## Tps_Tot Tps_Xplr Tps_Xplo Tps_RI SW2a SW2b Docs TG_Tot
## 0 0 0 0 0 0 0 0
# Ajoutons un identifiant de dataset à chaque dataframe pour la comparaison
etu2_no_na$Dataset <- "No NA"
etu2_imp_moy$Dataset <- "Imputed Mean"
etu2_imp_rf$Dataset <- "Imputed RF"
etu2_imp_PCA$Dataset <- "Imputed PCA"
# Concaténation des datasets
all_data <- bind_rows(etu2_no_na, etu2_imp_moy, etu2_imp_rf, etu2_imp_PCA)
head(all_data)
# Mise au format long pour plotting
# Sélection des colonnes numériques tout en conservant la colonne 'Dataset'
all_data_numeric <- all_data %>%
select(Dataset, where(is.numeric))
# On exclut la colonne 'Dataset' du processus de pivot pour la conserver comme identifiant
all_data_long <- all_data_numeric %>%
pivot_longer(
cols = -Dataset, # Exclure la colonne 'Dataset' de la transformation
names_to = "Variable", # Nom de la nouvelle colonne pour les noms de variables
values_to = "Value" # Nom de la nouvelle colonne pour les valeurs
)
# Liste unique des variables numériques
variables <- unique(all_data_long$Variable)
# Parcourir chaque variable numérique pour générer les graphiques
for(var in variables) {
# Filtrer les données pour la variable courante
data_var <- filter(all_data_long, Variable == var)
# Boxplot
p1 <- ggboxplot(data_var, x = "Dataset", y = "Value",
color = "Dataset", palette = "jco",
title = paste("Comparaison de la distribution de", var),
xlab = "Méthode d'imputation", ylab = var) +
theme(axis.text.x = element_text(angle = 45, hjust = 1)) # Rotation des labels x pour la lisibilité
print(p1)
# Density Plot
p2 <- ggdensity(data_var, x = "Value", fill = "Dataset", alpha = 0.4) +
labs(title = paste("Distribution de", var),
x = var,
y = "Densité")
print(p2)
# Histogram
p3 <- gghistogram(data_var, x = "Value", fill = "Dataset", rug = TRUE) +
labs(title = paste("Distribution générale de", var),
x = var,
y = "Nb. d'occurences") +
theme_pubr() # Utiliser theme_pubr pour un thème simple
print(p3)
}
## Warning: Using `bins = 30` by default. Pick better value with the argument
## `bins`.
## Warning: Using `bins = 30` by default. Pick better value with the argument
## `bins`.
## Warning: Using `bins = 30` by default. Pick better value with the argument
## `bins`.
## Warning: Using `bins = 30` by default. Pick better value with the argument
## `bins`.
## Warning: Using `bins = 30` by default. Pick better value with the argument
## `bins`.
## Warning: Using `bins = 30` by default. Pick better value with the argument
## `bins`.
## Warning: Using `bins = 30` by default. Pick better value with the argument
## `bins`.
## Warning: Using `bins = 30` by default. Pick better value with the argument
## `bins`.
library("cowplot")
##
## Attachement du package : 'cowplot'
## L'objet suivant est masqué depuis 'package:ggpubr':
##
## get_legend
## L'objet suivant est masqué depuis 'package:lubridate':
##
## stamp
# Initialiser une liste pour stocker les graphiques
all_plots <- list()
for(var in variables) {
data_var <- filter(all_data_long, Variable == var)
# Boxplot
p1 <- ggboxplot(data_var, x = "Dataset", y = "Value", color = "Dataset", palette = "jco") +
ggtitle(paste("Boxplot of", var)) +
theme(legend.position = "none") +
theme(axis.text.x = element_text(angle = 45, hjust = 1))
# Density Plot
p2 <- ggdensity(data_var, x = "Value", fill = "Dataset", alpha = 0.4) +
theme(legend.position = "none") +
ggtitle(paste("Density of", var))
# Histogram
p3 <- gghistogram(data_var, x = "Value", fill = "Dataset", rug = TRUE) +
theme(legend.position = "none") +
ggtitle(paste("Histogram of", var))
# Combining plots for the current variable
combined_plot <- ggarrange(p1, p2, p3, ncol = 3, nrow = 1)
combined_plot2 <- plot_grid(p1,p2,p3, ncol = 1, nrow = 3)
combined_plot3 <- plot_grid(p1,p2,p3,ncol = 3, nrow = 1)
# Add combined plot to the list
all_plots[[var]] <- combined_plot
}
## Warning: Using `bins = 30` by default. Pick better value with the argument
## `bins`.
## Warning: Using `bins = 30` by default. Pick better value with the argument
## `bins`.
## Warning: Using `bins = 30` by default. Pick better value with the argument
## `bins`.
## Warning: Using `bins = 30` by default. Pick better value with the argument
## `bins`.
## Warning: Using `bins = 30` by default. Pick better value with the argument
## `bins`.
## Warning: Using `bins = 30` by default. Pick better value with the argument
## `bins`.
## Warning: Using `bins = 30` by default. Pick better value with the argument
## `bins`.
## Warning: Using `bins = 30` by default. Pick better value with the argument
## `bins`.
# Optionnel: Afficher les graphiques un par un ou les sauvegarder
for(plot in all_plots) {
print(plot)
}
L’analyse des disrtibution montre que globalement les 3
méthodes testées n’altère que très peu l’étendue des valeurs du dataset,
indiquant une conservation générale de la structure de l’information
disponible.
En
The disrtibution analysis shows that, overall, the 3 methods tested
alter the range of dataset values very little, indicating a general
conservation of the structure of the available information.
library(Metrics)
## Warning: le package 'Metrics' a été compilé avec la version R 4.3.2
library(rpart)
library(rpart.plot)
## Warning: le package 'rpart.plot' a été compilé avec la version R 4.3.2
library(rsample)
## Warning: le package 'rsample' a été compilé avec la version R 4.3.2
library(purrr)
# Division du jeu de données en ensembles d'entraînement et de test
set.seed(123) # Pour la reproductibilité
all_data_split <- initial_split(all_data, prop = 0.8)
train_data <- training(all_data_split)
test_data <- testing(all_data_split)
# Division des ensemble d'entrainement selon le type d'imputation
train_data_no_na <- train_data %>%
filter(Dataset == "No NA")
train_data_no_na <- train_data_no_na %>%
mutate_at(vars(imputa_var), scale) # Standardisation des variables
## Warning: Using an external vector in selections was deprecated in tidyselect 1.1.0.
## ℹ Please use `all_of()` or `any_of()` instead.
## # Was:
## data %>% select(imputa_var)
##
## # Now:
## data %>% select(all_of(imputa_var))
##
## See <https://tidyselect.r-lib.org/reference/faq-external-vector.html>.
## This warning is displayed once every 8 hours.
## Call `lifecycle::last_lifecycle_warnings()` to see where this warning was
## generated.
train_data_mean <- train_data %>%
filter(Dataset == "Imputed Mean")
train_data_mean <- train_data_mean %>%
mutate_at(vars(imputa_var), scale) # Standardisation des variables
train_data_PCA <- train_data %>%
filter(Dataset == "Imputed PCA")
train_data_PCA <- train_data_PCA %>%
mutate_at(vars(imputa_var), scale)# Standardisation des variables
train_data_RF <- train_data %>%
filter(Dataset == "Imputed RF")
train_data_RF <- train_data_RF %>%
mutate_at(vars(imputa_var), scale)# Standardisation des variables
# Division des ensemble de test selon le type d'imputation
test_data_no_na <- test_data %>%
filter(Dataset == "No NA")
test_data_no_na <- test_data_no_na %>%
mutate_at(vars(imputa_var), scale) # Standardisation des variables
test_data_mean <- test_data %>%
filter(Dataset == "Imputed Mean")
test_data_mean <- test_data_mean %>%
mutate_at(vars(imputa_var), scale) # Standardisation des variables
test_data_PCA <- test_data %>%
filter(Dataset == "Imputed PCA")
test_data_PCA <- test_data_PCA %>%
mutate_at(vars(imputa_var), scale)# Standardisation des variables
test_data_RF <- test_data %>%
filter(Dataset == "Imputed RF")
test_data_RF <- test_data_RF %>%
mutate_at(vars(imputa_var), scale)# Standardisation des variables
# Comparaison de la performance des imputations
model_no_na <- lm(Tps_Tot ~., data = train_data_no_na[,imputa_var]) # Ajustement du modèle de régression linéaire sur no_NA
model_mean <- lm(Tps_Tot ~., data = train_data_mean[,imputa_var]) # Ajustement du modèle de régression linéaire sur moyenne
model_PCA <- lm(Tps_Tot ~., data = train_data_PCA[,imputa_var]) # Ajustement du modèle de régression linéaire sur ACP
model_RF <- lm(Tps_Tot ~., data = train_data_RF[,imputa_var]) # Ajustement du modèle de régression linéaire sur Random Forest
# Prédictions sur l'ensemble de test
predictions_no_na <- predict(model_no_na, test_data_no_na)
predictions_mean <- predict(model_mean, test_data_mean)
predictions_PCA <- predict(model_PCA, test_data_PCA)
predictions_RF <- predict(model_RF, test_data_RF)
# Calcul de RMSE
rmse_no_na <- rmse(test_data_no_na$Tps_Tot, predictions_no_na)
rmse_mean <- rmse(test_data_mean$Tps_Tot, predictions_mean)
rmse_PCA <- rmse(test_data_PCA$Tps_Tot, predictions_PCA)
rmse_RF <- rmse(test_data_RF$Tps_Tot, predictions_RF)
# Affichage des résultats
cat("RMSE modèle cas complet:", rmse_no_na, "\n")
## RMSE modèle cas complet: 0.6473106
cat("RMSE modèle à la moyenne:", rmse_mean, "\n")
## RMSE modèle à la moyenne: 0.4364836
cat("RMSE Forêt Aléatoire:", rmse_RF, "\n")
## RMSE Forêt Aléatoire: 0.5239305
cat("RMSE modèle ACP:", rmse_PCA, "\n")
## RMSE modèle ACP: 0.3940185
library(microbenchmark)
## Warning: le package 'microbenchmark' a été compilé avec la version R 4.3.2
# Mesure des temps d'exécution pour chaque modèle
benchmark_results <- microbenchmark(
no_na = {
model_no_na <- lm(Tps_Tot ~ ., data = train_data_no_na[, imputa_var])
},
mean = {
model_mean <- lm(Tps_Tot ~ ., data = train_data_mean[, imputa_var])
},
PCA = {
model_PCA <- lm(Tps_Tot ~ ., data = train_data_PCA[, imputa_var])
},
RF = {
model_RF <- lm(Tps_Tot ~ ., data = train_data_RF[, imputa_var])
},
times = 100 # Nombre de fois que chaque expression est évaluée
)
# Affichage des résultats
print(benchmark_results)
## Unit: milliseconds
## expr min lq mean median uq max neval cld
## no_na 1.2661 1.50630 1.926324 1.71715 2.08360 8.9470 100 a
## mean 1.2545 1.49270 1.762879 1.69365 1.99625 3.0934 100 ab
## PCA 1.1879 1.41645 1.667893 1.55710 1.85350 3.2388 100 b
## RF 1.2250 1.47375 1.790045 1.66130 1.98440 3.3524 100 ab
autoplot(benchmark_results)
Sur le jeu de données, il semble apparent que l’imputation par
ACP (analyse en composante principale) régularisée est la solution la
plus précise (plus faible erreur, distribution proche de l’origine).
Elle est toutefois l’option la plus coûteuse en termes de temps de
calcul. Considérant la dimensionalité du dataset intermédiaire “etu2”
(87 lignes/observations pour 16 variables caractéristiques et 1 variable
cible), cette option peut être conservée. Dans un cadre de données
véritablement massives, nous préconiserions l’usage de l’imputation par
Random Forest, qui est ici la deuxième solution en termes d’erreur, mais
la deuxième plus rapide en termes de calculs.
En
On the dataset, it appears that regularized PCA (principal component
analysis) imputation is the most accurate solution (lowest error,
distribution close to the origin). It is, however, the most expensive
option in terms of computing time. Given the size of the “etu2”
intermediate dataset (87 rows/observations for 16 characteristic
variables and 1 target variable), this option can be retained. In the
case of truly massive data, we recommend the use of Random Forest
imputation, which is the second-best solution in terms of error, but the
second-fastest in terms of computation.
# Finalisation du jeu de données etu2
for (var in imputa_var) {
etu2[, var] <- ifelse(is.na(etu2[, var]),
etu2_imp_PCA[, var],
etu2[, var])
}
etu2
calculate_na_percentage(etu2)
## Domaine Specialite Expertise Complexite Tps_Tot Tps_Xplr Tps_Xplo
## 0 0 0 0 0 0 0
## Tps_RI SW2a SW2b Docs TG_Tot FOFG FOFD
## 0 0 0 0 0 0 0
## SAE Eleve
## 0 0
# Ajout d'un identifiant d'étude pour la suite des traitements
etu2 <- etu2 %>%
mutate(Etude = "Etude2")
Ces données sont validables en l’état, hors le type des variables catégorielles à corriger ultérieurement (caractère au lieu de facteur). Le nombre de valeurs manquantes est faible (1,7% à 2,6%), représentant quelques individus. Pour les besoins de l’exercice, nous les imputons par ACP (analyse en composante principale). Nous avons corrigé également le type des mesures metacognitives pour éviter tout soucis lors de la concaténation.
# Chargement des données etude 3
etu3 <- read.csv("expe3.csv", header = TRUE, sep=",", dec=".")
summary(etu3)
## Domaine Specialite Expertise Complexite
## Length:504 Length:504 Length:504 Length:504
## Class :character Class :character Class :character Class :character
## Mode :character Mode :character Mode :character Mode :character
##
##
##
##
## Tps_Tot Tps_Xplr Tps_Xplo Tps_RI SW2a
## Min. :4.653 Min. :2.634 Min. :3.176 Min. :3.602 Min. :0.00
## 1st Qu.:5.297 1st Qu.:3.865 1st Qu.:4.610 1st Qu.:4.783 1st Qu.:0.00
## Median :5.478 Median :4.260 Median :4.915 Median :5.047 Median :1.00
## Mean :5.482 Mean :4.239 Mean :4.875 Mean :5.010 Mean :1.17
## 3rd Qu.:5.659 3rd Qu.:4.591 3rd Qu.:5.178 3rd Qu.:5.293 3rd Qu.:2.00
## Max. :6.550 Max. :5.354 Max. :5.869 Max. :5.985 Max. :9.00
## NA's :11 NA's :12 NA's :12 NA's :13 NA's :11
## SW2b Docs TG_Tot FOFG
## Min. :-1.0000 Min. : 1.000 Min. :0.000000 Min. :1.000
## 1st Qu.: 0.0000 1st Qu.: 1.000 1st Qu.:0.000000 1st Qu.:1.000
## Median : 0.0000 Median : 2.000 Median :0.008011 Median :3.000
## Mean : 0.5569 Mean : 2.319 Mean :0.020840 Mean :3.288
## 3rd Qu.: 1.0000 3rd Qu.: 3.000 3rd Qu.:0.021693 3rd Qu.:5.000
## Max. : 6.0000 Max. :11.000 Max. :0.560224 Max. :9.000
## NA's :12 NA's :9 NA's :12
## FOFD SAE Eleve
## Min. : 1.000 Min. :33.00 Length:504
## 1st Qu.: 2.000 1st Qu.:42.00 Class :character
## Median : 4.000 Median :46.00 Mode :character
## Mean : 3.744 Mean :44.57
## 3rd Qu.: 5.000 3rd Qu.:49.00
## Max. :10.000 Max. :52.00
##
head(etu3)
calculate_na_percentage(etu3)
## Domaine Specialite Expertise Complexite Tps_Tot Tps_Xplr Tps_Xplo
## 0.000000 0.000000 0.000000 0.000000 2.182540 2.380952 2.380952
## Tps_RI SW2a SW2b Docs TG_Tot FOFG FOFD
## 2.579365 2.182540 2.380952 1.785714 2.380952 0.000000 0.000000
## SAE Eleve
## 0.000000 0.000000
Nous reprenons ici la méthodologie élaborée pour le dataset intermédiaire etu2
# liste des variables à imputer
imputa_var <- c("Tps_Tot", "Tps_Xplr", "Tps_Xplo", "Tps_RI", "SW2a", "SW2b", "Docs", "TG_Tot")
# construction d'un dataset sans NA
etu3_no_na <- na.omit(etu3[, imputa_var])
# construction d'un dataset imputé à la moyenne
etu3_imp_moy <- etu3[, imputa_var]
for (var in imputa_var) {
etu3_imp_moy[, var] <- ifelse(is.na(etu3_imp_moy[, var]),
mean(etu3_imp_moy[, var], na.rm = TRUE),
etu3_imp_moy[, var])
}
calculate_na_percentage(etu3_imp_moy)
## Tps_Tot Tps_Xplr Tps_Xplo Tps_RI SW2a SW2b Docs TG_Tot
## 0 0 0 0 0 0 0 0
# construction d'un dataset imputé par random forest
library(randomForest)
library(missForest)
etu3_imp_rf <- missForest(etu3[, imputa_var])
etu3_imp_rf <- data.frame(etu3_imp_rf$ximp)
calculate_na_percentage(etu3_imp_rf)
## Tps_Tot Tps_Xplr Tps_Xplo Tps_RI SW2a SW2b Docs TG_Tot
## 0 0 0 0 0 0 0 0
# construction d'un dataset imputé par Analyse en composante Principale (ACP)
library(FactoMineR)
library(missMDA)
results_imp_PCA <- imputePCA(etu3[, imputa_var], method = "Regularized", ncp = 5)
etu3_imp_PCA <- data.frame(results_imp_PCA$completeObs)
etu3_imp_PCA
calculate_na_percentage(etu3_imp_PCA) # Check
## Tps_Tot Tps_Xplr Tps_Xplo Tps_RI SW2a SW2b Docs TG_Tot
## 0 0 0 0 0 0 0 0
# Ajoutons un identifiant de dataset à chaque dataframe pour la comparaison
etu3_no_na$Dataset <- "No NA"
etu3_imp_moy$Dataset <- "Imputed Mean"
etu3_imp_rf$Dataset <- "Imputed RF"
etu3_imp_PCA$Dataset <- "Imputed PCA"
# Concaténation des datasets
all_data2 <- bind_rows(etu3_no_na, etu3_imp_moy, etu3_imp_rf, etu3_imp_PCA)
head(all_data)
# Mise au format long pour plotting
# Sélection des colonnes numériques tout en conservant la colonne 'Dataset'
all_data_numeric2 <- all_data2 %>%
select(Dataset, where(is.numeric))
# On exclut la colonne 'Dataset' du processus de pivot pour la conserver comme identifiant
all_data_long2 <- all_data_numeric2 %>%
pivot_longer(
cols = -Dataset, # Exclure la colonne 'Dataset' de la transformation
names_to = "Variable", # Nom de la nouvelle colonne pour les noms de variables
values_to = "Value" # Nom de la nouvelle colonne pour les valeurs
)
# Liste unique des variables numériques
variables2 <- unique(all_data_long2$Variable)
# Parcourir chaque variable numérique pour générer les graphiques
for(var in variables2) {
# Filtrer les données pour la variable courante
data_var2 <- filter(all_data_long2, Variable == var)
# Boxplot
p1 <- ggboxplot(data_var2, x = "Dataset", y = "Value",
color = "Dataset", palette = "jco",
title = paste("Comparaison de la distribution de", var),
xlab = "Méthode d'imputation", ylab = var) +
theme(axis.text.x = element_text(angle = 45, hjust = 1)) # Rotation des labels x pour la lisibilité
print(p1)
# Density Plot
p2 <- ggdensity(data_var2, x = "Value", fill = "Dataset", alpha = 0.4) +
labs(title = paste("Distribution de", var),
x = var,
y = "Densité")
print(p2)
# Histogram
p3 <- gghistogram(data_var2, x = "Value", fill = "Dataset", rug = TRUE) +
labs(title = paste("Distribution générale de", var),
x = var,
y = "Nb. d'occurences") +
theme_pubr() # Utiliser theme_pubr pour un thème simple
print(p3)
}
## Warning: Using `bins = 30` by default. Pick better value with the argument
## `bins`.
## Warning: Using `bins = 30` by default. Pick better value with the argument
## `bins`.
## Warning: Using `bins = 30` by default. Pick better value with the argument
## `bins`.
## Warning: Using `bins = 30` by default. Pick better value with the argument
## `bins`.
## Warning: Using `bins = 30` by default. Pick better value with the argument
## `bins`.
## Warning: Using `bins = 30` by default. Pick better value with the argument
## `bins`.
## Warning: Using `bins = 30` by default. Pick better value with the argument
## `bins`.
## Warning: Using `bins = 30` by default. Pick better value with the argument
## `bins`.
L’analyse des disrtibution montre que globalement les 3
méthodes testées n’altère que très peu l’étendue des valeurs du dataset,
indiquant une conservation générale de la structure de l’information
disponible.
En
The disrtibution analysis shows that, overall, the 3 methods tested
alter the range of dataset values very little, indicating a general
conservation of the structure of the available information.
library(Metrics)
library(rpart)
library(rpart.plot)
library(rsample)
library(purrr)
# Division du jeu de données en ensembles d'entraînement et de test
set.seed(123) # Pour la reproductibilité
all_data_split2 <- initial_split(all_data2, prop = 0.8)
train_data2 <- training(all_data_split2)
test_data2 <- testing(all_data_split2)
# Division des ensemble d'entrainement selon le type d'imputation
train_data_no_na2 <- train_data2 %>%
filter(Dataset == "No NA")
train_data_no_na2 <- train_data_no_na2 %>%
mutate_at(vars(imputa_var), scale) # Standardisation des variables
train_data_mean2 <- train_data2 %>%
filter(Dataset == "Imputed Mean")
train_data_mean2 <- train_data_mean2 %>%
mutate_at(vars(imputa_var), scale) # Standardisation des variables
train_data_PCA2 <- train_data2 %>%
filter(Dataset == "Imputed PCA")
train_data_PCA2 <- train_data_PCA2 %>%
mutate_at(vars(imputa_var), scale)# Standardisation des variables
train_data_RF2 <- train_data2 %>%
filter(Dataset == "Imputed RF")
train_data_RF2 <- train_data_RF2 %>%
mutate_at(vars(imputa_var), scale)# Standardisation des variables
# Division des ensemble de test selon le type d'imputation
test_data_no_na2 <- test_data2 %>%
filter(Dataset == "No NA")
test_data_no_na2 <- test_data_no_na2 %>%
mutate_at(vars(imputa_var), scale) # Standardisation des variables
test_data_mean2 <- test_data2 %>%
filter(Dataset == "Imputed Mean")
test_data_mean2 <- test_data_mean2 %>%
mutate_at(vars(imputa_var), scale) # Standardisation des variables
test_data_PCA2 <- test_data2 %>%
filter(Dataset == "Imputed PCA")
test_data_PCA2 <- test_data_PCA2 %>%
mutate_at(vars(imputa_var), scale)# Standardisation des variables
test_data_RF2 <- test_data2 %>%
filter(Dataset == "Imputed RF")
test_data_RF2 <- test_data_RF2 %>%
mutate_at(vars(imputa_var), scale)# Standardisation des variables
# Comparaison de la performance des imputations
model_no_na2 <- lm(Tps_Tot ~., data = train_data_no_na2[,imputa_var]) # Ajustement du modèle de régression linéaire sur no_NA
model_mean2 <- lm(Tps_Tot ~., data = train_data_mean2[,imputa_var]) # Ajustement du modèle de régression linéaire sur moyenne
model_PCA2 <- lm(Tps_Tot ~., data = train_data_PCA2[,imputa_var]) # Ajustement du modèle de régression linéaire sur ACP
model_RF2 <- lm(Tps_Tot ~., data = train_data_RF2[,imputa_var]) # Ajustement du modèle de régression linéaire sur Random Forest
# Prédictions sur l'ensemble de test
predictions_no_na2 <- predict(model_no_na2, test_data_no_na2)
predictions_mean2 <- predict(model_mean2, test_data_mean2)
predictions_PCA2 <- predict(model_PCA2, test_data_PCA2)
predictions_RF2 <- predict(model_RF2, test_data_RF2)
# Calcul de RMSE
rmse_no_na2 <- rmse(test_data_no_na2$Tps_Tot, predictions_no_na2)
rmse_mean2 <- rmse(test_data_mean2$Tps_Tot, predictions_mean2)
rmse_PCA2 <- rmse(test_data_PCA2$Tps_Tot, predictions_PCA2)
rmse_RF2 <- rmse(test_data_RF2$Tps_Tot, predictions_RF2)
# Affichage des résultats
cat("RMSE modèle cas complet:", rmse_no_na2, "\n")
## RMSE modèle cas complet: 0.7066413
cat("RMSE modèle à la moyenne:", rmse_mean2, "\n")
## RMSE modèle à la moyenne: 0.5827963
cat("RMSE Forêt Aléatoire:", rmse_RF2, "\n")
## RMSE Forêt Aléatoire: 0.6634109
cat("RMSE modèle ACP:", rmse_PCA2, "\n")
## RMSE modèle ACP: 0.5784535
library(microbenchmark)
# Mesure des temps d'exécution pour chaque modèle
benchmark_results2 <- microbenchmark(
no_na2 = {
model_no_na2 <- lm(Tps_Tot ~ ., data = train_data_no_na2[, imputa_var])
},
mean2 = {
model_mean2 <- lm(Tps_Tot ~ ., data = train_data_mean2[, imputa_var])
},
PCA2 = {
model_PCA2 <- lm(Tps_Tot ~ ., data = train_data_PCA2[, imputa_var])
},
RF2 = {
model_RF2 <- lm(Tps_Tot ~ ., data = train_data_RF2[, imputa_var])
},
times = 100 # Nombre de fois que chaque expression est évaluée
)
# Affichage des résultats
print(benchmark_results2)
## Unit: milliseconds
## expr min lq mean median uq max neval cld
## no_na2 1.1786 1.30830 1.672579 1.61820 1.87825 3.4428 100 a
## mean2 1.1776 1.28675 1.622490 1.46885 1.88185 3.2659 100 a
## PCA2 1.1802 1.31380 1.752794 1.58310 1.99425 7.6998 100 a
## RF2 1.1893 1.29355 1.624860 1.54645 1.82730 3.4666 100 a
autoplot(benchmark_results2)
Encore une fois, l’ACP semble être la méthode la plus efficace compte
tenu du dataset etu3 (analyse erreur/coûts), beaucoup plus vaste que le
précédent.
# Finalisation du jeu de données etu3
for (var in imputa_var) {
etu3[, var] <- ifelse(is.na(etu3[, var]),
etu3_imp_PCA[, var],
etu3[, var])
}
etu3
calculate_na_percentage(etu3)
## Domaine Specialite Expertise Complexite Tps_Tot Tps_Xplr Tps_Xplo
## 0 0 0 0 0 0 0
## Tps_RI SW2a SW2b Docs TG_Tot FOFG FOFD
## 0 0 0 0 0 0 0
## SAE Eleve
## 0 0
# Ajout d'un identifiant d'étude pour la suite des traitements
etu3 <- etu3 %>%
mutate(Etude = "Etude3")
# Concaténation : création du jeu de données
test_heuristique <- rbind(etu1, etu2, etu3)
str(test_heuristique)
## 'data.frame': 819 obs. of 17 variables:
## $ Domaine : chr "HIST" "HIST" "HIST" "HIST" ...
## $ Specialite: chr "3EME" "3EME" "3EME" "3EME" ...
## $ Expertise : chr "expert" "expert" "expert" "expert" ...
## $ Complexite: chr "TC" "TC" "TC" "TC" ...
## $ Tps_Tot : num 5.51 5.15 5.21 5.58 4.68 ...
## $ Tps_Xplr : num 4.4 4.91 4.86 4.27 3.83 ...
## $ Tps_Xplo : num 5.14 4.15 4.7 5 3.94 ...
## $ Tps_RI : num 5.22 4.98 5.09 5.07 4.19 ...
## $ SW2a : num 3.5 4 3 2 1 1 2.5 3 4.5 1 ...
## $ SW2b : num 0 0 0 0.5 0 0 0 0 0.5 0 ...
## $ Docs : num 4.5 1 2 1.5 1 1 1 3 1.5 1 ...
## $ TG_Tot : num 0.0287 0.1424 0.0401 0.0404 0.2285 ...
## $ FOFG : num NA NA NA NA NA NA NA NA NA NA ...
## $ FOFD : num NA NA NA NA NA NA NA NA NA NA ...
## $ SAE : int 19 45 33 45 45 39 49 49 44 41 ...
## $ Eleve : chr "ALE3A" "ALI3C" "ANAEL3A" "Anna3B" ...
## $ Etude : chr "Etude1" "Etude1" "Etude1" "Etude1" ...
# Vérification
calculate_na_percentage(test_heuristique)
## Domaine Specialite Expertise Complexite Tps_Tot Tps_Xplr Tps_Xplo
## 0.00000 0.00000 0.00000 0.00000 0.00000 0.00000 0.00000
## Tps_RI SW2a SW2b Docs TG_Tot FOFG FOFD
## 0.00000 0.00000 0.00000 0.00000 0.00000 27.83883 27.83883
## SAE Eleve Etude
## 0.00000 0.00000 0.00000
# Exportation de la base finale
write.csv(test_heuristique, "test_heuristique.csv")
Cet ensemble de données (test_heuristique) est issu de la concaténation (détails ci-dessus) de trois jeux indépendants. Il comporte 819 lignes et 17 colonnes. J’ai validé toutes les variables et effectué quelques modification afin de correspondre au descriptif des données :
Notons que lors de la concaténation, les variables numériques liées à la mesure de l’activité dans les études 2 et 3 (Complexite, Tps_Tot, Tps_Xplr, Tps_Xplo, Tps_RI, SW2a, SW2b, Docs et TG_Tot) présentaient entre 1,7% et 2,6% de valeurs manquantes, et ont fait l’objet d’une imputation à la moyenne pour les besoins de l’exercice.
str(test_heuristique)
## 'data.frame': 819 obs. of 17 variables:
## $ Domaine : chr "HIST" "HIST" "HIST" "HIST" ...
## $ Specialite: chr "3EME" "3EME" "3EME" "3EME" ...
## $ Expertise : chr "expert" "expert" "expert" "expert" ...
## $ Complexite: chr "TC" "TC" "TC" "TC" ...
## $ Tps_Tot : num 5.51 5.15 5.21 5.58 4.68 ...
## $ Tps_Xplr : num 4.4 4.91 4.86 4.27 3.83 ...
## $ Tps_Xplo : num 5.14 4.15 4.7 5 3.94 ...
## $ Tps_RI : num 5.22 4.98 5.09 5.07 4.19 ...
## $ SW2a : num 3.5 4 3 2 1 1 2.5 3 4.5 1 ...
## $ SW2b : num 0 0 0 0.5 0 0 0 0 0.5 0 ...
## $ Docs : num 4.5 1 2 1.5 1 1 1 3 1.5 1 ...
## $ TG_Tot : num 0.0287 0.1424 0.0401 0.0404 0.2285 ...
## $ FOFG : num NA NA NA NA NA NA NA NA NA NA ...
## $ FOFD : num NA NA NA NA NA NA NA NA NA NA ...
## $ SAE : int 19 45 33 45 45 39 49 49 44 41 ...
## $ Eleve : chr "ALE3A" "ALI3C" "ANAEL3A" "Anna3B" ...
## $ Etude : chr "Etude1" "Etude1" "Etude1" "Etude1" ...
levels(as.factor(test_heuristique$Domaine))
## [1] "BIOAP" "ECO" "HIST" "SVT"
levels(as.factor(test_heuristique$Specialite))
## [1] "3EME" "4EME" "ASSP" "ELEC" "S" "SES"
levels(as.factor(test_heuristique$Expertise))
## [1] "expert" "novice"
levels(as.factor(test_heuristique$Complexite))
## [1] "TC" "TI" "TR"
# Correction des type de variables (de caractère à facteur)
catego <- c("Domaine", "Specialite", "Expertise", "Complexite", "Etude")
for (var in catego) {
test_heuristique[, var] <- as.factor(test_heuristique[,var])
}
# Vérification
calculate_na_percentage(test_heuristique)
## Domaine Specialite Expertise Complexite Tps_Tot Tps_Xplr Tps_Xplo
## 0.00000 0.00000 0.00000 0.00000 0.00000 0.00000 0.00000
## Tps_RI SW2a SW2b Docs TG_Tot FOFG FOFD
## 0.00000 0.00000 0.00000 0.00000 0.00000 27.83883 27.83883
## SAE Eleve Etude
## 0.00000 0.00000 0.00000
head(test_heuristique)
library(visdat)
library(naniar)
# Représenter les données manquantes du dataset
vis_miss(test_heuristique, show_perc_col = FALSE, warn_large_data = FALSE) +
ggplot2::theme(plot.margin = ggplot2::margin(0, 1, 0, 0, "cm")) +
blue_theme()
gg_miss_fct(x = test_heuristique, fct = Etude) +
ggplot2::theme(plot.margin = ggplot2::margin(0, 1, 0, 0, "cm")) +
labs(x = "Etude", y = "Variable", fill = "% de données manquantes")
Les 28% de NA proviennent de l’étude 1. Elles ne possèdent pas de
structure particulière apparente, elles sont manquantes par “accident”.
Cependant, pour les besoins de l’exercice nous allons réaliser une
imputation par forêt aléatoire. En effet, l’idée est de nous servir des
relations entre les informations expérimentales telles qu’éxistante
(catégorielles et numériques) lors deux autres études, ce qui devrait
permettre d’augmenter la puissance des tests statistiques à venir
(augmentation de la taille de l’échantillon) sans trop altérer la
structure de l’information disponible (Husson, 2017).
library(missForest)
MForest_df <- missForest(test_heuristique[, -c(16:17)]) # retrait des variables inutiles pour le traitement d'imputation
MForest_df$ximp
# Remplacer les NA par les valeurs calculées
maj_imp <- function(original_df, imput_df, columns, num_rows) {
for (col in columns) {
# Identifier les lignes avec des valeurs manquantes
NA_rows <- is.na(original_df[1:num_rows, col])
# Reporter les valeurs imputées dans le df original
original_df[1:num_rows, col][NA_rows] <- imput_df[NA_rows, col]
}
return(original_df)
}
# Utilisation de la fonction : remplacement des NA
colonnes_imp <- c("FOFG", "FOFD")
MForest_df$ximp$FOFG <- MForest_df$ximp$FOFG
MForest_df$ximp$FOFD <- MForest_df$ximp$FOFD
test_heuristique.imp <- maj_imp(test_heuristique, MForest_df$ximp, colonnes_imp, 228)
# Ajoutez une colonne pour identifier les dataframes avant/après imputation
test_heuristique$Source <- "Original"
test_heuristique.imp$Source <- "Imputation_RF"
comb_df <- rbind(test_heuristique, test_heuristique.imp)
dens1 <- ggdensity(comb_df, x = "FOFD", fill = "Source") +
labs(subtitle = "Distribution de FOFD",
x = "FOFD",
y = "Densité") +
blue_theme()
dens1
dens2 <- ggdensity(comb_df, x = "FOFG", fill = "Source") +
labs(subtitle = "Distribution de FOFG",
x = "FOFG",
y = "Densité") +
blue_theme()
dens2
ggarrange(dens1, dens2)
L’imputation par forêts aléatoire semble ne pas avoir trop déformé la
distribution des mesures métacognitives, permettant même une
distribution de ces variables plus proche d’une loi normale.
J’ai étudié la variable cible (temps d’arrêt ou Tps_Tot) et les caractéristiques de l’activité des élèves tels que requis par l’analyse demandée (ici le nombre de documents, Docs, et le taux d’information pertinente accumulée, ou TG_Tot), ainsi que la relation entre la variable cible et ces caractéristiques. Après l’analyse, j’ai décidé d’appliquer les changements suivants pour permettre la modélisation :
# Exploration des variables numériques
variables_a_explorer <- test_heuristique.imp %>%
select("TG_Tot", "Docs", "Tps_Tot", "FOFD", "FOFG", "Expertise") %>%
get_summary_stats(type = "mean_sd")
variables_a_explorer
# Exploration des variables numériques par groupe d'expertise
variables_a_explorer.g <- test_heuristique.imp %>%
select("TG_Tot", "Docs", "Tps_Tot", "FOFD", "FOFG", "Expertise") %>%
group_by(Expertise) %>%
get_summary_stats(type = "mean_sd")
variables_a_explorer.g
variables_a_explorer.gc <- test_heuristique.imp %>%
select("TG_Tot", "Docs", "Tps_Tot", "FOFD", "FOFG", "Expertise", "Complexite") %>%
group_by(Expertise, Complexite) %>%
get_summary_stats(type = "mean_sd")
variables_a_explorer.gc
A partir de l’analyse des histogrammes ci-dessous, la variable cible semble globalement soutenir l’hypothèse de normalité, quelque soit le facteur experimental (Expertise ou Complexité). Pas de transformation envisagée. On note le possible effet de l’incertitude (mesuré par complexité des tâches) ; pas d’effet remarquable des connaissances antérieures (niveau d’expertise)
# Distribution de Tps_Tot
dist_y <- gghistogram(test_heuristique.imp, x = "Tps_Tot",
add = "mean", rug = TRUE, color = "#00AFBB", fill = "#00AFBB") +
labs(subtitle = "Distribution générale",
x = "Temps d'arrêt\n",
y = "Nb. d'occurences") +
blue_theme()
dist_y
# Introudction des facteurs experimentaux
dist_y.f1 <- gghistogram(test_heuristique.imp, x = "Tps_Tot",
add = "mean", rug = TRUE,
color = "Expertise", fill = "Expertise",
palette = c("#00AFBB", "#E7B800")) +
labs(subtitle = "Distribution sous contrainte d'expertise",
x = "Temps d'arrêt\n",
y = "Nb. d'occurences") +
blue_theme()
dist_y.f1
dist_y.f2 <- gghistogram(test_heuristique.imp, x = "Tps_Tot",
add = "mean", rug = TRUE,
color = "Complexite", fill = "Complexite",
palette = c("#00AFBB", "#E7B800", "green4" )) +
labs(subtitle = "Distribution sous contrainte de complexité",
x = "Temps d'arrêt\n",
y = "Nb. d'occurences") +
blue_theme()
dist_y.f2
ggarrange(dist_y,
ggarrange(dist_y.f1, dist_y.f2, ncol = 2),
ncol = 1, nrow = 2)
On observe une modification de la distribution du temps d’arrêt selon la complexité des tâches (plus de valeurs différentes selon les modalités de complexité) traduisant une plus grande variabilité des valeurs. Cette variabilité plus importante soulignent l’effet de l’incertitude sur le temps d’arrêt, traduisant des comportements différentes chez les utilisateurs. On note également une augmentation du temps d’arrêt avec la complexité des tâches. A contrario, on ne remarquez pas d’effet de l’expertise sur le temps d’arrêt dans la représentation de la distribution ci-dessus, traduisant une certaine stabilité des comportements des utilisateurs, quelque soit leur niveau d’expertise.
# Boxplots du Temps d'arrêt versus Complexité
box1 <- ggboxplot(test_heuristique.imp, x = "Complexite", y = "Tps_Tot",
color = "Complexite") +
ylab("Temps total (Temps d'arrêt)")
box1
On peut s’attendre à un effet de la complexité (entre TC-TI et TC-TR), signifiant une modification des comportement lors de l’augmentation de la complexité des tâches (TC = tâches contrôles sans incertitude), mais pas de différence entre les deux modalités des tâches complexes.
# Moyenne et écart-type du temps d'arrêt versus expertise
ggerrorplot(test_heuristique.imp, x = "Expertise", y = "Tps_Tot",
color = "Expertise", palette = c("blue", "#E7B800"),
error.plot = "pointrange",
position = position_dodge(0.5),
orientation = "horizontal") +
labs(subtitle = "Moyenne et écart-type du temps d'arrêt selon l'expertise") +
blue_theme()
Bien qu’il puissse exister une difference dans les moyennes de temps d’arrêt entre les deux groupes (expert vs novice), cette différence semble manifestement trop faible (et trop dispersée) pour permettre la mesure ultérieure d’un effet significatif de l’expertise. Nous nous attendons donc à l’absence d’un effet significatif de l’expertise dans les analyses ultérieures.
# Boxplots du Temps d'arrêt versus Expertise + Complexite (exploration des interactions)
box2 <- ggboxplot(test_heuristique.imp, x = "Expertise", y = "Tps_Tot",
color = "Complexite") +
ylab("Temps total (Temps d'arrêt)")
box2
La représentations des boxplots selon les modalités de complexité et d’expertise ne montre pas de différence importante entre les modalités de complexité pour les deux niveaux d’expertise. Nous nous attendrons donc à une absence d’interaction Expertise*Complexite.
# Distribution de TG_Tot
dist_TG_Tot <- gghistogram(test_heuristique.imp, x = "TG_Tot",
add = "mean", rug = TRUE, color = "#00AFBB", fill = "#00AFBB",
add.params = list(color = "black", linetype = "dashed")) +
labs(subtitle = "Taux d'information pertinente accumulée (distr.)",
x = "Taux de gains\n",
y = "Nb. d'occurences") +
blue_theme()
dist_TG_Tot
# Ajuster la distribution : transformer la variable
test_heuristique.imp$TG_Tot_t <- 1/(test_heuristique.imp$TG_Tot)
# Calcul de la moyenne en excluant les valeurs Inf et NA
mean_TG_Tot_t <- mean(replace(test_heuristique.imp$TG_Tot_t, test_heuristique.imp$TG_Tot_t == Inf, NA), na.rm = TRUE)
mean_TG_Tot_t
## [1] 82.91446
dist_TG_Tot_t <- gghistogram(test_heuristique.imp, x = "TG_Tot_t",
add = "mean", rug = TRUE, color = "#00AFBB", fill = "#00AFBB") +
geom_vline(xintercept = mean_TG_Tot_t, linetype = "dashed", color = "black") +
labs(subtitle = "Taux d'information pertinente accumulée, variable transformée (distr.)",
x = "Taux de gains\n",
y = "Nb. d'occurences") +
blue_theme()
dist_TG_Tot_t
ggarrange(dist_TG_Tot, dist_TG_Tot_t)
Le resserrement des valeurs autour de 0 (modalité de calcul liée au
cadre théorique de l’expérimentation) gêne consédérablement les
transformations, faisant apparaître des valeurs “infinies” pour
certaines transformations. La transformartion 1/x permet un meilleur
étalement, et pourra être utilisée.
# Distribution de Docs
dist_Docs <- gghistogram(test_heuristique.imp, x = "Docs",
add = "mean", rug = TRUE, color = "#00AFBB", fill = "#00AFBB",
add.params = list(color = "black", linetype = "dashed")) +
labs(subtitle = "Nb. de documents consultés (distr.)",
x = "Documents\n",
y = "Nb. d'occurences") +
blue_theme()
dist_Docs
La distribution des documents n’est pas continue, des
groupements apparaissent dans les données et peut amener à discrétiser
cette variable.
La heatmap ci-dessous met en évidence que le temps d’arrêt (Tps_Tot) possède de nombreuses liaisons avec différentes variables numériques. Dans le cadre de notre analyse, nous constatons une relation modérée négative (-0.44) entre Tps_Tot et TG_Tot (signifiant que plus le taux d’information accumulée augmente et plus le temps d’arrêt diminue), et une relation modérée positive (0.56) entre TG_Tot et Tps_Tot (signifiant que plus le nombre de document augmente, plus le temps d’arrêt augmente), conformément à nos attentes.
library(ggcorrplot)
library(corrplot)
library(GGally)
# Construction de la matrice des corrélation pour les variables numériques + variable transformée
cor_df <- test_heuristique.imp %>%
select_if(is.numeric) %>%
mutate_all(~replace(., . == Inf, NA)) %>% # Remplacer Inf par NA (cas de la variable transformée)
cor(use = "complete.obs") # Utiliser seulement les observations complètes pour le calcul de corrélation
cor_df2 <- test_heuristique.imp[,-19] %>% # Retrait de la variable transformée
select_if(is.numeric)
cor_df2 <- cor(cor_df2)
# Construtcion de la heatmap1
corplot1 <- ggcorrplot(cor_df, hc.order = TRUE, type = "lower",
lab = TRUE, ggtheme = theme_gray) +
labs(subtitle = "Corrélogramme avec variable transformée (cas complet)")
corplot1
# Construtcion de la heatmap2
corplot2 <- ggcorrplot(cor_df2, hc.order = TRUE, type = "lower",
lab = TRUE, ggtheme = theme_gray) +
labs(subtitle = "Corrélogramme sur variables d'origine")
corplot2
ggarrange(corplot1, corplot2)
Les relations entre variables au sein du jeu de données
d’origine montrent des relations modérée négative (-0.44) entre Tps_Tot
et TG_Tot (signifiant que plus le taux d’information accumulée augmente
et plus le temps d’arrêt diminue), et une relation modérée positive
(0.56) entre TG_Tot et Tps_Tot (signifiant que plus le nombre de
document augmente, plus le temps d’arrêt augmente). Les coefficient de
corrélations sont cependant modifiés avec l’introduction de la variable
transformée (transformation 1/x) qui impose une restriction des
observations utilisées aux “cas complets, i.e. supprimant environ 193
lignes. Les relations entre variables sont conservées dans leur logique
et leur ordre de grandeur, le coefficient positif entre TG_Tot_t et
Tps_Tot signifiant également que la variable varie en sens inversé
(cf. transformation 1/x), i.e. diminue lorsque Tps_Tot augmente.
Pour confirmer ces relations linéaires, j’ai réalisé des scatterplots entre les variables numériques. Les scatterplots ci-dessous soutiennent les relations linéaires entre Tps_Tot et TG_Tot (souligné par TG_Tot_t), ainsi qu’entre Docs et Tps_Tot, mais montrent qu’il est possible de considérer des “groupements” pour Docs. Une discrétisation de cette variable est donc proposée.
#Scatterplot Tps_tot vs TG_Tot_t"
scat1 <- ggscatter(test_heuristique.imp, x = "Tps_Tot", y = "TG_Tot_t",
color = "steelblue", shape = 21, size = 3,
add = "reg.line",
add.params = list(color = "blue", fill = "gray50"),
conf.int = TRUE,
cor.coef = TRUE, cor.method = "pearson"
) +
labs(subtitle = "Tps_Tot vs TG_Tot_t (transformé)") +
blue_theme()
scat1
#Scatterplot Tps_tot vs TG_Tot"
scat1b <- ggscatter(test_heuristique.imp, x = "Tps_Tot", y = "TG_Tot",
color = "steelblue", shape = 21, size = 3,
add = "reg.line",
add.params = list(color = "blue", fill = "gray50"),
conf.int = TRUE,
cor.coef = TRUE, cor.method = "pearson"
) +
labs(subtitle = "Tps_Tot vs TG_Tot") +
blue_theme()
scat1b
ggarrange(scat1, scat1b)
#Scatterplot Tps_tot vs Docs"
scat2 <- ggscatter(test_heuristique.imp, x = "Docs", y = "Tps_Tot",
color = "steelblue", shape = 21, size = 3,
add = "reg.line",
add.params = list(color = "blue", fill = "gray50"),
conf.int = TRUE,
cor.coef = TRUE, cor.method = "pearson"
) +
labs(subtitle = "Tps_Tot vs Docs") +
blue_theme()
scat2
# Figure combinée
ggarrange(scat1, scat2)
La discrétisation, pratique courante en analyse de données,
n’est à strictement parlé, pas nécessaire si la relation est linéaire
avec la variable cible. Elle permet toutefois d’autres analyse et
exploration
# Discrétisation de la variable Docs
tab1 <- table(as.factor(test_heuristique.imp$Docs))
tab1_str <- capture.output(print(tab1))
writeClipboard(tab1_str)
test_heuristique.imp$c.Docs <- cut(test_heuristique.imp$Docs, c(0,1,2,3,Inf))
table(test_heuristique.imp$c.Docs)
##
## (0,1] (1,2] (2,3] (3,Inf]
## 289 206 122 202
scat3 <- ggscatter(test_heuristique.imp, x = "c.Docs", y = "Tps_Tot",
color = "steelblue", shape = 21, size = 3) +
labs(subtitle = "Tps_Tot vs c.Docs") +
blue_theme()
scat3
box3 <- ggboxplot(test_heuristique.imp, x = "c.Docs", y = "Tps_Tot",
color = "c.Docs", shape = 1, size = 1,
conf.int = TRUE) +
labs(subtitle = "Tps_Tot vs c.Docs") +
blue_theme()
box3
# Exemple de traitement possible sur la variable c.Docs
library(ggmosaic)
# mozaicplot expertise/nb de document
mosaic_plot <- ggplot(data = test_heuristique.imp) +
geom_mosaic(aes(x = product(c.Docs), fill = Expertise)) +
labs(y = "Expertise", x = "c.Docs", title = "Mosaic Plot (c.Docs vs Expertise)") +
blue_theme()
mosaic_plot
Parce qu’un corrélogramme ne peut que saisir les relations bivariées (e.g. par paire) entre variables, et que nous souhaitons construire un modèle dans lequel les deux variables TG_Tot et Docs puissent prédire et expliquer simultanément le temps total ou temps d’arrêt (Tps_Tot), il nous semble intéressant de produire des visualisations permettant de représenter ces liaisons multiples.
library(scatterplot3d)
# Assignation des couleurs
colors <- c("blue", "orange")
plot_colors <- colors[test_heuristique.imp$Expertise]
# scatterplot 3d
test_heuristique.imp_scale <- scale(test_heuristique.imp[, c("Tps_Tot", "TG_Tot", "Docs")])
x <- test_heuristique.imp_scale[,1]
y <- test_heuristique.imp_scale[,2]
z <- test_heuristique.imp_scale[,3]
xlabel <- paste("Temps d'arrêt")
ylabel <- paste("Informations pertinentes acc.")
zlabel <- paste("Nb. de documents")
scatterplot3d(x,y,z, xlab = xlabel, ylab = ylabel, zlab = zlabel, color = plot_colors, pch = 19)
# Ajout de la légende
legend("bottomright", inset=.05, title="Legende", c("Expert", "Novice"), fill=colors)
library(FactoMineR)
multi.var <- test_heuristique.imp %>%
select("Tps_Tot", "Docs", "Expertise", "Complexite", "TG_Tot", "FOFG", "FOFD")
#ACP
res.acp <- PCA(multi.var, quanti.sup = c("FOFD", "FOFG"), quali.sup=c("Expertise", "Complexite"), scale.unit=TRUE, graph=TRUE)
Cette représentation montre la relation entre TG_Tot et Docs dans le cadre de l’analyse des trois variables, qui semblent bien manifester une relation complémentaire “en sens inverse” l’une de l’autre.Les jugements métacognitifs, mal représentés sur le plan factoriel, pourraient effectivement avoir un pouvoir prédictif du nombre de documents et du temps (FOFG), mais ces effets devraient être de faible puissance.
library(stats)
# Régression linéaire
model.reg <- lm(scale(Tps_Tot) ~ scale(TG_Tot) + scale(Docs) + Expertise + Complexite + Expertise*Complexite, test_heuristique.imp)
# Affichage du résumé du modèle
summary(model.reg)
##
## Call:
## lm(formula = scale(Tps_Tot) ~ scale(TG_Tot) + scale(Docs) + Expertise +
## Complexite + Expertise * Complexite, data = test_heuristique.imp)
##
## Residuals:
## Min 1Q Median 3Q Max
## -2.52401 -0.48167 0.00789 0.47537 2.98583
##
## Coefficients:
## Estimate Std. Error t value Pr(>|t|)
## (Intercept) -0.242932 0.061964 -3.921 9.58e-05 ***
## scale(TG_Tot) -0.286686 0.027752 -10.330 < 2e-16 ***
## scale(Docs) 0.425974 0.028325 15.039 < 2e-16 ***
## Expertisenovice 0.002273 0.082706 0.027 0.978
## ComplexiteTI 0.416020 0.095298 4.365 1.43e-05 ***
## ComplexiteTR 0.443158 0.092416 4.795 1.93e-06 ***
## Expertisenovice:ComplexiteTI -0.068715 0.126300 -0.544 0.587
## Expertisenovice:ComplexiteTR -0.028058 0.126410 -0.222 0.824
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## Residual standard error: 0.7452 on 811 degrees of freedom
## Multiple R-squared: 0.4495, Adjusted R-squared: 0.4447
## F-statistic: 94.59 on 7 and 811 DF, p-value: < 2.2e-16
# Tableau d'analyse de variance
anova(model.reg)
# Créer des graphiques de diagnostic
library(ggfortify)
autoplot(model.reg, which = c(1:3,5), nrow = 2, ncol = 2, label.size = 2) +
blue_theme()
Comme le souligne les résultats de la régression linéaire
multiple, le taux de gain et le nombre de documents ont un effet sur le
temps d’arrêts des élèves, et représentent des prédicteurs significatifs
de la décision d’arrêt, confirmant notre hypothèse. La complexité montre
également un effet sur la temps d’arrêt, permettant de confirmer notre
hypothèse, mais pas l’expertise (niveau de connaissances antérieures),
invalidant notre hypothèse.
# Régression linéaire
model.meta_G <- lm(scale(Tps_Tot) ~ scale(FOFG) + Expertise + Complexite + Expertise*Complexite, test_heuristique.imp)
# Affichage du résumé du modèle
summary(model.meta_G)
##
## Call:
## lm(formula = scale(Tps_Tot) ~ scale(FOFG) + Expertise + Complexite +
## Expertise * Complexite, data = test_heuristique.imp)
##
## Residuals:
## Min 1Q Median 3Q Max
## -3.12827 -0.59598 0.02015 0.59377 3.11605
##
## Coefficients:
## Estimate Std. Error t value Pr(>|t|)
## (Intercept) -0.50739 0.07333 -6.919 9.20e-12 ***
## scale(FOFG) 0.17247 0.03409 5.060 5.19e-07 ***
## Expertisenovice 0.09964 0.09924 1.004 0.3157
## ComplexiteTI 0.94740 0.10950 8.652 < 2e-16 ***
## ComplexiteTR 0.82397 0.10741 7.671 4.88e-14 ***
## Expertisenovice:ComplexiteTI -0.28597 0.15028 -1.903 0.0574 .
## Expertisenovice:ComplexiteTR -0.19412 0.15039 -1.291 0.1972
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## Residual standard error: 0.8902 on 812 degrees of freedom
## Multiple R-squared: 0.2133, Adjusted R-squared: 0.2075
## F-statistic: 36.69 on 6 and 812 DF, p-value: < 2.2e-16
# Tableau d'analyse de variance
anova(model.meta_G)
library(ggfortify)
# Créer des graphiques de diagnostic
autoplot(model.meta_G, which = c(1:3,5), nrow = 2, ncol = 2, label.size = 2) +
blue_theme()
# Régression linéaire
model.meta_D <- lm(scale(Docs) ~ scale(FOFD) + Expertise + Complexite + Expertise*Complexite, test_heuristique.imp)
# Affichage du résumé du modèle
summary(model.meta_D)
##
## Call:
## lm(formula = scale(Docs) ~ scale(FOFD) + Expertise + Complexite +
## Expertise * Complexite, data = test_heuristique.imp)
##
## Residuals:
## Min 1Q Median 3Q Max
## -1.8027 -0.5686 -0.2134 0.4343 4.9705
##
## Coefficients:
## Estimate Std. Error t value Pr(>|t|)
## (Intercept) -0.31921 0.07739 -4.125 4.09e-05 ***
## scale(FOFD) 0.22808 0.03655 6.241 7.00e-10 ***
## Expertisenovice 0.05332 0.10165 0.525 0.60006
## ComplexiteTI 0.75603 0.11618 6.507 1.34e-10 ***
## ComplexiteTR 0.36083 0.11304 3.192 0.00147 **
## Expertisenovice:ComplexiteTI -0.24584 0.15411 -1.595 0.11104
## Expertisenovice:ComplexiteTR -0.02908 0.15380 -0.189 0.85010
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## Residual standard error: 0.911 on 812 degrees of freedom
## Multiple R-squared: 0.1761, Adjusted R-squared: 0.1701
## F-statistic: 28.94 on 6 and 812 DF, p-value: < 2.2e-16
# Tableau d'analyse de variance
anova(model.meta_D)
library(ggfortify)
# Créer des graphiques de diagnostic
autoplot(model.meta_D, which = c(1:3,5), nrow = 2, ncol = 2, label.size = 2) +
blue_theme()
Comme envisagé, les mesures métacognitives du FOFD et du
FOFG montrent un effet sur le temps d’arrêt et le nombre de documents,
et permettent de prédire le temps total (FOFG) ainsi que le nombre de
documents (FOFD).
# Mozaic plot sur contingence et residus du test chi2
contingency_table <- with(test_heuristique.imp, table(Expertise, c.Docs))
contingency_df <- test_heuristique.imp[,c("Expertise", "c.Docs")]
# Effectuer un test du chi carré
chi2_test <- chisq.test(contingency_table)
# Afficher les résultats du test et les fréquences attendues
print("Résultats du test du chi carré :")
## [1] "Résultats du test du chi carré :"
print(chi2_test)
##
## Pearson's Chi-squared test
##
## data: contingency_table
## X-squared = 1.5951, df = 3, p-value = 0.6605
print("Fréquences attendues :")
## [1] "Fréquences attendues :"
print(chi2_test$expected)
## c.Docs
## Expertise (0,1] (1,2] (2,3] (3,Inf]
## expert 143.9707 102.6227 60.77656 100.63
## novice 145.0293 103.3773 61.22344 101.37
library(vcd)
library(lsr)
# afficher le V de cramer
V <- cramersV(contingency_table)
cat(paste("V de Cramer: V =", round(V, 2)), "\n")
## V de Cramer: V = 0.04
# Créer un graphique en mosaïque pour les résidus du test du chi carré
mosaicplot(contingency_table, main = NULL,
xlab = "Expertise",
ylab = "Nb. de documents",
las = 1,
border = "chocolate",
shade=TRUE,
)
# Mozaic plot sur contingence et residus du test chi2
contingency_table <- with(test_heuristique.imp, table(Complexite, c.Docs))
contingency_df <- test_heuristique.imp[,c("Complexite", "c.Docs")]
# Effectuer un test du chi carré
chi2_test <- chisq.test(contingency_table)
# Afficher les résultats du test et les fréquences attendues
print("Résultats du test du chi carré :")
## [1] "Résultats du test du chi carré :"
print(chi2_test)
##
## Pearson's Chi-squared test
##
## data: contingency_table
## X-squared = 128.67, df = 6, p-value < 2.2e-16
print("Fréquences attendues :")
## [1] "Fréquences attendues :"
print(chi2_test$expected)
## c.Docs
## Complexite (0,1] (1,2] (2,3] (3,Inf]
## TC 116.79976 83.25519 49.30647 81.63858
## TI 86.10012 61.37241 36.34676 60.18071
## TR 86.10012 61.37241 36.34676 60.18071
library(vcd)
library(lsr)
# afficher le V de cramer
V <- cramersV(contingency_table)
cat(paste("V de Cramer: V =", round(V, 2)), "\n")
## V de Cramer: V = 0.28
# Créer un graphique en mosaïque pour les résidus du test du chi carré
mosaicplot(contingency_table, main = NULL,
xlab = "Complexite",
ylab = "Nb. de documents",
las = 1,
border = "chocolate",
shade=TRUE,
)
L’analyse complémentaire montre que le nombre de documents
est sensible au niveau de complexité, avec un Chi2 significatif et un V
de cramer de 0,28, mais pas à l’expertise.
# ANOVA
model.TG <- aov(TG_Tot ~ Expertise + Complexite + Expertise*Complexite, test_heuristique.imp)
# Affichage du résumé du modèle ANOVA
summary(model.TG)
## Df Sum Sq Mean Sq F value Pr(>F)
## Expertise 1 0.0178 0.01778 4.864 0.0277 *
## Complexite 2 0.2834 0.14168 38.767 <2e-16 ***
## Expertise:Complexite 2 0.0313 0.01567 4.288 0.0140 *
## Residuals 813 2.9713 0.00365
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
# ANOVA
library(rstatix)
model.TG2 <- test_heuristique.imp %>% anova_test(TG_Tot ~ Expertise + Complexite + Expertise*Complexite)
model.TG2
# Affichage du résumé du modèle ANOVA
summary(model.TG2)
## Effect DFn DFd F
## Length:3 Min. :1.000 Min. :813 Min. : 4.288
## Class :character 1st Qu.:1.500 1st Qu.:813 1st Qu.: 5.064
## Mode :character Median :2.000 Median :813 Median : 5.840
## Mean :1.667 Mean :813 Mean :16.298
## 3rd Qu.:2.000 3rd Qu.:813 3rd Qu.:22.303
## Max. :2.000 Max. :813 Max. :38.767
## p p<.05 ges
## Min. :0.000 Length:3 Min. :0.00700
## 1st Qu.:0.007 Class :character 1st Qu.:0.00850
## Median :0.014 Mode :character Median :0.01000
## Mean :0.010 Mean :0.03467
## 3rd Qu.:0.015 3rd Qu.:0.04850
## Max. :0.016 Max. :0.08700
Les variables de l’expertise et de la complexité montrent
un effet principal sur le taux de gain, comme envisagé par les
hypothèses. Les analyse ont également souligné la présence d’une
interaction entre expertise et complexité.
# Test post-hoc
TukeyHSD(model.TG, "Complexite")
## Tukey multiple comparisons of means
## 95% family-wise confidence level
##
## Fit: aov(formula = TG_Tot ~ Expertise + Complexite + Expertise * Complexite, data = test_heuristique.imp)
##
## $Complexite
## diff lwr upr p adj
## TI-TC -0.041165493 -0.053142649 -0.02918834 0.0000000
## TR-TC -0.033708889 -0.045686045 -0.02173173 0.0000000
## TR-TI 0.007456604 -0.005394746 0.02030796 0.3612862
TukeyHSD(model.TG, "Expertise:Complexite")
## Tukey multiple comparisons of means
## 95% family-wise confidence level
##
## Fit: aov(formula = TG_Tot ~ Expertise + Complexite + Expertise * Complexite, data = test_heuristique.imp)
##
## $`Expertise:Complexite`
## diff lwr upr p adj
## novice:TC-expert:TC -0.024622494 -0.04361679 -0.005628197 0.0031040
## expert:TI-expert:TC -0.051184154 -0.07184536 -0.030522951 0.0000000
## novice:TI-expert:TC -0.056207536 -0.07706184 -0.035353233 0.0000000
## expert:TR-expert:TC -0.048227968 -0.06888917 -0.027566765 0.0000000
## novice:TR-expert:TC -0.044100499 -0.06495480 -0.023246197 0.0000000
## expert:TI-novice:TC -0.026561660 -0.04693064 -0.006192675 0.0028572
## novice:TI-novice:TC -0.031585041 -0.05214987 -0.011020213 0.0001881
## expert:TR-novice:TC -0.023605474 -0.04397446 -0.003236489 0.0124483
## novice:TR-novice:TC -0.019478005 -0.04004283 0.001086823 0.0752020
## novice:TI-expert:TI -0.005023382 -0.02713705 0.017090283 0.9871653
## expert:TR-expert:TI 0.002956186 -0.01897547 0.024887842 0.9989038
## novice:TR-expert:TI 0.007083655 -0.01503001 0.029197319 0.9426974
## expert:TR-novice:TI 0.007979568 -0.01413410 0.030093233 0.9075721
## novice:TR-novice:TI 0.012107036 -0.01018715 0.034401224 0.6310077
## novice:TR-expert:TR 0.004127469 -0.01798620 0.026241133 0.9948216
TukeyHSD(model.TG, "Expertise")
## Tukey multiple comparisons of means
## 95% family-wise confidence level
##
## Fit: aov(formula = TG_Tot ~ Expertise + Complexite + Expertise * Complexite, data = test_heuristique.imp)
##
## $Expertise
## diff lwr upr p adj
## novice-expert -0.009317925 -0.01761099 -0.00102486 0.027701
L’analyse des test post-hoc confirme les effets des
variables Expertise et Complexité sur le taux de gain. Le test de Tukey
souligne toutefois que les interactions existent entre ces deux facteurs
pour les tâches uniquement pour les tâches sans complexité TC. La
complexité en tant que telle impacte bien le taux de gain, mais de
manière identique entre les novices et les experts (sans différences
significatives) pour les tâches TR et TI (par rapport aux tâches TC). Si
globalement les experts et les novices se distinguent, il semble que ce
ne soit que sur les niveaux d’incertitude les plus faibles (Tc).
L’expertise ne semble pas avoir apporter de ressources cognitives
suffisantes pour compenser l’augmentation de la complexité, invalidant
notre hypothèse.
Cas 1 : en supposant le taux d’information pertinente extraite d’un document comme constant et identique entre utilisateur, il s’agit ici de prédire le temps d’arrêt (temps total, variable Tps_Tot) qu’un utilisateur novice consultant deux documents (Docs = 2) mettrait pour finir la tâche de recherche générant une incertitude de type risquée (TR).
Les prédictions seront réalisées sur variables brutes, pour
plus de lisibilité
model.reg <- lm(Tps_Tot ~ TG_Tot + Docs + Expertise + Complexite + Expertise*Complexite, test_heuristique.imp)
# Calcul de la valeur moyenne de TG_Tot
moyenne_TG_Tot <- mean(test_heuristique.imp$TG_Tot, na.rm = TRUE) # Nous avons choisis la moyenne générale puisqu'il n'y a pas de différence significative entre les deux groupes
# Choix du niveau de Complexite
niveau_complexite <- "TR" # Ici, nous avons vu l'effet de la complexité comme significatif
# Prédiction pour un utilisateur novice consultant 2 documents
nouvelles_donnees <- data.frame(TG_Tot = moyenne_TG_Tot,
Docs = 2,
Expertise = "expert",
Complexite = niveau_complexite)
predicted_Tps_Tot <- predict(model.reg, nouvelles_donnees)
predicted_Tps_Tot
## 1
## 5.481995
Cas 1 : en supposant le taux d’information pertinente extraite d’un document comme constant et identique entre utilisateur, il s’agit ici de prédire le temps d’arrêt (temps total, variable Tps_Tot) qu’un utilisateur novice consultant deux documents (Docs = 2) mettrait pour finir la tâche de recherche générant une incertitude de type risquée (TR).
Les prédictions seront réalisées sur variables brutes, pour
plus de lisibilité
library(randomForest)
# Ajustement du modèle de forêt aléatoire
rf_model <- randomForest(Tps_Tot ~ TG_Tot + Docs + Expertise + Complexite, data = test_heuristique.imp)
# Calcul de la valeur moyenne pour TG_Tot
moyenne_TG_Tot <- mean(test_heuristique.imp$TG_Tot, na.rm = TRUE)
# Création des nouvelles données pour la prédiction
nouvelles_donnees <- data.frame(
TG_Tot = moyenne_TG_Tot, # Utilisation de la moyenne pour TG_Tot
Docs = 2, # Nombre de documents
Expertise = factor("expert", levels = levels(test_heuristique.imp$Expertise)), # Expertise
Complexite = factor("TR", levels = levels(test_heuristique.imp$Complexite)) # Complexité
)
# Effectuer la prédiction
predicted_Tps_Tot_rf <- predict(rf_model, nouvelles_donnees)
predicted_Tps_Tot_rf
## 1
## 5.472269
Nous utiliserons les métriques usuelles de Root Mean Square Error (RMSE) et du coefficient de détermination (R²) comme critères de performance. Le RMSE mesure l’écart moyen entre les valeurs prédites et les valeurs observées, tandis que le R² indique la proportion de la variance de la variable dépendante qui est expliquée par le modèle.
library(Metrics)
library(rpart)
library(rpart.plot)
library(rsample)
library(purrr)
# Standardisation des variables
stand.var <- test_heuristique.imp %>%
select("Tps_Tot", "Docs", "Expertise", "Complexite", "TG_Tot", "FOFG", "FOFD") %>%
mutate_at(vars(Tps_Tot, Docs, TG_Tot, FOFG, FOFD), scale)
# Division du jeu de données en ensembles d'entraînement et de test
set.seed(123) # Pour la reproductibilité
heuris_split <- initial_split(stand.var, prop = 0.8)
train_data <- training(heuris_split)
test_data <- testing(heuris_split)
# Comparaison sur jeu de données complet
lm_model <- lm(Tps_Tot ~ TG_Tot + Docs + Expertise + Complexite + Expertise*Complexite, data = train_data) # Ajustement du modèle de régression linéaire
rf_model <- randomForest(Tps_Tot ~ TG_Tot + Docs + Expertise + Complexite, data = train_data) # Ajustement du modèle de forêt aléatoire
# Prédictions sur l'ensemble de test
predictions_lm <- predict(lm_model, test_data)
predictions_rf <- predict(rf_model, test_data)
# Calcul de RMSE
rmse_lm <- rmse(test_data$Tps_Tot, predictions_lm)
rmse_rf <- rmse(test_data$Tps_Tot, predictions_rf)
# Calcul de R²
r2_lm <- summary(lm_model)$r.squared
r2_rf <- 1 - (sum((predictions_rf - test_data$Tps_Tot)^2) / sum((test_data$Tps_Tot - mean(test_data$Tps_Tot))^2))
# Affichage des résultats
cat("RMSE Régression Linéaire:", rmse_lm, "\n")
## RMSE Régression Linéaire: 0.7191891
cat("R² Régression Linéaire:", r2_lm, "\n")
## R² Régression Linéaire: 0.4365939
cat("RMSE Forêt Aléatoire:", rmse_rf, "\n")
## RMSE Forêt Aléatoire: 0.7226216
cat("R² Forêt Aléatoire:", r2_rf, "\n")
## R² Forêt Aléatoire: 0.4843162
library(tidymodels)
# Spécification du modèle de régression linéaire
lm_spec <- linear_reg() %>%
set_engine("lm")
# Spécification du modèle de forêt aléatoire
rf_spec <- rand_forest() %>%
set_engine("randomForest") %>%
set_mode("regression") %>%
set_engine("ranger", importance = "impurity")
# Validation croisée
set.seed(123)
folds <- vfold_cv(train_data, v = 10)
# Entraînement de la forêt aléatoire
rf_fit <- rf_spec %>%
fit(Tps_Tot ~ TG_Tot + Docs + Expertise + Complexite + Expertise*Complexite, data = train_data)
# Ajuster le modèle sur chaque pli et calculer le RMSE
rf_results <- fit_resamples(rf_spec,
Tps_Tot ~ TG_Tot + Docs + Expertise + Complexite,
resamples = folds,
metrics = metric_set(rmse, rsq))
# Entraînement de la regression linéaire
lm_fit <- lm_spec %>%
fit(Tps_Tot ~ TG_Tot + Docs + Expertise + Complexite, data = train_data)
lm_results <- fit_resamples(lm_spec,
Tps_Tot ~ TG_Tot + Docs + Expertise + Complexite,
resamples = folds,
metrics = metric_set(rmse, rsq))
# Collecter les résultats
results_lm_metrics <- collect_metrics(lm_results)
results_rf_metrics <- collect_metrics(rf_results)
# Affichage des résultats de validation croisée
results_lm_metrics
results_rf_metrics
En considérant nos critères, le modèle de forêt aléatoire semble meilleur que le modèle de régression linéaire (RMSE plus faible et R² plus élevé), en jeu complet ou cross-validation.
train_data_TC <- train_data %>%
filter(Complexite == "TC")
train_data_TR <- train_data %>%
filter(Complexite == "TR")
train_data_TI <- train_data %>%
filter(Complexite == "TI")
# Régression linéaire
model.reg_TC <- lm(scale(Tps_Tot) ~ scale(TG_Tot) + scale(Docs) + Expertise, train_data_TC)
model.reg_TR <- lm(scale(Tps_Tot) ~ scale(TG_Tot) + scale(Docs) + Expertise, train_data_TR)
model.reg_TI <- lm(scale(Tps_Tot) ~ scale(TG_Tot) + scale(Docs) + Expertise, train_data_TI)
library(broom)
# Création des dataframes de coefficients pour chaque modèle
coef_df_TC <- tidy(model.reg_TC) %>% mutate(Complexite = "TC")
coef_df_TC <- coef_df_TC[-1,]
coef_df_TR <- tidy(model.reg_TR) %>% mutate(Complexite = "TR")
coef_df_TR <- coef_df_TR[-1,]
coef_df_TI <- tidy(model.reg_TI) %>% mutate(Complexite = "TI")
coef_df_TI <- coef_df_TI[-1,]
# Fusionner les dataframes de coefficients
all_coef_df <- bind_rows(coef_df_TC, coef_df_TR, coef_df_TI)
# Visualisation des coefficients pour chaque niveau de complexité
ggplot(all_coef_df, aes(x = term, y = estimate, fill = Complexite)) +
geom_bar(stat = "identity", position = position_dodge()) +
coord_flip() +
labs(title = "Coefficients de Régression par Niveau de Complexité",
x = "Termes",
y = "Coefficient") +
blue_theme() +
scale_fill_brewer(palette = "Set1")
# Visualisation des coefficients pour TC
imp.reg1 <- ggplot(coef_df_TC, aes(x = term, y = abs(estimate))) +
geom_bar(stat = "identity", position = position_dodge()) +
coord_flip() +
labs(subtitle = "Niveau de Complexité TC",
x = "Termes",
y = "Coefficient") +
blue_theme()
imp.reg1
# Visualisation des coefficients pour TR
imp.reg2 <- ggplot(coef_df_TR, aes(x = term, y = abs(estimate))) +
geom_bar(stat = "identity", position = position_dodge()) +
coord_flip() +
labs(subtitle = "Niveau de Complexité TR",
x = "Termes",
y = "Coefficient") +
blue_theme()
imp.reg2
# Visualisation des coefficients pour TI
imp.reg3 <- ggplot(coef_df_TI, aes(x = term, y = abs(estimate))) +
geom_bar(stat = "identity", position = position_dodge()) +
coord_flip() +
labs(subtitle = "Niveau de Complexité TI",
x = "Termes",
y = "Coefficient") +
blue_theme()
imp.reg3
ggarrange(imp.reg1, imp.reg2, imp.reg3, ncol = 1)
library(ranger)
library(vip)
library(tidymodels)
train_data_TC <- train_data %>%
filter(Complexite == "TC")
train_data_TR <- train_data %>%
filter(Complexite == "TR")
train_data_TI <- train_data %>%
filter(Complexite == "TI")
# Entraînement de la forêt aléatoire TC
rf_fit_TC <- rf_spec %>%
fit(Tps_Tot ~ TG_Tot + Docs + Expertise, data = train_data_TC)
# Affichage de l'importance des variables TC
imp1 <- vip::vip(rf_fit_TC) +
labs(subtitle = "Niveau de Complexité TC") +
blue_theme()
# Entraînement de la forêt aléatoire TR
rf_fit_TR <- rf_spec %>%
fit(Tps_Tot ~ TG_Tot + Docs + Expertise, data = train_data_TR)
# Affichage de l'importance des variables TR
imp2 <- vip::vip(rf_fit_TR) +
labs(subtitle = "Niveau de Complexité TR") +
blue_theme()
# Entraînement de la forêt aléatoire TI
rf_fit_TI <- rf_spec %>%
fit(Tps_Tot ~ TG_Tot + Docs + Expertise, data = train_data_TI)
# Affichage de l'importance des variables TI
imp3 <- vip::vip(rf_fit_TI) +
labs(subtitle = "Niveau de Complexité TI") +
blue_theme()
ggarrange(imp1, imp2, imp3, ncol=1)
L’analyse de ces résultats et de ces graphiques montrent que les utilisateurs modifient les caractéristiques de leurs choix, faisant davantage reposer leur arrêt sur une analyse de la soutenabilité de la tâche (i.e. le nombre de documents consultés) pour les tâches les plus complexes (TR et TI), alors que les tâches contrôle (TC) reposent essentiellement sur le taux de gains (information pertinente accumulée). Ce qui confirment notre hypothèse