Après avoir mené une enquête auprès de 395 étudiant·e·s dans un lycée portugais (Cortez, 2014), nous voudrions modéliser très simplement comment leurs journées d'absences influencent leurs résultats en mathématiques (à la fin de l'année, donc au troisième trimestre).

Les deux variables sont quantitatives et continues : les notes s'étalent entre 0 et 20, les journées d'absences entre 0 et 100.

Modéliser cette relation signifie que nous pourrions savoir comment une journée supplémentaire d'absence (\(X\)) influencerait les notes (\(Y\)), voire même que nous pourrions « prédire » les notes des élèves selon leur nombre d'absences.

Les méthodes statistiques abordées précédemment sont malheureusement insuffisantes pour répondre à cette question :

• Nous sommes face à des variables quantitatives continues : un test de khi-deux nécessite des variables catégorielles et ne peut donc être appliqué.
• Même si nous recodions nos variables continues en catégorielles, le khi-deux ne peut que nous indiquer si la relation est significative ou non, sans plus de détails.
• Calculer le coefficient de corrélation \(r\) n'est pas entièrement satisfaisant : nous ne voulons pas juste savoir si notes (\(Y\)) et absences (\(X\)) sont corrélés, mais pouvoir modéliser précisément cette relation.

Il faut donc trouver une autre méthode. La régression linéaire propose un modèle pour expliquer des variables quantitatives continues.

Il existe un moyen très simple de modéliser la relation entre deux variables quantitatives continues : une équation affine (par abus de langage, on dit souvent linéaire), c'est-à-dire l'équation d'une droite.

\[Y = \beta_0 + \beta_1 X_1\text{, où : }\]

• \(Y\) est notre variable à expliquer (la note en mathématiques)
• \(X_1\) est notre variable explicative (le nombre d'absences)
• \(\beta_0\) est notre ordonnée à l'origine (là où notre droite croise l'axe vertical), c'est-à-dire la valeur de la note en maths quand les élèves ne s'absentent jamais)
• \(\beta_1\) est le coefficient directeur associé à \(X_1\) (la "pente" de notre droite), c'est-à-dire le taux de progression en maths quand les élèves s'absentent un jour de plus

Problème : comment synthétiser le nuage de points ci-dessous en une droite qui modélise le mieux la relation entre nos deux variables ?

Quelle droite modélise le mieux le nuage de points ?

La droite bleue est la meilleure. Pourquoi ?

On peut se poser la question : en quoi la régression est-elle différente d'un coefficient de corrélation \(r\) ?

• Point commun : ni le coefficient de corrélation ni la régression ne répondent directement à la question de la causalité
• Différence 1 : \(r\) sert à évaluer la force du lien entre deux variables, la régression fournit un modèle qui permet d'évaluer \(Y\) à partir de \(X\).
• Différence 2 : pour le coefficient de corrélation, peu importe l'ordre des variables. Si \(X\) et \(Y\) sont interchangés, \(r\) conserve la même valeur. À l'inverse, une régression a une variable indépendante (à expliquer) et une variable dépendante (explicative), et les coefficients \(\beta\) seraient différents si les variables étaient inversées.

En pratique, il serait très étonnant qu'un phénomène puisse être expliqué uniquement par une variable. Nous voulons au contraire avoir un modèle qui prédise \(Y\) avec au moins deux variables \(X_1\) et \(X_2\). Cela nous permettrait de :

• améliorer notre modèle en le complexifiant, nous espérons ainsi augmenter la part de la variance expliquée (la qualité de son ajustement évalueé par \(R^2\))
• comparer les influences respectives de nos variables dépendantes (explicatives)
• contrôler les effets de variable cachée, en intégrant à notre modèle au moins une variable supplémentaire (endogénéité).

Dans notre exemple, imaginons que nous souhaitions expliquer les notes en mathématiques (\(Y\)) par les absences (\(X_1\)) et par le diplôme de la mère (\(X_2\)).

Dans notre exemple, l'équation du plan de régression est la suivante :

\[\hat{Y} = 7,9 + 0,007 X_1 + 0,9 X_2\]

Si nous voulons sélectionner les variables explicatives significatives d'un modèle de régression, il existe un test statistique (appelé \(F\)) qui permet de rejetter l'hypothèse nulle grâce à une p-value.

Les détails de ce test ne seront pas abordés dans le cours. Grosso modo, il s'agit d'évaluer la contribution d'une variable à l'explication de la variance de \(Y\) en la pondérant par les degrés de liberté du système (la « taille » de notre problème).

Traditionnellement, les modèles de régression donnent leur significativité avec des astérisques. Par exemple, dans R :

• \(p \approx 0\) : ***
• \(p < 0.001\) : **
• \(p < 0.01\) : *

Imaginons maintenant que nous souhaitions contrôler davantage de variables dans notre modèle.

Ainsi, on pourrait penser que les études du père ont elles aussi une influence sur les résultats en mathématiques, ou bien que l'influence des études de la mère sur les notes en maths diffèrent selon que l'élève est une fille ou un garçon. Bref, on voudrait pouvoir raisonner « tous choses égales par ailleurs » avec davantage de variables.

En plus des absences et du niveau d'études de la mère, nous allons donc contrôler le niveau d'études du père, l'âge et le sexe (5 variables dépendantes ou explicatives \(X_i\), qualitatives ou quantitatives) pour prédire les notes en mathématiques (1 variable quantitative indépendante ou à expliquer).

Les MCO nécessitent de valider un certain nombre d'hypothèses :

1. Linéarité de la modélisation
2. Absence d'autocorrélation des variables explicatives (\(X_1\) et \(X_2\) ne doivent pas être "trop" corrélés linéairement, sinon il faut abandonner une variable ou utiliser une méthode légèrement différente)
3. Homéoscédasticité : les résidus sont répartis de manière homogène
4. Absence d'autocorrélation des résidus
5. Normalité des résidus
6. Absence de corrélation des variables explicatives et du résidu (dans le modèle théorique)

On va revenir surtout sur les points 2 et 3.

Concrètement, pour trouver le meilleur modèle de régression linéaire, on teste différents modèles avec des variables différentes (ajout de nouvelles variables, création de nouvelles variables à partir des variables déjà connues, etc.).

Il faut ensuite choisir le meilleur modèle en gardant l'équilibre entre deux principes :

• le modèle le mieux ajusté est, en un certain sens, le meilleur (mesuré par \(R^2\))
• le modèle le plus simple est, en un autre sens (rasoir d'Ockham), le meilleur

Autrement dit, il faut éviter de prendre un modèle trop simple (problèmes d'endogénéité inobservée, faible ajustement) ou un modèle trop ajusté (overfitting) qui sacrifierait la simplicité.

Dans notre exemple suivi, nous allons essayer différents modèles pour essayer de retenir le meilleur.

Francis Galton est considéré comme le père de la régression linéaire (1886). Il en a fait le premier usage "moderne" et lui a donné son nom actuel, même si la méthode avait déjà été utilisée auparavant, notamment par Laplace au XVIIIème siècle.

Cousin de Darwin, fondateur de l'eugénisme, Galton avait notamment employé cette méthode pour décrire le phénomène de « régression vers la moyenne », qu'il décrivait comme un phénomène de régression vers la « médiocrité ». Ainsi, la taille des enfants de deux parents de grande taille était plus proche de la moyenne de la population.

Ce phénomène est utile pour interpréter des séries temporelles : lorsqu'on mesure une variable (chômage, rendement d'une entreprise, etc.) une première fois et que la valeur s'avère être extrêmement faible ou élevée, il faut s'attendre à ce que la seconde mesure soit plus proche de la moyenne.

Daniel Kahneman ("prix Nobel" d'économie en 2002) donne l'exemple suivant comme une mauvaise interprétation de la régression vers la moyenne.

Dans une base aérienne militaire en Israël, Kahneman discute avec l'instructeur de vol qui lui tient ces propos :

Comment la régression vers la moyenne invalide-t-elle cette conclusion ?