18 décembre 2017

Rappel sur le test d’hypothèse

Les étapes du test d’hypothèse

Statistique descriptive : observation d’une variation conjointe de deux variables

Question de recherche : existe-t-il un lien significatif entre deux variables ?

  1. Formulation de l’hypothèse nulle \((H0)\) : les deux variables sont indépendantes
  2. Test d’hypothèse et calcul d’une p-value \(p\) : probabilité d’obtenir les données observées si \((H0)\) est vraie
  3. Prise de décision grâce au seuil de significativité \(\alpha\) :
    1. \(p < \alpha\) : le lien est significatif, on peut rejeter \((H0)\) et conclure qu’il est raisonnable de postuler l’existence d’un lien.
    2. \(p \geqslant \alpha\) : le lien n’est pas significatif, on ne peut donc pas rejeter \((H0)\) et il est impossible de conclure.

Genre et pratique de la cuisine comme loisir

« En dehors du cadre scolaire ou professionnel, au cours des 12 derniers mois, avez-vous pratiqué alors que vous n’y étiez pas obligé(e) […] la cuisine ? ».

Non Oui Sum
Homme 629 270 899
Femme 490 611 1101
Sum 1119 881 2000

\[p \approx 0\]

Si le genre et la cuisine étaient des variables indépendantes, alors la probabilité d’obtenir une répartition comme celle que nous observons serait presque nulle.

\(p < 0.05\), il est raisonnable de penser que cette répartition genrée des loisirs n’est due ni au hasard et ni à des biais d’échantillonnage.

Comprendre et définir la p-value

Jusqu’ici, nous avons donné une définition temporaire et incomplète de la valeur \(p\).

Pour comprendre exactement ce à quoi elle correspond, il est nécessaire de :

  1. Comprendre le fonctionnement général du test d’hypothèse (voir séance 12)
  2. Savoir précisément comment on l’obtient (sujet du jour) :
    1. Quel principe sous-jacent guide le calcul de la p-value ?
    2. Comment la calculer en pratique ?

Principe général du calcul de la p-value

Le test d’hypothèse, une simulation

La question à laquelle permet de répondre un test d’hypothèse : « Que se passerait-il si les variables étudiées étaient indépendantes ? »

L’idée sous-jacente du calcul de la p-value est la suivante :

  • Faisons comme si nous étions dans un monde où les variables étaient indépendantes, c’est-à-dire où \((H0)\) serait vraie
  • Simulons ce qui se passerait si nous faisions de très nombreuses enquêtes dans cet univers
  • Comparons notre enquête observée avec les enquêtes simulées et voyons si nos données observées seraient fréquentes dans cet univers

La valeur \(p\) résume cette comparaison en donnant la probabilité d’obtenir nos données observées dans cet univers.

Comment simuler des données sous \((H0)\) ?

Si les variables sont indépendantes, elles se répartissent donc complètement au hasard d’une enquête à l’autre. À chaque fois que nous simulons une enquête, il suffit donc de mélanger aléatoirement les valeurs d’une des deux variables.

Imaginons que notre enquête sur la cuisine porte uniquement sur 4 individus, deux hommes et deux femmes :

Oui Non
Femmes 2 0
Hommes 0 2

Exemple de simulation par permutation aléatoire

À chaque nouvelle simulation, on mélange (permutation) les valeurs de la variable “Pratique de la cuisine comme loisir” :

Enquête Femme 1 Femme 2 Homme 1 Homme 2
#1 Oui Oui Non Non
#2 Oui Non Oui Non
#3 Non Non Oui Oui
#100000 Oui Non Non Oui

Synthétiser l’effet obtenu pour chaque simulation

Pour simplifier, nous résumons la taille de l’effet obtenu pour chaque simulation. Dans notre cas (deux variables avec deux modalités), nous pouvons nous contenter de compter l’une des quatre combinaisons possibles.

Enquête Nombre de femmes ayant répondu “Non”
#1 0
#2 1
#3 2
#100000 1

Distribution des effets obtenus

Nombre de simulations (sur 100000)
0 femmes ont répondu “Non” 16655
1 femme a répondu “Non” 66693
2 femmes ont répondu “Non” 16652


La valeur la plus probable s’appelle l’effectif théorique (1 dans cet exemple).

Notre effectif observé est 0 (voir diapositive 8), d’où la valeur \(p\) :

\[p = \frac{\text{Fréquence de l'effectif observé}}{\text{Nombre total de simulations}} = \frac{16655}{100000} \approx 0.17\]

Représentation graphique

Résultats des 100000 simulations :

Revenons au véritable exemple

Résultats des 100000 simulations :

Effectifs théoriques, effectifs observés

L’effectif théorique est de 616 : si les deux variables étaient indépendantes, alors la valeur la plus probable serait 616 (probabilité de \(\frac{3656}{100000} \approx 0.04\)).

Dans notre véritable enquête (données observées), nous avons observé que 490 femmes répondent “Non” à la question posée.

Dans le monde où les deux variables sont indépendantes, ce cas de figure s’est présenté 0 fois sur 100000 simulations, d’où

\[p = \frac{0}{100000} = 0\]

Les degrés de liberté

Jusqu’alors, nous avons estimé l’effet observé en prenant la valeur d’une des quatre cases du tableau croisé. En effet, en connaissant une des ces valeurs et la valeur des marges, nous pouvons reconstituer les autres valeurs.

Non Oui Ensemble
Homme ?? ?? 899
Femme 490 ?? 1101
Ensemble 1119 881 2000


On dit que le degré de liberté du tableau est de 1.

Mesure de l’effet obtenu

En pratique, la mesure de l’effet obtenu et de sa probabilité est plus compliquée que dans les exemples précédents. Il faut en effet tenir compte :

  • du degré de liberté du problème (plus le nombre de valeurs des variables augmente, plus le degré de liberté augmente)
  • du type de variables étudiées (qualitatives ou quantitatives)
  • du type de comparaison effectué

On notera :

  • \(E\) la mesure de l’effet en général
  • \(E^*\) la mesure de l’effet observé (dans le monde réel)
  • \(E_1, E_2, ...\) la mesure de l’effet obtenu dans la simulation 1, 2, …

Difficulté de la mesure de \(p\)

Le principe du calcul de \(p\) reste le même :

  1. Réaliser plusieurs simulations comme si \((H0)\) était vraie
  2. Mesurer les effets \(E_1\), \(E_2\), … obtenus pour chaque simulation
  3. Regarder la fréquence de l’effet observé \(E^*\) par rapport aux effets simulés

Cependant, pour des raisons mathématiques de calcul des probabilités, il devient impossible de mesurer la fréquence exacte de \(E^*\) quand :

  • le nombre de simulations tend vers l’infini (devient très grand)
  • le nombre de valeurs possibles de \(E\) est continu (est très élevé)

Pour y remédier, on mesure la probabilité d’obtenir un effet au moins aussi grand que \(E^*\).

De l’histogramme…

… à la loi de répartition

Probabilité et loi de répartition

Sur la représentation graphique d’une loi de probabilité (appelée courbe de densité), les probabilités correspondent aux aires sous la courbe.

L’aire rouge correspond ici à la probabilité de valeur 1, car la probabilité d’obtenir un effet, qu’elle que soit sa valeur, est de 1. C’est un événement certain.

La courbe de densité

Probabilité d’obtenir un effet entre 610 et 620

Probabilité d’obtenir un effet supérieur à 600

Effet observé \(E^* = 630\)

\(p\) : probabilité d’obtenir un effet \(\geqslant E^* = 630\)

\(p < \alpha\)

\(p > \alpha\)

Définition exacte de la valeur \(p\)

\(p\) est la probabilité d’obtenir, si \((H0)\) est vraie, des données qui manifestent un effet au moins aussi extrême que les données observées.

\(p\) est la probabilité d’obtenir, si \((H0)\) est vraie, des résultats similaires ou plus extrêmes que les résultats observés.

Récapitulatif

Test d’hypothèse : principe et déclinaisons

Le principe du test d’hypothèse et du calcul de la \(p\)-value reste toujours le même.

En pratique, le calcul de la \(p\)-value dépend :

  • de \((H0)\)
  • du type des variables étudiées
  • de la mesure de l’effet obtenu et de sa loi de répartition

D’où la déclinaison du test d’hypothèse en plusieurs versions, selon ces paramètres. Bien souvent, un test spécifique prend le nom de la loi de répartition.

C’est notamment le cas du test du \(\chi^2\) (khi-deux).

Le test du \(\chi^2\) : calcul d’une valeur \(p\) en pratique

Étapes du test de \(\chi^2\)

Le test du \(\chi^2\) permet de savoir si un lien entre deux variables qualitatives est significatif ou non.

  1. Formulation de l’hypothèse nulle \((H0)\) : les deux variables sont indépendantes
  2. Calcul du \(\chi^2\) pour les données observées (noté \(\chi^2*\))
  3. Calcul de la \(p\)-value, a l’aide de la loi de répartition du \(\chi^2\) et la valeur observée du \(\chi^2*\)
  4. Prise de décision grâce au seuil de significativité \(\alpha\) :
    1. \(p < \alpha\) : rejet de \((H0)\)
    2. \(p \geqslant \alpha\) : non rejet de \((H0)\)

Test du \(\chi^2\) genre et cuisine

Données observées (notées \(O\)) :

Non Oui Sum
Homme 629 270 899
Femme 490 611 1101
Sum 1119 881 2000


Nous avons déjà détaillé l’ensemble du test d’hypothèse pour cet exemple lors de la séance précédente. Ici, nous allons nous concentrer sur les étapes 2 (calcul du \(\chi^2*\) observé) et 3 (calcul de la \(p\)-value).

Étape 2 : Calcul du \(\chi^2\) (partie 1)

Calcul des effectifs théoriques (notés \(T = \frac{\text{Produit des marges}}{\text{Total}}\)) :

Non Oui Sum
Homme \(\frac{899\times1119}{2000} = 503\) \(\frac{899\times881}{2000} = 396\) 899
Femme \(\frac{1101\times1119}{2000} = 616\) \(\frac{1101\times881}{2000} = 485\) 1101
Sum 1119 881 2000


Rappel : les effectifs théoriques sont les plus probables dans un monde où \((H0)\) est vraie (diapositives 11 et 14).

Étape 2 : Calcul du \(\chi^2\) (partie 2)

Calcul du \(\chi^2\) de chaque case \(\frac{(O - T)^2}{T}\) :

Non Oui Sum
Homme \(\frac{(629 - 503)^2}{503}= 31.56\) \(\frac{(270 - 396)^2}{396}= 40.09\) 899
Femme \(\frac{(490 - 616)^2}{616}= 25.77\) \(\frac{(611 - 485)^2}{485}= 32.73\) 1101
Sum 1119 881 2000

Étape 2 : Calcul du \(\chi^2\) (partie 3)

Calcul du \(\chi^2*\) (khi-deux observé) en faisant la somme de chaque case :

Non Oui Sum
Homme \(\frac{(629 - 503)^2}{503}= 31.56\) \(\frac{(270 - 396)^2}{396}= 40.09\) 899
Femme \(\frac{(490 - 616)^2}{616}= 25.77\) \(\frac{(611 - 485)^2}{485}= 32.73\) 1101
Sum 1119 881 2000

\[\chi^2* = 31.56 + 40.09 + 25.77 + 32.73 \approx 130.15 \]

Étape 3 : Calcul de la \(p\)-value

Pour calculer la \(p\)-value, nous avons besoin de la loi de répartition du \(\chi^2\). Or cette dernière change selon le degré de liberté (\(ddl\)) du problème étudié :

Étape 3 : Calcul de la \(p\)-value (partie 1)

Calcul du degré de liberté du tableau :

Non Oui
Homme 629 270
Femme 490 611


Sans compter les marges :

\[ddl = (\text{Nombre de lignes} - 1) \times (\text{Nombre de colonnes} - 1)\]

D’où :

\[ddl = 1\]

Loi de répartition du \(\chi^2\) (\(ddl = 1\))

Seuil \(\alpha\) (courbe et aire données par l’énoncé)

Étape 3 : Calcul de la \(p\)-value (partie 2)

Sur le graphique précédent, nous pouvons lire que la valeur critique du \(\chi^2\) (au seuil de significativité \(\alpha = 0.05\)) est d’environ \(3.8\).

Or \(\chi^2* \approx 130,15 > 3.841\).

Deux manières de conclure :

  • Graphiquement : on pourrait placer le \(\chi^2*\) sur le graphique et colorer l’aire sous la courbe pour représenter graphiquement la \(p\)-value. Il serait alors visible que l’aire de \(\alpha\) est plus grande que celle de \(p\), donc \(p < \alpha\).
  • Numériquement : l’énoncé ou le logiciel donne directement la valeur de \(p\), on peut donc comparer directement à \(\alpha = 0.05\).

Exercices

Consignes

Nous reprenons les mêmes exemples que dans la séance précédente (séance 12) : reportez-vous au corrigé de la séance précédente pour avoir toutes les étapes du test d’hypothèse et sa conclusion.

Ici, nous détaillons simplement le calcul du \(\chi^2\) et de la valeur \(p\) pour chaque exercice.

Exercice 1

« […] Dans votre travail actuel, qu’est-ce qui l’emporte ? »

Qualification et satisfaction au travail (n = 952)
Insatisfaction Equilibre Satisfaction
Non cadre 98 350 334
Cadre 12 59 99


Effectuez le test du \(\chi^2\) en détaillant le calcul de la valeur \(p\).

Étape 1 : calcul des marges du tableau

Insatisfaction Equilibre Satisfaction Sum
Non cadre 98 350 334 782
Cadre 12 59 99 170
Sum 110 409 433 952

Étape 2 : calcul des effectifs théoriques

Insatisfaction Equilibre Satisfaction Sum
Non cadre 90 336 356 782
Cadre 20 73 77 170
Sum 110 409 433 952

Étape 3 : calcul de \(\frac{(O - T)^2}{T}\)

Insatisfaction Equilibre Satisfaction Sum
Non cadre 0.71 0.58 1.36 782
Cadre 3.20 2.68 6.29 170
Sum 110.00 409.00 433.00 952

Étape 4 : calcul du \(\chi^2\)

Insatisfaction Equilibre Satisfaction Sum
Non cadre 0.71 0.58 1.36 782
Cadre 3.20 2.68 6.29 170
Sum 110.00 409.00 433.00 952

\[\chi^2* \approx 14.82\]

Calcul des degrés de liberté

Insatisfaction Equilibre Satisfaction Sum
Non cadre 98 350 334 782
Cadre 12 59 99 170
Sum 110 409 433 952

\[ddl = (2 - 1) \times (3 - 1) = 1 \times 2 = 2\]

Loi de répartition du \(\chi^2\) (\(ddl = 2\))

Seuil \(\alpha\) (donné par l’énoncé)

Valeur \(p\)

Exercice 2

« En dehors du cadre scolaire ou professionnel, au cours des 12 derniers mois, avez-vous pratiqué alors que vous n’y étiez pas obligé(e) […] aller au cinéma? ».

Genre et cinéma (n = 2000)
Non Oui
Homme 542 357
Femme 632 469


Effectuez le test du \(\chi^2\) en détaillant le calcul de la valeur \(p\).

Étape 1 : calcul des marges du tableau

Non Oui Sum
Homme 542 357 899
Femme 632 469 1101
Sum 1174 826 2000

Étape 2 : calcul des effectifs théoriques

Non Oui Sum
Homme 528 371 899
Femme 646 455 1101
Sum 1174 826 2000

Étape 3 : calcul de \(\frac{(O - T)^2}{T}\)

Non Oui Sum
Homme 0.37 0.53 899
Femme 0.30 0.43 1101
Sum 1174.00 826.00 2000

Étape 4 : calcul du \(\chi^2\)

Non Oui Sum
Homme 0.37 0.53 899
Femme 0.30 0.43 1101
Sum 1174.00 826.00 2000

\[\chi^2* \approx 1.63\]

Calcul des degrés de liberté

Non Oui Sum
Homme 542 357 899
Femme 632 469 1101
Sum 1174 826 2000

\[ddl = (2 - 1) \times (2 - 1) = 1 \times 1 = 1\]

Loi de répartition du \(\chi^2\) (\(ddl = 1\))

Seuil \(\alpha\) (donné par l’énoncé)

Valeur \(p\)