2.3.1.1 Lien entre outcome et les variable quantitatives

Nous pouvons comparer les boites à moustaches de nos données quantitatives en fonction d’outcome. Commençons par les variables dont on a vu plus haut qu’elles étaient très déséquilibrées (“wage_per_hour”, “capital_gains”, “capaital_losses”, “from_stocks”). Il est dificile de conclure sur la base de cette représentation, il est en de même pour les autres (“capital_gains”, “capaital_losses”, “from_stocks”) dont nous ne donnons pas la représentation.La valeur “0”, est très fortement représentée, que cela soit pour outcome “-50000” et pour outcome “+50000”.

Avec les variables “Age”,“weeks_worked_in_year” et “num_persons_worked_for_employer” qui ont une distribution relaitvement équilibrée, on a une meilleure lisibilité :

Ainsi, pour l’age, on observe un écart qui semble significatif entre les individus avec outcome “-50000” et avec outcome “+50000”. On voit qu’en moyenne les individus ont un peu plus de 30 ans (33,7) avec outcome “-50000” etun peu moins de 50 ans (46,4)avec outcome “+50000”.

Pour “num_persons_worked_for_employer”, le lien semble marqué mais on ne pourra conclure sur la force de ce lien qu’après un calcul statistique.

Parmi les individus avec outcome = +50000, il y en a une très forte proportion avec “weeks_worked_in_year” = 52. Dès maintenant, on peut supposer que cette variable jouera un rôle dans la prédiction. La présentation suivante est complémentaire à la boxplot :

Nous pouvons imaginer une explication logique à cette distribution. Les individus avec outcome à +50000 sont très majoritairement des individus travaillant 52 semaines. Mais il y a aussi beaucoup de personnes travaillant 52 semaines et qui ont un outcome <50000. Ils ont surement un travail peu qualifié et peu rémunérateur. Les individus travaillant 0 semaine par an ont très majoritairement un outcome inférieur à 50k, mais il en existe qui ont un outcome > 50000. Ces derniers pourraient être des rentiers.

Les boites à moustache ne permettant pas de conclure quant à la force des éventuelles liaisons, voici les rapport de corrélation entre les variables quantitatives et outcome :

Nous trouvons la variable “weeks_worked_in_year” comme ayant le lien le plus fort avec outcome, suivi de “capital_gains”, “num_persons_worked_for_employer”, et “from_stocks”. Une ACP complétera ultérieurement cette approche, mais cela permet de pointer des variables pouvant jouer un rôle dans la prédiction.

“Capital_losses” et “wage_per_hour” sont moins liés à “outcome”.

Etudions un peu plus le cas de “Age” avec un graphique “proportion de outcome +50K = f(age)” :

On a traité jusqu’ici l’âge comme une variable quantitative mais son traitement implique souvent de la passer en classes. Par ailleurs, dans beaucoup de domaines, l’age ne réagit pas de façon corrélée à la mesure (vitesse de course faible pour enfants et vieillards). Et dans le domaine médical, les âges faibles et très grands constituent des populations exposées à certains risques et sont regroupés. Notre courbe montre un peu la même choses, et cela nous dit que nous avons tout intérêt à réaliser des classes :

• probabilité nulle à quasi nulle d’observer outcome +50K pour les âges compris dans [0,18]

• probabilité intermédiaire d’observer outcome +50K pour les âges compris dans [19,33] et [63,90]

• probabilité forte (en comparaison à l’ensemble des données) d’observer outcome +50K pour les âges compris dans [34,62]

Cette transformation de données est une transformation “métier”, on réalise un découpage à la lumière de notre lecture du lien entre la variable “age” et la variable “outcome” et de notre objectif.On ajoute donc une variable qualitative “groupedeage”.

[1] "jusqu'à 18 ans" "19 à 33 ans"    "34 à 62 ans"    "63 ans et plus"

2.3.1.2 Lien entre outcome et les variable qualitatives

Mesurons le lien entre les variables qualitatives (auxquelles nous avons donc ajouté “groupedeage” et “outcome” avec le V de Cramer (pour information, nous préférons le V de Cramer au test du Khi-deux car il est plus approprié avec un très grand nombre d’individus) :

Voyons le graphique Parmi les variables qualitatives, les variables les plus liées à outcome (on donne ici celles pour lesquelles le V de cramer est supérieur à 0,19) sont : detailled_occupation_recode, education, major_occupation_code, detailed_industry_recode, major_industry_code, class_of_worker, detaille_household_and_family_stat, groupedeage, tax_filler_stat, detailled_household_summary_in_household, marital_stat.

Inversement, des variables comme year, live_int_his_house_1_year_ago (par exemple) sont très peu lièes à outcome.

Ces analyses pourront être utiles en vue d’une réduction du nombre de colonnes, les variables les moins liées à outcome pourront être écartées sans impact ou avec un impact négligeable sur la qualité de la prédiction d’outcome.

2.3.2.1 Variables quantitatives

Des liaisons trop fortes entre variables explicatives peuvent conduire à de grande instabilité dans les modèles. L’analyse des liaisons entre variables explicatives permettra de détecter les couples de variables les plus liées. Nous concervons la variable “age” comme valeur numérique, même si nous avons montré que pour la modélisation, la variable “groupedeage” sera plus pertinente.

Voici la matrice des corrélations :

Nous n’observons pas de fortes corrélations, si ce n’est pour le couple “weeks_worked_in_year” et “num_persons_worked_for_employer”. Ci dessous, avec les coefficients de Spearman (plus adpaté si nos variables ne suivent pas une loi normale, ce qui est le cas), nous concluons de la même manière.

Voici la matrice des corrélations avec coefficient de spearman :

2.3.2.2 Variables qualitatives entre elles

De la même façon, on détermine les V de Cramer entre les variables explicatives qualitatives.

Nous observons de très fortes liaisons entre :

• detailed_industry_recode et major_industry code : c’est normal, par construction, ces données sont liées par une arborescence. On peut donc considérer qu’il y a redondance.

• idem entre major_occupation_code et detailled_occupation_code et pour region_of_previous_residence et state_of_previous_residence

• year et les 4 variables commençant par migration… : nous avons vu plus haut que cela s’explique par l’absence de données pour une valeur de year, et la présence pour l’autre valeur de year.

et des liaisons fortes entre :

• les variables commençant par migration… et live_in_this_house_previous_year

• country_birth_self avec country of birth_mother et father

ce qui est logique dans les deux cas, et qui dénote aussi une forme de redondance dans l’information.

Ces éléments nous donnent des indications pour supporter nos analyses ACM à venir.

La variable “country_of_birthself”

Dans le cas de la variable “country of birth self” par exemple, on peut représenter le pourcentage de outcome +50 K pour s’assurer qu’on fait des regroupements pertinents :

                     
                          -50000     +50000      Total
   Cambodia            98.130841   1.869159 100.000000
   Canada              90.275762   9.724238 100.000000
   China               92.494929   7.505071 100.000000
   Columbia            96.551724   3.448276 100.000000
   Cuba                92.210767   7.789233 100.000000
   Dominican-Republic  98.670606   1.329394 100.000000

Nous observons que les groupes au sens géographique sont relativement homogènes concernant la variable outcome. On peut donc procéder au regroupement avec pas ou peu de perte d’information (Asie de l’est, Asie Centrale, Amérique centrale, Amérique du sud, Europe de l’est et Europe de l’ouest).

Création de nouveaux labels

[1] " Central-America" " Central-Asia"    " East-Asia"      
[4] " Europe-East"     " Europe-West"     " Outlying-US"    
[7] " South-America"   " United-States"  

La variable “educ_level”

De la même manière, nous effectuons des regroupements sur le niveau d’education, pour limiter fortement le nombre de modalités avec pas ou peu de perte d’informations.

Création de nouveaux labels

[1] "CC-grad"     "College"     "grad-school" "HS-grad"     "no-HS"      

Nous pouvons analyser plus finement la distribution de outcome selon le niveau d’éducation avec un graph de type mosaïc plot :

On trouve une sur-représentation de +50K pour les niveaux d’éducation CC-grad, College et Grad-school (et une sous représentation pour les HS-grad et les no-HS). Une liaison entre les variables outcome et edcu_level semble évidente, c’est quelque chose qu’on a déjà vu plus haut, mais avec ce graphique, on valide facilement des regroupements de modalités.

La variable “extra_outcome”

On peut définir une variable “extra_income” comme étant le montant des gains de capitaux (capital_gains) et des actions(from_stock), et discrétiser cette variable en s’intéressant uniquement aux trois modalités suivantes : extra_income inférieur à 0, nul, ou supèrieur à 0. Regardons la répartition outcome +50K/-50K pour ces trois modalités :

Création de nouveaux labels

[1] "none"     "positive"

En fait, nous n’observons que des gains nuls ou positif, ce qui est assez logique puisque nous n’avions pas de valeur négative pour les deux composantes de cette nouvelle variable.

Cette répartition nous dit que les gens qui ont des revenus de capitaux, ont plus souvent des revenus du travail supérieurs à 50K$ que les gens qui n’ont pas de revenus de capitaux.

Fine-Tuning Hyperparameters avec Cross Validation et Grid Search

Nous utilisons le paramètre number=2 et pas de répétitions car le temps d’execution est trop long.

Time difference of 31.22752 mins

Voici le resultat de l’apprentissage :

Stochastic Gradient Boosting 

155145 samples
    16 predictor
     2 classes: '-50000', '+50000' 

No pre-processing
Resampling: Cross-Validated (2 fold) 
Summary of sample sizes: 77573, 77572 
Resampling results across tuning parameters:

  n.trees  Accuracy   Kappa    
   950     0.9494924  0.4534875
  1050     0.9495504  0.4564001
  1150     0.9495311  0.4570269
  1200     0.9496084  0.4594981
  1300     0.9496213  0.4571991
  1400     0.9494666  0.4575853

Tuning parameter 'interaction.depth' was held constant at a value of
 2
Tuning parameter 'shrinkage' was held constant at a value of
 0.15
Tuning parameter 'n.minobsinnode' was held constant at a value of 18
Accuracy was used to select the optimal model using the largest value.
The final values used for the model were n.trees = 1300,
 interaction.depth = 2, shrinkage = 0.15 and n.minobsinnode = 18.

Nous avons une faible erreur d’apprentissage.

Voici les paramètres choisis :

Best parameter pour n.trees est : 1300 

Best parameter pour shrinkage  est : 0.15 

Best parameter pour minobsinnode  est : 

Best parameter pour interaction.depth est : 2 

Nous regardons quelle covariable influnce le plus le modèle.

gbm variable importance

  only 20 most important variables shown (out of 184)

                                               Overall
extra_outcomepositive                          100.000
weeks_worked_in_year                            74.885
sex Male                                        60.730
educ_levelCollege                               55.259
detailed_occupation_recode2                     42.773
educ_levelgrad-school                           28.249
detailed_occupation_recode7                     28.143
detailed_occupation_recode11                    27.627
groupedeage34 à 62 ans                          27.568
num_persons_worked_for_employer                 22.981
detailed_occupation_recode4                     16.539
detailed_household_and_family_stat Householder  16.065
class_of_worker Self-employed-incorporated      12.648
detailed_occupation_recode5                      6.516
detailed_occupation_recode18                     5.793
detailed_occupation_recode17                     5.585
groupedeage19 à 33 ans                           5.425
detailed_occupation_recode8                      5.155
educ_levelHS-grad                                4.379
detailed_occupation_recode16                     4.272

La variable qui influence le plus est extra_outcome

Apply model to the test set

Voici le resultat de la validation :

 Accuracy     Kappa 
0.9520516 0.4716073 

Confusion Matrix and Statistics

          Reference
Prediction -50000 +50000
    -50000  41212   1678
    +50000    450   1041
                                       
               Accuracy : 0.9521       
                 95% CI : (0.95, 0.954)
    No Information Rate : 0.9387       
    P-Value [Acc > NIR] : < 2.2e-16    
                                       
                  Kappa : 0.4716       
                                       
 Mcnemar's Test P-Value : < 2.2e-16    
                                       
            Sensitivity : 0.9892       
            Specificity : 0.3829       
         Pos Pred Value : 0.9609       
         Neg Pred Value : 0.6982       
             Prevalence : 0.9387       
         Detection Rate : 0.9286       
   Detection Prevalence : 0.9664       
      Balanced Accuracy : 0.6860       
                                       
       'Positive' Class : -50000       
                                       

Nous avons une faible taux d’erreur de validation et elle est équivalant à l’erreur d’apprentissage.

Le kappa est modéré donc accord modéré sur la prédiction par rapport à une prédiction au hasard.

Confusion Table

Notre classificateur est testé avec un jeu de 155145 lignes outcome, dont 145484 sont des outcome avec “- 50 000” et et les 9661 autres sont des outcome avec “+50 000”.

Pour cela, on veut savoir :

• combien de outcome avec “- 50 000” seront faussement estimés comme des outcome avec "+50 000 et
• combien de outcome avec “+50 000 ne seront pas estimés comme tels non détectés et classifiés à tort comme outcome avec”- 50 000"

La matrice de confusion suivante se lit alors comme suit :

• horizontalement, sur les 41662 données outcome “- 50 000” ,41662 ont été estimés par le système de classification comme “-50 000” et 373 ont été estimés comme “+ 50 000” (faux-négatifs),

• horizontalement, sur les 1491 données outcome “+ 50 000” , 450 ont été estimés comme “-50 000” (faux-positifs) et 1041 ont été estimés comme “+ 50 000”

• verticalement, sur les 41662 outcome estimés par le système comme “- 50 000”, 450 sont en fait des outcome “+ 50 000”,

• verticalement, sur les 2719 outcome estimés par le système comme “+ 50 000”, 1041 sont en fait des outcome “- 50 000”.

Resultat de la prédiction

Nous avons une bonne performance de prediction pour ce modèle.

Fine-Tuning avec recherche des Hyperparameters avec repeated Cross Validation et Grid Search

Nous utilisons le paramètre number=10 et avec répétitions repeats=5 car le temps d’execution est rapide.

Time difference of 8.034623 mins

Voici le resultat de l’apprentissage :

CART 

155145 samples
    16 predictor
     2 classes: '-50000', '+50000' 

No pre-processing
Resampling: Bootstrapped (25 reps) 
Summary of sample sizes: 155145, 155145, 155145, 155145, 155145, 155145, ... 
Resampling results across tuning parameters:

  maxdepth  Accuracy   Kappa    
   1        0.9442048  0.3362598
   2        0.9442048  0.3362598
   3        0.9442048  0.3362598
   4        0.9442048  0.3362598
   5        0.9442470  0.3363163
   6        0.9445466  0.3362382
   7        0.9445466  0.3362382
   8        0.9445466  0.3362382
   9        0.9445466  0.3362382
  10        0.9445466  0.3362382
  11        0.9445466  0.3362382
  12        0.9445466  0.3362382
  13        0.9445466  0.3362382
  14        0.9445466  0.3362382
  15        0.9445466  0.3362382
  16        0.9445466  0.3362382
  17        0.9445466  0.3362382
  18        0.9445466  0.3362382
  19        0.9445466  0.3362382
  20        0.9445466  0.3362382
  21        0.9445466  0.3362382
  22        0.9445466  0.3362382
  23        0.9445466  0.3362382
  24        0.9445466  0.3362382
  25        0.9445466  0.3362382
  26        0.9445466  0.3362382
  27        0.9445466  0.3362382
  28        0.9445466  0.3362382
  29        0.9445466  0.3362382
  30        0.9445466  0.3362382

Accuracy was used to select the optimal model using the largest value.
The final value used for the model was maxdepth = 6.

Nous avons une faible erreur d’apprentissage.

Voici les paramètres choisis :

Best parameter pour maxdepth est : 6

Voici notre arbre. On a utilisé la représentation graphique avec la fonction fancyRpartPlot

La variable qui influence le plus est detailed_occupation_recode

Apply model to the test set

Voici le resultat de la validation:

 Accuracy     Kappa 
0.9468692 0.3542823 

Confusion Matrix and Statistics

          Reference
Prediction -50000 +50000
    -50000  41311   2007
    +50000    351    712
                                          
               Accuracy : 0.9469          
                 95% CI : (0.9447, 0.9489)
    No Information Rate : 0.9387          
    P-Value [Acc > NIR] : 1.562e-13       
                                          
                  Kappa : 0.3543          
                                          
 Mcnemar's Test P-Value : < 2.2e-16       
                                          
            Sensitivity : 0.9916          
            Specificity : 0.2619          
         Pos Pred Value : 0.9537          
         Neg Pred Value : 0.6698          
             Prevalence : 0.9387          
         Detection Rate : 0.9308          
   Detection Prevalence : 0.9760          
      Balanced Accuracy : 0.6267          
                                          
       'Positive' Class : -50000          
                                          

Nous avons une faible taux d’erreur de validation et elle est équivalant à l’erreur d’apprentissage.

Le kappa est faible donc accord faible sur la prédiction par rapport à une prédiction au hasard.

Confusion Table

La matrice de confusion suivante se lit alors comme suit :

• horizontalement, sur les 43318 données outcome “- 50 000” , 41311 ont été estimés par le système de classification comme “-50 000” et 2007 ont été estimés comme “+ 50 000” (faux-négatifs),

• horizontalement, sur les 1063 données outcome “+ 50 000” , 351 ont été estimés comme “-50 000” (faux-positifs) et 712 ont été estimés comme “+ 50 000”

• verticalement, sur les 41662 outcome estimés par le système comme “- 50 000”, 351 sont en fait des outcome “+ 50 000”,

• verticalement, sur les 2719 outcome estimés par le système comme “+ 50 000”, 712 sont en fait des outcome “- 50 000”.

Resultat de la prédiction

L’arbre de classification possède un temps d’exécution rapide avec bon taux de précison de la prédiction.

Fine-Tuning Hyperparameters avec Cross Validation et Grid Search

Nous utilisons le paramètre number=2.

Time difference of 14.98683 mins

Voici le resultat de l’apprentissage :

Random Forest 

19322 samples
   16 predictor
    2 classes: '-50000', '+50000' 

No pre-processing
Resampling: Cross-Validated (2 fold) 
Summary of sample sizes: 9661, 9661 
Resampling results across tuning parameters:

  mtry  Accuracy   Kappa    
   8    0.8564848  0.7129695
  12    0.8566919  0.7133834
  16    0.8559155  0.7118308
  20    0.8549840  0.7099677

Accuracy was used to select the optimal model using the largest value.
The final value used for the model was mtry = 12.

Nous avons une plus grande erreur d’apprentissage sur ce modèle par rapport aux premiers.

Voici les paramètres choisis :

Best parameter pour mtry est : 12 

Apply model to the test set

 Accuracy     Kappa 
0.8341407 0.3370920 

Confusion Matrix and Statistics

          Reference
Prediction -50000 +50000
    -50000  34563    262
    +50000   7099   2457
                                          
               Accuracy : 0.8341          
                 95% CI : (0.8306, 0.8376)
    No Information Rate : 0.9387          
    P-Value [Acc > NIR] : 1               
                                          
                  Kappa : 0.3371          
                                          
 Mcnemar's Test P-Value : <2e-16          
                                          
            Sensitivity : 0.8296          
            Specificity : 0.9036          
         Pos Pred Value : 0.9925          
         Neg Pred Value : 0.2571          
             Prevalence : 0.9387          
         Detection Rate : 0.7788          
   Detection Prevalence : 0.7847          
      Balanced Accuracy : 0.8666          
                                          
       'Positive' Class : -50000          
                                          

Nous avons une faible taux d’erreur de validation et elle est équivalant à l’erreur d’apprentissage.

Le kappa est faible donc accord faible sur la prédiction par rapport à une prédiction au hasard.

Confusion Table

La matrice de confusion suivante se lit alors comme suit :

• horizontalement, sur les 34825 données outcome “- 50 000” , 34563 ont été estimés par le système de classification comme “-50 000” et 262 ont été estimés comme “+ 50 000” (faux-négatifs),

• horizontalement, sur les 9556 données outcome “+ 50 000” , 7099 ont été estimés comme “-50 000” (faux-positifs) et 2457 ont été estimés comme “+ 50 000”

• verticalement, sur les 41662 outcome estimés par le système comme “- 50 000”, 7099 sont en fait des outcome “+ 50 000”,

• verticalement, sur les 2719 outcome estimés par le système comme “+ 50 000”, 2457 sont en fait des outcome “- 50 000”.

Resultat de la prédiction

Nous avons une bonne accuracy pour la prédiction mais le temps d’excution est long.

Fine-Tuning Hyperparameters avec Cross Validation et Grid Search

Nous utilisons le paramètre number=10.

Time difference of 5.327326 mins

Voici le resultat de l’apprentissage :

Naive Bayes 

19322 samples
   16 predictor
    2 classes: '-50000', '+50000' 

No pre-processing
Resampling: Cross-Validated (10 fold) 
Summary of sample sizes: 17389, 17390, 17390, 17390, 17390, 17390, ... 
Resampling results across tuning parameters:

  usekernel  Accuracy  Kappa
  FALSE      NaN       NaN  
   TRUE      0.5         0  

Tuning parameter 'fL' was held constant at a value of 0
Tuning
 parameter 'adjust' was held constant at a value of 1
Accuracy was used to select the optimal model using the largest value.
The final values used for the model were fL = 0, usekernel = TRUE
 and adjust = 1.

Nous avons un faible résultat d’apprentissage.

Voici les paramètres choisis :

Best parameter pour fL est : 0 

Best parameter pour usekernel est : TRUE 

Best parameter pour adjust est : 1 

Nous regardons quelle covariable influnce le plus le modèle.

La variable qui influence le plus est educ_level et weeks_worked_in_year

Apply model to the test set

Accuracy    Kappa 
0.938735 0.000000 

Confusion Matrix and Statistics

          Reference
Prediction -50000 +50000
    -50000  41662   2719
    +50000      0      0
                                          
               Accuracy : 0.9387          
                 95% CI : (0.9365, 0.9409)
    No Information Rate : 0.9387          
    P-Value [Acc > NIR] : 0.5051          
                                          
                  Kappa : 0               
                                          
 Mcnemar's Test P-Value : <2e-16          
                                          
            Sensitivity : 1.0000          
            Specificity : 0.0000          
         Pos Pred Value : 0.9387          
         Neg Pred Value :    NaN          
             Prevalence : 0.9387          
         Detection Rate : 0.9387          
   Detection Prevalence : 1.0000          
      Balanced Accuracy : 0.5000          
                                          
       'Positive' Class : -50000          
                                          

Nous avons une faible taux d’erreur de validation et elle est équivalant à l’erreur d’apprentissage.

Le kappa est null donc désaccord sur la prédiction par rapport à une prédiction au hasard.

La spécificité (la capacité du test à prédire une admission quand celle-ci a réellement eu lieu) est à 0. Le modèle a prédit 0 valeurs outcome +50000.

Confusion Table

Il n’y a aucune prédiction correcte pour le outcome +50000.

La matrice de confusion suivante se lit alors comme suit :

• horizontalement, sur les 44381 données outcome “- 50 000” , 41662 ont été estimés par le système de classification comme “-50 000” et 2719 ont été estimés comme “+ 50 000” (faux-négatifs),

• horizontalement, sur les 0 données outcome “+ 50 000” , 0 ont été estimés comme “-50 000” (faux-positifs) et 0 ont été estimés comme “+ 50 000”

• verticalement, sur les 41662 outcome estimés par le système comme “- 50 000”, 0 sont en fait des outcome “+ 50 000”,

• verticalement, sur les 2719 outcome estimés par le système comme “+ 50 000”, 0 sont en fait des outcome “- 50 000”.

Resultat de la prédiction

Il est rapide et très performant mais il ne prédit pas les outcome +50000 ce qui est un gros désavantage.

Fine-Tuning Hyperparameters avec repeated Cros Validation et Grid Search

Nous utilisons le paramètre number=2.

Time difference of 20.34367 mins

Support Vector Machines with Linear Kernel 

19322 samples
   16 predictor
    2 classes: '-50000', '+50000' 

Pre-processing: centered (184), scaled (184) 
Resampling: Cross-Validated (2 fold) 
Summary of sample sizes: 9661, 9661 
Resampling results across tuning parameters:

  cost  Accuracy   Kappa    
  0.2   0.8581410  0.7162822
  0.4   0.8581927  0.7163857
  0.6   0.8581927  0.7163857
  0.8   0.8582962  0.7165927
  1.0   0.8581927  0.7163857
  1.2   0.8582445  0.7164892
  1.4   0.8582445  0.7164892

Accuracy was used to select the optimal model using the smallest value.
The final value used for the model was cost = 0.2.

L’erreur est faible et le kappa est élevé avec un accord fort

Voici les paramètres choisis :

Best parameter pour cost est : 0.2 

Nous regardons quelle covariable infleunce le plus le modèle.

La variable qui influence le plus est educ_level et weeks_worked_in_year

Apply the tree to test set

Voici le resultat de la validation :

 Accuracy     Kappa 
0.8370474 0.3424217 

Confusion Matrix and Statistics

          Reference
Prediction -50000 +50000
    -50000  34688    258
    +50000   6974   2461
                                          
               Accuracy : 0.837           
                 95% CI : (0.8336, 0.8405)
    No Information Rate : 0.9387          
    P-Value [Acc > NIR] : 1               
                                          
                  Kappa : 0.3424          
                                          
 Mcnemar's Test P-Value : <2e-16          
                                          
            Sensitivity : 0.8326          
            Specificity : 0.9051          
         Pos Pred Value : 0.9926          
         Neg Pred Value : 0.2608          
             Prevalence : 0.9387          
         Detection Rate : 0.7816          
   Detection Prevalence : 0.7874          
      Balanced Accuracy : 0.8689          
                                          
       'Positive' Class : -50000          
                                          

L’erreur est faible et le kappa est faible avec un accord faible sur la prédiction

Confusion Table

La matrice de confusion suivante se lit alors comme suit :

• horizontalement, sur les 34946 données outcome “- 50 000” , 34688 ont été estimés par le système de classification comme “-50 000” et 258 ont été estimés comme “+ 50 000” (faux-négatifs),

• horizontalement, sur les 9435 données outcome “+ 50 000” , 6974 ont été estimés comme “-50 000” (faux-positifs) et 2461 ont été estimés comme “+ 50 000”

• verticalement, sur les 41662 outcome estimés par le système comme “- 50 000”, 6974 sont en fait des outcome “+ 50 000”,

• verticalement, sur les 2719 outcome estimés par le système comme “+ 50 000”, 2461 sont en fait des outcome “- 50 000”.

Resultat de la prédiction

Le temps d’execution est long et la prédiction est bonne

Fine-Tuning avec recherche des Hyperparameters avec Cross Validation et Grid Search

Nous utilisons number = 2 car le temps d’execution est trop long.

Time difference of 27.54678 mins

Voici le resultat de l’apprentissage :

Support Vector Machines with Radial Basis Function Kernel 

19322 samples
   16 predictor
    2 classes: '-50000', '+50000' 

Pre-processing: centered (184), scaled (184) 
Resampling: Cross-Validated (2 fold) 
Summary of sample sizes: 9661, 9661 
Resampling results across tuning parameters:

  sigma  C     Accuracy   Kappa    
  0.010  0.75  0.8440120  0.6880241
  0.010  1.00  0.8440120  0.6880241
  0.010  1.25  0.8431839  0.6863679
  0.015  0.75  0.8399752  0.6799503
  0.015  1.00  0.8394059  0.6788118
  0.015  1.25  0.8382673  0.6765346
  0.200  0.75  0.7349653  0.4699308
  0.200  1.00  0.7447987  0.4895976
  0.200  1.25  0.7493013  0.4986027

Accuracy was used to select the optimal model using the smallest value.
The final values used for the model were sigma = 0.2 and C = 0.75.

L’erreur d’apprentissage est faible et le kappa est élevé avec un accord élevé de prédiction

Voici les paramètres choisis :

Best parameter pour sigma  est : 0.2 

Best parameter pour C est : 0.75 

Nous regardons quelle covariable influnce le plus le modèle.

Nous avons educ_level, weeks_worked_in_year,num_persons_worked_for_employer qui influencent beaucoup le modèle.

Apply model to the test set

 Accuracy     Kappa 
0.5627633 0.1155063 

Confusion Matrix and Statistics

          Reference
Prediction -50000 +50000
    -50000  22367    110
    +50000  19295   2609
                                          
               Accuracy : 0.5628          
                 95% CI : (0.5581, 0.5674)
    No Information Rate : 0.9387          
    P-Value [Acc > NIR] : 1               
                                          
                  Kappa : 0.1155          
                                          
 Mcnemar's Test P-Value : <2e-16          
                                          
            Sensitivity : 0.5369          
            Specificity : 0.9595          
         Pos Pred Value : 0.9951          
         Neg Pred Value : 0.1191          
             Prevalence : 0.9387          
         Detection Rate : 0.5040          
   Detection Prevalence : 0.5065          
      Balanced Accuracy : 0.7482          
                                          
       'Positive' Class : -50000          
                                          

Nous avons une grande erreur de validation et il est pls grand que l’ erreur d’apprentissage. Nous avons un problème de sur apprentissage. Le kappa est faible avec un accord faible de prédiction

Confusion Table

La matrice de confusion suivante se lit alors comme suit :

• horizontalement, sur les 22477 données outcome “- 50 000” , 22367 ont été estimés par le système de classification comme “-50 000” et 110 ont été estimés comme “+ 50 000” (faux-négatifs),

• horizontalement, sur les 21904 données outcome “+ 50 000” , 19295 ont été estimés comme “-50 000” (faux-positifs) et 2609 ont été estimés comme “+ 50 000”

• verticalement, sur les 41662 outcome estimés par le système comme “- 50 000”, 19295 sont en fait des outcome “+ 50 000”,

• verticalement, sur les 2719 outcome estimés par le système comme “+ 50 000”, 2609 sont en fait des outcome “- 50 000”.

Resultat de la prédiction

Le temps d’execution est très long par rapport aux autres modèles et pour un résultat de la prédiction faible.

Fine-Tuning recherche des Hyperparameters avec Cross-Validation et Grid search

Time difference of 13.29267 mins

Voici le resultat de l’apprentissage :

k-Nearest Neighbors 

19322 samples
   16 predictor
    2 classes: '-50000', '+50000' 

No pre-processing
Resampling: Cross-Validated (10 fold) 
Summary of sample sizes: 17390, 17390, 17390, 17390, 17390, 17390, ... 
Resampling results across tuning parameters:

  k   Accuracy   Kappa    
   1  0.8307107  0.6614214
   4  0.8442706  0.6885411
   7  0.8463929  0.6927856
  10  0.8486181  0.6972361
  13  0.8471171  0.6942338

Accuracy was used to select the optimal model using the largest value.
The final value used for the model was k = 10.

Nous avons une faible erreur d’apprentissage. Le kappa est élevé avec un accord élevé de prédiction

Voici les paramètres choisis :

Best parameter pour k est : 10 

Nous regardons quelle covariable influnce le plus le modèle.

Nous avons educ_level, num_persons_worked_for_employer, detailed_industry_recode,weeks_worked_in_year qui influencent beaucoup le modèle.

Apply the tree to test set

Voici le resultat de la validation:

 Accuracy     Kappa 
0.8125099 0.3027596 

Confusion Matrix and Statistics

          Reference
Prediction -50000 +50000
    -50000  33610    269
    +50000   8052   2450
                                          
               Accuracy : 0.8125          
                 95% CI : (0.8088, 0.8161)
    No Information Rate : 0.9387          
    P-Value [Acc > NIR] : 1               
                                          
                  Kappa : 0.3028          
                                          
 Mcnemar's Test P-Value : <2e-16          
                                          
            Sensitivity : 0.8067          
            Specificity : 0.9011          
         Pos Pred Value : 0.9921          
         Neg Pred Value : 0.2333          
             Prevalence : 0.9387          
         Detection Rate : 0.7573          
   Detection Prevalence : 0.7634          
      Balanced Accuracy : 0.8539          
                                          
       'Positive' Class : -50000          
                                          

Nous avons une erreur de validation plus élevé que l’erreur d’apprentissage. Le kappa est faible avec un accord faible de prédiction.

Confusion Table

La matrice de confusion suivante se lit alors comme suit :

• horizontalement, sur les 33879 données outcome “- 50 000” , 33610 ont été estimés par le système de classification comme “-50 000” et 269 ont été estimés comme “+ 50 000” (faux-négatifs),

• horizontalement, sur les 10502 données outcome “+ 50 000” , 8052 ont été estimés comme “-50 000” (faux-positifs) et 2450 ont été estimés comme “+ 50 000”

• verticalement, sur les 41662 outcome estimés par le système comme “- 50 000”, 8052 sont en fait des outcome “+ 50 000”,

• verticalement, sur les 2719 outcome estimés par le système comme “+ 50 000”, 2450 sont en fait des outcome “- 50 000”.

Resultat de la prédiction

Nous avons trouver une stratégie pour avoir une valeur optimale pour le paramètre k. Le niveau de prediction est bon avec un temps d’exécution correcte.

Fine-Tuning recherche des Hyperparameters avec Cross validation et grid search

Voici le resultat de l’apprentissage :

Neural Network 

155145 samples
    16 predictor
     2 classes: '-50000', '+50000' 

No pre-processing
Resampling: Cross-Validated (2 fold) 
Summary of sample sizes: 77572, 77573 
Resampling results across tuning parameters:

  size  decay  Accuracy   Kappa    
  2     0.2    0.9489832  0.4507088
  2     0.5    0.9490154  0.4468607
  2     0.8    0.9489961  0.4404776
  2     1.0    0.9433111  0.2273694
  3     0.2    0.9484676  0.4380545
  3     0.5    0.9494408  0.4358074
  3     0.8    0.9491508  0.4469613
  3     1.0    0.9490090  0.4366423
  4     0.2    0.9487769  0.4399896
  4     0.5    0.9480937  0.4046013
  4     0.8    0.9492604  0.4475999
  4     1.0    0.9494151  0.4476317

Accuracy was used to select the optimal model using the largest value.
The final values used for the model were size = 3 and decay = 0.5.

Nous avons une faible erreur d’apprentissage. Le kappa est modéré avec un accord modéré de prédiction

Voici les paramètres choisis :

Best parameter pour size est : 3 

Best parameter pour decay  est : 0.5 

Nous regardons quelle covariable influnce le plus le modèle.

nnet variable importance

  only 20 most important variables shown (out of 184)

                                                                         Overall
detailed_occupation_recode7                                               100.00
sex Male                                                                   92.78
tax_filer_stat Nonfiler                                                    78.33
family_members_under_18 Not in universe                                    71.20
extra_outcomepositive                                                      68.42
tax_filer_stat Joint both under 65                                         62.35
detailed_household_and_family_stat Child <18 never marr not in subfamily   57.73
detailed_occupation_recode39                                               53.07
detailed_occupation_recode2                                                51.62
educ_levelno-HS                                                            50.62
detailed_occupation_recode11                                               50.10
detailed_industry_recode20                                                 46.54
detailed_household_and_family_stat Secondary individual                    45.48
detailed_occupation_recode26                                               41.78
marital_stat Married-civilian spouse present                               40.73
detailed_industry_recode33                                                 40.26
detailed_occupation_recode5                                                40.25
detailed_industry_recode44                                                 40.06
detailed_occupation_recode27                                               38.71
detailed_occupation_recode25                                               38.58

Nous avons detailed_occupation_recode7, detailed_occupation_recode11 et educ_levelHS-grad qui influencent beaucoup le modèle.

Le graphe plotnet du réseau de neurones:

Apply the tree to test set

Voici le resultat de la validation:

 Accuracy     Kappa 
0.9515333 0.4697091 

Confusion Matrix and Statistics

          Reference
Prediction -50000 +50000
    -50000  41184   1673
    +50000    478   1046
                                          
               Accuracy : 0.9515          
                 95% CI : (0.9495, 0.9535)
    No Information Rate : 0.9387          
    P-Value [Acc > NIR] : < 2.2e-16       
                                          
                  Kappa : 0.4697          
                                          
 Mcnemar's Test P-Value : < 2.2e-16       
                                          
            Sensitivity : 0.9885          
            Specificity : 0.3847          
         Pos Pred Value : 0.9610          
         Neg Pred Value : 0.6864          
             Prevalence : 0.9387          
         Detection Rate : 0.9280          
   Detection Prevalence : 0.9657          
      Balanced Accuracy : 0.6866          
                                          
       'Positive' Class : -50000          
                                          

Nous avons une faible erreur de validation et elle est équivalant à l’erreur d’apprentissage.

Le kappa est modéré avec un accord modéré de prédiction.

Confusion Table

La matrice de confusion suivante se lit alors comme suit :

• horizontalement, sur les 42857 données outcome “- 50 000” , 41184 ont été estimés par le système de classification comme “-50 000” et 1673 ont été estimés comme “+ 50 000” (faux-négatifs),

• horizontalement, sur les 1524 données outcome “+ 50 000” , 478 ont été estimés comme “-50 000” (faux-positifs) et 1046 ont été estimés comme “+ 50 000”

• verticalement, sur les 41662 outcome estimés par le système comme “- 50 000”, 478 sont en fait des outcome “+ 50 000”,

• verticalement, sur les 2719 outcome estimés par le système comme “+ 50 000”, 1046 sont en fait des outcome “- 50 000”.

Resultat de la prédiction

Nous avons une très bonne accuracy pour la prédiction mais le temps d’excution est très long.