Description des variables

Les différentes caractéristiques de l’ensemble de données nettoyé sont expliquées ci-dessous :

1. airline : le nom de la compagnie aérienne est enregistré dans la colonne « airline ». Il s’agit d’une caractéristique catégorielle comprenant 6 compagnies aériennes différentes.

2. flight : la colonne « flight » contient des informations relatives au code de vol de l’avion. Il s’agit d’une caractéristique catégorielle.

3. source_city : Ville d’où le vol décolle. Il s’agit d’une caractéristique catégorielle comprenant 6 villes distinctes.

4. departure_time : Il s’agit d’une caractéristique catégorielle dérivée obtenue en regroupant des plages horaires dans des classes. Elle stocke des informations sur l’heure de départ et comporte 6 étiquettes horaires distinctes.

5. stops : Caractéristique catégorielle comportant 3 valeurs distinctes qui stocke le nombre d’escales entre la ville de départ et la ville de destination.

6. arrival_time : il s’agit d’une caractéristique catégorielle dérivée créée en regroupant des intervalles de temps en classes. Elle comporte six étiquettes de temps distinctes et contient des informations sur l’heure d’arrivée.

7. destination_city : ville où le vol atterrira. Il s’agit d’une caractéristique catégorielle comprenant 6 villes distinctes.

8. class : caractéristique catégorielle contenant des informations sur la classe de siège ; elle comporte deux valeurs distinctes : Classe affaires et Classe économique.

9. duration : caractéristique continue indiquant la durée totale du trajet entre les villes, exprimée en heures.

10. days_left : caractéristique dérivée calculée en soustrayant la date de voyage de la date de réservation.

11. price : variable cible contenant des informations sur le prix du billet.

Tableau des données

Nous avons ci-dessous un apperçu de nos données, qui nécessite d’etre néttoyer et préparées pour une analyse

a) Choix de la variable de stratification

Pour construire un échantillon stratifié efficace, on cherche une variable de stratification qui maximise la variance entre les groupes (les strates doivent être les plus différentes possibles les unes des autres), ce qui permet de minimiser la variance à l’intérieur de chaque groupe (les individus au sein d’une même strate doivent être très homogènes).

Les varable qui ont les plus grandes variances sont price et days_left`.

b) Echantillons tirés

d) Que nous dit le test de Kolmogorov-Smirnov ?

Le test statistique

Nous allons tester si les distributions sont identiques. pour ce faire on posera

Hypothèses du test de Kolmogorov-Smirnov :

• \(H_0 : F_1(x) = F_2(x)\) pour tout \(x\) (les deux distributions sont identiques)

• \(H_1 : F_1(x) \neq F_2(x)\) pour au moins un \(x\) (les distributions sont différentes)

Concernant les p_values

• \(p_{value}\) > \(0.05\) → pas de différence significative

• \(p_{value}\) < \(0.05\) → distributions différentes

## 
##  Asymptotic two-sample Kolmogorov-Smirnov test
## 
## data:  Clean_Dataset_new$price and Clean_Dataset_statif$price
## D = 0.055063, p-value = 1.12e-10
## alternative hypothesis: two-sided

## 
##  Asymptotic two-sample Kolmogorov-Smirnov test
## 
## data:  Clean_Dataset_new$price and Clean_Dataset_random$price
## D = 0.017351, p-value = 0.3327
## alternative hypothesis: two-sided

Le test de Kolmogorov-Smirnov indique une différence significative entre la population et l’échantillon stratifié (D = \(0.055\)), tandis que l’échantillon aléatoire ne présente pas de différence statistiquement détectable. Toutefois, la statistique D doit être privilégiée pour l’interprétation pratique, et la valeur plus élevée observée pour l’échantillon stratifié suggère une légère déformation locale de la distribution malgré une meilleure structure globale.

Ce test est très sensible aux micro-différences de valeurs, nous constatons néanmoins que

• les deux échantillons sont très proches de la population
• les différences sont négligeables en pratique
• KS détecte juste des micro-différences dues à la taille

KS seul n’est PAS un bon critère pour juger la qualité d’un échantillonnage sur un gros dataset du fait justement de ces micro-différences dues à la tailles.

La fonction de répartition ECDF est plus appropirée pour cette situation.

##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##    1105    4783    7425   20890   42521  123071

##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##    1105    4500    6634   22422   49294   89729

##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##    1105    4756    7277   20172   40843   95741

Conclusion sur le choix final de l’échantillon

##  duration days_left     price 
## 0.3445254 0.5398588 0.3326890

Interprétation

Les proportion sont pratiquement identiques pour toutes ces autres variables.

Les analyses réalisées sur la variable cible price montrent que l’échantillon aléatoire reproduit plus fidèlement la distribution observée dans la population que l’échantillon stratifié. Les statistiques descriptives sont plus proches de celles de la population et le test de Kolmogorov-Smirnov ne met pas en évidence de différence significative entre les distributions. Les proportions issues de différents dataset sont pratiquement identiques.

Pour la suite des analyses, l’échantillon aléatoire est donc définitivement retenu.

1. Analyse univariée

Results:

Ces résultats montrent que:

• \(50 \%\) des prix de billets de vols sont inférieurs à 7277 roupies indiens.
• les prix de billets de vols sont assymétriques du fait que la médiane et la moyenne soient très éloignées l’une de l’autre.
• qu’aucune des variables quantitative ne suit une loi normale.

interprétation

• on remarque que les compagnies aeriènnes les plus sollicitées sont Vistana, Sprice_jet et Air _india.

• Les destinations préférées des voyageurs sont Munba’i , Delhi et Bangalore.

• \(70.2\%\) des clients voyagent en classe Economy

• les clients aiment voyager le matin et le soir

2. Analyse bivariée

Variable price` en fonction des variables qualitatives

Interprétation

• Les compagnies aériennes Air_india et Vistana ont des prix moyens de billets d’avion environs \(4\) fois plus élevés que les autres, peut-etre que le clients qui voyager ave ces compagnies ci, a plus de confort que s’il voyage avec les autres.

• La ville de destination n’influe pas sur les prix moyen du billet d’avion.

• le prix moyen du billet d’avion est beaucoup plus élevé ( \(83.2\%\)) pour des vols qui font une escale, les clients préfèrent donc voyager avec ces vols meme si les prix moyens des billets sont les plus élevés .

##                                     variable       p_value epsilon2
## Kruskal-Wallis chi-squared6            class  0.000000e+00    0.627
## Kruskal-Wallis chi-squared           airline 3.140757e-187    0.291
## Kruskal-Wallis chi-squared3            stops  1.267758e-35    0.053
## Kruskal-Wallis chi-squared4     arrival_time  2.008375e-26    0.042
## Kruskal-Wallis chi-squared1      source_city  2.296114e-06    0.010
## Kruskal-Wallis chi-squared5 destination_city  7.003774e-05    0.007
## Kruskal-Wallis chi-squared2   departure_time  2.536492e-03    0.004

Interprétation

Le test de Kruskal-Wallis met en évidence une association significative entre price et airline ( \(p\) < \(0.001\) ;

\(ε²\) = \(0.18\)), indiquant un effet fort de la compagnie aérienne sur le prix des billets. pareil entre le prix et la classe.

Ce qui confirme nos précédants résultats.

Comment choisir scientifiquement ?

Ne devinez pas, vérifiez graphiquement et statistiquement sous R après avoir ajusté vos deux modèles :

Il est donc mieux pour la suite de modéliser le Log (price) au vu des résidus.

commençons par partitionner en deux nos données : train_Clean_Dataset_random et test_Clean_Dataset_random \(80 / 20\)

dim train_Clean_Dataset_random`

## [1] 2400   10

dim test_Clean_Dataset_random`

## [1] 601  10

Le compromis biais-variance du Modèle

• Le Biais du modèle : C’est l’erreur due à de mauvaises hypothèses dans l’algorithme (par exemple, modéliser par une ligne droite une tendance courbe). Un biais élevé provoque le sous-apprentissage (underfitting).

• La Variance du modèle : C’est la sensibilité du modèle aux fluctuations des données d’entraînement. Une variance élevée signifie que le modèle s’adapte trop aux détails et au bruit. Cela provoque le surapprentissage (overfitting).

Pour obtenir le meilleur modèle, il faut trouver le point d’équilibre qui minimise la somme du biais au carré et de la variance du modèle

C’est donc dans ce but que nous rechercherons le meilleur modèle des 3 qui fera le mieux ce compromis.

Pour un modèle de régression avec \(p\) variables explicatives :

\[ Y_i​=β_0​+β_1​X_{i1}​+β_2​X_{i2}​+⋯+β_p​X_{ip}​+ε_i​ \]

Le test global de significativité du modèle (test de Fisher) s’écrit :

\[ H_0​:β_1​=β_2​=⋯=β_p​=0 \]

contre\[ H_1:\exists\, j\in\{1,\ldots,p\}\text{ tel que }\beta_j\neq 0 \]

La règle de décision est de rejeter \(H_0\) si \(P_{value}\) < \(α\)

1. Modèle Log-Linéaire

a) Modèle

## 
## Call:
## lm(formula = log(price) ~ ., data = train_Clean_Dataset_random)
## 
## Residuals:
##      Min       1Q   Median       3Q      Max 
## -1.20901 -0.21808 -0.01207  0.20653  1.43791 
## 
## Coefficients:
##                               Estimate Std. Error  t value Pr(>|t|)    
## (Intercept)                 11.1443208  0.0450115  247.588  < 2e-16 ***
## airlineAirAsia              -0.4565026  0.0327306  -13.947  < 2e-16 ***
## airlineGO_FIRST             -0.0839581  0.0296227   -2.834 0.004632 ** 
## airlineIndigo               -0.2165331  0.0250307   -8.651  < 2e-16 ***
## airlineSpiceJet             -0.0178701  0.0431315   -0.414 0.678679    
## airlineVistara               0.1009821  0.0167355    6.034 1.85e-09 ***
## source_cityChennai           0.0030232  0.0254589    0.119 0.905486    
## source_cityDelhi            -0.0307131  0.0230677   -1.331 0.183174    
## source_cityHyderabad        -0.1178101  0.0252586   -4.664 3.27e-06 ***
## source_cityKolkata           0.1140918  0.0244866    4.659 3.35e-06 ***
## source_cityMumbai           -0.0880997  0.0234333   -3.760 0.000174 ***
## departure_timeEarly_Morning -0.0125367  0.0225093   -0.557 0.577610    
## departure_timeEvening       -0.0514631  0.0224535   -2.292 0.021994 *  
## departure_timeLate_Night    -0.1420997  0.1355442   -1.048 0.294578    
## departure_timeMorning       -0.0008307  0.0217922   -0.038 0.969595    
## departure_timeNight         -0.0211226  0.0246914   -0.855 0.392381    
## stopstwo_or_more             0.2006929  0.0318701    6.297 3.60e-10 ***
## stopszero                   -0.4210147  0.0245856  -17.124  < 2e-16 ***
## arrival_timeEarly_Morning   -0.1447468  0.0377972   -3.830 0.000132 ***
## arrival_timeEvening          0.0471372  0.0229779    2.051 0.040336 *  
## arrival_timeLate_Night      -0.0288945  0.0355734   -0.812 0.416729    
## arrival_timeMorning         -0.0181477  0.0242333   -0.749 0.454007    
## arrival_timeNight            0.0427152  0.0224487    1.903 0.057190 .  
## destination_cityChennai     -0.0284065  0.0248765   -1.142 0.253611    
## destination_cityDelhi       -0.0333242  0.0230376   -1.447 0.148165    
## destination_cityHyderabad   -0.0603796  0.0246742   -2.447 0.014474 *  
## destination_cityKolkata      0.0953222  0.0232842    4.094 4.38e-05 ***
## destination_cityMumbai      -0.0267881  0.0225713   -1.187 0.235417    
## classEconomy                -2.0208499  0.0163994 -123.227  < 2e-16 ***
## duration                     0.0045259  0.0012500    3.621 0.000300 ***
## days_left                   -0.0144737  0.0004984  -29.038  < 2e-16 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 0.3262 on 2369 degrees of freedom
## Multiple R-squared:  0.9124, Adjusted R-squared:  0.9113 
## F-statistic: 822.8 on 30 and 2369 DF,  p-value: < 2.2e-16

Nous obtenons ici E’NORMMEMENT de facteurs de variables. la question ici serait de savoir si nous devons toute les garder.

En effet la variabilité d’une variable réponse est fixe: elle dépend de nos données réelles. Ajouter des variables explicatives au modèle permet d’expliquer une plus grande partie de cette variabilité. Plus vous ajoutez de variables, plus la variance des résidus (erreur) diminue, et plus le \(R^2\) augmente. Le seul risque est donc d’avoir trop de variables dans notre modèle, est le surapprentissage.

b) Prédiction

Comme nous utilisons le modèle log-linéaire, les prévisions brutes générées par la fonction predict() dans R seront à l’échelle logarithmique : nous allons obtenir \(\widehat{\log (y)}\) et non \(y\).

Pour retrouver les prévisions à l’échelle d’origine (en euros, dollars, etc.), il ne suffit pas de faire une simple exponentielle \(\exp(\hat{y})\) . Si vous faites cela, vous commettez une erreur mathématique classique qui sous-estime systématiquement le vrai prix moyen.

Nous avons utiliser la méthode de correction empirique de Smearing pour y parvenir :

C’est la méthode la plus robuste car elle ne suppose pas que vos résidus soient parfaitement normaux. Elle utilise la moyenne des exponentielles des résidus du modèle.

c) Qualité des prédictions (RMSE)

Notre modèle donne de bonnes prédictions, mesurons les avec quelques métrics

## [1] 8604.632

2. Modèle Lasso

Principe

Le Lasso ajoute une pénalité :

\[ \min_{\beta} \left\{ \sum_{i=1}^{n} \left(y_i-\hat{y}_i\right)^2 + \lambda \sum_{j=1}^{p} |\beta_j| \right\} \]

• \(\alpha = 1\)

• Peut sélectionner des variables.

• Certains coefficients deviennent exactement nuls

## [1] 0.003108511

## 32 x 1 sparse Matrix of class "dgCMatrix"
##                                       s0
## (Intercept)                 11.085234606
## (Intercept)                  .          
## airlineAirAsia              -0.436128682
## airlineGO_FIRST             -0.065697244
## airlineIndigo               -0.200357084
## airlineSpiceJet              .          
## airlineVistara               0.106406111
## source_cityChennai           0.011046718
## source_cityDelhi            -0.007211974
## source_cityHyderabad        -0.092127589
## source_cityKolkata           0.121344960
## source_cityMumbai           -0.064515573
## departure_timeEarly_Morning  .          
## departure_timeEvening       -0.036024753
## departure_timeLate_Night    -0.077199493
## departure_timeMorning        0.005154175
## departure_timeNight         -0.005463457
## stopstwo_or_more             0.186880401
## stopszero                   -0.418909705
## arrival_timeEarly_Morning   -0.140118179
## arrival_timeEvening          0.044800818
## arrival_timeLate_Night      -0.023069555
## arrival_timeMorning         -0.012495209
## arrival_timeNight            0.036787283
## destination_cityChennai     -0.002754986
## destination_cityDelhi       -0.005621701
## destination_cityHyderabad   -0.028334426
## destination_cityKolkata      0.106427131
## destination_cityMumbai       .          
## classEconomy                -2.018856345
## duration                     0.004530348
## days_left                   -0.014267365

## --- Performances du modèle Lasso sur le jeu de Test ---

## RMSE :  8022.03  (Erreur moyenne au carré)

## MAE  :  4399.22  (Écart moyen en valeur absolue sur le prix d'un billet)

## R²   :  86.55 %

##    Reel   Predit    Ecart
## 1 73369 75949.83 -2580.83
## 2 75339 68617.86  6721.14
## 3  2339  2449.44  -110.44
## 4  6158  5288.66   869.34
## 5  4500  2323.24  2176.76

3. Modèle Xgboost

Les paramètres optimaux de notre modèle Xgboost sont

UTILISER LE MEILLEUR MODÈLE

En introduisant nos paramètres optimaux dans notre modèle, nous obtenons comme \(RMSE\)

## [1] 5019.015