Introduction

In 2022, air pollution cost Shanghai about 13,000 deaths and $6,300,000,000 USD. That’s why we decided to look at the pollution factors in Shanghai, so that we could then try to remedy them. It is based on data from the site “https://archive.ics.uci.edu/ml/datasets/PM2.5+Data+of+Five+Chinese+Cities” collected between between Jan 1st, 2010 to Dec 31st, 2015. This dataset includes time data such as year, month, day, time and season of data collection. It also groups pollutants concentration variables on three different Chinese pollution stations. Finally, it groups together various factors that could influence these concentrations of pollutants such as temperature, humidity, pressure, wind direction and speed, and precipitation (See Appendix 1 for a description of the variables). The main purpose of this project is to analyse the variations of pollution in the city of Shanghai in relation to other variables, through the application of linear models. To do this, we will perform a multiple regression on the data, then an annova, and finally we will end with a selection of factors.

Régression multiple

                      2.5 %        97.5 %
(Intercept)   -16.823146807 146.173026485
PM_Jingan       0.547423783   0.599127734
PM_Xuhui        0.190400882   0.242552124
DEWP           -0.128174004   0.345534849
HUMI           -0.093584776   0.040249146
PRES           -0.125462381   0.030119192
TEMP           -0.581910784  -0.105627288
Iws            -0.005377435   0.002891797
precipitation  -0.371567654   0.301083841
Iprec          -0.113615886   0.013272456

Annova

Nous venons de regarder la significativité des variables explicatives quantitatives et maintenant nous voulons regarder ce qu’il en est pour notre variable explicative qualitative, qui est la direction du vent.  

Graphiquement, on peut penser que les distributions semblent différentes, donc on émet l’hypothèse que la direction du vent pourrait avoir une influence sur la pollution. (Voir la nomenclature des directions du vent en annexe 2)  

Statistiques élémentaires des directions du vent  

  cv   NE   NW   SE   SW 
  83 1042  489 1080  307 

On lance alors le test de l’annova pour savoir si les directions du vent jouent un rôle significatif sur la concentration de la pollution.  

Tableau d’analyse de la variance  

              Df  Sum Sq Mean Sq F value Pr(>F)    
Y$cbwd         4  289865   72466   60.61 <2e-16 ***
Residuals   2996 3581943    1196                   
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Soit H0 notre hypothèse nulle selon laquelle les moyennes des concentrations de pollution à particules fines sont égales selon la direction du vent contre H1 l’hypothèse alternative selon laquelle il existe une des moyennes différentes des autres. La p-value étant très petite, on rejette H0 à tous les niveaux. Autrement dit, on rejette le fait que les moyennes soient égales. On en conclut qu’au moins une des moyennes est différente des autres et donc que la direction du vent à un impact sur la concentration de la pollution.  

On procède maintenant à l’analyse des résidus de l’annova  

  Sur ces deux graphiques, nous pouvons tirer plusieurs informations. Sur le premier graphique nous pouvons obeserver la distributions des résidus avec les valeurs ajustées. Chaque direction du vent ayant une même moyenne , la distribution se fait logiquement de manière verticale. De plus on observe que certaines directions enregistrent une dispersion plus grandes, que d’autres, un comportement d’hétéroscédasticité avec également une proportion de valeurs positives et négatives différentes . En ce qui concerne le graphique de la normalité qui illustre la distribution avec la droite de Henry, la distribtuion de nos données ne semble pas ici suivre une loi normale, cependant on applique le théorème central limite car nous avons plus de 50 observations. On remarque enfin sur ces graphiques des données aberrantes que l’on va supprimer et on réalise un nouveau test de l’annova sur ces données nettoyées.  

  L’allure du premier graphique a changé, on peut exclure une éventuelle hétéroscédasticité. La distribution ne suis toujours pas une loi normale mais au vu du nombre de valeurs dans notre jeu de données, nous pouvons nous référer au théorème central limite et dire que nos conclusions ne sont toutefois pas éronées.  

On utilise maintenant les méthodes de comparaisons multiples afin d’affiner notre analyse, et de localiser les différences. On commence par utliser la méthode de Tukey en fixant une précision égale à 5%.  

  Tukey multiple comparisons of means
    95% family-wise confidence level

Fit: aov(formula = anovamieux$PM_US.Post ~ anovamieux$cbwd, data = anovamieux)

$`anovamieux$cbwd`
            diff        lwr        upr     p adj
NE-cv -21.429575 -30.421845 -12.437306 0.0000000
NW-cv  -2.814346 -12.172490   6.543798 0.9242823
SE-cv -20.102368 -29.081046 -11.123690 0.0000000
SW-cv  -0.719963 -10.454715   9.014789 0.9996306
NW-NE  18.615229  14.336510  22.893949 0.0000000
SE-NE   1.327207  -2.041656   4.696071 0.8193031
SW-NE  20.709612  15.660061  25.759164 0.0000000
SE-NW -17.288022 -21.538104 -13.037940 0.0000000
SW-NW   2.094383  -3.581172   7.769938 0.8521585
SW-SE  19.382405  14.357097  24.407714 0.0000000

On rejette notre hypothèse pour les p-valeur inférieures à 5% et on accepte notre hypothèse pour les autres.  

P-valeur < 0,05 : NW-NE, SW-NE, cv-NE, NW-SE, SW-SE, cv-SE  

P-valeur > 0,05 : NW-cv, SW-cv, SE-NE, SW-NW  

Ce qui nous donne: SW = NW = cv, SE = NE et NW =! NE, SW =! NE, cv =! NE, NW =! SE, SW =! SE, cv =! SE  

Il n’y a donc pas de contradiction entre nos résultats et on peut affirmer qu’au moins une des moyennes est différente, et donc que la direction du vent joue un rôle significatif sur la concentration de la pollution.  

Afin de confirmer ou d’invalider notre hypothèse précédente, on procède à la méthode de Sheffé.  

  Posthoc multiple comparisons of means: Scheffe Test 
    95% family-wise confidence level

$`anovamieux$cbwd`
            diff     lwr.ci     upr.ci    pval    
NE-cv -21.429575 -31.583848 -11.275303 1.7e-08 ***
NW-cv  -2.814346 -13.381773   7.753081  0.9545    
SE-cv -20.102368 -30.241294  -9.963443 1.7e-07 ***
SW-cv  -0.719963 -11.712664  10.272738  0.9998    
NW-NE  18.615229  13.783604  23.446855 < 2e-16 ***
SE-NE   1.327207  -2.476989   5.131404  0.8852    
SW-NE  20.709612  15.007545  26.411680 < 2e-16 ***
SE-NW -17.288022 -22.087310 -12.488734 < 2e-16 ***
SW-NW   2.094383  -4.314581   8.503347  0.9076    
SW-SE  19.382405  13.707714  25.057096 < 2e-16 ***

---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Il n’y a pas de contradiction non plus. Il semble y avoir une différence notoire lorsque le vent venant du Nord-Est.  

Sélection de facteurs

On veut maintenant effectuer une sélection de facteurs afin d’améliorer le modèle trouvé lors de notre régression multiple, que ce soit au niveau de la modélisation ou des prévisions. Pour cela, on recherche dans un premier temps, une éventuelle colinéarité entre les facteurs.  

    PM_Jingan      PM_Xuhui          DEWP          HUMI          PRES 
    20.002457     19.997296     48.787023     27.422341      5.444092 
         TEMP           Iws precipitation         Iprec 
    46.579090      1.178220      1.346696      1.446523 

On peut supposer une colinéarité entre les facteurs lorsque les quantifications de colinéarité (tableau ci-dessus) sont supérieures à 4 et on peut affirmer une colinéarité lorsque ces dernières sont supérieures à 10. ans le cas de notre modèle, 5 variables présentent une colinéarité forte et 4 en sont suspectées. On effectue donc notre sélection de facteurs afin de diminuer voire supprimer ces colinéarités qui perturbent notre modèle.  

On utlise tout d’abord la méthode Forward qui consiste à effectuer une régression par ajout sur les données. Cela consiste à effectuer une régression de notre variable à expliquer avec qu’un seul facteur au début, puis à rajouter d’autres facteurs au fur et à mesure, jusqu’à ce qu’il ne reste plus de facteurs significatifs. Pour cela on se fixe un seuil de significativité de 5%.  

On retient 3 facteurs avec cette méthode : La concentration dans la station de Jingan, la concentration dans la station de Xuhui et la température.  

On compare avec la méthode Backward pour savoir si l’on trouve les mêmes facteurs. Cette méthode fonctionne sur le même principe que la précédente, sauf que l’on part de la régression sur tous les facteurs et on enlève les facteurs non-significatifs (dont la p-valeur est supérieure à 0,05) un par un.  

Avec cette méthode, on se retrouve également avec les 3 facteurs trouvés précédemment. On réalise alors une recherche exhaustive qui nous montre quel facteurs prendre selon le critère choisi. Pour un modèle de modélisation, on choisira le critère du R² ajusté et pour un modèle de prévision on choisira le critère du bic.  

Recherche exhaustive selon le nombre de facteurs voulus :  

Subset selection object
9 Variables  (and intercept)
              Forced in Forced out
PM_Jingan         FALSE      FALSE
PM_Xuhui          FALSE      FALSE
DEWP              FALSE      FALSE
HUMI              FALSE      FALSE
PRES              FALSE      FALSE
TEMP              FALSE      FALSE
Iws               FALSE      FALSE
precipitation     FALSE      FALSE
Iprec             FALSE      FALSE
1 subsets of each size up to 8
Selection Algorithm: exhaustive
         PM_Jingan PM_Xuhui  DEWP  HUMI  PRES  TEMP   Iws precipitation Iprec
1  ( 1 )      TRUE    FALSE FALSE FALSE FALSE FALSE FALSE         FALSE FALSE
2  ( 1 )      TRUE     TRUE FALSE FALSE FALSE FALSE FALSE         FALSE FALSE
3  ( 1 )      TRUE     TRUE FALSE FALSE FALSE  TRUE FALSE         FALSE FALSE
4  ( 1 )      TRUE     TRUE FALSE FALSE FALSE  TRUE FALSE         FALSE  TRUE
5  ( 1 )      TRUE     TRUE FALSE FALSE  TRUE  TRUE FALSE         FALSE  TRUE
6  ( 1 )      TRUE     TRUE  TRUE FALSE  TRUE  TRUE FALSE         FALSE  TRUE
7  ( 1 )      TRUE     TRUE  TRUE  TRUE  TRUE  TRUE FALSE         FALSE  TRUE
8  ( 1 )      TRUE     TRUE  TRUE  TRUE  TRUE  TRUE  TRUE         FALSE  TRUE

Recherche exhaustive selon le critère du R² ajusté :  

Le tableau ci-dessous donne le R² ajusté pour chaque modèle à k facteurs, de 1 facteur (à gauche) a p facteurs (à droite)  

[1] 0.9533523 0.9575060 0.9592043 0.9592392 0.9592674 0.9592574 0.9592507
[8] 0.9592419

Ici, on retiendra 5 facteurs car c’est le plus grand R² ajusté (0.9593). On se retrouve donc avec le modèle de modélisation suivant :  

(Intercept)   PM_Jingan    PM_Xuhui        PRES        TEMP       Iprec 
66.17366962  0.57283716  0.21773471 -0.05155529 -0.24811742 -0.05761947 

On procède de la même manière pour le critère du bic.  

[1] -9091.514 -9361.595 -9475.778 -9471.323 -9466.382 -9458.662 -9451.178
[8] -9443.542

On retient ici 3 facteurs car c’est le plus petit bic (-9475.778). On se retrouve donc avec le modèle de prévision suivant :  

(Intercept)   PM_Jingan    PM_Xuhui        TEMP 
 12.9611699   0.5725122   0.2190910  -0.2036978 

Afin d’affiner encore plus notre analyse, on peut également regarder le critère du cp de Mallows.  

[1] 429.924040 128.406831   5.773848   4.237228   3.189220   4.913418   6.402197
[8]   8.042213

Notre critère de choix se base sur le modèle à k facteurs ayant le coefficient le plus proche de k+1, pour k le plus petit possible, donc ici, on retiendra 4 facteurs, ce qui nous donne le modèle suivant :  

(Intercept)   PM_Jingan    PM_Xuhui        TEMP       Iprec 
 13.0766354   0.5732269   0.2174103  -0.2041433  -0.0514081 

  On réalise alors les prévisions et l’intervalle de confiance de notre modèle de modélisation.  

Intervalle de confiance  

                 2.5 %        97.5 %
(Intercept)  6.5654050 125.781934201
PM_Jingan    0.5471916   0.598482749
PM_Xuhui     0.1919233   0.243546142
PRES        -0.1094294   0.006318859
TEMP        -0.3090742  -0.187160599
Iprec       -0.1116456  -0.003593295

On regarde alors le summary de la régression pour savoir si les 5 facteurs sont significatifs.  

Toutes les variables ne sont pas significatives, mais nous effectuons quand même des prévisions sur ce modèle :  

Le MSE sur ce modèle vaut 99.0675598, ce qui est inférieur à celui trouvé avec notre modèle de régression sur tous les facteurs.

On réalise alors les prévisions et l’intervalle de confiance de notre modèle de prévision.  

Intervalle de confiance  

                 2.5 %     97.5 %
(Intercept) 12.3347860 13.5875538
PM_Jingan    0.5468613  0.5981630
PM_Xuhui     0.1933217  0.2448603
TEMP        -0.2394847 -0.1679108

On regarde alors le summary de la régression pour savoir si les 3 facteurs sont significatifs.  

Les variables sont toutes significatives, donc on regarde s’il y a toujours de la colinéarité entre les facteurs :  

PM_Jingan  PM_Xuhui      PRES      TEMP     Iprec 
19.703060 19.612746  3.016135  3.054759  1.049936 

Deux des trois variables présentent de la colinéarité. On effectuera donc par la suite une dernière sélection de facteurs. On réalise tout de même les prévisions pour ce modèle-ci.  

Le MSE sur ce modèle vaut 53.4634935, ce qui est nettement inférieur à celui trouvé avec le premier modèle et celui trouvé avec le modèle utilisé pour faire de la modélisation, ce qui paraît logique puisque ce modèle est retenu pour faire des prévisions et donc présente une erreur quadratique moyenne inférieure.  

Enfin, on essaye une dernière régression afin de limité la colinéarité entre les facteurs:  

Subset selection object
9 Variables  (and intercept)
              Forced in Forced out
PM_Jingan         FALSE      FALSE
PM_Xuhui          FALSE      FALSE
DEWP              FALSE      FALSE
HUMI              FALSE      FALSE
PRES              FALSE      FALSE
TEMP              FALSE      FALSE
Iws               FALSE      FALSE
precipitation     FALSE      FALSE
Iprec             FALSE      FALSE
1 subsets of each size up to 8
Selection Algorithm: exhaustive
         PM_Jingan PM_Xuhui  DEWP  HUMI  PRES  TEMP   Iws precipitation Iprec
1  ( 1 )      TRUE    FALSE FALSE FALSE FALSE FALSE FALSE         FALSE FALSE
2  ( 1 )      TRUE     TRUE FALSE FALSE FALSE FALSE FALSE         FALSE FALSE
3  ( 1 )      TRUE     TRUE FALSE FALSE FALSE  TRUE FALSE         FALSE FALSE
4  ( 1 )      TRUE     TRUE FALSE FALSE FALSE  TRUE FALSE         FALSE  TRUE
5  ( 1 )      TRUE     TRUE FALSE FALSE  TRUE  TRUE FALSE         FALSE  TRUE
6  ( 1 )      TRUE     TRUE  TRUE FALSE  TRUE  TRUE FALSE         FALSE  TRUE
7  ( 1 )      TRUE     TRUE  TRUE  TRUE  TRUE  TRUE FALSE         FALSE  TRUE
8  ( 1 )      TRUE     TRUE  TRUE  TRUE  TRUE  TRUE  TRUE         FALSE  TRUE

Si l’on choisit seulement deux facteurs, le meilleur modèle est le suivant Y = B0 + B1 * PM_Jingan + B2 * PM_Xuhui + e  

On regarde s’il reste de la colinéarité :  

PM_Jingan  PM_Xuhui 
 19.43938  19.43938 

La colinéarité persiste, donc on retiendra le modèle à 3 facteurs, choisi avec le critère du bic.  

Conclusion

First, we looked at which quantitive variables could have an impact on the concentration of fine particle pollution in the US.POST Station in Shanghai. We found a satisfactory model with an ESM of 100.81.  

Then we looked at the only qualitative variable present in the dataset which is the wind direction and we saw that the wind played a significant role in the concentration of pollution.  

Finally, in order to improve the linear regression model found in the first part, we selected factors. We first established a modelling model. Three factors emerged from this selection: The concentration of pollution at the Jingan and Xuhui stations and the temperature. However, on the latter model, the selected factors have colinearity, which must be taken into account, since this disturbs our model.  

Below is a summary table of our analyses:  

Annexe