Activitat 1: Preprocessament de les dades
Roger Sala
2026-10-12
1 Estructura de les dades
1.1 Càrrega i revisió inicial
Es mostren les 10 primeres files
## Pregnancies Glucose BloodPressure SkinThickness Insulin BMI DiabetesPedigreeFunction Age Outcome
## 1 6 148 72 35 0 33.6 0.627 50 1
## 2 1 85 66 29 0 26.6 0.351 31 0
## 3 8 183 64 0 0 23.3 0.672 32 1
## 4 1 89 66 23 94 28.1 0.167 21 0
## 5 0 137 40 35 168 43.1 2.288 33 1
## 6 5 116 74 0 0 25.6 0.201 30 0
## 7 3 78 50 32 88 31.0 0.248 26 1
## 8 10 115 0 0 0 35.3 0.134 29 0
## 9 2 197 70 45 543 30.5 0.158 53 1
## 10 8 125 96 0 0 0.0 0.232 54 1Indiqueu el nombre de files i columnes. Mostreu els noms i els tipus de les variables.
Es confirma que hi ha 768 observacions(files) amb 9 variables (columnes)
Taula resum amb noms i els tipus de les variables:
## 'data.frame': 768 obs. of 9 variables:
## $ Pregnancies : int 6 1 8 1 0 5 3 10 2 8 ...
## $ Glucose : int 148 85 183 89 137 116 78 115 197 125 ...
## $ BloodPressure : int 72 66 64 66 40 74 50 0 70 96 ...
## $ SkinThickness : int 35 29 0 23 35 0 32 0 45 0 ...
## $ Insulin : int 0 0 0 94 168 0 88 0 543 0 ...
## $ BMI : num 33.6 26.6 23.3 28.1 43.1 25.6 31 35.3 30.5 0 ...
## $ DiabetesPedigreeFunction: num 0.627 0.351 0.672 0.167 2.288 ...
## $ Age : int 50 31 32 21 33 30 26 29 53 54 ...
## $ Outcome : int 1 0 1 0 1 0 1 0 1 1 ...Comproveu si hi ha files completament duplicades.
No hi ha files duplicades
## [1] 0Indiqueu si hi ha valors codificats explícitament com a NA al fitxer original.
No hi ha valors codificats com NA
## [1] FALSEMostreu un resum descriptiu inicial.
## Pregnancies Glucose BloodPressure SkinThickness Insulin BMI DiabetesPedigreeFunction Age Outcome
## Min. : 0.000 Min. : 0.0 Min. : 0.00 Min. : 0.00 Min. : 0.0 Min. : 0.00 Min. :0.0780 Min. :21.00 Min. :0.000
## 1st Qu.: 1.000 1st Qu.: 99.0 1st Qu.: 62.00 1st Qu.: 0.00 1st Qu.: 0.0 1st Qu.:27.30 1st Qu.:0.2437 1st Qu.:24.00 1st Qu.:0.000
## Median : 3.000 Median :117.0 Median : 72.00 Median :23.00 Median : 30.5 Median :32.00 Median :0.3725 Median :29.00 Median :0.000
## Mean : 3.845 Mean :120.9 Mean : 69.11 Mean :20.54 Mean : 79.8 Mean :31.99 Mean :0.4719 Mean :33.24 Mean :0.349
## 3rd Qu.: 6.000 3rd Qu.:140.2 3rd Qu.: 80.00 3rd Qu.:32.00 3rd Qu.:127.2 3rd Qu.:36.60 3rd Qu.:0.6262 3rd Qu.:41.00 3rd Qu.:1.000
## Max. :17.000 Max. :199.0 Max. :122.00 Max. :99.00 Max. :846.0 Max. :67.10 Max. :2.4200 Max. :81.00 Max. :1.0002 Qualitat i preparació de les dades
2.1 Variables quantitatives
Comptabilitzeu quants valors iguals a 0 apareixen en cadascuna d’aquestes variables.
## [1] "Glucose amb valor 0: 5"## [1] "BloodPressure amb valor 0: 35"## [1] "SkinThickness amb valor 0; 227"## [1] "Insulin amb valor 0; 374"## [1] "BMI amb valor 0; 11"Substituïu aquests valors per NA
Es fa amb aquesta secció de codi:
diabetes\(Glucose[diabetes\)Glucose == 0] <-
NA
diabetes\(BloodPressure[diabetes\)BloodPressure == 0]
<- NA
diabetes\(SkinThickness[diabetes\)SkinThickness == 0]
<- NA
diabetes\(Insulin[diabetes\)Insulin == 0] <-
NA
diabetes\(BMI[diabetes\)BMI ==
0] <- NA ]
Construïu una taula amb el nombre i el percentatge de valors perduts per variable després de la transformació
## Variable N_NA Percentatge_NA
## Pregnancies Pregnancies 0 0.00
## Glucose Glucose 5 0.65
## BloodPressure BloodPressure 35 4.56
## SkinThickness SkinThickness 227 29.56
## Insulin Insulin 374 48.70
## BMI BMI 11 1.43
## DiabetesPedigreeFunction DiabetesPedigreeFunction 0 0.00
## Age Age 0 0.00
## Outcome Outcome 0 0.002.2 Variable qualitativa: Outcome
Es passa a que la variable Outcome sigu
quantitativa, es guarda el status en valors de 0 i 1 a la variable
Outcome_quan
No: 500 - 65,1%
Si: 268 - 34,89%
##
## No Si
## 500 2682.3 Creació d’una variable categòrica derivada Indiqueu el nombre de pacients i el percentatge de pacients amb diabetis en cada grup. Comenteu breument el resultat.
taula per visualitzar la categorització entre diabètics i no diabètics
##
## No Si
## Menors de 30 312 84
## 30-49 142 141
## 50 o més 46 43Taula per visualitzar el percentatge de diabetics
##
## No Si
## Menors de 30 78.79 21.21
## 30-49 50.18 49.82
## 50 o més 51.69 48.31Es pot observar com el percentatge de diabètics és especialment baix pel grup de població de menors de 30 anys. No es veueu diferències significatives entre els majors de 30 anys.
3 Valors extrems
3.1 Índex de massa corporal (BMI)
Representeu la distribució de BMI mitjançant un boxplot.
## Min. 1st Qu. Median Mean 3rd Qu. Max. NAs
## 18.20 27.50 32.30 32.46 36.60 67.10 11Identifiqueu els valors considerats extrems d’acord amb el criteri utilitzat pel boxplot.
Mínim esperable
## [1] 13.85Màx_esperable
## [1] 50.25Indiqueu les observacions afectades.
BMI alt
## Pregnancies Glucose BloodPressure SkinThickness Insulin BMI DiabetesPedigreeFunction Age Outcome Outcome_quan AgeGroup
## 121 0 162 76 56 100 53.2 0.759 25 Si 1 Menors de 30
## 126 1 88 30 42 99 55.0 0.496 26 Si 1 Menors de 30
## 178 0 129 110 46 130 67.1 0.319 26 Si 1 Menors de 30
## 194 11 135 NA NA NA 52.3 0.578 40 Si 1 30-49
## 248 0 165 90 33 680 52.3 0.427 23 No 0 Menors de 30
## 304 5 115 98 NA NA 52.9 0.209 28 Si 1 Menors de 30
## 446 0 180 78 63 14 59.4 2.420 25 Si 1 Menors de 30
## 674 3 123 100 35 240 57.3 0.880 22 No 0 Menors de 30BMI baix
## [1] Pregnancies Glucose BloodPressure SkinThickness Insulin BMI DiabetesPedigreeFunction
## [8] Age Outcome Outcome_quan AgeGroup
## <0 rows> (o 0- extensión row.names)Interpreteu breument el resultat.
Considerant que els valors de 0 ja s’han eliminat, crec que NO es poden eliminar automàticament aquestes observacions ja que hi ha casos molt extrems de pesos. En aquest cas només han sortit valors per la franja alta
3.2 Insulina
Representeu Insulin mitjançant un boxplot i identifiqueu quantes observacions són considerades valors extrems segons el criteri utilitzat pel boxplot.
## Min. 1st Qu. Median Mean 3rd Qu. Max. NAs
## 14.00 76.25 125.00 155.55 190.00 846.00 374Mínim esperable
## [1] 0Màx_esperable
## [1] 360.625Pacients per sobre del màxim
Quins pacients compleixen amb aquesta condició de tenir l’insulina per sobre del màxim esperable?
## Pregnancies Glucose BloodPressure SkinThickness Insulin BMI DiabetesPedigreeFunction Age Outcome Outcome_quan AgeGroup
## 9 2 197 70 45 543 30.5 0.158 53 Si 1 50 o més
## 14 1 189 60 23 846 30.1 0.398 59 Si 1 50 o més
## 112 8 155 62 26 495 34.0 0.543 46 Si 1 30-49
## 154 1 153 82 42 485 40.6 0.687 23 No 0 Menors de 30
## 187 8 181 68 36 495 30.1 0.615 60 Si 1 50 o més
## 221 0 177 60 29 478 34.6 1.072 21 Si 1 Menors de 30
## 229 4 197 70 39 744 36.7 2.329 31 No 0 30-49
## 232 6 134 80 37 370 46.2 0.238 46 Si 1 30-49
## 248 0 165 90 33 680 52.3 0.427 23 No 0 Menors de 30
## 249 9 124 70 33 402 35.4 0.282 34 No 0 30-49
## 259 1 193 50 16 375 25.9 0.655 24 No 0 Menors de 30
## 287 5 155 84 44 545 38.7 0.619 34 No 0 30-49
## 371 3 173 82 48 465 38.4 2.137 25 Si 1 Menors de 30
## 393 1 131 64 14 415 23.7 0.389 21 No 0 Menors de 30
## 410 1 172 68 49 579 42.4 0.702 28 Si 1 Menors de 30
## 416 3 173 84 33 474 35.7 0.258 22 Si 1 Menors de 30
## 487 1 139 62 41 480 40.7 0.536 21 No 0 Menors de 30
## 585 8 124 76 24 600 28.7 0.687 52 Si 1 50 o més
## 646 2 157 74 35 440 39.4 0.134 30 No 0 30-49
## 656 2 155 52 27 540 38.7 0.240 25 Si 1 Menors de 30
## 696 7 142 90 24 480 30.4 0.128 43 Si 1 30-49
## 711 3 158 64 13 387 31.2 0.295 24 No 0 Menors de 30
## 716 7 187 50 33 392 33.9 0.826 34 Si 1 30-49
## 754 0 181 88 44 510 43.3 0.222 26 Si 1 Menors de 3010 pacients amb els valors d’insulina més elevats, ordenats en ordre decreixent, incloent-hi les variables Age, BMI, Glucose, Insulin i Outcome.
## Age BMI Glucose Insulin Outcome
## 14 59 30.1 189 846 Si
## 229 31 36.7 197 744 No
## 248 23 52.3 165 680 No
## 585 52 28.7 124 600 Si
## 410 28 42.4 172 579 Si
## 287 34 38.7 155 545 No
## 9 53 30.5 197 543 Si
## 656 25 38.7 155 540 Si
## 754 26 43.3 181 510 Si
## 112 46 34.0 155 495 SiCalculeu la mitjana i la mediana d’Insulin i compareu totes dues mesures. Quin efecte semblen tenir els valors elevats sobre la mitjana?
## [1] "Mitjana: 155.548223350254"## [1] "Mediana: 125"Es pot comprovar que malgrat la mediana és de 125 la mitjana és molt més alta 155 ja que els valors molt alts tendeixen a “inflar” la mitjana. Això també passa amb les rendes altres, és un exemple clar de perquè la mitjana a vegades no reflexa la situació més habitual.
4 Correlacions
4.1 Matriu de correlacions
Calculeu les correlacions entre Pregnancies, Glucose, BloodPressure, SkinThickness, Insulin, BMI, DiabetesPedigreeFunction, Age i una versió numèrica 0/1 d’Outcome. Per calcular les correlacions, utilitzeu únicament les observacions disponibles per a cada parell de variables. Mostreu una representació gràfica de la matriu de correlacions i interpreteu les relacions més destacables.
## Pregnancies Glucose BloodPressure SkinThickness Insulin BMI DiabetesPedigreeFunction Age Outcome_quan
## Pregnancies 1.000000000 0.1982910 0.2133548 0.0932094 0.07898363 -0.02534728 0.007562116 0.67960847 0.2565660
## Glucose 0.198291043 1.0000000 0.2100266 0.1988558 0.58122301 0.20951592 0.140180180 0.34364150 0.5157027
## BloodPressure 0.213354775 0.2100266 1.0000000 0.2325712 0.09851150 0.30440337 -0.015971104 0.30003895 0.1926733
## SkinThickness 0.093209397 0.1988558 0.2325712 1.0000000 0.18219906 0.66435487 0.160498526 0.16776114 0.2559357
## Insulin 0.078983625 0.5812230 0.0985115 0.1821991 1.00000000 0.22639652 0.135905781 0.21708199 0.3014292
## BMI -0.025347276 0.2095159 0.3044034 0.6643549 0.22639652 1.00000000 0.158771043 0.06981380 0.2701184
## DiabetesPedigreeFunction 0.007562116 0.1401802 -0.0159711 0.1604985 0.13590578 0.15877104 1.000000000 0.08502911 0.2093295
## Age 0.679608470 0.3436415 0.3000389 0.1677611 0.21708199 0.06981380 0.085029106 1.00000000 0.3508038
## Outcome_quan 0.256565956 0.5157027 0.1926733 0.2559357 0.30142922 0.27011841 0.209329511 0.35080380 1.00000004.2 Correlacions amb el diagnòstic de diabetis
Quina variable presenta la correlació, en valor absolut, més gran amb el diagnòstic de diabetis?
La variable Glucose 0.5157027 és la que té una correlació més alta amb si ets o no diabètic
Expliqueu per què una correlació observada no permet establir, per si sola, una relació causal.
Es coneguda la paradoxa que a vegades mirant la correlació, es troben com dos variables, semblen tenir una correlació molt alta. Però aquesta, pot ser fruit de la casualtitat. Hi ha pàgines web com: https://www.tylervigen.com/spurious-correlations On es troben tot tipus de correlacions no causals. Per exemple es mostra com l’energia solar genearada a Belize està correlacionada amb un r=0,988 amb el nombre de inspectors de Focs a Florida. És evident que aquestes dues dades no estan correlacionades i que això és fruit de la casualitat.
5 Imputació
- Indiqueu quants valors de BMI s’han d’imputar.
- Justifiqueu breument per què les variables auxiliars indicades poden aportar informació per a la imputació de BMI.
- Mostreu les observacions el BMI de les quals s’ha imputat i el valor obtingut.
## Pregnancies Glucose BloodPressure DiabetesPedigreeFunction Age BMI
## 10 8 125 96 0.232 54 37.6
## 50 7 105 NA 0.305 24 29.8
## 61 2 84 NA 0.304 21 23.5
## 82 2 74 NA 0.102 22 23.5
## 146 0 102 75 0.572 21 39.4
## 372 0 118 64 1.731 21 30.5
## 427 0 94 NA 0.256 25 25.0
## 495 3 80 NA 0.174 22 23.5
## 523 6 114 NA 0.189 26 25.2
## 685 5 136 82 0.640 69 32.0
## 707 10 115 NA 0.261 30 30.0- Comproveu que, després del procediment, no queden valors perduts a BMI.
## Valors perduts a BMI després de la imputació: 0Expliqueu breument per què pot ser preferible utilitzar informació d’altres variables en lloc de substituir tots els valors perduts per la mitjana de BMI.
En cas de tenir aquesta informació addicional d’altres columnes, en cas de saber que hi ha certa correlació entre les variables, el fet de fer la estimació de quan hauria de ser el valor de BIM, ens permet acostar-nos a tenir un valor de mitjana i mediana més fidel a la realitat ja que les interpolacions que es fan haurien d’ajudar-nos a tenir més obervacions a partir d’aquesta interpolació a través de la resta de variables. La explicació seria: En funció del nombre d’embarassos, la mesura de glucosa en sang, la seva pressió arterial, si ja hi ha hagut altres casos de diabetes a la família i la seva edat, et pots fer una idea més clara de com pot ser aquesta persona, i per tant, el seu BMI esperat.
6 Taula resum
Presenteu una taula amb la mitjana i la mediana i una altra taula amb la desviació estàndard i la desviació absoluta respecte de la mediana (MAD).
Mesures de tendència(Mitjana i Mediana)
## # A tibble: 2 × 7
## Outcome Mitjana_Glucose Mediana_Glucose Mitjana_BMI Mediana_BMI Mitjana_Age Mediana_Age
## <fct> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl>
## 1 No 111. 107 30.9 30.1 31.2 27
## 2 Si 142. 140 35.4 34.3 37.1 36Mesures de dispersió (Desviació estàndard i MAD)
## # A tibble: 2 × 7
## Outcome SD_Glucose MAD_Glucose SD_BMI MAD_BMI SD_Age MAD_Age
## <fct> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl>
## 1 No 24.8 23.7 6.56 7.12 11.7 7.41
## 2 Si 29.6 34.8 6.61 5.71 11.0 11.9Compareu els resultats entre pacients amb diabetis i sense. Quina variable sembla mostrar diferències més grans entre tots dos grups? Justifiqueu la resposta utilitzant els resultats obtinguts.
Els pacients amb diabetes tenen uns valor molt alt de mitjana de glucosa així com una gran dispersió (Els hi puja i baixa molt el sucre) Encara que increments en l’edat i el BMI també sembla que son paràmetres que avaforeixen o son conseqüència de la diabetes. És per aquest motiu que es selecciona la variableB Glucosa, malgrat les altres dues variables també tenen rellevància.
Utilitzant la mostra global, compareu la mitjana i la mediana, així com la desviació estàndard i el MAD. Quines diferències observeu entre les mesures robustes i no robustes?
Les mesures robustes (mediana i MAD) ofereixen una representació més fidel del “centre” i la variabilitat típica de les dades quan aquestes estan esbiaixades o contenen valors atípics, mentre que les no robustes (mitjana i SD) estan molt afectades pels valors extrems.