rm(list=ls()) # clean R environment
gc() # clean computer memory
## used (Mb) gc trigger (Mb) max used (Mb)
## Ncells 524774 28.1 1169161 62.5 660385 35.3
## Vcells 954681 7.3 8388608 64.0 1770488 13.6
options(scipen=999) # show numbers in normal format
pacman::p_load( # install if needed and load libraries
tidyverse,
haven # allways call, contains most functions we need
)
my_path <- "C:/Users/kruvi/Desktop/programs/R/EX/ex5"
setwd(my_path) # tell R were on the computer we work
השמטת משתנה חשוב יכול לגרום לאומדים להיות מוטים. מכיוון שבמקרה הזה הטעות בהינתן המשתנה המסביר לא תהיה בעלת תוחלט 0. לכן אם נחשב את התוחלת של העומד נפספס את החלק מהטעות שמשפיע על התחזית וזה יגרום לעומד להיות מוטה. להיות הטרוזקדסטיות זה תכונה על השנות ולא משפיע על התוחלת. השלכות של זה הם רק שיותר קל לחשב את השונות ולכן לברר האם היא קטנה כפי שאנחנו רוצים או לא. אבל אין לה שום קשר להאם העומד הוא מוטה או לא. מקדם מתאם גבוהה בין שני המשתנים יכול רק לתת אינפורמציה על קשר בין שני המשתנים המסבירים. זה שאלה שאין לה שום קשר להיות העומד מוטה או לא.
השאלה היא מה ההשפעה של ממוצע שעות ההכשרה על הפרודקטיביות. תחת ההנחה שככל שהעובד יותר גרוע ההכשרה שלו דורשת יותר זמן. לכן נראה לי שהמסקנה המיידית היא שככל שההכשרה הממוצעת יותר ארוכה ממוצע העובדים יותר גרוע ולכן הפרודקוטביות הממוצעת יותר נמוכה. כלומר ההטיה של האומד כלפי מטה, נקבל שככל שזמן ההכשרה גדל הפרודקטיביות או עולה מעט או קטנה. שזה כנראה לא משקף את המצב בניכוי יכולת. זה קצת דומה לדלימה שיש לחלק מאקדמיים שמעוננינים לחפש משרה באוניבריטה אחרי וחושבים כמה זמן לעשות את הפוסט דוק. מצד אחד ככל שהפוסט דוק יותר ארוך האקדמי צובר יותר ניסיון ומפרסם יותר מאמרים ולכן מגדיל את הסיכוי לקבל משרה, ומהצד השני ככל שהוא יותר זמן בפוסט דוק זה מדליק יותר נורות אדומות של למה הוא לא מצא משרה עד עכשיו ואולי הוא לא מספיק מתאים.
wage <- read.csv("C:/Users/kruvi/Desktop/programs/R/EX/ex5/wage1.csv")
mode1 <- lm(log(wage) ~ educ + IQ, wage)
coef(mode1)
## (Intercept) educ IQ
## 5.658287588 0.039119901 0.005863132
summary(mode1)
##
## Call:
## lm(formula = log(wage) ~ educ + IQ, data = wage)
##
## Residuals:
## Min 1Q Median 3Q Max
## -2.01601 -0.24367 0.03359 0.27960 1.23783
##
## Coefficients:
## Estimate Std. Error t value Pr(>|t|)
## (Intercept) 5.6582876 0.0962408 58.793 < 0.0000000000000002 ***
## educ 0.0391199 0.0068382 5.721 0.00000001428 ***
## IQ 0.0058631 0.0009979 5.875 0.00000000587 ***
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## Residual standard error: 0.3933 on 932 degrees of freedom
## Multiple R-squared: 0.1297, Adjusted R-squared: 0.1278
## F-statistic: 69.42 on 2 and 932 DF, p-value: < 0.00000000000000022
mode2 <- lm(log(wage) ~ educ , wage)
coef(mode2)
## (Intercept) educ
## 5.97306245 0.05983921
summary(mode2)
##
## Call:
## lm(formula = log(wage) ~ educ, data = wage)
##
## Residuals:
## Min 1Q Median 3Q Max
## -1.94620 -0.24832 0.03507 0.27440 1.28106
##
## Coefficients:
## Estimate Std. Error t value Pr(>|t|)
## (Intercept) 5.973062 0.081374 73.40 <0.0000000000000002 ***
## educ 0.059839 0.005963 10.04 <0.0000000000000002 ***
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## Residual standard error: 0.4003 on 933 degrees of freedom
## Multiple R-squared: 0.09742, Adjusted R-squared: 0.09645
## F-statistic: 100.7 on 1 and 933 DF, p-value: < 0.00000000000000022
mode3 <- lm(IQ ~ educ , wage)
coef(mode3)
## (Intercept) educ
## 53.687154 3.533829
summary(mode3)
##
## Call:
## lm(formula = IQ ~ educ, data = wage)
##
## Residuals:
## Min 1Q Median 3Q Max
## -50.228 -7.262 0.907 8.772 37.373
##
## Coefficients:
## Estimate Std. Error t value Pr(>|t|)
## (Intercept) 53.6872 2.6229 20.47 <0.0000000000000002 ***
## educ 3.5338 0.1922 18.39 <0.0000000000000002 ***
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## Residual standard error: 12.9 on 933 degrees of freedom
## Multiple R-squared: 0.2659, Adjusted R-squared: 0.2652
## F-statistic: 338 on 1 and 933 DF, p-value: < 0.00000000000000022
אני מניח שהמדגם הוא מייצג, אבל השאלה היא האם הטעות אחרי שמוסיפים אי קיו למדידה מקיימת את תנאי מספר 1. כלומר התוחלת שלה ביחס למשתנים היא 0 עכשיו. אם הטעות מקיימת את תנאי מספר 1 אז אני חושב שניתן להסיק שיש מתאם חיובי בין השכלה להכנסה.
העומד אלפא 1 הרבה יותר גבוה מבאטא 1 (0.39 לעומ 0.59) מודל 3 מסביר את השוני הזה בכך שהוא מראה שיש קורלציה בין השכלה לאי קיו. כלומר נשמע לי מאוד הגיוני שאי קיו גבוה מגדיל את השכר בממוצע בלי שום קשר להשכלה, אבל אנשים עם אי קיו גבוה נוטים ללכת יותר ללימודים ולכן כאשר בודקים את הקשר רק בין השכלה לשכר, משכללים במודל גם את התוספת של האי קיו בממוצע לאנשים היותר משכילים.
אני מסכים עם הטענה. כמו שהוסבר בכיתה באטא 1 בודק איך השינוי בהשכלה משפיע על השכר כאשר האי קיו קבוע. אבל אם אין מתאם בין אי קיו להשכלה אין סיבה להניח שהאי שקיו זז כאשר ההשכלה זזה (לפחות לא באופן קיצוני) לכן ניתן להניח שאלפא 1 יהיה שווה לבאטא 1 אם זה יהיה המצב.
מתקיים: b_1 = (cov(log(wage),educ)-cov(educ,IQ))/var(educ) b_2 = (cov(log(wage),IQ)-cov(educ,IQ))/var(IQ) d_1 = cov(IQ,educ)/var(educ) a_1 = cov(log(wage),educ)/var(educ) לכן מתקיים: b_1 = a_1 - d_1
אני מסכים עם טענה ב. מולטיקוליניאריות אומרת שיש קשר גדול בין המשתנים המסברים. לכן זה גורם לשונות של הבדיקה להיות יחסית גדולה (ראינו שהשונות קטנה ככל שהשוני בין המשתנים הסברים יותר גדול) אבל גם מדגם יותר גדול מקטין את השונות ולכן יכול לפצות על הבעיה. מולטיקוליניאריות לא משפיע על היות המדגם מוטה או לא שזה הדבר הכי חשוב, היא גורמת לשונות להיות יותר גדולה ולכן התוצאה יכולה להיות פחות מובהקת, לכן אני לא מסכים עם טענה א’.