Отчет о сборе и очистке данных

Команда №4

Алгоритм работы с данными:

• 1. Выгрузить данные RLMS по индивидам за последние 5 лет, а также данные по домохозяйствам за последнюю волну опроса 2020 года.

data=spss.get("C:/Users/asus/Documents/Econometrics/r29i_os_42.sav") #данные 29 волна

data28=spss.get("C:/Users/asus/Documents/Econometrics/r28i_os_42.sav") #данные 28 волна
data27=spss.get("C:/Users/asus/Documents/Econometrics/r27i_os_42.sav") #данные 27 волна
data26=spss.get("C:/Users/asus/Documents/Econometrics/r26i_os_42.sav") #данные 26 волна
data25=spss.get("C:/Users/asus/Documents/Econometrics/r25i_os_42.sav") #данные 25 волна

library(openxlsx)
sFolder = "C:/Users/asus/Documents/Econometrics/"
sInFile1 = "DATA_DOM.xlsx"
DATE_DOM = read.xlsx(paste(sFolder, sInFile1, sep=""))

• 2. Выбрать нужные столбцы ( контрольные переменные, независимые переменные(регрессоры, предикторы), зависимая переменная(критериальная), дополнительные столбцы с id за каждую волну для последующего соединения таблиц )

reg=select(data,popul,region,idind,yid.i,yid.h,xid.i,wid.i,vid.i,uid.i,y.marst,y.age,y.diplom,region,yh5,yi4,yj1,yj2cod08,yj4.1,yj6.2,yj8.1,yj11.1,yj13.2,yj31,yj65,yj66.1,yj77,yj322,yj323y,yj324,yj72.172,yj72.19,yj72.18,yj363,yl5.0,ym3,ym20.61,ym20.62,ym20.63,ym20.64,ym20.65,ym20.66,ym20.620,ym20.69,ym20.610,ym20.611,ym20.612,ym20.613,ym20.615,ym20.614,ym20.616,ym20.617,ym20.618,ym20.619,ym20.67,ym46, ym59,ym62.1,ym62,ym62.3,ym62.51,ym131)

в таблицах за предыдущих 4 опроса (волны 25-28) оставляем только переменные по средней заработной плате за год и для соединения таблиц за несколько лет используем переменные id

new_25=select(data25,uid.i,uj13.2)
new_26=select(data26,vid.i,vj13.2)
new_27=select(data27,wid.i,wj13.2)
new_28=select(data28,xid.i,xj13.2)

Таким образом получаем следующую таблицу:

• 3. В таблице заменяем данные “Затрудняюсь ответить”, “Отказ от ответа” и “Нет ответа” на пропущенные значения “NA” в перменной “Заработная плата” за каждый год и формируем новый столбец с “salary_avg5” (средняя заработная плата) за последние 5 лет. Также важно учесть тот факт, что индивид мог не проходить опрос предыдущие несколько лет, соответственно для него средняя заработная плата указывалась не за 5 лет, а за количество опросов, в которых он участвовал.

DATE=mutate(DATE,non_na=(ifelse(is.na(DATE$xj13.2)==FALSE,1,0)+ifelse(is.na(DATE$wj13.2)==FALSE,1,0)+ifelse(is.na(DATE$vj13.2)==FALSE,1,0)+ifelse(is.na(DATE$uj13.2)==FALSE,1,0)+ifelse(is.na(DATE$yj13.2)==FALSE,1,0)))
DATE=mutate(DATE,non_na_q=(ifelse(is.na(DATE$uid.i)==FALSE,1,0)+ifelse(is.na(DATE$vid.i)==FALSE,1,0)+ifelse(is.na(DATE$wid.i)==FALSE,1,0)+ifelse(is.na(DATE$xid.i)==FALSE,1,0)+ifelse(is.na(DATE$yid.i)==FALSE,1,0)))
DATE$non_na=ifelse(DATE$non_na==0,DATE$non_na_q,DATE$non_na)

summa=select(DATE,yj13.2,xj13.2,wj13.2,vj13.2,uj13.2)
summa=mutate(summa,salary_sum=rowSums(summa, na.rm = TRUE))
DATE=mutate(DATE,salary_sum=summa$salary_sum)
DATE$salary_sum=ifelse(DATE$salary_sum==0,NA,DATE$salary_sum)
DATE=mutate(DATE,salary_avg5=salary_sum/non_na)

• 5. Фильтруем датасет и оставляем только крупные города РФ, в которых численность населения выше 250 000 человек.
• 6. Фильтруем также репродуктивный ожидаемый возраст индивидов в РФ, для женщин общепризнаный репродутивный возраст с 18 лет по 49 лет, для мужчин интервал с 18 лет по 55 лет.

DATE=filter(DATE,DATE$popul>=250000)
DATE=filter(DATE,DATE$y.age>=18)
DATE=filter(DATE,DATE$y.age<=55)
DATE1=DATE
DATE1$y.age=ifelse(DATE1$yh5=="ЖЕНСКИЙ"&DATE1$y.age>49,-1,DATE1$y.age)
DATE1=filter(DATE1,DATE1$y.age>=18)

KITTEN=left_join(DATE1,DATE_DOM,by=c("yid.h"="YID.H"))

• 7. Классифицируем заболевания на три категории :
  • Заболевания, которые передаются по наследству и соответственно могут повлиять на принятие решения о ребенке
  • Заболевания, которые могут существенно повлиять на течение беременности, соответственно вызвать патологии и сильно влияют на принятие решения
  • Заболевания, которые могут стать причиной прерывания беременности

Также добавлены отдельно заболевания, которые могут оказать сильное влияние на решение о беременности отдельно: онкология, гинекологические заболевания, инсульт, инфаркт, туберкулез, психологические заболевания

• 8. Окончательно корректируем таблицу с данными, назначем новые названия столбцам вместо закодированных
• 9. Убираем “Отказ от ответа”, “Нет ответа” и “Затрудняюсь ответить”, заменяя на NA, а также меняем типы переменных на Numeric,там где это требуется и на factor для строковых переменных с ранжированием категорий.

Законченный, очищенный датасет