mlr

Introduction

Tasks：建立任务，包括任务描述(classification, regression, clustering, etc)和数据集
Learners：建立学习者，指定机器学习算法(GLM, SVM, xgboost, etc)和参数
Hyperparameters：对Learners直接指定超参数或超参数调优,给Learners一个可能的参数集列表
Wrapped Models：已封装模型，已经被训练可以预测的模型
Predictions：应用模型到新数据或者原始数据进行预测
Meastures：模型评估指标(RMSE, logloss, AUC, etc)
Resampling：重抽样，通过分离训练集来拟合通用的模型，通常包括holdout验证，K折交叉验证(K-fold cross-validation)，留一交叉验证(LOOCV)

Preprocessing data

createDummyFeatures(obj=,target=,method=,cols=)
为每一个非数值变量创建哑变量(0,1)，不包括目标变量target，也可以指定变量cols
normalizeFeatures(obj=,target=,method=,cols=, range=,on.constant=)
数字变量标准化，method: {“center”, “scale”,”standardize”,”range”(default range=c(0,1)) }
mergeSmallFactorLevels(task=,cols=,min.perc=)
组合进单一的factor level
summarizeColumns(obj=)
data.frame or Task的汇总说明
capLargeValues(obj,cols=NULL)
离群值转化 帽子法
dropFeatures
removeConstantFeatures
summarizeLevels
##Task and Learner
##1Create a task
makeClassifTask(data=,target=)
回归问题
makeRegrTask(data=,target=)
分类，目标列必须是一个factor
makeMultilabelTask(data=,target=)
多标签分类问题，每个对象可以同时属于多个类别
makeClusterTask(data=)
聚类分析
makeSurvTask(data=,target=c(“time”,”event”))
生存分析
makeCostSensTask(data=,costs=)
成本敏感的分类，分类中的标准目标是获得较高的预测准确度，即最小化分类器产生的错误数量
getTaskDesc(x)
获得总的任务描述，查看positiv
##2Making a learner
makeLearner(cl,predict.type = “response”,predict.threshold = NULL, …,par.vals) #指定机器学习算法，也能一次指定多个
参数：
cl：指定要使用的算法名，cl= . (“classif.xgboost”, “regr.randomForest” ,”cluster.kmeans”,etc)
predict.type：”response”返回原始数据，”prob”返回分类问题的概率，”se”返回回归问题的标准误
par.vals：传递超参数列表，也能直接传递(…)
predict.threshold ：生成类标签的阈值
mlr有超过170个不同的是算法：mlr已经集成的算法
listLearners()：展示所有的learner
listLearners(task)：task允许的所有learner
listLearners(“classif”,properties=c(“prob”,“factors”))：展示所有的分类问题中，能输出概率”prob”，和因子“factors”
See also getLearnerProperties()
#Training & Testing 训练和测试
##1Setting hyperparameters 设置超参数
setHyperPars(learner=,…)传递超参数给learner
getParamSet(learner=)获得learner可能的超参数文本(such as “classif.qda”)
##2Train a model and predict 训练模型和预测
train(learner, task,subset) #训练模型，subset设置训练集（默认是全部数据）
getLearnerModel(model) #将底层的学习者模型纳入mlr
predict(model,task,subset) #预测原始数据
predict(model,newdata) #预测新数据
as.data.frame(pred) #查看预测的结果
pred2 <- setThreshold(pred, threshold) #重设分类问题的阈值，重新预测
##3Measuring performance 模型评估质量
performance(pred=,measures=) #依照一个或几个指标评估模型
getDefaultMeasure(task/learner) #查看默认指标
listMeasures() #查看完整的指标列表
listMeasures(task) #查看匹配指标
通过参数measures=list(mse,medse,mae) #指定评估指标
classif: acc auc bac ber brier[.scaled] f1 fdr fn fnr fp fpr gmean multiclass[.au1u .aunp .aunu.brier] npv ppv qsr ssr tn tnr tp tpr wkappa
regr: arsq expvar kendalltau mae mape medae medse mse msle rae rmse rmsle rrse rsq sae spearmanrho sse
cluster: db dunn G1 G2 silhouette
multilabel: multilabel[.f1 .subset01 .tpr .ppv .acc .hamloss]
costsens: mcp meancosts
surv: cindex
other: featperc timeboth timepredict timetrain
分类任务的评估详情：
calculateConfusionMatrix(pred) #获得混淆矩阵
calculateROCMeasures(pred) #ROC曲线
##4Resampling a learner 重抽样
makeResampleDesc(method=,…,stratify=)
makeResampleInstance(desc=,task=) #确保每次抽样统一，以减少噪声值
###method 重抽样的方法
“CV” cross-volidation（交叉验证），用iters指定k-folds（K折）数
“LOO” leave-one-out cross-volidation（留一交叉验证），用iters指定k-folds数
“RepCV” repeated cross-volidation（反复交叉验证），reps指定重复数，用iters指定k-folds数
“Subsample” aka Monte-Carlo cross-volidation ,用iters指定k-folds数,split指定train%
“Bootstrap” out-of-bag bootstrap（袋装法），iters
“Holdout” for train% use split
stratify 保持目标变量的抽样比例
resample(learner=,task=,resampling=,measures=)通过指定重抽样训练和测试模型
mlr有若干预先定义的重抽样：
cv2(2-koldscross-volidation),cv3, cv5, cv10, hout(holdout with split 2/3 for traing, 1/3 for testing) 也可以用重抽样函数传递给resample() crossval() repcv() holdout() subsample() bootstrapOOB() bootstrapB632() bootstrapB632plus()
#Tuning hyperparameters 超参数调优
##1设定超参数搜索空间
makeParamSet(makeParam())
makeParam() #指定超参数搜索类型和范围
makeNumericParam(id=,lower=,upper=,trafo=) #数字
makeIntegerParam(id=,lower=,upper=,trafo=) #整数
makeIntegerVectorParam(id=,len=,lower=,upper=,trafo=) #整数向量
makeDiscreteParam(id=,values=c(…)) #分类变量
Logical, LogicalVector, CharacterVector, DiscreteVector #其他类型
参数trafo可以用一个指定函数转换输出：例如lower=-2,upper=2,trafo=function(x) 10^x，输出值between 0.01 and 100
##2设定超参数搜索算法
makeTuneControl()
Grid(resolution=10L) #所有可能的网格点
Random(maxit=100) #随机抽样搜索空间
MBO(budget=) #Bayesion model-based optimization（基于贝叶斯模型的最优化）
Irace(n.instances=) #迭代比赛过程
CMAES()
Design()
GenSA()
##3超参数调优
tuneParams(learner=,task=,resampling=,measures=,par.set=,control=) #超参数调优函数
#Quickstart

#install.packages("mlr")
library(mlr)
#预处理数据
#install.packages("mlbench")
library(mlbench)
data(Soybean)
soy = createDummyFeatures(Soybean,target="Class") #转化因子变量为哑变量(0,1)，对xgboost模型有用
tsk = makeClassifTask(data=soy,target="Class") # 建立任务
ho = makeResampleInstance("Holdout",tsk) # 设定训练集和测试集(default 2/3 for traing, 1/3 for testing
tsk.train = subsetTask(tsk,ho$train.inds[[1]])
tsk.test = subsetTask(tsk,ho$test.inds[[1]])
# 设定learner和评估指标
#install.packages("xgboost")
library(xgboost)
lrn = makeLearner("classif.xgboost",nrounds=10)
cv = makeResampleDesc("CV",iters=5) # 5折交叉验证
res = resample(lrn,tsk.train,cv,acc) # 准确率作为评估指标
#超参数调优，重训练模型
ps = makeParamSet(makeNumericParam("eta",0,1), # 调优超参数eta, lambda, max_depth
                                    makeNumericParam("lambda",0,200),
                                    makeIntegerParam("max_depth",1,20))
#install.packages("mlrMBO")
library(mlrMBO)
tc = makeTuneControlMBO(budget=100) # 用MBO算法搜索
#install.packages("DiceKriging")
#install.packages("rgenoud")
library(DiceKriging)
library(rgenoud)
tr = tuneParams(lrn,tsk.train,cv5,acc,ps,tc) # 5折交叉验证调优
lrn = setHyperPars(lrn,par.vals=tr$x)
mdl = train(lrn,tsk.train) #测试集训练模型
prd = predict(mdl,tsk.test) # 预测
calculateConfusionMatrix(prd) # 混淆矩阵评估模型
mdl = train(lrn,tsk) # 用所有的数据重新训练模型，投入实用

Configuration 配置

用getMlrOptions()查看mlr 的现有设置
用configureMlr()更改mlr的默认设置
show.info：(traning, tuning, resampling,etc)是否展示默认冗长的输出，默认TRUE
on.learner.error：怎样控制learner的错误， “stop”(default), “warn”, “quiet”
on.learner.warning：怎样控制learner的警告，”warn”(default) , “quiet”
on.par.without.desc：超参数控制，”stop”(default), “warn” ,”quiet”
on.par.out.of.bounds：超参数超出边界值，”stop”(default) ,”warn”, “quiet”
on.measure.not.applicable：评估指标对learner不适用，”stop”(default) , “warn”, “quiet”
show.learner.output：learner在训练的时候输出到控制台，默认TRUE
on.error.dump：是否为crashed learner创建一个error dump，当on.learner.error 没有被指定为”stop” 时，默认TRUE
#Parallelization并行
mlr结合parallelMap包利用多核和集群运算加快运行速度，mlr自动发现能进行并行的操作。
开始并行：parallelStart(mode=,cpus=,level=)
结束并行：parallelStop()
mode 决定并行的方式
“local” 无并行性，简单的使用mapply
“multicore” 单机器上多核，使用parallel::mclapply，windows上不适用
“socket” 多核socked mode
“mpi” 一个或多个机器上集群运算，使用parallel::makeCluster and parallel::clusterMap “BatchJobs” 批排队HPC集群，使用BatchJobs::batchMap
cpus 使用的物理内核数
level 控制并行，使用”mlr.benchmark” “mlr.resample” “mlr.selectFeatures” “mlr.tuneParams” “mlr.ensemble”
#Imputation 插补
impute(obj=,target=,cols=,dummy.cols=,dummy.type=)
缺失的数据进行插补，返回一个列表，包括插补过额数据集或task，和插补描述
reimpute(obj=,desc=)用已被impute创建的插补描述(description, desc)插补缺失值
obj= data.frame or task
target= 指定目标变量，将不会被插补
cols= 要插补的列名或逻辑列表
dummy.cols= 建立NA(T/F)列的列名
dummy.type= 设定”numeric”，用(0,1)代替(T/F)
也能用classes 和dummy.classes 代替cols
传递给cols或classes的list示例：
cols=list(V1=imputeMean()) V1是要插补的列
imputeMean()为要插补的方法
imputeConst(const=) 常数
imputeMedian() 中位数
imputeMode() 众数
imputeMin(multiplier=) 最小值
imputeMax(multiplier=) 最大值
imputeNormal(mean=,sd=) 正态插补
imputeHist(breaks=,use.mids=)
imputeLearner(learner=,features=) 模型插补
#Feature Extraction特征提取
##1Feature filtering特征筛选
filterFeatures(task=,method=,perc=,abs=,threshold=)
按特征的重要性进行排序，选择其中的top n percent(perc=), top n(abs=) or 设定阈值(threshold=)，返回task，没有被筛选的特征将会被删除。
默认的筛选方法为“randomForestSRC.rfsrc”，也可以设置其他方法：
“anova.test” “carscore” “cforest.importance” “chi.squared” “gain.ratio” “information.gain” “kruskal.test” “linear.correlation” “mrmr” “oneR” “permutation.importance” “randomForest.importance” “randomForestSRC.rfsrc” “randomForestSRC.var.select” “rank.correlation” “relief” “symmetrical.uncertainty” “univariate.model.score” “variance”
##2Feature selection特征选择
selectFeatures(learner=,task=, resampling=,measures=,control=)
用一个特征选择算法(control)重抽样和建立模型，反复选择不同的特征集，直到找到最好的特征集。返回FeatSelResult对象，包括最佳选择和最佳路径。
tsk = subsetTask(tsk,features=fsr$x)应用最佳选择结果(fsr)到task(tsk)
特征选择算法(control)：
makeFeatSelControlExhaustive(max.features=)尝试每一种特征组合，可选参数max.features
makeFeatSelControlRandom(maxit=,prob=,max.features=)随机抽取特征集(概率prob,default 0.5) 迭代(maxit,default 100)，返回其中最好的。
makeFeatSelControlSequential(method=,maxit=,max.features=,alpha=,beta=)用以下的迭代算法搜寻，评估：
“sfs” forward search, “sffs” floating forward search,
“sbs” backward search , “sfbs” floating backward search,
“alpha” 每次增加一个特征来改善评估，取最少特征集
“beta” 每次移除一个特征来改善评估，取最少特征集
makeFeatSelControlGA(maxit=,max.features=,mu=,lambda=,crossover.rate=,mutation.rate=)随机特征向量的遗传算法，然后利用最佳性能的交叉来产生后代，代代相传，参数：
mu是父系规模
lambda 是子系规模
crossover.rate 从第一亲本选择一点的概率
mutation.rate 是翻转的概率(on or off)
Benchmarking (基准点)
benchmark(learners=,tasks=,resamplings=,measures=)
允许进行简单的比较：执行单一task的多重learner，执行多重task的单一learner，或者执行多重task的多重learner，返回一个基准结果对象。
基准结果被函数getBMR