彩票走势图

本文采用Kaggle上面的Boston HousePrice数据集展示了如何建立机器学习模型的通常过程，包括以下几个阶段：

• 数据获取
• 数据清洗
• 探索性数据分析
• 特征工程
• 模型建立
• 模型集成

标签变量（房价）采取了对数转换，使其符合正太分布，最后从12个备选模型中[补充模型名称]选出预测效果最好的6个模型Lasso，Ridge，SVR，KernelRidge，ElasticNet，BayesianRidge分别进行加权平均集成和Stacking集成，最后发现Stacking集成效果更好，创新之处在于将Stacking集成后的数据加入原训练集中再次训练Stacking集成模型，使得模型性能再次得到改善，作为最后的预测模型，预测结果提交kaggle上后表现不错。另外受限于训练时间，超参数搜索空间小，有待改善。

数据获取

Kaggle官网提供了大量的机器学习数据集，本文从其中选择了Boston HousePrice数据集，下载地址为//www.kaggle.com/c/house-prices-advanced-regression-techniques/data，下载后的数据集包括train.csv，test.csv，data_description.txt，sample_submission.csv四个文件，顾名思义train.csv为训练数据集，用于训练模型，test.csv为测试数据集，用于验证模型的准确性，data_description.txt描述train.csv字段，sample_submission.csv提供了最后提交文件的样式。其中训练集有1459条样本，81个字段，一个ID字段，一个标签SalePrice字段，测试集共有1458条样本，80个字段。

赛题给我们79个描述房屋的特征，要求我们据此预测房屋的最终售价，即对于测试集中每个房屋的ID给出对于的SalePrice字段的预测值，主要考察我们数据清洗、特征工程、模型搭建及调优等方面的技巧。本赛题是典型的回归类问题，评估指标选用的是均方根误差（RMSE），为了使得价格的高低对结果的评估有均等的影响，赛题均方根误差基于预测值和实际值分别取对数来计算。特征初步分析：

数据清洗

数据清洗，是整个数据分析过程中不可缺少的一个环节，其结果质量直接关系到模型效果和最终结论。数据清洗对象主要有离群点、缺失值、重复值，以及数据转换等。

离群值

离群点通常指的是数值型变量，通过做特征GrLivArea和SalePrice散点图发现右下方存在两个异常点，因为不太可能居住面积越大，而售价却越低，因删除。

变量转换

SalePrice是我们需要预测的目标变量，下面对SalePrice做一些分析。用正太分布去拟合SalePrice，同时做其正太概率图图可以发现目标变量呈现右偏态分布。

因为线性模型更适合拟合正太分布，因此需要对目标变量做log转换使其接近正态分布。做log变换后重复上面步骤发现偏度明显减小，几乎接近正态分布。

缺失值

将训练集与测试集合在一个数据框中一起处理缺失值。分析数据缺失情况，如下图所示

思考：

根据各个特征的实际意义分别进行缺失值填充。分析各特征与SalePrice的相关性，最好使用热力图。

可以看到对角线有一条白线，这代表相同的特征相关性为最高，但值得注意的是，有两个正方形小块：TotaLBsmtSF和1stFlrSF、GarageAreas和GarageCars处。这代表全部建筑面积TotaLBsmtSF与一层建筑面积1stFlrSF成强正相关，车库区域GarageAreas和车库车辆GarageCars成强正相关，那么在填补缺失值的时候就有了依据，我们可以直接删掉一个多余的特征或者使用一个填补另一个。

对于特征PoolQC，因为具有很高的缺失率，NA表示不带游泳池，根据常识中大多数房屋都不带游泳池，因此缺失值全部用None填充。

对于特征MiscFeature，Alley，Fence，FireplaceQu和MSSubClass,NA都表示没有特征所代表的实际意义，因此缺失值都用None填充。

对于特征LotFrontage，根据特征描述，因为任一房屋都非常可能与它的邻居拥有相同的相连的街道区域，因此可以按照特征Neighborhood分组后在根据其众数填充。

对于特征GarageType, GarageFinish, GarageQual , GarageCond，直接用None填充。

对于特征GarageYrBlt, GarageArea 和GarageCars，因为都是数值型变量，缺失表示没有，因此全部用0填充。

对于特征BsmtFinSF1, BsmtFinSF2, BsmtUnfSF, TotalBsmtSF, BsmtFullBath和BsmtHalfBath，都是数值型变量，缺失都表示没有，全部用0填充。

对于特征BsmtQual, BsmtCond, BsmtExposure, BsmtFinType1 和BsmtFinType2，都是类别型变量，缺失表示没有basement，因此都用None填充。

对于特征MasVnrArea 和MasVnrType，因为NA很可能意味着没有表层砌体饰面，因此分别用0和None填充。

对于特征MSZoning，Electrical ，KitchenQual，Exterior1st ，Exterior2nd和SaleType，因为缺失率较低，全部用众数填充。

对于特征Functional ，因为NA意味着typical，因此用Typ填充。

对于特征Utilities，除了两个NA和一个NoSeWa外，全部为AllPub，又NoSeWa属于训练集中，因此这个特征对于训练模型没有意义，应该删除。

编码

1. 有些数据实际含义是类别型特征，在此处用了数值表示，需要将其转化为类别型特征，比如卖出的月份MoSold，这些变量有MSSubClass，BsmtFullBath，BsmtHalfBath,HalfBath,BedroomAbvGr,KitchenAbvGr,MoSold,YrSold,YearBuilt,YearRemodAdd,LowQualFinSF,GarageYrBlt。

2. 对SalePrice按照分类型变量进行分组后，进行特征映射。以变量MSSubClass为例，依据平均值可以将MSSubClass映射为右图所示。

依次对变量MSSubClass, MSZoning, Neighborhood, Condition1, BldgType, HouseStyle, Exterior1st, MasVnrType, ExterQual, Foundation, BsmtQual, BsmtExposure, Heating, HeatingQC, KitchenQual, Functional, FireplaceQu, GarageType, GarageFinish, PavedDrive, SaleType, SaleCondition分组后进行特征映射。

3. 下面对特征进行编码，采用LabelEncode和OneHotEncode。先对于三个跟年相关的变量YearBuilt, YearRemodAdd, GarageYrBlt进行LabelEncoding编码，然后对于那些偏度很大的变量，先进行log1p转换后在进行OneHotEncode。接着将数据集按照原来的比例拆分为训练集和测试集，因为担心训练集和测试集中还有大量的离群点，考虑到模型的稳健性，使用robustscaler对所有数据进行缩放。

对数据完成了预处理，下面就进入了特征过程。

特征工程

有这么一句话在业界广泛流传：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。顾名思义，其本质是一项工程活动，目的是最大限度地从原始数据中提取特征以供算法和模型使用。通过总结和归纳，人们认为特征工程主要包括特征创造和特征选择。

特征选择

特征选择主要有两个目的一是减少特征数量、降维，使模型泛化能力更强，二是减少过拟合， 增强对特征和特征值之间的理解。选取特征主要依据以下两点：

一、特征是否发散：如果一个特征不发散，例如方差接近于0，也就是说样本在这个特征上基本上没有差异，这个特征对于样本的区分并没有什么用。

二、特征与目标的相关性：这点比较显见，与目标相关性高的特征，应当优选选择。除方差法外，本文介绍的其他方法均从相关性考虑。

基于以上两点，特征选择 的常用方法有移除低方差的特征，卡方(Chi2)检验，Pearson相关系数，互信息和最大信息系数，距离相关系数，Wrapper，Embedded。

因为特征量较大，选择Embedded中基于惩罚项的特征选择法。Embedded主要思想是：使用某些机器学习的算法和模型进行训练，得到各个特征的权值系数，根据系数从大到小选择特征。类似于Filter方法，但是是通过训练来确定特征的优劣。其实是讲在确定模型的过程中，挑选出那些对模型的训练有重要意义的属性。考虑到LASSO回归因为L1正则项同时具有特征选择和降维的作用，特别适合稀疏样本，因为前面进行编码后造成特征膨胀，样本变得稀疏，因此选择LASSO回归来筛选特征。对训练集应用LASSO回归，输出所有特征的特征重要性如下

接着筛选出特征重要性不为0的特征，如下图所示。

特征创造

基于特征重要性，可以创造一些新的特征，比如顾客可能关心的是房屋的总面积，因此可以组合新的特征。

X["TotalArea"]=X["TotalBsmtSF"]+X["1stFlrSF"]+X["2ndFlrSF"]+X["GarageArea"]，同理根据原有特征描述以及实际意义，可以组合出以下新的特征。

X["TotalHouse"] = X["TotalBsmtSF"] + X["1stFlrSF"] + X["2ndFlrSF"]

X["TotalHouse"]=X["TotalBsmtSF"]+X["1stFlrSF"]+X["2ndFlrSF"]

X["TotalArea"]=X["TotalBsmtSF"]+X["1stFlrSF"]+X["2ndFlrSF"]+X["GarageArea"]

X["+_TotalHouse_OverallQual"]=X["TotalHouse"]*X["OverallQual"]

X["+_GrLivArea_OverallQual"]=X["GrLivArea"]*X["OverallQual"]

X["+_oMSZoning_TotalHouse"]=X["oMSZoning"]*X["TotalHouse"]

X["+_oMSZoning_OverallQual"]=X["oMSZoning"]+X["OverallQual"]

X["+_oMSZoning_YearBuilt"]=X["oMSZoning"]+X["YearBuilt"]

X["+_oNeighborhood_TotalHouse"]=X["oNeighborhood"]*X["TotalHouse"]

X["+_oNeighborhood_OverallQual"]=X["oNeighborhood"]+X["OverallQual"]

X["+_oNeighborhood_YearBuilt"]=X["oNeighborhood"]+X["YearBuilt"]

X["+_BsmtFinSF1_OverallQual"]=X["BsmtFinSF1"]*X["OverallQual"]

X["-_oFunctional_TotalHouse"]=X["oFunctional"]*X["TotalHouse"]

X["-_oFunctional_OverallQual"]=X["oFunctional"]+X["OverallQual"]

 X["-_LotArea_OverallQual"]=X["LotArea"]*X["OverallQual"]

X["-_TotalHouse_LotArea"]=X["TotalHouse"]+X["LotArea"]

X["-_oCondition1_TotalHouse"]=X["oCondition1"]*X["TotalHouse"]

X["-_oCondition1_OverallQual"]=X["oCondition1"]+X["OverallQual"]

X["Bsmt"]=X["BsmtFinSF1"]+X["BsmtFinSF2"]+X["BsmtUnfSF"]

X["Rooms"] = X["FullBath"]+X["TotRmsAbvGrd"]

X["PorchArea"]=X["OpenPorchSF"]+X["EnclosedPorch"]+X["3SsnPorch"]+X["ScreenPorch"]

X["TotalPlace"]=X["TotalBsmtSF"]+X["1stFlrSF"]+X["2ndFlrSF"]+X["GarageArea"]+["OpenPorchSF"]+X["EnclosedPorch"]+X["3SsnPorch"]+X["ScreenPorch"]

降维

前面进行了编码和特征创造后，特征矩阵过大，导致计算量大，训练时间长的问题，因此降低特征矩阵维度也是必不可少的。但在该案例中采用PCA技术降维选择40个主成份效果差于采用400个主成份，400接近特征维度，表明模型过拟合程度不大。

模型融合与评估

模型融合和寻找高级特征是提升机器学习性能的两个重要手段。模型融合的方法很多，比如bagging，stacking，boosting，average weight，voting等。本文选择average weight和stacking这两种方法。用于融合的模型有LinearRegression，Ridge，Lasso，Random Forrest，Gradient Boosting Tree，Support Vector Regression，Linear Support Vector Regression，ElasticNet，Stochastic Gradient Descent，BayesianRidge，KernelRidge，ExtraTreesRegressor共12个基础模型。

评估函数

因为该案例是典型的回归问题，对于回归问题最适合采用基于距离的的评估函数，本文采用均方误差,调用库scikit-learn中cross_val_score函数评估模型效果。cross_val_score函数采用K折交叉验证，将训练样本分割成K份，一份被保留作为验证模型的数据（test set），其他K-1份用来训练（train set）。交叉验证重复K次，每份验证一次，平均K次的结果或者使用其它结合方式，最终得到一个单一估测，这个方法的优势在于，同时重复运用随机产生的子样本进行训练和验证，运用同样的样本可以训练模型制定的次数，在样本量不足的环境下有用，交叉验证用于评估模型的预测性能，尤其是训练好的模型在新数据上的表现，可以在一定程度上减小过拟合，还可以从有限的数据中获取尽可能多的有效信息。应用cross_val_score计算出各模型的得分情况如下

超参数调优

超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。通常情况下，需要对超参数进行优化，给学习机选择一组最优超参数，以提高学习的性能和效果。对于所选择的12个备用模型，很多都有需要自己设置的超参数，一十不知道如何设置。我们采用网格搜索最优参数。搜索前，先给每个参数准备一个参数网，然后调用scikit-learn库中的GridSearchCV搜索最有或者次优参数。以Kernel Ridge（核岭回归）为例，KernelRidge()有四个超参数，alpha，kernel，degree，coef0。根据经验，设置参数网param_grid={'alpha':[0.2,0.3,0.4],'kernel':["polynomial"],'degree':[3],'coef0':[0.8,1.0]}。结果如下

由此此网格中的最优参数是alpha:0.2,coef:1,degree:3,kernel:polynomial。注意采用网格搜索无法求出全局的最优参数，只能求出指定网格中的最优参数表，因而是次优的。可以依次求出各个模型的最佳超参数如下。

模型集成

接下来进行模型融合，先使用加权平均的方法，根据备选模型选择得分最佳的6个模型来进行融合，并且根据得分情况分配他们的权重。模型分别是

模型融合后的最终得分为0.1077，好于单个模型的得分情况。

下面采用Stacking的模型集成方法，Stacking过程可以分为三步：

1、单个模型分别进行学习。首先，采用交叉验证+网格搜索，得到子模型最优超参数；然后，在此最优超参数下，每次进行交叉验证时，都会训练得到一个模型。用此模型对验证集和测试集分别预测，共进行K次预测，得到一个完整的训练集预测值和K个测试集预测值，对K个测试集预测值取平均，从而得到一个完整的训练集预测值和一个测试集预测值。

2、确定新的训练集合测试集。首先，对n个子模型分别学习，得到n个训练集预测值（不取平均值），作为n维特征作为第二层模型的输入；同样，n个子模型也得到n个测试集预测值，作为第二层模型的输入。

3、第二层模型学习。用新的特征构成的训练集和测试集进行预测。

采用Stacking集成上诉6个子模型后的得分为0.1066，效果好于加权平均的方法。

Stacking集成后会得到一个(1458, 6)大小的预测矩阵，这个预测矩阵对于我们对整个test-set的预测是有帮助的，将其加入训练集中扩大了特征量，运用扩充后的模型训练我们的Stacking集成模型，训练后的模型得分为0.1018，显然再次训练后的模型性能更好，于是采用其作为最终的预测模型。测试集上的预测结果为0.1178，预测结果提交后在kaggle上该项目成功挤进前3%。

慧都大数据分析平台，将学习、推理、思考、预测、规划等能力赋予企业数据，让数据驱动决策，创造最高业务价值。

欢迎拨打慧都热线023-68661681或咨询，我们将帮您转接大数据专业团队，并发送相关资料给您！