交互lasso模型及改进admm算法研究

《交互lasso模型及改进admm算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文MASTER’SDISSERTATION论文题目交互Lasso模型及改进ADMM算法研究作者姓名仝晓云学科专业信息与通信工程指导教师王金甲教授2016年5月中图分类号：TP391学校代码：10216UDC：621.39密级：公开工学硕士学位论文交互Lasso模型及改进ADMM算法研究硕士研究生：仝晓云导师：王金甲教授申请学位：工学硕士工程领域：信息与通信工程所在单位：信息与通信工程学院答辩日期：2016年5月授予学位单位：燕山大学ADissertationinInformationandCommunicationEngineeri

2、ngINTERACTIVELASSOMODELANDIMPROVEDADMMALGORITHMbyTongXiaoyunSupervisor:ProfessorWangJinjiaYanshanUniversityMay,2016燕山大学硕士学位论文原创性声明本人郑重声明：此处所提交的硕士学位论文《交互Lasso模型及改进ADMM算法研究》，是本人在导师指导下，在燕山大学攻读硕士学位期间独立进行研究工作所取得的成果。论文中除已注明部分外不包含他人已发表或撰写过的研究成果。对本文的研究工作做出重要贡献的个人和集体，均已在文中以明确方式注明。本声

3、明的法律结果将完全由本人承担。作者签字：日期：年月日摘要摘要随着大数据时代的到来，很多领域存在“维数灾难”问题。为了从高维数据中获取有用信息，特征选择已经成为众多学者的首选。然而传统特征选择方法依赖高维数据的原始特征，很少考虑特征间的交互。因此本文基于特征交互思想，将其加入回归模型特征提取与分类，并在模型上添加分层约束来对主效应和交互特征建模。而后对其添加罚函数，以达到收缩模型系数，得到主校应和交互系数的稀疏解，增强模型稳定性，提高模型效率的目的。首先，本文介绍了弱分层交互logistic模型，并基于一般迭代收缩和阈值优化框架应用邻近算子算法

4、求解模型，然后应用性质简化模型算法。并在模拟数据和真实数据中进行试验。实验结果证明本文应用的方法具有可解释性、分类性能高和运行时间低的特点。其次，本文考虑拟合回归模型的任务，涉及到潜在的大集合的协变量之间的交互，在此期间希望产生强分层。作者采用一个非常普遍的框架，称之为FAMILY。它可以转化为一个凸优化问题的解，本文对于强分层交互线性lasso，使用改进的交替方向乘子法算法求得模型参数。该算法保证收敛到全局最优，可以很容易的专攻任何感兴趣的凸罚函数，并允许简单的扩展到广义线性模型和高阶模型的建立。作者在模拟数据、臭氧数据和天气数据上进行试验

5、。结果表明广义强分层线性交互能获得更好的预测性能。最后，作者研究了广义强分层交互logistic回归分类。首先定义了广义强分层交互logistic模型定义，然后给出了改进交替方向乘子法求解方法。文章最后基于肝炎数据和帕金森数据进行两组实验。实验结果证明广义强分层logistic方法在处理数据存在交互特征时优势明显，并优于Lasso方法、分层Lasso方法。关键词：特征交互；分层；广义线性回归；交互logistic回归；交替方向乘子法-I-AbstractAbstractWiththeadventofthebigdataera,thereare

6、“dimensiondisaster”problemsinmanyfields.Inordertofindouttheusefulinformationfromlargenumberofhigh-dimensiondatas,featureselectionhasbecomethefirstchoiceofmanyexpertsandscholars.However,traditionalfeatureselectionmethodrelyontheoriginalcharacteristicsofhigh-dimensionaldata,a

7、ndseldomconsiderinteractionbetweenthefeatures.Thispaperbasedontheideaoffeatureinteraction,putitintotheregressionmodelfeatureextractionandclassification,andaddthehierarchicalconstraintonthemodelinordertothemaineffectsandinteractivefeaturemodeling.Thenthepenaltyfunctionisadde

8、dintoit.Itspurposeistocontractcoefficientofmodel,getthesparsesolutionofmaineffects