机器学习中矩阵低秩与稀疏近似

(25页)

'机器学习中矩阵低秩与稀疏近似'
1 研研 究究 生生 课课 程程 论论 文文 (2011-2012 学年学年第第一一学期学期) 大规模机器学习中的矩阵低秩与稀疏近似算法研究大规模机器学习中的矩阵低秩与稀疏近似算法研究 研究生:研究生:袁淦钊袁淦钊 提交日期:提交日期: 2012 年年 1 月月 3 日日 研究生签名:研究生签名: 学学 号号 201010102528 学学 院院 计算机科学与工程计算机科学与工程学院学院 课程编号课程编号 B0812009 课程名称课程名称 计算机应用技术高级专题计算机应用技术高级专题 学位类别学位类别 博博士士 任课教师任课教师 郝志峰郝志峰 教授教授 教师评语:教师评语: 成绩评定:成绩评定: 分分 任课教师签名:任课教师签名: 年年 月月 日日 2 说说 明明 1、课程论文要有题目、作者姓名、摘要、关键词、正文及参 考文献。论文题目由研究生结合课程所学内容选定;摘要 500 字以 下,博士生课程论文要求有英文摘要;关键词 3~5 个;参考文献 不少于 10 篇,并应有一定的外文文献。 2、论文要求自己动手撰写,如发现论文是从网上下载的,或 者是抄袭剽窃别人文章的, 按作弊处理, 本门课程考核成绩计 0 分。 3、课程论文用 A4 纸双面打印。字体全部用宋体简体宋体简体,,题题目目 要求用小小二号字加二号字加粗粗,,标题标题行行要求用小小四号字加四号字加粗粗,正文正文内容要求 用小小四号字四号字;;经学院同意,课程论文可以用英文撰写,字体全部用 Times New Roman,,题题目目要求用 18 号字加号字加粗粗;标题标题行行要求用 14 号字加号字加粗粗,正文正文内容要求用 12 号字号字;;行距为 2 倍行距(方便教师 批注) ;页边距左为 3cm、右为 2cm、上为 2.5cm、下为 2.5cm;其 它格式请参照学位论文要求。 4、学位类别按博士、硕士、工程硕士、MBA、MPA 等填写。 5、篇幅、内容等由任课教师提出具体要求。 华南理工大学工学博士研究生课程论文 大规模机器学习中的矩阵低秩与稀疏近似算法研究 (Low-Rank and Sparse Matrix Approximation in Large-Scale Machine Learning) 中中中文文文摘摘摘要要要:::统计学习是当今机器学习领域的主流技术。向量空间的统计学习算 法已经比较成熟,近几年来,许多研究者主要把目光放在矩阵空间上。与向量空间相 比, 基于矩阵空间的学习技术由于缺少扩展性, 会随着问题的大小在空间和时间复杂 度上分别呈二次方与三次方增长,所以如何逼近一个目标矩阵而令机器学习技术更 鲁棒更精确更适合于大规模的情况已成为当今机器学习领域十分热门的话题。受到 支持向量机、压缩感知和非负矩阵分解等技术的启发,基于稀疏和低秩性质的假设, 人们开发了一系列基于矩阵方法的机器学习算法。本文主要从矩阵的正则, 分解和优 化三个角度探讨机器学习中矩阵逼近问题,最后我们将会列举一些矩阵方法上的有 趣和重要的应用。 这些正则, 分解与优化的技术包括以下几点。 (i) 正则技术: lp正则, l2正则, l1正则, l0正则, lpq正则, trace正则, Frobenius正则, 核子 正则, 弹性网络正则, 自适应l1正则, Bregman发散正则。 (ii)分解技术: 非负矩阵分解,矩阵填充,鲁棒主成分分析,字典学习,稀疏主成分分 析, 协方差稀疏选择和低秩半正定矩阵分解。 (iii)优化方法: 光滑优化(共轭梯度法、截断牛顿法、有限内存的拟牛顿法) ,非光滑 优化(邻近点方法、逼近方法、非负约束优化) ,简单约束优化(有梯度投影法、有效 集法、 坐标下降法) , 一般约束优化(非精确交替方向法) 。 1 华南理工大学工学博士研究生课程论文 英英英文文文摘摘摘要要要::: Statistic machine learning represents the main stream of state-of-the-art technologies in the machine learning community in the world today. Vector-space-based ma- chine learning techniques have become more and more mature nowadays, much attention has been paid to the matrix-space-based statistic learning in recent years. Compared with vector- space-based machine learning, the matrix-space-based one is lack of scalability, because it scales quadratically and cubically with the size of the problem in term of memory and run time complexity respectively. Therefore, how to approximate the target matrix and make the models more robust, more accurate and more practical for large scale learning is becoming a heated topic and the main concern in the machine learning community. Inspired by the Support Vector Machines(SVMs), Compressed Sensing (CS) and Non-negative Matrix Fac- torization (NMF) technologies, based on the sparsity and low-rank properties assumptions, a varieties of matrix-based machine learning algorithms were developed. This paper explores the matrix approximation problem from the perspectives of regularization, factorization and optimization. Finally, we list some interesting and important matrix-based applications. The regularization, factorization and optimization techniques are listed as follows. (i)Regularization: lpregulari
关 键 词:
机器 学习 矩阵 稀疏 近似
 天天文库所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
关于本文
本文标题:机器学习中矩阵低秩与稀疏近似
链接地址: https://www.wenku365.com/p-42269638.html
关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服点击这里,给天天文库发消息,QQ:1290478887 - 联系我们

本站为“文档C2C交易模式”,即用户上传的文档直接卖给(下载)用户,本站只是中间服务平台,本站所有文档下载所得的收益归上传人(含作者)所有【成交的100%(原创)】。本站是网络服务平台方,若您的权利被侵害,侵权客服QQ:1290478887 欢迎举报。

1290478887@qq.com 2017-2027 https://www.wenku365.com 网站版权所有

粤ICP备19057495号 

收起
展开