深度正交非负矩阵分解及其聚类研究

《深度正交非负矩阵分解及其聚类研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、广东工业大学硕士学位论文（工学硕士）深度正交非负矩阵分解及其聚类研究吕本生二〇一八年六月分类号：学校代号：11845UDC：密级：学号：2111504096广东工业大学硕士学位论文（工学硕士）深度正交非负矩阵分解及其聚类研究吕本生指导教师姓名、职称：周郭许教授学科(专业)或领域名称：控制科学与工程学生所属学院：自动化学院论文答辩日期：2018年5月29日ADissertationSubmittedtoGuangdongUniversityofTechnologyfortheDegreeofMas

2、ter（MasterofEngineeringScience）ResearchonDeepOrthogonalNonnegativeMatrixFactorizationandItsClusteringCandidate:BenshengLyuSupervisor:Prof.GuoxuZhouJune2018SchoolofAutomationGuangdongUniversityofTechnologyGuangzhou,Guangdong,P.R.China,510006摘要摘要非负矩阵分解

3、是从“整体的感知是由组成整体的部分感知”思想构成的。它将原矩阵通过非负约束分解成基矩阵和系数矩阵，原矩阵可以看成基矩阵中所有列向量的加权和，它分解的结果中不出现负值，具有可解释性和明确的物理意义。非负矩阵分解是一种处理高维数据的矩阵分解方法，它将高维样本投影到低维子空间上，从子空间上获得样本的特征，提取的特征是基于部分的纯加性的描述，而且在计算机中占用存储空间更少，在图像处理、语音信号处理、文本聚类等领域有着广泛的应用。对于复杂的数据，非负矩阵分解构成的单层网络无法描述数据内部更深层的特征。为了

4、能够学习到复杂数据内部隐层特性，利用深层网络结构分层提取特征的方法是很必要的。而用非负矩阵分解构建的深度网络，不仅可以分层提取特征，而且还能保持“整体是由部分组成的”物理意义。因而，深度非负矩阵分解的提出具有重要的实际意义，目前对深度非负矩阵的研究正进入新的阶段。本文对深度正交非负矩阵分解进行了深入研究，主要创新工作：1.本文提出了深度正交非负矩阵分解模型。正交非负矩阵分解是一种有效的无监督学习方法，因为它相当于一个K-means算法很容易实现聚类分析。单层的结构很难获得数据深层的特征，在深度非

5、负矩阵分解的基础上提出了一种新的算法模型，深度正交非负矩阵分解。在CMU-PIE、JAFFE和YALE数据集上的聚类性能实验表明：和非负矩阵分解、半非负矩阵分解、图正则化非负矩阵分解、深度半非负矩阵分解、近似正交非负矩阵分解相比，深度正交非负矩阵分解具有更好的聚类性能，并能实现对复杂数据深层的特征提取。2.本文提出了用分层交替最小二乘法优化深度模型。传统的正交非负矩阵分解施加严格的正交约束，将数据矩阵分解成基矩阵和系数矩阵，得到的系数矩阵不能保证是正交的。然而，在实际当中，一个样本是否属于某一类

6、有一定的隶属度，因此，本文采用了正交性可控的近似正交非负矩阵分解。近似正交非负矩阵分解具有高效性，而且还能保证分解后的系数矩阵是近似正交的，这对我们进一步研究提供了良好的条件，并用近似正交非负矩阵分解的迭代算法来初始化和更新迭代，这样I广东工业大学硕士学位论文构建一个深层次的网络结构。在CMU-PIE、JAFFE和YALE数据集上的实验表明：和非负矩阵分解、半非负矩阵分解、图正则化非负矩阵分解相比，近似正交非负矩阵分解具有更好的聚类性能。关键词：非负矩阵分解；深度正交非负矩阵分解；近似正交非负矩

7、阵分解；聚类IIAbstractAbstractNon-negativeMatrixFactorizationiscomposedoftheideathat“theperceptionofthewholeisperceivedbythepartsthatmakeupthewhole”.Itdecomposestheoriginalmatrixintoabasematrixandacoefficientmatrixbymeansofnon-negativeconstraints.Theorigin

8、almatrixcanberegardedastheweightedsumofallcolumnvectorsinthebasematrix.Nonegativevalueappearsinthedecompositionresult,whichhasinterpretabilityandclearphysicalmeaning.Non-negativeMatrixFactorizationisamatrixdecompositionmethodthatdealswithhigh-dimensi