基于组件的高维数据降维方法研究.pdf

《基于组件的高维数据降维方法研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、l经验交玩学术探讨}．一==一=一一：．-：一一一一一一：一-}2012率l(J朝l基于组件的高维数据降维方法研究王素芳(广东白云学院，广东广州510430)[摘要]为了有效处理高维数据，提出将高维数据的数据结构及算法封装在Web服务组件内，并使用c#语言设计和实现了高维数据组件模型。[关键词]高维数据；降维；Web服务；组件设，以及未考虑数据序列相关性等局限性，为此相继提出了1．引言动态PCA、非线性PCA、多块PCA和多尺度PCA等多种改随着科学技术的发展以及互联网的兴起，人们大量使用进型PCA算法，其中核主分量分

2、析KPCA，是通过核函数引现代技术手段和方法从事科学研究和技术开发。这些技术和入非线性变换，将输入特征映射到核Mercer特征空间，再进方法所获取的数据大多是高维数据，高维数据的统计分析变一步作PCA处理。得越来越普遍，也愈来愈重要。但由于“维灾”的影响，也使得2．2局部线性嵌入方法高维数据处理变得异常地困难，必须采用一些特殊的手段进局部线性嵌入算法(LLE)，是针对非线性数据的一种降行处理。高维数据的处理问题可以归结为通过相关的降维方维方法，能够使降维后的数据保持原有的拓扑结构，LLE广法减少一些不太相关的数据而降低

3、它的维数，然后用低维数泛应用在图像数据的分类与聚类，以及生物和化学信息处理据的处理办法进行处理。高维数据成功处理的关键在于降维等领域中。LLE算法解决了从高维空间通过降维映射获取低方法的选择。维非线性流形的问题。以后人们又相继提出了LLE的泛化算如何有效地分析处理大量的高维数据信息，用简便可行法、有监督模式的局部线性嵌入算法SLLE等。的方法从原始数据中提取有用信息，进而用可靠的数学模型2．3非线性映照方法来描述、推测观测数据，是当前研究的热点。～个可行的办法非线性映照方法是将高维空间的点集映照N-维空间，是把高维数据

4、对象设计成“组件”，在组件内部封装高维数据在映照中尽量保持各点间的距离结构不变。非线性映照方法的基本信息，对外隐蔽其复杂的处理逻辑，使高维数据用户在冶金、化学领域的研究中有很多成功的实例，化工专家将能通过简单“接口”与之交互。这种基于组件的方法不同于传非线性映照方法等用于生产过程最优化控制，发明了模式识统处理模式。它有利于简化高维数据的使用以及实现多种算别调优技术，产生了极大的社会和经济效益。法集成，为研究和解决高维数据问题提供了～个新途径。本2．4投影寻踪方法文研究的主要内容是介绍几种主要降维方法，将多种有效的投影寻

5、踪fPP1是针对非正态、非线性数据分析需要而产高维数据“降维’，算法封装成WebServices组件。生的一种探索性方法，是一种稳健的降维统计方法。PP的分2．高维数据降维方法析途径是“审视数据——模拟过程——检验效果”。投影寻踪在高维数据研究领域，“降维”一直是一个热点。其中，主技术不需要事先把多维数据人工整理为知识，构造成数据库要的“降维”算法有：PCA、MDS和LLE，前两种属于线性降进行训练后再进行推理，而是直接对多维数据进行降维，对维方法，后者属于非线性降维方法，相比之下LLE有更多应数据做客观投影诊断，并自

6、动寻找反映高维空间规律的数据用实例。其它算法有：PP，它是处理非正态数据的一种新兴的结构。统计方法；EM——是针对稀疏的、高维二元数据的快速聚类2．5小波分析方法算法；ICA——是针对非高斯分布数据的一种线性变换方法。高维数据样本中通常包含大量异常数据，一般须先剔除此外，主成份分析、非线性映照、线性判别函数等统计学方法这些异常数据，但在各数据项之间关系未知的情况下，检测也有较多的应用。异常样本比较困难，为此，人们提出了一种基于小波分析的2．1主成分分析方法异常数据样本检测方法。小波分析能检测到信号的高频变化主成分分析(

7、PCA)是常用的高维数据降维方法。PCA的及其发生时间(位置)，因此被广泛应用于信号处理领域的数原理是对原特征空间进行去二阶相关和降维处理，构造出一据分析问题。但由于小波分析对多自变量数据进行处理相当个低维子空间，将待识别的对象投影到低维独立子空间中去困难，因此通常将小波分析与其它方法结合起来，例如，利用进行识别。但由于传统PCA存在着诸如高斯假设、线性假PCA和非线性映照方法先进行降维，然后利用小波分析的局作者简介：王素芳，女，江西吉安人，硕士，讲师。研究方向：数据库，人工智能，多媒体技术等。一71—学术探讨经验交琉

8、21tl2簿第∽目部分析优势检测出异常数据。最后再结合其它降维算法作进PublicHMDataKPcatHMDataObject(){_．⋯⋯一步处理。[System．web．Services．WebMethod]“降维”一直是高维数据研究领域的一个热点，对于不同PublicHMDataLeeHMDataObject(){⋯⋯⋯·