大数据典型相关分析的云模型方法.pdf

《大数据典型相关分析的云模型方法.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、doi:10.3969/j.issn.1000-436x.2013.10.015大数据典型相关分析的云模型方法杨静，李文平，张健沛（哈尔滨工程大学计算机科学与技术学院，黑龙江哈尔滨150001）摘要：针对传统大数据典型相关分析（CCA,canonicalcorrelationanalysis）方法的高复杂度在面临大数据PB级数据规模时不再适应的现状，提出了一种基于云模型的大数据CCA方法。该方法在云计算架构的基础上，通过云运算将各端点云合并为中心云，并据此产生中心云滴，以中心云滴作为大数据的不确定性复原小样本，在其上施以CCA运算，中心云滴的较小数据量提高了运算效率。在真实

2、数据集上的实验结果验证了该方法的有效性。关键词：大数据；典型相关分析；云模型；云运算；云计算中图分类号：TP391文献标识码：B文章编号：1000-436X(2013)10-0121-14CanonicalcorrelationanalysisofbigdatabasedoncloudmodelYANGJing,LIWen-ping,ZHANGJian-pei(CollegeofComputerScienceandTechnology,HarbinEngineeringUniversity,Harbin150001,China)Abstract:Thecomplexityo

3、ftraditionalCCAmethodsistoohightomeettherequirementstoanalyzebigdataduetotheirhugescalewhichisreachingthelevelofpeta-byte.AnovelapproachtoCCAwasproposedtominethebigdatabyintroducingthecloudmodelwhichisabrand-noweltheoryabouttheuncertaintyartificialintelligence.Adistributedar-chitecturebase

4、doncloudcomputingwasestablished.Allofthecloudsdistributingonthenodesofthedistributedarchi-tecturewerecombinedtoacentercloudviacloudoperation(wherecloudisasynopsisofdataandwhichisaconceptcomingfromthecloudtheory).Atypeofvirtualsampleofdatacalledclouddropscreatedbasedonthecentercloud.Fi-nall

5、ythecomputingofCCAwasimposedontheclouddrops.TheCCAwasimposeontheclouddropswithlessvolume,whichimprovestheefficiency.Experimentalresultsonrealdatasetsindicatetheeffectivenessofthismethod.Keywords:bigdata;canonicalcorrelationanalysis(CCA);cloudmodel;cloudoperation;cloudcomputing大数据典型相关分析（CCA

6、,canonicalcorrela-1引言tionanalysis）是大数据研究的重要内容之一，它自2008年9月《Nature》杂志推出名为“大数不仅有助于揭示大数据间的相关关系，而且可提[1]据”（bigdata）的封面专栏以来，产业界和学术取蕴含于大数据中的低维特征。大数据CCA可用[2][3][4]界便掀起了大数据研究热潮。数据量巨大是大数据于大数据特征融合、机器学习、数据降维、[5]的首要特性，通常认为PB级别及其以上的数据称为数据流挖掘等领域。因此大数据CCA具有重要“大数据”。大数据还具有稀疏价值特性，即大数的意义。据所携带的信息在刻画某特定知识方面是冗余的。

7、大数据CCA研究极具挑战性，其困难不仅这些特性为大数据挖掘带来了巨大的挑战。源于CCA本身具有的高复杂度，而且也来自大收稿日期：2013-04-21；修回日期：2013-07-30基金项目：国家自然科学基金资助项目(61370083,61073043,61073041)；高等学校博士学科点专项科研基金资助项目(20112304110011,20122304110012)；黑龙江省自然科学基金资助项目（F200901）；哈尔滨市科技创新人才研究专项基金（优秀学科带头人）资助项目(2011RFXXG015)Founda