基于chord的邮件nilsimsa摘要处理平台的设计与实现

《基于chord的邮件nilsimsa摘要处理平台的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、南开大学硕士学位论文基于Chord的邮件Nilsimsa摘要处理平台的设计与实现姓名：殷宇辉申请学位级别：硕士专业：计算机应用技术指导教师：张建忠20090601摘要传统的垃圾邮件过滤技术利用邮件过滤器独立工作，所能获得的垃圾邮件信息较少，效率较低。分布式垃圾邮件过滤技术通过网络交换邮件信息来更加准确地识别垃圾邮件，能够很好地利用垃圾邮件分布的全局特性。该技术对垃圾邮件具有较好的识别能力，正逐渐成为研究热点。Nilsimsa摘要算法在分布式垃圾邮件过滤技术中占有重要地位。传统的基于Nilsimsa摘要的邮件过滤系统主要

2、采用集中存储和查询的方式来处理Nilsimsa摘要数据。这种方式带来了单点失效的问题，导致系统的健壮性和可扩展性不高。DHTnil提供了一种在基于DHT的结构化P2P网络上进行Nilsimsa摘要发布和相似性查询的方法。该方法突破了传统的Nilsimsa摘要总是集中处理的缺陷，使得系统更具扩展性，为构建全分布式的邮件过滤系统提供了理论支持。论文在DHTnil的研究基础上，首先详细分析了结构化网络Chord的相关路由算法，并对基于Chord的协作文件系统CFS进行了研究，然后设计了基于Chord的分布式Nilsimsa摘

3、要数据处理平台，实现了Nilsimsa摘要在全分布式网络上的发布和相似性查询，为实现分布式邮件过滤系统提供了底层框架。最后，论文进一步设计并实现了摘要数据的持久化存储和摘要数据的动态维护，通过冗余数据的存储在一定程度上解决了P2P网络中节点抖动性带来的影响，保证了系统的正确性和健壮性。关键词：Nilsimsa，CFS，DHT，Chord，分布式邮件过滤系统AbstractAbstractMostofthetraditionalspamfiltersfunctiononasinglecomputer,SOtheycall

4、onlyobtainlimitedinformationandtheefficiencyisquitelower．Distributedanti—spamtechniqueexchangesmessagesthroughtheoverallnetworkinformationtomoreaccuratelyidentifyspam，canmakegooduseoftheoveralldistributionofjunke-mailfeatures，Thistechniquehasabetterabilitytoiden

5、tifyspam，anditisgraduallybecomingaresearchhotspot．Nilsimsadigestalgorithmplaysanimportantroleindistributedanti·spamtechnique．Traditionale-mailfilteringsystembasedonNilsimsadigestalgorithmmainlyusesacentralizedapproachtoprocessingNilsimsadigests．T11isapproachhasb

6、roughttheissueofsinglepointoffailure，thesystemrobustnessandscalabilityispoor．DHTnilisanapproachtopublishandlookupforNilsimsadigestsinDHT．Tllismethodbreakthroughstheshortcomings，andmakethesystemmorescalable．Basedonthisapproach，WeCandesigndistributedspamfilterings

7、ystemonstructuredP2PNetworks．Inthispaper,BasedontheresearchaboutDHTnil，weanalyzedtheroutingalgorithmofChordandthemechanismsofCFSindetail．Thenwedesignedadistributeddata—processingplatformbasedonNilsimsadigest．WeachievedthereleaseandsimilarityqueryofNilsimsadigest

8、onDistributednetwork,providedtheunderlyingframeworkfortherealizationofthedistributede-mailfilteringsystem．Finally,wedesignandrealizepersistentdatastorageandthedynamic