基于信息融合准则的邮件过滤系统的研究与实现

《基于信息融合准则的邮件过滤系统的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、北京邮电大学基于信息融合准则的邮件过滤系统的研究与实现基于信息融合准则的邮件过滤系统的研究与实现摘要基于内容的垃圾邮件过滤技术是Intemet安全技术研究的一个重点问题。将机器学习的相关方法应用于垃圾邮件的判定是进行大量垃圾邮件处理的有效方法。本文针对电子邮件的特点，通过分析传统邮件过滤技术的不足之处，在对大量垃圾邮件进行统计分析的基础之上，基于信息融合准则对邮件过滤技术进行了研究。本文主要包括以下几个方面的内容：1、综述垃圾邮件过滤问题的研究现状，包括垃圾邮件的定义、危害以及当前主要垃圾邮件过滤技术：在总结比较常

2、用的特征提取方法及过滤算法的基础上，提出了一种利用期望交叉熵(CE)代替词频逆文档频率(TFIDF)算法中IDF函数进行分类的词频交叉熵(TFCE)算法。2、在深刻理解信息融合技术的基础上，通过理论分析，针对传统垃圾邮件判决采用单一准则的缺陷，重点研究了基于三角膜算子的垃圾邮件融合判决准则。其后详细阐述了该准则的原理和评价结果以及具体实现过程，包括体系结构、功能模型和组织模型、邮件过滤的流程和垃圾邮件反馈模块等问题。3、利用实验检验了算法的有效性。仿真实验主要分为两部分：一是比较了邮件过滤系统中各种基于评估函数的特

3、征提取方法，如文档频率(DF)、互信息(MI)、信息增益(IG)、期望交叉熵(CE)、词频逆文档频率(TFIDF)和本文提出的新的特征提取算法词频交叉熵(TFCE)的优缺点和特征提取精度；二是将基于三角模算子的信息融合判决准则与基于词频或文档频率的采用单一准则的判决方法进行了比较。论文最后对基于词频交叉熵(TFCE)算法和信息融合准则的邮件过滤系统提出了进一步完善、改进的意见，从而得出最佳决策，有效降低邮件漏判、错判的概率，为邮件过滤技术的发展提供了一个新的探索途径。关键词：垃圾邮件；特征提取；词频交叉熵；信息融合

4、；三角模北京邮电人学基于信息融合准则的邮件过滤系统的研究。j实现E-悯LF11月ERINGSYSTEMBASEDONINFORM嗡TIONFUSIONCRITERIONABSTRACTNowadaysemailisoneofthemostcommonnetworkapplicationsandhasbecomethemostimportantcommunicationmethod．Content—basedspamfilteringisanimportantissueinIntemetsecuritytechnol

5、ogy．Applicationofmachinelearningapproachessuchastextcategorizationtospamdeterminationisanefficientwayfordealingwithplentyofspam．Thispaperaimsatcharacteristicsofe-mailbyanalyzingtheinadequacyoftraditionaltechnologyinfilteringspamonthebasisofalargenumberofstatis

6、ticalanalyses．Weputemphasisoncomparingtheadvantages，disadvantagesandscopeofapplicationsofvariousfeatureselectionmethods，andachieveaCrossEntropy(CE)toreplaceIDFfunctionofTermFrequencyInverseDocumentFrequency(TFIDF)algorithm，namedTermFrequencyCrossEntropy(TFCE)．

7、Anewjudgmenthasbeenproposedwhichisbasedontrianglemodulefusionatthesametimetofurtherimproveaccuracyoffeatureselectionandeffectivelyreducestheprobabilityofmailmisjudgmentandlostofjudgment．Thisthesismainlyincludesthefollowingparts：Summarizethestateofspamfiltering

8、whichincludethedefinitionofspam，dangerandfilteringtechniques；Generalizecommonapproachesoffeaturepruning，anti-spamfilterandmailcorpora．Alsoweemphasizeonfeatureselectionmethodsandfil