资源描述：
《词项(Term)加权问题细节》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、IR（继续）参考JaimeCarbonell讲稿和《ModernInformationRetrieval》1Today’sTopics词项（Term）加权问题细节GeneralizedVectorSpaceModel(GVSM)最大边界相关法（MaximalMarginalRelevance）SummarizationasPassageRetrieval（基于片段提取的综述）2词项加权问题我们有了“共有词汇”假设：“文档”和“查询”等价于它们含有的词汇集合，它们的相关性可以完全由共有词汇的情况来决定向量空间模型最简单的：二元向量
2、，只是刻画一个词项的出现与否稍复杂些：计数向量，刻画一个词项在文档（查询）出现的次数一般的：我们可以考虑“以文档集合为背景，一个词项在一篇文档中的权重”3TermWeightingRevisited(1)Definitionswi“ithTerm:”词,词根,或者索引的短语，统称“词项”Dj“jthDocument:”文本索引的单位，例如，一篇网页，一个新闻报道，一篇文章，一个专利，一个法律案例，一本书，书的一章，等等。（根据需要确定这个基本单位）4TermWeightingRevisited(2)DefinitionsC，一个
3、收藏（收集，Collection）：一个索引文档的集合（例如，1998年人民日报的所有文章，Web等）Tf(wi,Dj)“TermFrequency:”，词频，wi在文档Dj中出现的次数。人们有时候通过除以该文档中最大的非停用词的TF对Tf进行规格化[Tfnorm=Tf/max_TF].5TermWeightingRevisited(3)DefinitionsDf(wi,C)“documentfrequency,文档频率:”，wi至少在其中出现一次的文档的个数.Df通常，我们取规格化的结果，即除以C中的文档总数。IDf(wi,C
4、)“InverseDocumentFrequency”:[Df(wi,C)/size(C)]-1.多数情况下人们用log2(IDf)，而不是直接的IDf。6TermWeightingRevisited(4)词项在TfIDf意义下的权重（相对于一个文档）一般来讲：TfIDf(wi,Dj,C)=F1(Tf(wi,Dj)*F2(IDf(wi,C))通常，F1=0.5+log2(Tf),orTf/Tfmaxor0.5+0.5Tf/Tfmax通常，F2=log2(IDf)，“抑制函数”在Salton的SMARTIR系统中：TfIDf(wi
5、,Dj,C)=[0.5+0.5Tf(wi,Dj/Tfmax(Dj)]*log2(IDf(wi,C))7TFIDF的（启发式）含义一个词项在一篇文档中的“重要性”和它在该文档中出现的次数成正比（局部）和它在文档集合中涉及文档的个数成反比（全局）重要性设计的目地区别两个文档对同一个查询的相关程度共有词（频）越多，则相关程度应该越高（同一性强）如果一个共有词在文档集合中出现得很普遍，则由它反映的相关程度应该越低（区分性差）8探个究竟K.Papineni,“WhyInverseDocumentFrequency,”Proc.NorthA
6、mericanAssociationforComputationalLinguistics,2001,pp.25-32.证明了IDF在某种距离函数意义下的优化特性。9TermWeightingbeyondTfIDf(1)概率模型传统概率方法（计算q和d相关的概率）R.R.Korfhage,InformationStorageandRetrieval.JohnWiley&Sons,Inc.,NewYork,1997G.Marchionini,InformationSeekinginElectronicEnvironments.Ca
7、mbridgeUniversityPress,NewYork,1995Improvesprecision-recallslightly完整的统计语言学模型(CMU)Improvesprecision-recallmoresignificantly概率模型的共同缺点是计算效率不够高10TermWeightingbeyondTfIDf(2)神经网络理论上有吸引力不幸的是，基本谈不上什么可扩展性（规模不能大）模糊集合研究还不够深入，也会有扩展性的困难11TermWeightingbeyondTfIDf(3)自然语言分析法首先分析和理解
8、D’s&Q采用某种基于自然语言理解的IR理论，从{d}中获取和q相关的子集一般来讲，自然语言理解依然是一个尚待解决的问题即使我们能做，还有一个可扩展性问题到现在为止，自然语言理解的方法只在很有限的领域对IR有所改善。12GeneralizedVectorSpac
