中文词语倾向性的分析

《中文词语倾向性的分析》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、中文词语倾向性的分析王根赵军（中国科学院自动化研究所模式识别国家重点实验室)摘要：倾向性语言又是观点表达的重要形式，识别出文本中的倾向性语言是挖掘文本中观点信息的关键工作之一。本文分析了褒贬义词语在句子中所起的主观作用，旨在以此判定文本句子中是否为带有倾向性的。本文认为褒贬义词语在句中所起的作用应该由词语在句中位置和自身意义共同影响。为了证明这两点我们首先对语料库进行了统计和分析，然后分别针对这两个因素分析了词语在句子中表现的倾向性：一方面在同时考虑倾向性强弱和极性的测度下，提出用极坐标来表示一个词语的倾向性，并使用

2、一种均衡化互信息的方法，探讨了词语在统计意义下，独立于具体上下文体现出的自身倾向性；另一方面以包含上下文的2000形容词标注语料为例，使用ME和SVM方法测试了30个上下文特征的对词语倾向性的作用。最后给出了评测的方法和结果。关键词：词语倾向性；主观性语言；上下文；先验倾向性；Abstract:Subjectivelanguagecontainslotsofinformationaboutpersonalopinionandthoughts.Thispaperfocusontheroleoforientational

3、wordsinsentencecontext,insteadofindividualwordonly.Forthispurpose,angeneralanalyzeonthecorpusprecedestoprovebothpriororientationandthecontextimpactareindispensable.Thenweproposedtwomethodtocalculatethetwoaspectsrespectively,oneisarevisedmutualinformation,theoth

4、erismachinelearning.Andtheevaluationofthemfollowsintheexperiment.Keywords:orientation;subjectivelanguage;context;priororientation;1简介[]1与客观实体信息相同，主观性性的语言表达了说话人的情感和态度，是文本信息的重要组成部分。识别出主观语言中带有倾向性的语句，可以帮助理解篇章的写作目的和作者的态度立场。能够为面向国家安全的网络社会态势分析、信息过滤，面向新闻情报的收集管理，面向商务需求的

5、市场调查、产品反馈，面向金融需求的预测和分析、面向政府管理的民意分析等提供信息技术的支持。主观性语言，不同于客观性的语言的分析。本文认为在NLP任务下的主观性语言分析，较之客观性语言表现出以下两个方面的不同：1.主观性语言较多的依赖语义分析，主观必定涉及说话人及使说话人产生认识和感受的客观事物。这决定了，主观性的分析更为集中的表现在关系分析的深层语义分析上。同时，也给主观性分析带来了很大的挑战。2.主观性语言有根大的不确定性，情感作用有强弱，主观的认识和对客观的观察也没有明显的界限。这使得主观性语言的判定和分析存在定

6、义困难，定义标准的困难。本文给倾向性语言下了一个定义：如果一个句子包含了对某事物、人物的某种态度，那么这个句子就是有倾向性的句子。例如：“主力巡山队组织大型打击盗猎活动，多是精壮的藏族小伙子，特别能吃苦。”“美国已成为达赖集团分裂活动的总后台，达赖则沦为美国反华的忠实工具。”“李达是我国传播马克思主义的先驱者和中国共产党的创始人之一，他为中国共产党的建设特别是为党的思想理论建设做出了重要的贡献。”分析带有倾向性语言的语言主要依靠句子中带倾向性的词语，主要是褒贬义词语。但很可惜并不是所有带褒贬义词语的句子都是有倾向性的

7、句子，褒贬义词语在特定的上下文中常常不表达倾向性，它可能只是表达指称，限定，构成其他词语等，对于带有客观义项的褒贬义词语还可能只是取了它的客观义项。例如：“大部分人不会选择与网友见面，没必要破坏自己美好的想像。”1“我们将坚定不移地走产学研联合的自主创新之路，充分发挥企业在创新中的主体作用，充分发挥软件在国家产业架构中的支撑作用，为建设创新型国家及和谐社会做出积极贡献！”“房价的高低主要取决于市场需求的强劲以及外界的环境（利率和投资发展前景等）。”“建立开放、流动、竞争、协作的科学研究机制。”为了分析此类有倾向性的语

8、句，将这些句子从大量的客观信息中分离出来，我们的思路首先是判定句中倾向性的词语所起到的作用。在经过语料库上统计和部分语料的标注后，本文认为来自于以下两个方面的因素对分析词语在句子中的倾向性有很大作用：[]21.词语本身的倾向性强弱和倾向性的极性偏向。2.词语在句中的位置、句子的句型和语气。（本文的实验不考虑句法结构）本文的主要工作就是围绕以上两