《AI自然语言理解》PPT课件

《《AI自然语言理解》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、人工智能ArtificialIntelligence自然语言理解本章主要内容自然语言理解的一般问题词法分析句法分析语义分析大规模真实文本的处理Web信息抽取自然语言理解的一般问题(1)自然语言自然语言：人类交流的语言,口语、书面语、手语、旗语等人造语言：机器语言，包括C++,BASIC等世界语到目前为止的人类知识有80%以上使用自然语言文字记载下来的。但将来，可能用计算机语言形式记载的知识将会越来越多。因此说，语言信息处理技术和每年所处理的信息总量已成为衡量一个国家现代化水平的重要标志之一。相比较人工智能其它领域，自然语言理解是难度大，进展小的。至今为止未能达到很高的水平。自然语言理解的

2、一般问题(2)什么是“自然语言理解”？与“智能”一样，存在各种各样的理解和解释。利用计算机对自然语言进行理解自然语言“理解”的准则：给计算机输入一段自然语言文本，如果计算机能问答(question-answering)－机器能正确地回答输入文本中的有关问题；文摘生成(summarizing)－机器有能力产生输入文本的摘要；释义(paraphrase)－机器用不同的词语和语句复述输入文本；翻译(translation)－机器把一种语言(源语言)翻译为另一种语言(目标语言)自然语言理解的一般问题(3)自然语言理解自然语言理解是语言信息处理技术的一个高层次的重要方向。是人工智能领域关注的核心问

3、题之一。自然语言理解的困难原因：目标表示的复杂性映射类型的多样性源表示中各元素间交互程度的差异性自然语言理解的一般问题(4)语言学的研究自然语言理解是哲学(philosophy)，语言学(linguistics),语言心理学(psycholinguistics),认知科学(cognitivescience),计算机科学(computerscience)，数学(mathematics)，逻辑学(logic)及相关学科发展和结合而形成的一门交叉学科。自然语言理解的一般问题(5)语言学的研究语言学家：只关心词组成短语，短语组成句子，句法如何。即语言理论哲学家：词怎么能表示万物万事。如何用词来描

4、述。心理学家：语言产生的机制，人怎么能理解句子的意思。神经网络。计算语言学家：用数据结构、数学模型把哲学、心理学、语言学等语言分科的知识进行表示，用恰当的算法识别句子的结构，完成自然语言相关的各项任务。自然语言理解的一般问题(6)语言学的研究－理解的层次语音分析：找出最小可独立的声音单元----音素词法分析：找出词汇的各个词素（词根），从中获得语言学信息例：我们研究所有东西;把手放在桌上我们--研究所--有--东西（交叉歧义）我们--研究--所有--东西把--手--放在--桌上（组合歧义）把手--放在--桌上自然语言理解的一般问题(7)语言学的研究－理解的层次句法分析：对句子和短语的结构

5、进行分析，找出词、短语等的相互关系以及各自在句子中的作用等。在语言自动处理的研究中，句法分析的研究是最为集中的，这与乔姆斯基（Chomsky）的贡献是分不开的。主要方法有：短语结构语法、格语法、扩充转移网络、功能语法等。语法分析：将单词之间的线性次序变换成一个显示单词如何与其它单词相关联的结构。确定语句是否合乎语法自然语言理解的一般问题(8)语言学的研究－理解的层次语义分析：通过分析找出词义，结构意义及其结合意义，从而确定语言所表达的真正（实际）含义或概念。在语言自动理解中，语义越来越成为一个重要的研究内容。（尤其是对话系统）你打我我打你语用分析：研究语言所在的外界环境对语言使用所产生的

6、影响。描述语言的环境知识、语言与语言使用者在某个给定语言环境中的关系。为确定真正含义，对表达的结构重新加以解释。（故宫、一块）自然语言理解的一般问题(9)研究目标建立一个足够精确的语言数学模型使计算机通过编程来完成自然语言的相关任务。如：听、读、写、说，释义，翻译，回答问题等。通过语言索取信息，由此能力则说明该系统对语言已理解了。自然语言理解的一般问题(10)自然语言的层次划分及对应技术理论层次结构实现技术模板匹配、基于规则语音模式匹配基于词素、词汇词汇词典结构转换生成、词汇功能语法语法扩展转移网络(ATN),CF规则格语法、语义基元理论、模型理论语义产生式规则、概念相依理论、脚本、框架

7、、语义网络、逻辑基于记忆的推理、语言行为理论、篇章语法语用自然语言理解的一般问题(11)应用机器翻译或机器辅助翻译。文本理解：将输入文本转换成某种数据库格式。文本生成：根据用户需要以某种自然语言的方式输出储存在计算机内的各种信息。自然语言接口：人类直接用自然语言与数据库、专家系统等进行人机交互。……自然语言理解的一般问题(12)应用网络方面：信息检索（informationretrieval）,提出（extraction）,过滤（f