自然语言理解1

《自然语言理解1》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、欢迎使用本课件教材简介:名称:人工智能原理与应用作者:张仰森出版社:高等教育出版社章节:共十章主讲教师:宗春梅在信息化社会中，语言信息处理的技术水平和每年所处理的信息总量已成为衡量一个国家现代化水平的重要标志之一。在这样的社会需求下，自然语言理解作为语言传息处理技术的一个高层次的重要方向，一直是人工智能界所关注的核心课题之一。显然，如果计算机能够理解自然语言，人机间的信息交流能够以人们所熟悉的本族语言来进行，那将是计算技术的一项重大突破。另一方面，由于创造和使用自然语言是人类高度智能的表现，因此对自然语言理解的研究也有助于揭开

2、人类智能的奥秘，深化我们对语言能力和思维本质的认识。所以说，这个研究方向在应用方面和理论方面都有重大意义。7.1自然语言及其理解1.什么是自然语言自然语言是指人类语言集团的本族语，如汉语、英语、日语等。自然语言是相对于人造语言而言的。人造语言是指世界语或计算机的各种程序设计语言。众所周知，语言是思维的载体，是人际交流的重要工具。在人类历史上以语言文字形式记载和流传的知识占到知识总量的80％以上。就计算机的应用而言，据统计用于数学计算的仅占10％，用于过程控制的不到5％，其余85％左右都是用于语言文字的信息处理。在信息化社会中，

3、语言信息处理的技术水平和每年所处理的信息总量已成为衡量一个国家现代化水平的重要标志之一。7.1.1自然语言及其构成2、自然语言的构成（如下图）7.1自然语言及其理解7.1.1自然语言及其构成7.1自然语言及其理解7.1.2自然语言理解的概念7.1.3自然语言理解的进展7.1.4自然语言过程的层次自然语言理解是指机器能够执行人类所期望的某些语言功能。这些功能包括：1.问答(quesVtioVn-aVnsweriVng)：机器能正确地回答输入文本中的有关问题;2.文摘生成(summariziVng)：机器有能力产生输入文本的摘要

4、；3.释义(paraphrase)：机器能用不同的词语和句型来复述其输入文本；4.翻译(VtrahslaVtioVn)：机器具有把一种语言(源语)翻译成为另一种语言(目标语)的能力。7.2词法分析7.2词法分析7.3句法分析句法分析就是要对句子或短语的结构进行分析，以确定构成句子的各个词、短语等之间的相互关系以及各自在句子中的作用等，并将这些关系用层次结构加以表达。7.3句法分析1、短语结构语法理论一部短语结构语法G可以用如下的四元组来定义：G＝(Vt，Vn，P，S)其中，Vt是终结符的集合，终结符是指被定义的那个语言的词(或

5、符号)；Vn是非终结符的集合，这些符号不能出现在最终生成的句子中，是专门用来描述语法的。显然，Vt和Vn的并构成了符号集V，而且Vt和Vn不相交，因此有：V＝Vt∪Vn，Vt∩Vn＝φ(φ表示空集)；S是起始符，它是集合Vn中的一个成员；P是一个产生式规则集。每条产生式具有如下的形式：a→b其中a∈V+，b∈V*，且a≠b；V*表示由V中的符号所构成的全部符号串(包括空符号串φ)的集合，V+表示V*中除φ之外的一切符号串的集合。7.3.1短语结构语法理论与乔姆斯基语法体系7.3句法分析2、结束的短语结构语法理论---乔姆斯基语

6、法体系7.3.1短语结构语法理论与乔姆斯基语法体系乔姆斯基(N.Chomsky)曾定义了以下四类语法:(1)无约束短语结构语法，如前所述，又叫做O型语法；(2)上下文有关语法(context-sensitivegrammars)，又叫做1型语法；(3)上下文无关语法(context-freegrammars)，又叫做2型语法；(4)正则语法(regulargrammars)，又叫做3型语法。7.3句法分析7.3.1短语结构语法理论与乔姆斯基语法体系3、句法分析树在对一个句子进行分析的过程中，如果把分析句子各成分间关系的推倒过

7、程用树形表示出来的话，那么，这种图称做句法分析树。如下图为语句Thegirlwritesletterwithapencil进行句法分析时建立的句法分析树。7.3句法分析7.3.2递归转移网络与扩充转移网络1、有限状态转移网络扩充转移网络的概念来源于有限状态转移网络。我们曾指出，有限状态转移网络只能用来生成或识别正则(即3型)语言。　　一个有限状态转移网络由一组状态(即结点)和一组弧(用来把一种状态连向另一种状态)所组成：(1)其中的一个状态被指定为起始状态；(2)在每条弧上都标注着该语法的终结符(包括词或词类)。它表明必须

8、在输入句子中找到这样一个词，才可以进行这条弧所规定的转移；(3)状态集中有一个名为结束状态的子集。如果输入句子(或短语)的头从起始状态开始，经过一系列的转移，句尾恰好达到结束状态，我们就说这个句子(或短语)被这个转移网络所接受(或识别)。7.3句法分析7.3.2递归转移网络与