词法分析器的实现与设计重点讲义资料.doc

《词法分析器的实现与设计重点讲义资料.doc》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、__________________________________________________题目：词法分析器的设计与实现____________________________________________________________________________________________________摘要：词法分析是中文信息处理中的一项基础性工作。词法分析结果的好坏将直接影响中文信息处理上层应用的效果。通过权威的评测和实际应用表明,IRLAS是一个高精度、高质量的、高可靠性的词法分析系统。众所周知,切分歧义和未登录词识别是中文分词中的两大

2、难点。理解词法分析在编译程序中的作用，加深对有穷自动机模型的理解，掌握词法分析程序的实现方法和技术，用c语言对一个简单语言的子集编制一个一遍扫描的编译程序，以加深对编译原理的理解,掌握编译程序的实现方法和技术。Abstract:lexicalanalysisisabasictaskinChineseinformationprocessing.TheresultsoflexicalanalysiswilldirectlyaffecttheeffectivenessoftheapplicationofChineseinformationprocessing.Theev

3、aluationandpracticalapplicationshowthatIRLASisahighprecision,highqualityandhighreliabilitylexicalanalysissystem.ItiswellknownthatsegmentationambiguityandunknownwordrecognitionarethetwomajordifficultiesinChinesewordsegmentation.Theunderstandingoflexicalanalysetheprogramatcompile,deepen

4、offiniteautomatamodelforunderstanding,masterlexicalanalysisprogramimplementationmethodandtechnology,usingClanguagesubsetofasimplelanguagecompilationofascannedagaincompiler,todeepentocompiletheprinciplesolution,___________________________________________________________________________

5、_________________________mastercompilerimplementationmethodandtechnology.关键词：词法分析器 扫描器 单词符号 预处理Keywords:lexicalanalyzerwordsymbolpretreatmentscanner一、引言运用C语言设计词法分析器，由指定文件读入预分析的源程序，经过词法分析器的分析，将结果写入指定文件。本程序是在Visual Studio环境下，使用C语言作为开发工具。基于实验任务的内容及目的，实现初步的需求分析，具备词法分析器的基本功能和整体构架。逐步细化其功能，做

6、到相应模块的具体化。画出未成熟的流程图，确定整体设计的走向，在一定范围内约束编程活动，确保没有大的问题及缺陷存在，然后通过将来的具体的编程设计完善流程图。完成计算机翻译过程的关键阶段,____________________________________________________________________________________________________它为后面的语法分析、语义分析做好准备,打好基础,以便快速地、高质量地生成目标语言程序。二、词法分析器的设计由于我们规定的程序语句中涉及单词较少"故在词法分析阶段忽略了单词输入错误的检查"

7、而将编译程序的重点放在中间代码生成阶段$词法分析器的功能是输入源程序"输出单词符号$规定输出的单词符号格式为如下的二元式%!单词种别"单词自身的值#2.1词的内部定义对常量，变量，临时变量，保留关键字（if,while,begin,else,do等)、关系运算符、逻辑运算符、分号、括号等,规定其内部定义如附表所示____________________________________________________________________________________________________2.2词法分析器的任务及功能2.2.1任务就编译器基本结

8、构而言，词