小型语料库建库指南

《小型语料库建库指南》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、小型语料库建库指南建库值得注意的几个方面：1）语料的语域定位；2）语料的典型性和实用性；3）语料的时代性；4）语料规模的大小；5）语料的难度；6）精品原则7）有影响力8）随机挑选9）高流通度10）易于获得11）有统计样本意义12）符合语言规范小型语料库语料获取1）报刊杂志以及教材等纸质素材扫描仪中，英文识别效果好OCR软件，较好的有汉王文本，ABBYYFineReader，OmniPageProfessional和TextBridgePro（免费OCR软件，软件名称+使用教程）2)音频和视频素材华南师范大学外国语言文化

2、学院：课堂教学语料库（国内外中小学英语教学课堂录像）3）网页、电子文档以及电影字幕等素材A.通过google查询免费共享的在线语料库B.通过CNN,BBC,VOA,TIME等专题网站获取本族语原始语料C.搜索引擎检索所需语料A级词汇filetype：docB级词汇：filetype:PPT/txt语料的分类与存储1）文件的语言一般采用ASCII纯文本形式，即txt格式（其他：HTML,HTM,XML)2）存储一般采用文件夹+纯本方式；3）分类、文件夹、文件名称均使用英文字母或数字；供检索软件读取的文件存储1）将Word文档另存为txt2

3、）点击【保存】后勾选【其他编码】3）在右边对话框中选择Unicode(UTF-8)，然后点击【确定】文本内容标示符COCOA：TEI:(AntConc识别更好）NewEnglishforChinaB1ChinaPEP2007S1Unit1Friendship

4、录入所有内容后语料自动赋码1)词性赋码原文（出自LOB语料库）：Since1958,13laborlifepeersandpeeresseshavebeencreated.赋码后：A0119^since_IN1958_CD,_,13_CDlabor_NNlife_NNpeers_NNSA0119and_CCpeeresses_NNShave_HVbeen_BENcreated_VBN符号解读：19（该类文章编号），^（句子开头），_(连接词与赋码），IN（介词），CD（基数词），,_,（标

5、点），NN（单数名词），CC（连词），HV（助动词），BEN（be的过去分词），VBN（过去分词）BNC-stylePOStaggingnewsentenceExplosivespluralnounfoundpasttenseverbonprepositionHampsteadpropernounHeathpropernoun.punctuationExplosivesfoundonHampsteadHeath赋码工具1）TreetaggerTreeta

6、gger22）GoTagger3）手工标注软件AnnoTool(http://www.ling.sinica.edu.tw/（台湾中央研究院语言研究所）4）英语自动词性赋码软件CLAWS4（兰卡斯特大学）（Constituent-LikelihoodAutomaticWord-taggingSystemhttp://ucrel.lancs.acuk/claws/trial.html2）语法赋码赋码后：[S[Psince_IN[N1958_CDN]P],_,[N13_CDlabor_NNlife_NN[NNS&peers_NNS[NNS+and

7、_CCpeersesses_NNSNNS+]NNS&]N][Vhave_HVbeen_BENcreated_VBNV]._.S]符号说明：S（句子），P（介词词组），N（名词词组），NNS&（复合型复数名词），[（某结构的起始），]（该结构的结束）实际操作演练工具：Treetagger语料：datachapt6-6sample1.txt步骤：1.运行软件2.点击Tagafile3.用记事本格式打开同一目录下的sample1.out文件赋码前赋码后正则表达式用法：www.regular-expressions.info/全面支持正则

8、表达式http://www.editpadpro.com/清除语料赋码实际操作工具：DetaggingTool.exe语料：datachapt6-5WARG0