基于扩展词库中文分词方法的购物网站系统的研究与实现

《基于扩展词库中文分词方法的购物网站系统的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号：单位代码：１０１４０：公开４０３５４１９３４密级学号：１？ＩＳ式聲ＬＩＡＯＮＩＮＧＵＮＩＶＥＲＳＩＴＹ专业学位论文ＴＨＥＳＩＳＦＯＲＰＲＯＦＥＳＳＩＯＮＡＬＭＡＳＴＥＲＤＥＧＲＥＥ基于扩展词库中文分词方法的购物网站中文题目：系统的研究与实现ＲｅｓｅａｒｃｈａｎｄＩｍｐｌｅｍｅｎｔａｔｉｏｎｏｆＳｈｏｐｐｉｎｇＷｅｂｓｉｔｅＳｙｓｔｅｍ英文题目：ＢａｓｅｄｏｎＥｘｔｅｎｄｅｄＣｈｉｎｅｓｅＷｏｒｄＳｅｍｅｎｔａｔｉｏｎＭｅｔｈｏｄｇ论文作者：赵坦指导教师：冯勇教授专业：计算机技术完成时间二〇一八年

2、四月：辽宁大学硕士专业学位论文基于扩展词库中文分词方法的购物网站系统的研究与实现ResearchandImplementationofShoppingWebsiteSystemBasedonExtendedChineseWordSegmentationMethod作者：赵坦指导教师：冯勇教授专业：计算机技术专业方向：信息检索答辩日期：2018年5月24日二〇一八年五月·中国沈阳辽宁大学学位论文原创性声明本人郑重声明：所呈交的学位论文是本人在导师的指导下独立完成的。论文中取得的研究成果除加以标注的内容外，不包含其他个人或集体己经发表或撰写过的研究成果，不包含本人为获得其他学

3、位而使用过的成果＜３对本文的研究做出重要贡献的个人和集体均己在文中进行了标注，并表示谢意Ｐ本人完全意识到本声明的法律结果由本人承担ａ学位论文作者签名：災况年Ｓ月知日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交学位论文的原件、复印。件和电子版，允许学位论文被查阅和借阅本人授权辽宁大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编学位论文。同时授权中国学术期刊（光盘版）电子杂志社将本学位论文收录到《中国博士学位论文全文数据库》和

4、《中国优秀硕士学位论文全文数据库》并通过网络向社会公众提供信息服务。学校须按照授权对学位论文进行管理，不得超越授权对学位论文进行任意处理。保密（），在年后解密适用本授权书。（保密：请在括＿“”号内划Ｖ）授权人签名：指导教师签名：日期－日期：眯年日：年孓月知日＞么月＞摘要摘要随着互联网时代的到来，网络购物逐渐走进了人们的生活，在众多的B2C购物网站中，天猫、京东等网站占据了绝大部分网络销售额。在利润的驱使下，更多的购物网站应运而生。搜索系统作为购物网站的主要功能模块，在网络购物中的地位无法取代。用户通过搜索商品，最快速地完成购物流程。在搜索系统中，中文分词技术

5、是基础。目前的中文分词技术虽然正逐步趋于成熟，但是中文分词中的两道鸿沟仍然无法逾越：歧义识别和新词发现。针对以上问题，本文对基于扩展词库的中文分词方法展开研究，提出了一种创建扩展词库的方法。该方法是在solr中文分词系统允许用户加入扩展词库的基础上，改进了CRF算法的特征选取，使用双向最大匹配法结合高频词组成的临时词库，对CRF算法进行结果修正，最后创建用户自己的扩展词库。本文针对使用扩展词库和不使用扩展词库的IKAnalyzer中文分词器做对比实验，得到关于中文分词准确率等一系列实验数据。通过实验证明，该方法在一定程度上解决了中文分词中的歧义问题以及新词发现问题，提高了中文分词准确率。进而

6、通过在购物网站中搜索模块的应用，使用户获得更好的搜索、购物体验。为构建具有应用价值的购物网站，本文首先研究了购物网站的构成，对购物网站系统进行功能性需求分析与非功能性需求分析，开发了包括后台管理模块、前台界面模块、搜索模块、订单模块、单点登录系统模块以及会员系统模块的购物网站系统。本系统实现了管理员在后台界面对商品信息、网站页面信息等进行管理，用户在前台界面进行浏览、注册、登录、搜索、完成订单等主要功能。系统搭建了3个linux服务器，分别是图片处理服务器、redis服务器以及solr服务器。系统对商品以及用户数据存入到mysql数据库中。对基于扩展词库的中文分词方法中创建的扩展词库数据，存

7、入到linux系统下的mydic.dic文件中。最后对系统进行了全面测试，证明系统实现了需求分析中确定的各项功能，能够稳定、有效的运行。关键词：购物网站，中文分词，扩展词库，CRF算法，SOLRIABSTRACTABSTRACTWiththeadventoftheInternetera,onlineshoppinghasgraduallyenteredpeople'slives,inalargenumbero