《中文分词》PPT课件

《《中文分词》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、1http://www.hbdeyc.comhttp://www.haotao369.comhttp://www.ribbontrade.cnhttp://www.bjfangxin.comhttp://www.junyueshipin.cnhttp://www.raincubicdesign.comhttp://www.by-sws.com3.4中文分词原理2【目　录】什么是中文分词查询处理分词技术分析应用举证分词技术概述12345为什么要分词英文Knowledgeispower单词之间有空格，很容易进行词语的匹配。中文的语义与字词的搭配相关和服务必于三日之后裁制完毕王府饭店的

2、设施和服务是一流的杭州市长春药店杭州市长春药店中文的语义与字词的搭配相关后人又有人写：1、下雨天留客，天留，我不留。2、下雨天留客，天留我不留。3、下雨天，留客，天留，我不留。4、下雨天，留客，天留我，不留。5、下雨天留客，天留我不？留！6、下雨天，留客天，留我不留？7、下雨天，留客天，留我？不留！8、下雨天留客，天！留我不？留！9、下雨天，留客！天！留我不留？唐朝时，一个穷人到他朋友家去玩，这个穷人非常的聪明。又一天，下起了雨，这个朋友想让他快点回去，不好意思说，于是，写了一封信，但没加标点。这个朋友的意思是：下雨天留客，天留人不留。没想到，这位聪明的穷人在信中夹了标点，意思全

3、变了：下雨天，留客天，留人不？留。6什么是中文分词中文分词定义上海/武警/总队/医院/地址分词就是将一句话切分成一个个单词的过程.分词的目的是更加有效、准确的关键词索引。中文分词概述什么是分词？比如句子“内塔尼亚胡说的确实在理”中文分词概述（Cont.）分词作用互联网绝大多数应用都需要分词，典型应用实例汉字处理：拼音输入法、手写识别、简繁转换…信息检索：Google、Baidu…内容分析：机器翻译、广告推荐、内容监控…语音处理：语音识别、语音合成……基于关键词的口碑分析客户：某知名全国连锁餐饮品牌需求：自身及竞争对手在互联网上的口碑变化2021/9/92021/9/911Part

4、2【接受用户查询后做了哪些事情】『查询处理』12用户提交字符串小于3个字符用户提交字符串多于3个字符提交的中文查询包含英文单词查询处理用户查询方式13查询处理小于等于3个字符串皮肤病用户查询方式皮肤病14查询处理用户查询方式小于等于3个中文汉字，将直接调取数据库中索引的词汇注15查询处理用户提交了不止一个查询串多于3个字串符上海皮肤病医院用户查询方式上海/皮肤病/医院上海皮肤病/医院上海/皮肤病医院上海皮肤病医院16查询处理用户查询方式大于等于4个中文汉字，搜索引擎会默认将所有字符串按词分隔开，分成若干子查询串注17查询处理提交的中文查询包含英文单词用户查询方式Iphone手机I

5、phone/手机Iphone手机18查询处理用户查询方式当提交的中文查询包含英文单词时，查询结果会将英文单词优先完整展现，即使查询的单词不存在，也会当做一个字符处理，不会进行拆分注中文分词概述（Cont.）分词难点歧义无处不在交叉歧义（多种切分交织在一起）内塔内亚胡说的/确实/在理组合歧义（不同情况下切分不同）这个人/手上有痣我们公司人手真歧义（几种切分都可以）乒乓球拍/卖/完了乒乓球/拍卖/完了中文分词概述（Cont.）分词难点新词层出不穷人名、地名、机构名奥巴马表哥房叔网名你是我的谁旺仔小馒头公司名、产品名摩托罗拉谷歌爱国者腾讯网易新浪诺基亚C5尼康D700中文分词概述（Co

6、nt.）分词难点普通词与新词互用高明表演真好（演员）/他的表演很高明汪洋到深圳检查工作/洞庭湖一片汪洋普通词与新词交织在一起克林顿对内塔尼亚胡说胡锦涛听取龚学平等同志的汇报中文分词概述（Cont.）分词难点（需要重新处理）需求多种多样切分速度：搜索引擎VS单机版语音合成结果呈现：切分粒度要求不同：机器翻译VS搜索引擎分词重点要求不同：语音合成VS搜索引擎唯一结果VS多结果：语音合成VS搜索引擎新词敏感度不同：语音合成VS搜索引擎处理对象：书面文本(规范/非规范)VS口语文本硬件平台：嵌入式VS单机版VS服务器版23Part3【都有哪些分词技术】『分词技术概述』24Part3分词技

7、术概述『目　录』〖基于字典的分词方法〗〖基于统计的分词方法〗〖基于词义分词方法〗25Part3基于字典的分词方法按照一定的策略将待分析的汉字串与一个充分大的词典中的词条进行匹配，若在词典中找到某个字符串，则匹配成功概念26Part3基于字典的分词方法第一页最后一页27正向最大匹配法反向最大匹配法最短路径分词法基于字典的分词方法常用方法28正向最大匹配法中医治白癜风中医/治/白癜风基于字典的分词方法正向最大匹配法29反向最大匹配法中医治白癜风中/医治/白癜风基于字典的分词方法反向最