NLP技术的应用场景、技术实现和具体案例分析.docx

《NLP技术的应用场景、技术实现和具体案例分析.docx》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、此文档收集于网络，如有侵权，请联系网站删除NLP技术的应用场景、技术实现和具体案例分析针对NLP技术，大神们刚刚展开过比较激烈的讨论——YannLecun论战YovaGoldberg，导火索是一篇“对抗式生成自然语言的论文”。NLP大神YovaGoldberg认为该论文所生成的“自然语言”和真实语言相差太远，充满语法错误，随后他直接把战斗升级成语言学家大战计算机科学家：“摆脱你们这帮搞深度学习的人，别再抓着语言不放，并宣称自己已经解决好语言的问题了。”“语言对我来说很神圣。”对此，深度学习大神YannL

2、ecun自是有所不满：“这话竟然是出自Yova之口？他自己都在拿深度学习来做NLP研究！”其实，深度学习已在很多领域都有应用，迟早会渗透到NLP的。这里我们不深究大神们谁对谁错，但从他们的争论中，我们至少能得出两点：首先是深度学习在很多方面得到了应用，事实上在NLP的各个领域，深度学习都有应用，其中比较成功的就有机器翻译。反过来，YovaGoldberg的表述，在我们看来也是有道理的，现在就认定深度学习能解决各种各样的问题确实说得太满了，有一些自认为是人工智能专家的人，其实还远远达不到这一水准。此文档仅

3、供学习与交流此文档收集于网络，如有侵权，请联系网站删除我今天的主题是围绕NLP来展开的，其实它跟图像、语音这类智能感知领域不太一样，难点非常多，也是人类几千年的一些智慧或者文化的沉淀。我的分享分为三个部分，主要是想介绍：·NLP在美团有哪一些应用场景·NLP在美团点评应用了哪一些技术·重点是NLP在美团点评的一些案例我会选取几个比较典型的案例给大家详细介绍一下，最后就是简单的总结。NLP在美团点评的应用场景第一个场景，其实是在美团点评的APP上面，每天都有非常大量的用户词。这个里面有一个文本，我们可以理

4、解成是用户的一些需求，从中可以做块状分析，统一性分析等等。这对我们的搜索系统性能的提升有很大的帮助。还有一部分文本，是商家的标题及详情页里面很多东西：比如地址、菜品等等。这也是我们比较关心的文本方面的一些东西，我们可以对它的品类做一些很好的识别。此文档仅供学习与交流此文档收集于网络，如有侵权，请联系网站删除第二个场景，大家应该看得出来，美团点评有着非常巨大的UGC数据，就是用户对商家的评论。这个数据能带来什么？比如说我们可以索取Tag，在用户做决策的时候提供信息帮助。还可以对评论做一些分类，大家现在看到

5、的是比较优质的一些评论分类，事实上我们在后面做的时候，需要对分类做大量的工作，比如垃圾、黄反、优质等的识别。除此之外，还要对评论做一些情感分析，比如说评价是正向、负向还是中性的等等。另外，还有一部分是美团点评APP的一些新闻，比如标题的宣传、内容的理解、信息的抽取、POI的识别，等等。还有很多工作，比如整篇文章的分类，是分成美食还是影视等类别，其实也要用到NLP技术。此文档仅供学习与交流此文档收集于网络，如有侵权，请联系网站删除这几大类是大家能直观感受到的，其实还有非常多大家感受不到的，例如客服规划的内

6、容，其实也是NLP需要考虑的。还有就是Crash日志，以及后台商家需要用到NLP的技术。NLP在美团点评的应用技术回头来看，刚才提到了NLP的一些使用场景，那NLP具体研究的是什么呢？“NLP（自然语言处理）可以定义为研究在人与人交际中以及在人与机器交际中的语言问题的一门学科。”人和机器交互比较好理解，比如说百度搜索、美团APP搜索，这就是人和机器通过搜索关键词进行交互，比如说对话系统，做一些问答或聊天，这个也指人与机器在语音上的交互。人和人交际可能不那么好理解，就是借助于机器设备来做人和人的交际。我说

7、几个例子：比如说输入法，用户通过输入法输入想要的东西，然后再反过来用输入法去做，这里面要用到非常多的NLP技术；还有你去国外旅游，可以用APP实时翻译语音，然后跟外地人进行一次很好的沟通，这也是人和人之间的交流，会借助于设备，这就要用到很多NLP技术，这里可能比较抽象。下面我就列一下，我所接触到的NLP研究内容，其实还有很多我没接触到的。具体来说，是词法短语方面的分词、词性标注、命名实体识别、组块分析等，还有句法语义、篇章理解、系统应用等，这些都属于NLP研究的一些点。NLP有一个特点，就是很多技术不容

8、易成为技术或产品，比如知识图谱或信息检索。还有像对话、机器翻译这些，其实都是独立的NLP应用场景与系统。另外，在语音识别合成、OCR图片方面也会用到NLP。此文档仅供学习与交流此文档收集于网络，如有侵权，请联系网站删除在感知方面，语音图像要更深层的理解它里面的内容，其实都离不开语言的表述。所以，未来的趋势就是NLP会和这些语境越来越多地融合，也就是说它的应用场景会非常多。这些只是一些关键词，在美团，可能不需要把所有这些东西都研究一遍。接着，