基于深度学习的自然场景文本图像多分类方法研究与实现

《基于深度学习的自然场景文本图像多分类方法研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、专业学位硕士学位论文基于深度学习的自然场景文本图像多分类方法研究与实现作者姓名黄伟工程领域软件工程校内指导教师黄敏副教授校外指导教师徐迪威教授级高工所在学院软件学院论文提交日期2018年4月ResearchandImplementationofSceneTextImageMultiClassificationBasedonDeepLearningADissertationSubmittedfortheDegreeofMasterCandidate：HuangWeiSupervisor：A/Prof.HunagMinProfofEngineerXuDiwe

2、iSouthChinaUniversityofTechnologyGuangzhou,China2分类号：TP3学校代号：10561学号：201521034677华南理工大学硕士学位论文基于深度学习的自然场景文本图像多分类方法研究与实现作者姓名：黄伟指导教师姓名、职称：黄敏副教授、徐迪威教授级高级工程师申请学位级别：工程硕士工程领域名称：软件工程论文形式：ꇶ产品研发ꇶ工程设计应用研究ꇶ工程/项目管理ꇶ调研报告研究方向：软件工程技术论文提交日期：2018年4月23日论文答辩日期：2018年5月26日学位授予单位：华南理工大学学位授予日期：年月日答辩委员会

3、成员：主席：奚建清委员：张平健陈虎黄敏周传世摘要互联网中文本和图像数据作为主要的数据类型，蕴含了丰富的信息和模式。自然场景中的文本图像作为两种类型数据的有机结合，为社会提供了重要的信息来源，并且能够辅助使用多种类型的应用，包括信息检索、人机交互、驾驶导航等领域，关于自然场景的文本图像相关研究领域也一直是备受关注的话题。自然场景文本图像多分类问题在现实生活中有极其重要的应用需求，但却鲜有人研究这个领域的问题，通常都是单独的文本识别分类任务或图像识别分类任务，并没有有效地结合文本图像中文本内容和图像场景的关联性。本文通过对该问题进行深入的研究与探讨，推动对文

4、本图像领域的识别分类任务的重视，加速该任务在实际场景中的应用。本文针对自然场景文本图像的多分类工作展开研究，研究内容和创新点主要包含以下几点：1）首先，从网络中抓取大量的商品图片和对应的文本数据，通过文本图像生成算法生成文本图像多分类数据集，为后续模型训练与测试提供充足的文本图像来源；2）为提高文本图像检测和识别中的精度，本文提出基于多尺度联结文本提议网络的文本区域识别算法，为文本图像分类任务提取所关注的候选文本框，并将生成的数据集中与其它文本图像识别方法进行了评测指标的性能比较；3）为提高文本图像中文本内容提取的准确率，本文提出基于注意力机制的端到端文

5、本序列提取方法，通过双向递归网络编码器对文本区域进行特征编码，再由基于注意力机制的解码器进行特征解码得到对应的文本序列，有效提高识别和提取的准确率；4）为提取自然场景文本图像的内在模式，本文提出一种基于深度文本与图像特征的联合多分类网络，将图像特征和文本特征进行整合，通过多分类器综合分类结果。关键词：深度学习；文本定位；文本提取；多分类网络；IAbstarctWiththeoutbreakoftheinformationage,theInternetisfloodedwithheterogeneousdata.Asthemaindatatype,text

6、andimagedatacontainrichinformationandpatterns.Astheorganiccombinationofthetwotypesofdata,textimagesinthenaturalsceneprovideimportantsourceofinformationforoursociety,andcanhelpustousevarioustypesofapplications,includinginformationretrieval,human-computerinteraction,drivingnavigati

7、onandotherfields.Therefore,thefieldoftext-imagerelatedresearchhasalsobeenatopicofgreatconcern.Theproblemofmulticlassificationofnaturalscenetextimageshasanextremelyimportantapplicationrequirementinreallife,butfewpeopledirectlystudytheprobleminthisfield.Itisusuallyaseparatetaskofte

8、xtclassificationorimageclassificationtas