基于草图的图像检索技术研究

《基于草图的图像检索技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于草图的图像检索技术研究ResearchonSketch-basedImageRetrieval工程领域：电子与通信工程作者姓名：郑凯夫指导教师：雷建军教授企业导师：范科峰高级工程师天津大学国际工程师学院二零一七年十二月摘要随着互联网技术的飞速发展和多媒体设施的广泛普及，互联网上数字图像的数量急剧增长。对数字图像进行快速准确的检索成为了当下的迫切需求。传统的图像检索技术大多为基于文本的图像检索，然而很多图像场景无法用文字精确描述，因此基于文本的图像检索往往无法满足人们的检索需求。手绘草图是一种可以直

2、观表达用户检索意图的输入模态。近几年伴随着触摸屏的普及，手绘草图的绘制变得更加简单、便捷。因此，基于草图的图像检索技术受到了广泛关注，成为了当下的研究热点。本文介绍了图像检索的背景和国内外研究现状，对草图检索的检索流程及关键技术进行了详细阐述。基于对草图检索的关键技术和草图形状特性的深入研究和分析，以提升草图特征的分辨能力作为研究目标，从训练数据、初始化和网络损失设计等方面，展开了基于草图的图像检索算法的研究。本文提出了基于图像辅助跨域学习的草图图像检索方法，有效建立了草图和图像之间的跨域匹配关系，提

3、升了特征的有效性与匹配的准确率。考虑到草图数据的缺乏问题，本文使用大规模图像数据进行预训练，对网络进行跨域初始化。为了缩小自然图像和手绘草图之间的模态差异，采用Gb轮廓提取方法对图像进行轮廓提取，去除内部无用线条，提升轮廓和草图的模态相似度。此外，考虑到草图图像检索的关键信息是形状，因此在网络模型原有分类损失函数的基础上，引入了形状回归损失项，进行联合训练优化，充分挖掘了草图和图像之间的形状一致性关系。在Flickr15k数据集上的实验结果表明，本文所提出的方法较大幅度提升了检索的平均准确率，达到了现

4、有最优方法水平。关键词：草图，图像检索，卷积神经网络，形状匹配IABSTRACTWiththedevelopmentofInternettechnologyandthepopularityofmultimediadevices,thenumberofdigitalimageshasincreaseddramatically.Effectiveretrievaltechniquefordigitalimagehasbecomeanurgentneed.Mosttraditionalimageretrie

5、valtechniquesaretext-basedimageretrieval.However,manyimagescouldnotbeaccuratelydescribedbywords.Therefore,text-basedimageretrievaloftenfailtomeetpeople'sretrievalintensions.Hand-drawnsketchisaninputmodalitythatintuitivelyrepresentstheuserintent.Inrecent

6、years,withthepopularityofthetouchscreen,drawingsketchesbecomesmoresimpleandconvenient.Therefore,sketch-basedimageretrievaltechnologyhasbecomethecurrentresearchfocus.Thispaperintroducesthebackgroundandhistoryofimageretrieval,andelaboratestheretrievalproc

7、essandkeytechnologiesofsketchretrieval.Throughthedeepresearchandanalysisofthekeytechnologiesforsketchretrieval,thispaperaimstoimprovetheeffectivenessofsketchfeature.Thetrainingdata,initialization,andnetworklossdesignareallconsideredontheresearchofsketch

8、-basedimageretrievalalgorithms.Inthispaper,animageaidedsketch-basedimageretrievalmethodisproposed,whichimprovestheeffectivenessofthefeatureandtheaccuracyofmatching.Takingintoaccountthelackofsketchdata,large-scaleimagedataisusedfo