视觉词袋技术介绍

《视觉词袋技术介绍》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、BoVW模型介绍BoVW模型介绍主要内容一、提出背景二、框架三、关键步骤四、应用领域五、存在问题及改进分析BoVW模型介绍一、提出背景词袋模型最先是由Josef等基于自然语言处理模型而提出的。类比一篇文章由很多文字(textualwords)组合而成，如果將一張图片表示成由许多视觉单词（visualwords）组合而成，就能将过去在文本检索（textretrieval）领域的技巧直接利用在图像检索（imageretrieval）中，以文字检索系统现在的效率，图像表示的“文字化”也有助于大规模(large-scale

2、)图像检索系统的效率。BoVW模型介绍一、提出背景与文本文档进行类比BoVW模型介绍二、框架视觉词典生成sift描述子生成视觉单词视觉单词直方图BoVW模型介绍二、BoVW模型框架sift聚类图像库局部特征描述子集合视觉词典视觉词典生成流程图像视觉单词直方图生成过程BoVW模型介绍BoVW模型介绍三关键步骤(i)自动检测特征兴趣的区域/点；(ii)计算该特征区域/点的描述子；(iii)利用视觉词典(visualvocabulary)将特征描述子映射为视觉单词；(iv)统计每个visualword在图像中的出现频率，

3、生成视觉单词直方图。BoVW模型介绍三关键步骤3.1关键区域/点检测3.1.1Harris-Laplace检测子旋转和尺度不变量,检测角点结构特征。BoVW模型介绍三关键步骤3.1关键区域/点检测3.1.2DoG检测子检测高斯差分尺度空间的局部极值点区域。该检测子适合发现斑状结构（blob-likestructures)。另外，DoG点检测子目前在各类应用中性能很好，能够比其他检测子运算速度更快，同时根据压缩性（检测的特征点数更少）。BoVW模型介绍三关键步骤3.1关键区域/点检测3.1.3Hessian-Lapl

4、ace检测子与DoG检测近似，但是在尺度空间能获得更高的准确度，并且在尺度选择上的准确度也高于Harris-Laplace。BoVW模型介绍三关键步骤3.1关键区域/点检测3.1.4显著区域（Salientregions）检测子3.1.5Maximallystableextremalregions(MSERs)BoVW模型介绍三关键步骤3.2局部描述子——SIFT1999年BritishColumbia大学大卫.劳伊（DavidG.Lowe）教授总结了现有的基于不变量技术的特征检测方法，并正式提出了一种基于尺度空间

5、的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子－SIFT（尺度不变特征变换），这种算法在2004年被加以完善。BoVW模型介绍三关键步骤3.2局部描述子——sift3.2.1sift的特点独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配。多量性，即使少数的几个物体也可以产生大量SIFT特征向量。BoVW模型介绍三关键步骤3.2局部描述子——sift3.2.1sift的特点(cont.)经过优化的SIFT算法可满足一定的速度需求。可扩展性，可以很方便的与其他形式的特征向量进行联合。

6、BoVW模型介绍三关键步骤3.2.2SIFT算法可以解决的问题目标的旋转、缩放、平移（RST）图像仿射/投影变换（视点viewpoint）光照影响（illumination）目标遮挡（occlusion）杂物场景（clutter）噪声BoVW模型介绍三关键步骤3.2.3sift算法主要步骤a)尺度空间的生成BoVW模型介绍三关键步骤3.2.3sift算法主要步骤b)检测尺度空间极值点BoVW模型介绍三关键步骤3.2.3sift算法主要步骤C)精确定位极值点D)为每个关键点指定方向参数梯度直方图BoVW模型介绍三关键

7、步骤3.2.3sift算法主要步骤e)关键点描述子的生成BoVW模型介绍Sift检测效果图BoVW模型介绍三关键步骤3.3视觉单词的产生3.3.1聚类方法最常用、最简单的方法是K_means，其他还有x_means,层次聚类等方法。3.3.2权重机制TF、TF-IDF（termfrequencyandtermfrequency-inversedocumentFrequency）、binaryweighting.BoVW模型介绍三关键步骤3.3视觉单词的产生3.3.3软权重方法(soft_weighting)3.3.

8、4停词(stopword)消除SivicandZisserman认为图像中最常见的视觉单词也是停词，可以从词典中删除。但目前没有实验表明删除视觉词典中的停词后有助于分类性能提升。BoVW模型介绍三关键步骤3.3视觉单词的产生3.3.5视觉单词的选取五种特征选取评判准则：i)documentfrequency(DF)表示包含某视觉单词的图片的数目，在文本分类任