双目视觉PPT.ppt

《双目视觉PPT.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、基于双目视觉的三维重建－立体视觉的匹配问题研究2006.09.26汇报人：赵亮亮指导教师：黎宁双目立体视觉原理O，O’分别为相机光心，系统概述ThegeometryofnonvergedstereoThegeometryofvergedstereo基于视觉的三维信息提取是指从两幅（多幅）图像（不同视角）恢复出场景目标的三维信息基于视觉三维重建的主要步骤图像的获取相机的标定立体匹配（求取对应性）三维信息提取或重建相机标定单相机标定线形标定、非线性标定自标定、一般标定立体相机标定立体相机标定与单相机标定有不同之处，还要求取两相机之间的相对位置关系基本矩阵F

2、：在立体视觉里面，极线几何反映了两相机之间的相对关系。本质矩阵E：仅仅反映位置关系而与相机内参数无关。对E进行SVD分解，就可以在相差一个常系数的情况下精确描述相机的相对运动立体视觉的校正为了加速立体匹配的速度，许多算法都是假设两幅图像的视差仅分布在水平方向上，这样就将图像对的匹配问题从二维降到了一维。而图像校正就是对两幅图像再进行一次平面射影变换，使得两幅图像对应极线在同一水平线上，对应极点被映射到无穷远处。因此图像校正是立体匹配中重要的预备步骤。校正后的图像对基础矩阵变成为立体匹配研究的内容：1）由于匹配匹配的不确定性，解决匹配的歧义和真实反映物理世界

3、属性，在匹配过程中需要一定的匹配准则和约束。2）基元的选取，匹配基元是指用以匹配的图像特征，这个特征是个泛指的概念。这个特征应该具有较好的表征景物本身的特有属性。良好的匹配基元应具有可区分性、不变性、稳定性、唯一性和有效解决歧义匹配的能力。3）相似性测度函数的合理应用SADSSDSCP-N非参数方法BankCensus其中SADSSD的匹配代价相对较低，并且结构比较规整，易于算法实现。4）优化算法的应用立体匹配方法：1、局部匹配2、全局算法局部匹配算法：特征匹配、区域匹配、相位匹配－窗口选择、测度函数选择全局匹配算法：动态规划图切法协同算法局部算法的重点在

4、于匹配代价的计算和匹配代价的累积阶段，即测度函数的计算方面，相应的视差值的确定较为简单，只需找出一个具有最小的匹配代价值作为视差值即可，此类方法表现为对每一个像素在局部条件下最优化，是一种“胜者全取”(winner-take-all)的最优化思想。全局优化方法将计算精力集中在视差的计算阶段，并且有可能跳过匹配代价的累积阶段，许多全局算法主要是基于能量最小化的思想。立体匹配匹配过程对特征匹配来说首先要选取的是匹配特征1、定义匹配代价函数代价函数类型2、方差计算和最优化立体匹配在区域匹配的过程中，窗口大小的选择对匹配结果有很大的影响。窗口要足够的大，能包含足够

5、的信息要求窗口足够的小，获得最近似的视差。窗口的形状也要变化，去避免边界的影响。最近的研究主要是集中在窗口自适应性能提高窗口更新函数选择立体匹配窗口更新函数（12.6%）立体匹配全局匹配算法动态规划两个一维信号的特征点全局最优匹配搜索。由于在立体视觉中，两条共扼的极线上的图像信号都可以看作是一维信号，在单调性约束下，可用动态规划对两条极线上的点集进行全局最优匹配搜索，使最终各点的匹配在相似性与相容性上达到最优协同算法立体匹配立体匹配12.18%10.51%立体匹配最大视差要在两幅图像里面计算，我们通过分析两幅图像在空间结构上的相关性，用变量图的形式来表示这

6、种空间上的结构性相关性。对于二维图像信号来说，如果只考虑标准图像对的情况下：立体匹配立体匹配立体匹配图像分割在图像分割过程中，我们通过估计大小为的窗口内中心点的特征矢量分布密度，可以判定该点处是否平滑，任一点的特征矢量可以包含不同的信息，在本文中选仅仅包含此点的灰度信息。即，分割采用的方法为核函数密度估计。设为正态函数：其中d是向量维数，则窗口内的密度估计为其中h为空间分辨率，k为常系数。对每一点的进行归一化运算，选取一定的阈值，采用8邻域连接就可以把图像分为平滑与非平滑区。在本文中选取的为0.9。立体匹配立体匹配立体匹配左右视线1、弱限制并2、强限制或立

7、体匹配视差的优化1、极线约束2、顺序一致性3、唯一性。用误差函数值进行限制4、视差梯度约束立体匹配顺序性约束立体匹配非参局部变化法这是一种新颖的区域匹配算法，在匹配之前对区域灰度进行某种变换一、rank二census113874200196745140C123187711000101110立体匹配未来工作重点1、对未确定区域视察的确定2、利用OpenGL重建三维视图3、完成立体图像的校正4、分割问题5、边界问题和遮挡问题未来工作重点未来工作重点