D感知与目标位姿计算.pptx

《D感知与目标位姿计算.pptx》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、Chapter103DSensingandObjectPoseComputation?第十章3D感知与目标位姿计算举例多摄像机测量系统通过计算机视觉来识别目标并确定目标位置通过立体视觉求深度放置两台摄像机，使它们的X轴重合，Y轴和Z轴分别相互平行。Y轴垂直于纸面。右侧摄像机的原点或投影中心的偏移量为b，b是立体视觉系统的基线(baseline)。目标点P在左图像中对应点为Pl，在右图像中对应点为Pr，可以确定点P位于光线LPl和RPr的交点处。根据相似三角形：通过立体视觉求深度因为坐标yl和yr相同。所以点P的两个未知坐

2、标x和z可以表示为：d=xl-xr定义：当同一个3D点投影到不同的两台摄像机图像上时，对应点在图像上的位置差称为视差(disparity)。注意：到点P的距离随着视差的减小而增加，随着视差的增大而减小。随着视差趋近零时，距离趋近无穷。建立对应关系1）交叉相关对于已知图像I1(立体图像对中的第一幅图像)中的点P1，假设在图像I2(立体图像对中第二幅图像)中存在某个固定区域，在该区域中一定可以找到与P1对应的点P2.区域的大小由拍摄这些图像的摄像机设备信息决定。对于图像I1的像素P1，搜索I2上的选定区域，对P1和P2的邻域

3、进行交叉相关运算，把交叉相关影响最大的像素，作为P1的最佳匹配点，并用该像素寻找对应3D点的深度。2）图符匹配和相关约束在一幅图像中寻找与另一幅图像特征相匹配的特征。典型特征有连接类型、线段或区域。可以采用一致性标记寻找匹配。部件集合P是第一幅图像I1中的特征集合。标记集L是第二幅图像I2的特征集合。P上的空间关系RP要与L上的空间关系RL相同。建立对应关系采用连接点关系对特征进行匹配图中的L连接和箭头连接是可能的匹配点。一般避免使用T连接，因为它们通常是遮挡的结果，而不是3D结构的实际特征。2）图符匹配和相关约束存在问

4、题：1)并非第一幅图像中所有特征都可以在第二幅图像中检测到.2)从第一幅图像特征到第二幅图像特征映射后，连接点的对应关系产生的是一个稀疏深度映射，不能完全表示三维信息.解决方法：1)允许出现一定的误差，寻找一种最小误差映射，或利用连续松弛法得到近似解.2)在求得的稀疏深度映射点上进行线性插值运算，使稀疏深度映射变得稠密.建立对应关系3)外极线约束两图像面位于同一平面并且与基线平行。已知图像I1中的点P1=(x1,y1)，则图像I2中的对应点P2=(x2,y2)将与P1位于相同的扫描线上，也就是y1=y2。这对图像为标准图

5、像对。建立对应关系标准图像对的外极线几何。3D点P在图像I1中的投影为P1，在图像I2中的投影为P2，二幅图像位于同一平面，与两摄像机间的基线平行。光轴垂直于基线并相互平行。3)外极线约束建立对应关系定义：包含3D点P、两个光心(或摄像机)C1和C2，以及P在两幅图像中的投影点P1和P2的平面称为外极面(epipolarplane).定义：外极面与两幅图像平面I1和I2的交线e1和e2称为外极线(epipolarline).定义：立体图像对的外极点(epipole)就是所有外极线的交点.4）顺序约束已知场景中两个点和它们

6、在两幅图像中的投影点。如果这两点位于场景中的连续表面上，那么在每幅图像中，它们以相同的顺序位于外极线上。5）误差与场景覆盖场景覆盖与计算深度误差间寻求平衡。如果基线很短，确定图像点P1和P2的位置时误差就较小，但在计算3D点P的深度时误差就较大。增大基线可以改进搜索精度，但随摄像机彼此远离，图像点之间的对应关系将丢失。建议两台摄像机光轴间最好是45度角。建立对应关系一般体视结构两台摄像机C1和C2观察相同的3D工作区。工件上的点P在第一幅图像中的投影为1P，在第二幅图中的投影为2P。两台摄像机观察工作台上相同的工件区时，

7、工作台就是一个完整的3D世界，并且有自己的世界坐标系W。工作区中3D点wP=[wPx,wPy,wPz]的位置，可以通过两条投影线wP1O和wP2O的交点确定。为了进行立体视觉计算，需要已知下列条件：要知道摄像机C1在工作区W中的位姿，以及摄像机的一些内部参数，如焦距。这些信息用摄像机矩阵(cameramatrix)来表示，对每个图像点1P通过该矩阵确定3D空间中的一条光线。要知道C2在工作区W中的位姿以及它的内部参数。要找出3D点与两个2D图像点(wP,1P,2P)之间的对应关系。要有公式来计算两条投影线wP1O和wP2

8、O的交点wP。一般体视结构基于多摄像机的3D点计算根据两个像点[r1,c1]和[r2,c2]算出未知的3D点[x,y,z]，两个像点由标定好的两台摄像机摄取。去掉齐次坐标s和t,可以得到含3个未知数的4个线性方程。4个方程中任意3个联立都可以求出未知点[x,y,z]，但求出的坐标值会产生微小的差异。问题：因为摄像机模