2024年1月24日发(作者：迮雪曼)
计算机与多媒体技术Computer And Multimedia Technology电子技术与软件工程Electronic Technology & Software Engineering双目立体视觉系统的研究与应用赵楠（山西工程职业学院 山西省太原市 030009）摘 要：本文在双目立体视觉系统的测量原理、系统标定、特征点提取、特征点匹配以及三维空间点的重建等方面均进行了详细的研究，真实还原了三维空间的几何信息。随着科技的飞速发展，机器人技术越来越多地走进了人们的生活。其中，双目立体视觉系统由于可以很好的模拟实现人的双眼视觉功能，且具有体积小巧、制造成本低、测量效果好等优点，在空间三维测量领域得到了广泛的应用。关键词：立体视觉；标定；特征点提取；立体匹配；三维重建立体视觉作为机器视觉的重要组成部分，在三维测量、机器人视觉以及导航系统等众多领域应用广泛。立体视觉测量主要包括单目测量、双目测量以及三目测量。其中，双目立体视觉由于结构简单灵活，且测量精度高，是目前最常用的方法[1]。双目立体视觉主要通过两个摄像机价值间的相互位置关系，根据空间点在左右两幅图像中的像素差来计算三维空间坐标。其中，左右图像中对应点的匹配问题时该方法的重点与难点所在。1 双目立体视觉系统的测量原理双目立体视觉系统的测量原理是根据光学三角法原理进行三维信息的获取。如图1所示，O1和O2分别为左右摄像机的光心；O1Z1和O2Z2为两个摄像机的光轴，且相交于某点；Ow-XwYwZw为空间被测点P所在的世界坐标系；O1-X1Y1Z1和O2-X2Y2Z2分别为左右摄像机坐标系；o1-u1v1和o2-u2v2分别为图像的像素坐标系。双目立体视觉测量的基本原理为：世界坐标系中一点P(X,Y,Z)在左右摄像机的成像面上的像点分别为p1(u1,v1)和p2(u2,v2)。这两个像点是世界坐标系中同一个对象点P的像，分别作这两个像点与各自摄像机的光心O1和O2的连线，即投影线p1O1和p2O2，它们的交点即为世界坐标系中的对象点P(X,Y,Z)。2 双目立体视觉系统的组成双目立体视觉系统主要由图像采集系统以及软件控制系统两大块组成。为了更好地实现对被测物体的尺寸测量，左右两个CCD摄像机光轴之间应存在一定的夹角。经实验测试当夹角范围为25°-30°时，两幅图像交叠区域最大，取得的测量效果最佳。此外，还可以根据测量幅面的要求，适当调整两个CCD摄像机之间的相对距离。下面将对系统的组成结构进行详细的介绍。2.1 图像采集系统图像采集系统主要实现对被测零部件实时图像的采集过程。本文使用的是两个大恒公司生产的水星系列MER-030-60UC型工业相机。2.2 软件控制系统软件控制系统主要是控制图像采集，并实现得到采集图像后的一系列工作。主要包括图像处理、立体校正、相位匹配、点云计算、三维重建等等，是整个测量系统的核心。3 双目立体视觉系统的实现3.1 摄像机参数标定图3：标准平行双目视觉系统标定是实现二维图像坐标与三维立体空间坐标转换的过程，是双目立体视觉系统的关键环节之一。标定过程直接关系着后续三维信息的准确与否，是整个系统得以正常工作的基石。摄像机参数的标定方法从20世纪80年代以来，一直是科学研究的热点问题。目前，摄像机参数标定技术现在已经相当成熟，其中，Tsai两步法[2]、张正友标定法[3]以及BP神经网络标定法是目前使用范围最广的三种方法标定方法图像采集系统。通过对标定算法的研究以及前期的标定实验发现，Jean-Yves
Bouguet标定法[4]不需要制作昂贵的标定板，也不需要额外的高精图2：极线校正原理图图1：双目立体视觉系统测量原理图●基金项目：山西工程职业学院课题，VR、AR等现代信息技术在教学过程的应用与实践，课题编号：JKY-201912。
118
电子技术与软件工程Electronic Technology & Software Engineering计算机与多媒体技术Computer And Multimedia Technology度平移装置，且具有较好的鲁棒性，因此实用性很强。在保证标定板角点提取精度的前提下，完全可以满足高精度测量系统的要求。3.2 特征点提取特征点提取是双目立体视觉的重要步骤之一。在左右两摄像机获取图像时，由于不可避免的存在噪声、干扰等因素，容易导致两幅图像在光强、色彩、亮度等方面存在不同，进而影响后期的立体匹配的精度[5]。因此，在进行特征点提取时，要先进行图像预处理，搜索范围，减少候选匹配点，搜索过程需要满足以下约束条件：（1）极线约束：如图3所示，空间任意一点在对应成像面上的匹配像点一定在其对应的极线上。在匹配前需先完成极线校正，将复杂的二维搜索降为一维直线搜索，即只需要在与待匹配点具有相同纵坐标的线上进行搜寻。（2）唯一性约束：某一成像面上的像点在其对应成像面上只可能找到唯一的一个对应点。以此来降低噪声以及亮度等差异。常用的预处理方法有均值滤波、中值滤波和LOG滤波等。特征点的提取近年来饱受研究者们的广泛关注，它主要包括图像边缘点提取算法和基于图像灰度的特征点检测。经典的算法比较多，主要包括Harris、SUSAN、MIC、SIFT、Canny等。3.3 立体匹配3.3.1 极线校正在对采集到的图像中的像点进行特征点匹配之前，为了尽可能地缩小匹配点搜索范围，我们必须要先对图像进行极线校正[6]。所谓极线校正，就是通过一系列的变换将一般的双目视觉系统变成标准的平行结构光双目视觉系统。图2中，Pl和Pr分别为空间点Pw在左右成像面上对应的像点，极平面是由两个摄像机的光心Ol、Or与空间点Pw这三个点构成的平面，极平面与两个成像面相交形成的线分别称为左右极线，即图中的线Plel和线Prer。左右两个摄像机的光心Ol和Or之间的连线叫做基线，基线与左右成像面的相交形成的点称为极点，即点el和点er。空间任意一点在左右成像面上的像点一定在其对应的极线上。设空间点Pw在左右成像面上对应的像点的齐次坐标为Pl(u1,v1,1)T和Pr(u2,v2,1)T，则极线方程为：PTr·F·Pl=0
其中，F为基础矩阵，它的值可以通过系统标定计算得到，且只与两个摄像机的内外参数有关。只要知道了基础矩阵F，我们就可以将它分解成两个转换矩阵，从而实现极线校正。如图3，极线校正后，所有的外极线均相互平行，对应的像点行坐标相同，因此只需要在行坐标相同的像点中进行搜索，降低了搜索难度。3.3.2 匹配方法图像立体匹配的实质就是在待匹配点对应的成像面上搜索同一被测物体对应的像点，进而求得该被测物体的三维空间坐标最终将被测物体的三维形貌重建出来。目前，应用最多的匹配算法有特征匹配算法和区域匹配算法[7]。基于几何不变性的特征匹配算法，可以将搜索范围限制在某个特征区域，匹配速度快，匹配效率高，但是由于噪声以及遮挡等原因提取到的特征点较少，最终只能得到稀疏的匹配点数。基于光学测量学不变性的区域匹配算法，通常选择点或者邻域模板作为匹配基元，并根据灰度相似性函数进行搜索，从而得到被测物体上所有的匹配点对，但是该方法由于匹配点数庞大，搜索过程费时，实时性较差。3.3.3 匹配约束通常，成像面中的某一匹配基准点在其对应的成像面上存在多个候选匹配点，而实际上最终实现正确匹配的像点只有一个，故将导致错误匹配的现象出现。为了解决误匹配问题，最大程度地缩小（3）相似性约束：空间任意一点在两幅图像上的像点处，某些量度（灰度）与几何特性（边缘、角点、方向等）相似。（4）顺序一致性约束：对深度差较小的被测物体，对应点在极线上的排列次序保持一致。3.4 三维空间点的重建光学三维测量的本质是由一个点的图像坐标求解该点的三维世界坐标，在理想的相机模型的投影矩阵已知时，若由图像坐标求解世界坐标，由于图像中的一个点只能求得该空间三维点所在的一条直线。因此，分别利用左右摄像机成像面的像点可以建立两条直线的方程，这两条直线的交点则为我们待求解的空间点三维坐标。4 结语综上所述，利用两个摄像机获取被测物体的在不同视角下的图像，通过摄像机标定、特征点提取、立体匹配等过程，最后得到被测物在空间的三维几何信息。这种技术目前已经广泛应用于产品分拣、工业探伤、无人机飞行、无人驾驶、制导目标跟踪与锁定、车流检测、安保监测等社会各个领域。未来，随着技术的不断进步，人们将把更多的注意力集中到双目视觉的研究上来。参考文献[1]孙贤斌.三维信息获取技术中定标与图形包含问题的研究[D].华中科技大学,2010.[2]Tsai R. A versatile camera calibration technique for
high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses[J]. IEEE Journal on
Robotics & Automation, 1987,3(4):323-344.[3]Zhang Z. A Flexible New Technique for Camera
Calibration[J]. IEEE Transactions on Pattern Analysis &
Machine Intelligence, 2000,22(11):1330-1334.[4]Prados E, Faugeras O. Shape From Shading[J].
Mathematical Models in Computer Vision the Handbook,
2005,21(8):375-388.[5]刘庆华,唐伯良,董戎萍.双目立体匹配图像对的预处理研究[J].计算机工程与设计,2005(03):793-795.[6]姜宏志,赵慧洁,梁宵月,李冬.基于极线校正的快速相位立体匹配[J].光学精密工程,2011,19(10):2520-2525.[7]白明,庄严,王伟.双目立体匹配算法的研究与进展[J].控制与决策,2008(07):721-729.作者简介赵楠（1991-），女，山西省晋中市人。硕士学位，助教。研究方向为逆向工程、3D打印技术。119
2024年1月24日发(作者：迮雪曼)
计算机与多媒体技术Computer And Multimedia Technology电子技术与软件工程Electronic Technology & Software Engineering双目立体视觉系统的研究与应用赵楠（山西工程职业学院 山西省太原市 030009）摘 要：本文在双目立体视觉系统的测量原理、系统标定、特征点提取、特征点匹配以及三维空间点的重建等方面均进行了详细的研究，真实还原了三维空间的几何信息。随着科技的飞速发展，机器人技术越来越多地走进了人们的生活。其中，双目立体视觉系统由于可以很好的模拟实现人的双眼视觉功能，且具有体积小巧、制造成本低、测量效果好等优点，在空间三维测量领域得到了广泛的应用。关键词：立体视觉；标定；特征点提取；立体匹配；三维重建立体视觉作为机器视觉的重要组成部分，在三维测量、机器人视觉以及导航系统等众多领域应用广泛。立体视觉测量主要包括单目测量、双目测量以及三目测量。其中，双目立体视觉由于结构简单灵活，且测量精度高，是目前最常用的方法[1]。双目立体视觉主要通过两个摄像机价值间的相互位置关系，根据空间点在左右两幅图像中的像素差来计算三维空间坐标。其中，左右图像中对应点的匹配问题时该方法的重点与难点所在。1 双目立体视觉系统的测量原理双目立体视觉系统的测量原理是根据光学三角法原理进行三维信息的获取。如图1所示，O1和O2分别为左右摄像机的光心；O1Z1和O2Z2为两个摄像机的光轴，且相交于某点；Ow-XwYwZw为空间被测点P所在的世界坐标系；O1-X1Y1Z1和O2-X2Y2Z2分别为左右摄像机坐标系；o1-u1v1和o2-u2v2分别为图像的像素坐标系。双目立体视觉测量的基本原理为：世界坐标系中一点P(X,Y,Z)在左右摄像机的成像面上的像点分别为p1(u1,v1)和p2(u2,v2)。这两个像点是世界坐标系中同一个对象点P的像，分别作这两个像点与各自摄像机的光心O1和O2的连线，即投影线p1O1和p2O2，它们的交点即为世界坐标系中的对象点P(X,Y,Z)。2 双目立体视觉系统的组成双目立体视觉系统主要由图像采集系统以及软件控制系统两大块组成。为了更好地实现对被测物体的尺寸测量，左右两个CCD摄像机光轴之间应存在一定的夹角。经实验测试当夹角范围为25°-30°时，两幅图像交叠区域最大，取得的测量效果最佳。此外，还可以根据测量幅面的要求，适当调整两个CCD摄像机之间的相对距离。下面将对系统的组成结构进行详细的介绍。2.1 图像采集系统图像采集系统主要实现对被测零部件实时图像的采集过程。本文使用的是两个大恒公司生产的水星系列MER-030-60UC型工业相机。2.2 软件控制系统软件控制系统主要是控制图像采集，并实现得到采集图像后的一系列工作。主要包括图像处理、立体校正、相位匹配、点云计算、三维重建等等，是整个测量系统的核心。3 双目立体视觉系统的实现3.1 摄像机参数标定图3：标准平行双目视觉系统标定是实现二维图像坐标与三维立体空间坐标转换的过程，是双目立体视觉系统的关键环节之一。标定过程直接关系着后续三维信息的准确与否，是整个系统得以正常工作的基石。摄像机参数的标定方法从20世纪80年代以来，一直是科学研究的热点问题。目前，摄像机参数标定技术现在已经相当成熟，其中，Tsai两步法[2]、张正友标定法[3]以及BP神经网络标定法是目前使用范围最广的三种方法标定方法图像采集系统。通过对标定算法的研究以及前期的标定实验发现，Jean-Yves
Bouguet标定法[4]不需要制作昂贵的标定板，也不需要额外的高精图2：极线校正原理图图1：双目立体视觉系统测量原理图●基金项目：山西工程职业学院课题，VR、AR等现代信息技术在教学过程的应用与实践，课题编号：JKY-201912。
118
电子技术与软件工程Electronic Technology & Software Engineering计算机与多媒体技术Computer And Multimedia Technology度平移装置，且具有较好的鲁棒性，因此实用性很强。在保证标定板角点提取精度的前提下，完全可以满足高精度测量系统的要求。3.2 特征点提取特征点提取是双目立体视觉的重要步骤之一。在左右两摄像机获取图像时，由于不可避免的存在噪声、干扰等因素，容易导致两幅图像在光强、色彩、亮度等方面存在不同，进而影响后期的立体匹配的精度[5]。因此，在进行特征点提取时，要先进行图像预处理，搜索范围，减少候选匹配点，搜索过程需要满足以下约束条件：（1）极线约束：如图3所示，空间任意一点在对应成像面上的匹配像点一定在其对应的极线上。在匹配前需先完成极线校正，将复杂的二维搜索降为一维直线搜索，即只需要在与待匹配点具有相同纵坐标的线上进行搜寻。（2）唯一性约束：某一成像面上的像点在其对应成像面上只可能找到唯一的一个对应点。以此来降低噪声以及亮度等差异。常用的预处理方法有均值滤波、中值滤波和LOG滤波等。特征点的提取近年来饱受研究者们的广泛关注，它主要包括图像边缘点提取算法和基于图像灰度的特征点检测。经典的算法比较多，主要包括Harris、SUSAN、MIC、SIFT、Canny等。3.3 立体匹配3.3.1 极线校正在对采集到的图像中的像点进行特征点匹配之前，为了尽可能地缩小匹配点搜索范围，我们必须要先对图像进行极线校正[6]。所谓极线校正，就是通过一系列的变换将一般的双目视觉系统变成标准的平行结构光双目视觉系统。图2中，Pl和Pr分别为空间点Pw在左右成像面上对应的像点，极平面是由两个摄像机的光心Ol、Or与空间点Pw这三个点构成的平面，极平面与两个成像面相交形成的线分别称为左右极线，即图中的线Plel和线Prer。左右两个摄像机的光心Ol和Or之间的连线叫做基线，基线与左右成像面的相交形成的点称为极点，即点el和点er。空间任意一点在左右成像面上的像点一定在其对应的极线上。设空间点Pw在左右成像面上对应的像点的齐次坐标为Pl(u1,v1,1)T和Pr(u2,v2,1)T，则极线方程为：PTr·F·Pl=0
其中，F为基础矩阵，它的值可以通过系统标定计算得到，且只与两个摄像机的内外参数有关。只要知道了基础矩阵F，我们就可以将它分解成两个转换矩阵，从而实现极线校正。如图3，极线校正后，所有的外极线均相互平行，对应的像点行坐标相同，因此只需要在行坐标相同的像点中进行搜索，降低了搜索难度。3.3.2 匹配方法图像立体匹配的实质就是在待匹配点对应的成像面上搜索同一被测物体对应的像点，进而求得该被测物体的三维空间坐标最终将被测物体的三维形貌重建出来。目前，应用最多的匹配算法有特征匹配算法和区域匹配算法[7]。基于几何不变性的特征匹配算法，可以将搜索范围限制在某个特征区域，匹配速度快，匹配效率高，但是由于噪声以及遮挡等原因提取到的特征点较少，最终只能得到稀疏的匹配点数。基于光学测量学不变性的区域匹配算法，通常选择点或者邻域模板作为匹配基元，并根据灰度相似性函数进行搜索，从而得到被测物体上所有的匹配点对，但是该方法由于匹配点数庞大，搜索过程费时，实时性较差。3.3.3 匹配约束通常，成像面中的某一匹配基准点在其对应的成像面上存在多个候选匹配点，而实际上最终实现正确匹配的像点只有一个，故将导致错误匹配的现象出现。为了解决误匹配问题，最大程度地缩小（3）相似性约束：空间任意一点在两幅图像上的像点处，某些量度（灰度）与几何特性（边缘、角点、方向等）相似。（4）顺序一致性约束：对深度差较小的被测物体，对应点在极线上的排列次序保持一致。3.4 三维空间点的重建光学三维测量的本质是由一个点的图像坐标求解该点的三维世界坐标，在理想的相机模型的投影矩阵已知时，若由图像坐标求解世界坐标，由于图像中的一个点只能求得该空间三维点所在的一条直线。因此，分别利用左右摄像机成像面的像点可以建立两条直线的方程，这两条直线的交点则为我们待求解的空间点三维坐标。4 结语综上所述，利用两个摄像机获取被测物体的在不同视角下的图像，通过摄像机标定、特征点提取、立体匹配等过程，最后得到被测物在空间的三维几何信息。这种技术目前已经广泛应用于产品分拣、工业探伤、无人机飞行、无人驾驶、制导目标跟踪与锁定、车流检测、安保监测等社会各个领域。未来，随着技术的不断进步，人们将把更多的注意力集中到双目视觉的研究上来。参考文献[1]孙贤斌.三维信息获取技术中定标与图形包含问题的研究[D].华中科技大学,2010.[2]Tsai R. A versatile camera calibration technique for
high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses[J]. IEEE Journal on
Robotics & Automation, 1987,3(4):323-344.[3]Zhang Z. A Flexible New Technique for Camera
Calibration[J]. IEEE Transactions on Pattern Analysis &
Machine Intelligence, 2000,22(11):1330-1334.[4]Prados E, Faugeras O. Shape From Shading[J].
Mathematical Models in Computer Vision the Handbook,
2005,21(8):375-388.[5]刘庆华,唐伯良,董戎萍.双目立体匹配图像对的预处理研究[J].计算机工程与设计,2005(03):793-795.[6]姜宏志,赵慧洁,梁宵月,李冬.基于极线校正的快速相位立体匹配[J].光学精密工程,2011,19(10):2520-2525.[7]白明,庄严,王伟.双目立体匹配算法的研究与进展[J].控制与决策,2008(07):721-729.作者简介赵楠（1991-），女，山西省晋中市人。硕士学位，助教。研究方向为逆向工程、3D打印技术。119