游客&您好, 欢迎访问中国光学期刊网!
大家都在搜：
光学学报 & 35卷 & 6期(pp：)
基于直线特征的摄像机镜头畸变标定方法
Camera Distortion Calibration Method Based on Straight Line Characteristics
摘要在多视域广角成像系统中，为了保证后续图像拼接的质量，必须对从广角镜头所获得的畸变图像进行校正。利用图像中直线特征的畸变标定方法，并且提出一种带权重因子的弯曲测度指标函数，离图像中心不同距离的曲线给予不同的权重值，作为求取最终畸变参数的目标函数。在最小化目标函数过程中，求解出最优畸变系数。并基于工程实例，分别利用传统基于直线特征的畸变校正方法与本文方法对目标图像进行畸变校正。实验结果表明，本文方法仅仅利用单幅图像就能获得高精度的畸变标定，在噪声水平小于2 pixel时，对应坐标的均方根误差能控制在0.3 pixel以内。同时该方法操作简单、方便、易于实现。关键词
AbstractIn the multi-view and wide-angle imaging system, in order to guarantee the quality of subsequent image mosaic, the distorted image obtained from the wide-angle camera must correct. The linear characteristics in the image is utilized to correct the distortion and a bending measurement function is put forward with weight factor that gives each curve line the different weight values in accordance with the distance from the image center as the object function for obtaining the final distortion cofficients. The optimal distortion coefficients is obtained by minimizing the objective function. And based on the engineering examples, are used respectively the traditional distortion correction method based on linear characteristics and the proposed method to correct the target distort image. Experimental results show that the proposed method can only use single image to obtain high accuracy distortion calibration coefficient, under the condition that the noise level is less than 2 pixel, the root mean square error of the corresponding coordinates within 0.3 pixel.At the same time, the proposed method is simple, convenient and easy to implement.
中图分类号：TP391.4DOI：所属栏目：基金项目：吉林省科技发展计划项目()收稿日期：修改稿日期：网络出版日期：--作者单位&&&&点击查看张敏：中国科学院长春光学精密机械与物理研究所, 吉林 长春 130033中国科学院大学, 北京 100049金龙旭：中国科学院长春光学精密机械与物理研究所, 吉林 长春 130033李国宁：中国科学院长春光学精密机械与物理研究所, 吉林 长春 130033武奕楠：中国科学院长春光学精密机械与物理研究所, 吉林 长春 130033韩双丽：中国科学院长春光学精密机械与物理研究所, 吉林 长春 130033联系人作者：备注：张敏(1990—)，女，博士研究生，主要从事光电成像与图像处理方面的研究。
【1】【2】【3】【4】【5】Hu Zhanyi, Wu Fuchao. A review on some active vision based camera calibration techniques[J]. Chinese Journal of Computer, ): .胡占义, 吴福朝. 基于主动视觉摄像机标定方法[J]. 计算机学报, ): .【6】S D Ma. A self-calibration technique for active vision systems[J]. IEEE Transactions on Robotics and Automation, ): 114-120.【7】【8】【9】【10】【11】R Y Tsai. A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses[C]. IEEE Journal of Robotics and Automation, ): 323-344.【12】Z Y Zhang. A flexible new technique for camera calibration[C]. IEEE Transactions on Pattern Analysis and Machine Intelligence, ): .【13】Zheng Yi, Liu Shangqian. Line-based nonlinear distortion correction of a ca libration image[J]. Chinese Journal of Scientific Instrument, ): .郑毅, 刘上乾. 利用直线特征的定标图像非线性畸变校正[J]. 仪器仪表学报, ): .【14】Zhou Fuqiang, Cai Feihua. Camera calibration method based on non-metric distortion correction[J]. Journal of Mechanical Engineering, ): 228-232.周富强, 蔡斐华. 基于非量测畸变校正的摄像机标定方法[J]. 机械工程学报, ): 228-232.【15】【16】F Devermay, OFaugeras. Straight lines have to be straight-automatic calibration and removal of distortion from scenes of structured environments[J]. Machine Vision and Applications, ): 14-24.【17】M Ahmed, A Farag. Non-metric calibration of camera lens distortion: Differential methods and robust estimation[C]. IEEE Transaction on Image Processing, ): .【18】Cheng Tianfei, Ma Mu, Li Peng, et al.. A camera calibration method based on non-metric distortion correction[J]. Control and Decision. ): 243-247.陈天飞, 马牧, 李鹏, 等. 一种基于非量测畸变校正的摄像机标定方法[J]. 控制与决策, ): 243-247.【19】【20】C B Duane. Close-range camera calibration[J]. Photogramme Eng, ): 855-866.【21】Zhang Yujin.Image Engineering(Ⅱ)-Image Analysis[M].Beijing:Tsinghua University Press, .章毓晋. 图像工程(中册)图像分析[M]. 北京: 清华大学出版社, .【22】J J More. The Levenberg-Marquardt Algorithm: Implementation and Theory[M]. Berlin, Heidelberg: Numerical Analysis, .
引用该论文Zhang Min,Jin Longxu,Li Guoning,Wu Yinan,Han Shuangli.&Camera Distortion Calibration Method Based on Straight Line Characteristics[J].&Acta Optica Sinica,&):&0615001张敏,金龙旭,李国宁,武奕楠,韩双丽.&基于直线特征的摄像机镜头畸变标定方法[J].&光学学报,&):&0615001被引情况【1】【2】【3】【4】【5】【6】
您的浏览器不支持PDF插件，请使用最新的(Chrome/Fire Fox等)浏览器.或者您还可以PDF摄像机标定方法综述_文档下载
&当前位置：
& 摄像机标定方法综述
摄像机标定方法综述
次曲线和极线变换性质解Kruppa方程的摄像机自标定方法、分层逐步标定法、基于二次曲面的自标定方法、基于主动视觉的摄像机自标定技术以及其他改进的摄像机自标定技术。
基于Kruppa方程的自标定方法
Faugeras等[8]从射影几何的角度出发证明了每两幅图像间存在着两个形如Kruppa方程的二次非线性约束,在求解Kruppa方程的发展过程中,超越最初基于最基本的代数几何概念的算法,改进优化的求解方式,利用Kruppa方程求得多幅图像上的所有像点到对应极线的距离之和,并对这个距离采用LM算法求最小值,就可求出相应的摄像机内参数。基于Kruppa方程的自标定方法不需要对图像序列做射影重建,而是对两图像之间建立方程,在某些很难将所有图像统一到一致的射影框架的场合,这个方法会比分层逐步标定法更具有优势,但代价是无法保证无穷远平面在所有图像对确定的射影空间里的一致性,当图像序列较长时,基于Kruppa方程的自标定方法会不稳定。3.2
分层逐步标定法
鉴于直接求解Kruppa方程的困难,人们提出了分层逐步标定的想法。分层标定法首先对图像序列做射影重建,在此基础上再仿射标定和欧氏标定。
分层逐步标定法特点是在射影标定的基础上,以某一幅图像为基准做射影对齐,从而将未知数数量缩减,再通过非线性优化算法同时解出所有未知数。缺点在于非线性优化算法的初值只能通过预估得到,不能保证收敛性;射影重建时均是以某参考图像为基准,则参考图像的选取不同,标定的结果也不同,这不满足一般情形下噪声均匀分布的假设。分层逐步法在近几年正在逐步成为摄像机自标定的热点,在实际应用中渐渐取代了解Kruppa方程的方法。3.3
基于二次曲面的自标定法
Triggs[9]最早将绝对二次曲面的概念引入到自标定的研究中来,这种自标定方法与基于Kruppa方程的方法在本质上是一致的,都是利用了绝对二次曲线在欧氏变换下的不变性,但在输入多幅图像并能得到一致射影重建的情形下,基于二次曲面的自标定法更具有优势,其根源在于二次曲面包含了无穷远平面和绝对二次曲线的所有信息,且基于二次曲面的自标定方法又是在对所有图像做射影重建的基础上计算二次曲面的,从而保证了无穷远平面对所有图像的一致性。
基于主动视觉的自标定法
基于主动视觉的摄像机自标定方法是摄像机自标定方法中的一个重要分支,所谓的主动视觉系统是指摄像机被精确的安装在可以控制的平台上,通过主动控制摄像机作特殊的运动获得多幅图像,利用图像和可控制的摄像机运动参数来确定摄像机的内参和外参。其代表性的方法是马颂德[10]提出的基于两组三正交运动的线性方法,后杨长江,李华等提出了改进的方案,分别基于4组平面正交以及5组平面正,线性畸变并且把透视变换矩阵中的元素作为未知数,给定一组三维控制点和对应的图像点,就可以利用线性方法求解透视变换矩阵中的各个元素。严格来说,基于摄像机针孔模型的透视变换矩阵方法与直接线性变换方法没有本质的区别。2.3
Tsai[5](1986)给出了一种基于径向约束的两步法标定方法,是摄像机标定的一项重要工作,该方法的核心是先利用RAC(径向一致约束)条件求解除tz(像机光轴方向的平移)外的其他像机外参数,然后再求解摄像机的其他参数。Tsai方法的精度比较高,适用于精密的测量,但它对设备的要求也很高,不适用于简单的标定。这种方法的精度是以设备的精度和复杂度为代价的。2.4
双平面标定法
Martins[6]等首先提出了双平面模型。这种方法不明确使用摄像机模型,它利用的是世界坐标系下的
,该方法定义的视线为从工作场景前后两个平面出发,到图像上某点的连线。给定空间的标定点以及其图像上的对应点,用插入方法可计算出两张图,插入的方法是:对于每个图像上的点,在前平面和后平面上定义两个对应的点,来定义视线向量。在这种方法中,考虑用局部插入,图像用顶点和标定格交点一致的三角形标画,然后在三角形内线性样条插值。这种方法的优点是利用线性方法就可以解有关参数,缺点是要求解大量的未知参数,存在过分参数化的倾向。2.5
张正友标定法[7]
这是一种适合应用的一种新的、灵活的方法。这种方法虽然也是使用针孔模型,但是它的具体标定是在自标定与传统标定之间的一个妥协方法。该方法假设标定用平面图板在世界坐标系中Z=0,通过线性模型分析计算得出摄像机参数的优化解,然后用基于最大似然法进行非线性求精。在这个过程中标定出考虑镜头畸变的目标函数,最后求出所需的摄像机内、外部参数。这种标定方法既具有较好的鲁棒性,又不需昂贵的精制标定块,很有实用性。但张正友方法在进行线性内外参数估计时,由于假定模板图像上的直线经透视投影仍然为直线,进而进行图像处理,获得亚像素精度的点坐标,实际上引入了误差,所以在广角镜畸变比较大的情况下,校正效果偏差比较大。2.6
其他标定方法
针对摄像机标定的研究,许多人提出了更多有实用价值的新方法。这其中包括孟晓桥、胡占义的圆标定方法,其使用模板不同于张正友的矩形平面模板,而是圆环模板。还有吴毅红等的平行圆标定方法。这些新发展的新方法,为摄像机标定提供了更多针对性更强的新方向。
摄像机自标定法
不依赖于标定参照物,仅利用摄像机在运动过程中周围环境的图像与图像之间的对应关系对摄像机进行的标定称为摄像机自标定方法。
Word文档免费下载： （下载1-3页，共3页）
你可能喜欢
全景摄像机标定方法综述_机械/仪表_工程科技_专业资料。ISSN
E―mail:edu dnzs.net.cn http://www.dnzs ISSN
E―mail:edu dnzs.net....摄像机标定方法综述_IT/计算机_专业资料。系统全面的介绍了摄像机标定方法以及各种方法的优缺点。摄像机标定方法综述摘 要:首先根据不同的分类方法对对摄像机标定方法...山西电子技术 综 2007 年第 4 期 述 摄像机标定方法综述李 鹏 王军宁 ( 西安电子科技大学 ,陕西 西安 710071) 摘 :首先介绍了摄像机标定的基本原理以及对...摄像机标定概述_信息与通信_工程科技_专业资料。摄像机标定概述请...1 根据是否需要标定参照物来看,可分为传统的摄像机标定方法和摄像机自标定方法...相机标定算法综述 相机标定算法综述 Name Moonlightran Email randolphingwp@163....现有的 摄像机标定技术大体可以归结为三类:传统的摄像机标定方法和摄像机自...摄像机标定研究_专业资料。目前,摄像机标定是计算机视觉领域中的研究热点之一,其...本文综述了传统标定方法,自标定方法和基于主动视觉的标定方法的研究现状,对其优...摄像机标定的研究_专业资料。对摄像机标定的发展现状进行了综述,根据是否需要标定物体将标定方法分为三类:传统标定方法、自标定方法和基于主动视觉的标定方法,并分别给...摄像机标定的研究曾令虎, 刘鹏( 武汉工业学院 数理科学系,武汉 430024) 要: 对摄像机标定的发展现状进行了综述 , 根据是否需要标定物体将标定方法分为三类 : ...综述(一)什么是摄像机标定 在图像测量过程以及机器视觉应用中,为 确定空间物体...标定的精度不高 摄像机标定技术 线性标定方法 优点:标定精度高 缺点:模型复杂...
更多文档：
本站所有资源均来自互联网，本站只负责收集和整理，均不承担任何法律责任，如有侵权等其它行为请联系我们.
文档下载 Copyright
All Rights Reserved.&&　双目视觉立体匹配算法研究-共享资料网
双目视觉立体匹配算法研究
东北大学 硕士学位论文 双目视觉立体匹配算法研究 姓名:唐麟 申请学位级别:硕士 专业:模式识别与智能系统 指导教师:徐心和
东北大学硕士学位论文摘要双目视觉立体匹配算法研究摘要双日视觉是计算机视觉领域的一个重要组成部分.双目视觉研究中的关键技术摄 像机标定和立体匹配一直是研究的热点. 本文由两部分组成,分别对双目视觉的算法和未标定图像的立体匹配进行了研究 和算法的实现. 在本文的第一部分,首先阐述了摄像机标定的基本原理,然后对双目视觉的理论 进行了研究,同时介绍,一个自己实现的位于移动小车上的双目视觉系统.这个双目 视觉系统利用双目视觉的原理实现对小球的实时定位.在此双目视觉系统的实现中涉 及摄像机标定,视频流捕捉,图像处理和坐标系转换等方面内容. 在本文的第二部分,详细介绍了一种未标定图像立体匹配的算法,编程实现了该 算法并进行了试验分析.未标定图像立体匹配是进行基于图像的三维重建的关键一步. 为了介绍未标定图像立体匹配的算法,在这一部分的开始,介绍了相关的理论知识, 包括对极几何和立体匹配的基本理论.在这个对未标定图像进行立体匹配的算法中, 首先是根据传统理论进行初始匹配,然后用匹配的点对估算基础矩阵,进而恢复对极 线约束,最后,再结合对极线约束进行立体匹配.关键词:双目视觉;立体匹配;摄像机标定;基础矩阵;对极几何;视频流捕捉东北大学硕士学位论文AbstractResearchonthe binocular vision matching algorithmAbstractBinocular vision isallimportant part of computer vision.Camera calibration andmatchingarethe key technologies ofbinocular vision,onThis thesis consists of two parts.One part researches vision and the other studiesathe algorithm of binocularrobust technique for matching two uncalibrated images.The first part of this thesis introduces the basic principle ofcameracalibration,andthen researchescould beonthe theory of binocular vision.At last,a binocular vision system whichausedaonvehicleisrealized.This binocular visionsystem could get thelocalization ofball in real time.This binocular visionsystem includes camera calibration,video capturing,image processingandcoordinate system transformation,etc.But this partdoes not include the knowledge ofmatching.The second partof thisthesisintroducesarobusttechniqueformatchingtwouncalibrated images.This algorithm has been realized and the experiment result is given.Matching uncalibrated images isthis part introduces some theory of matching.And then approach istouse aanimportantstep of image-based 3D reconstruction.At first,knowledgewhich includes epipolar geometry and the theorytechnique for matching two uncalibrated images is introduced.Thistosome classical techniquesfindaninitial set of matches,mad thenarefundamentalmatrix is estimated using the matching sets.More matcheseventually foundby using the recovered epipolar geometry.Key words:BinocularVMCamera CFundamentalMEpipolarGVideo Capture东北大学硕士学位论文第一章绪论第一章绪论1.1引言计算机视觉是计算机科学与人工智能的一个重要分支,在近三十年有了突飞猛进 的发展.可以预言,这种发展势头还将保持一个相当长的时期.原因很清楚,&百闻不 如一见&,视觉信息在人类活动所涉及的各种信息中所占比重最大,由于它独特的空间 特性和结构特性,不能为其它任何信息所代替【11.计算机视觉发展近20多年来有两大事件,一是二十世纪八十年代的Marr计算视觉理论使计算机视觉成为-fl独立科学;二是二十世纪九十年代提出的摄像机自标定 和分层重建思想使计算机视觉走出了低谷. 计算机视觉的中心任务就是对图像进行理解,其中包括对单幅图像的理解,对多 幅图像的理解和对视频图像的理解,理解的是物体的形状,位置和运动信息.从图像 处理与模式识别发展起来的计算机视觉研究方向主要是如何利用二维投影图像恢复三 维景物世界拉J. 计算机视觉使用的理论方法主要是基于几何,概率,运动学与三维重构的视觉计 算理论,它的理论基础包括射影几何学,刚体运动力学,概率与随机过程,图像处理,人工智能等.计算机视觉要达到的最终目的是实现计算机对三维景物世界的理解,即实现人类视觉系统的某些功能. 为了达到计算机视觉的目的,通常有两种技术途径可以利用【21.第一种是仿生学方法,即从分析人类视觉入手,利用大自然提供给我们的最好参考系――人类视觉系统,建立视觉过程的计算模型,然后利用计算机系统予以实现.第二种是工程方法, 即脱离人类视觉系统框架的约束,利用一切可行的和实用的技术手段实现视觉功能. 由于仿生学方法的进展缓慢,现在计算机视觉的研究大多使用工程方法. 计算机视觉有几个核心问题,对于单幅图像,核心是分割问题;对于多幅图像核 心是三维重构问题和运动分析.在基于图像的i维重建中,未标定图像的立体匹配是 关键的步骤. 立体视觉是由多幅图像(一般是两幅)获取物体三维几何信息的方法.对生物视 觉系统,人们早就注意到,几乎所有具有视觉的生物都有两个眼睛.用两个眼睛同时 观察物体时,会有深度或远近的感觉.盘体电影之所以有逼真的深度感,也是仿造了东北大学硕士学位论文第一章绪论立体视觉原理.在立体电影拍摄中,用两个摄像机同时拍摄,而在放映时,将两个摄 像机拍摄的图像同时投影到屏幕上,并利用偏振光的原理,使人的双眼分别看到左右 摄像机拍摄的图像,从而使人感到真实三维场景的立体感I31.在计算机立体视觉系统 中,也可以利用摄像机从不同角度获取同一景物的两幅图像,然后利用三维重建原理, 由计算机重建景物的三维形状,恢复出物体的空间位置信息. 1.2Mart的计算视觉理论框架二十世纪八十年代初,Marc首次从信息处理的角度综合了图像处理,心理物理学,神经物理学及临床神经病学的研究成果,提出了第一个较为完善的视觉系统框架,这一 框架虽然在细节甚至在主导思想方面尚存在大量不完备的方面,许多方面还有许多争 议,但至今仍是广大计算机视觉工作者接受的基本框架.计算机视觉这门学科的形成, 应该说与这一理论框架有密切的关系【31. MalT计算视觉理论有两个核心论点: (1)人类视觉的主体是重构可见表面的几何形状: (2)人类视觉的重构过程是可以通过计算的方式完成的. 下面从几个方面来描述这一理论框架.1.2.1视觉系统研究的三个层次Mart从信息处理系统的角度出发,认为对此系统的研究应分为三个层次,即计算理论层次,表达(representation)与算法层次,硬件实现层次l…. 计算理论层次要回答系统各个部分的计算目的与计算策略,亦即各部分的输入输出 是什么,之间的关系是什么变换或具有什么约束.Mart对视觉系统总的输入输出关系规 定了一个总的目标,即输入是二维图像,输出是由二维图像&重建&(reconstruction)出 来的三维物体的位置与形状.Mart认为,视觉系统的任务是对环境中三维物体进行识别, 定位与运动分析,但这仅仅是～种对视觉行为(behavior)的目的性定义,而不是从计 算理论层次上的目的性定义.三维物体千差万别,应存在一种计算层次上的一般性目的 描述,达到了这一&甘的&,则不管是什么具体的物体,视觉任务均可完成.Marr认为, 这1&目的&,就是要通过视觉系统,重建三维物体的形状,位置,而且,如果在每. 时刻,部能做到这'+点,则运动钉析也可以做剑.对视觉系统的各个层次与模块,Marr 也仞步给出了计算f里论层次t:的}{杯,东北大学硕士学位论文第一章绪论对于表达与算法层次,视觉系统的研究应给出各部分的输入,输出和内部的信息表 达,以及实现计算理论所规定的目标的算法,算法与表达有关,不同的表达方式,完成 同一计算的算法会不同,但Mart认为,算法与表达是比计算理论低一层次的问题,不 同的表达与算法,在计算理论层次上可以是相同的. 最后一个硬件层次,是要回答&如何用硬件实现以上算法&. 区分以上三个不同层次,对于深刻理解计算机视觉与生物视觉系统以及它们的关系 都是有益的.目前计算机视觉的研究工作主要在前两个层次,即计算理论,表达与算法 层次.对于硬件实现,目前只有比较成熟的部分,如低层次处理中的去噪声和边缘抽取; 对简单二维物体识别及简单场景下的视觉方法,已有专用芯片或其它并行处理体系结构 方面的研究与试验产品;从系统上构造一般的视觉系统,虽有一些尝试,但一般并不成 功.1.2.2视觉信息处理的三个阶段Mart从视觉计算理论出发,将系统分为自下而上的三个阶段,即视觉信息从最初的 原始数据(二维图像数据)到最终对三维环境的表达经历了三个阶段的处理【31.第一阶 段构成所谓&要素图&或&基元图&(primary sketch),基元图由二维图像中的边缘点, 直线段,曲线,顶点,纹理等基本几何元素或特征组成;第二阶段,Marr称为对环境的 2.5维描述,2.5维描述是一种形象的说法,意即部分的,不完整的三维信息描述,用&计 算&的语言来讲,就是重建三维物体在观察者为中心的坐标系下的三维形状与位置.当 人眼或摄像机观察周围环境物体时,观察者对三维物体最初是以自身的坐标系来描述 的;另外,我们只能观察到物体的一部分(另一部分是物体的背面或被其它物体遮挡的 部分).这样,重建的结果是以观察者坐标系下描述的部分三维物体形状,称为2.5维描 述.这一阶段中存在许多并行的相对独立的模块,如立体视觉,运动分析,由灰度恢复 表面形状等不同处理单元.2.5维捅述是不够的,事实上,从各种不同角度去观察物体, 观察到的形状都是不完整的,不能设想,人脑中存有同一物体所有可能的观察角度看到 的物体形象,以用来与所谓的物体的2.5维描述进行匹配与比较,因此,2.5维描述必须 进一步处理得到物体的完整三维描述,并且必须是物体本身某一固定坐标系下的描述, 这一阶段称为第::阶段,即三维阶段. 以上前哺个阶段,有些文献称为视觉的低层次处理,或早期视觉.也有人将第一 阶段称为早期视觉.第:阶段称埘}Ij胡视觉.东北大学硕士擎tLC4-L第一章绪论对于表达与算法层次,视觉系统的研究应给出各部分的输入,输出和内部的信息表 达,以及实现计算理论所规定的目标的算法,算法与表达有关,不同的表达方式,完成 同一计算的算法会不同,但Marc认为,算法与表达是比计算理论低'层次的问题,不同的表达与算法,在计算理论层次上可以是相同的.最后一个硬件层次.是要回答&如何用硬件实现以上算法&. 区分以上三个不同层欢,对于深刻理解计算机视觉与生物视觉系统以及它们的关系 都是有益的.目前计算机视觉的研究工作主要在前两个层次,即计算理论,表达与算法 层次.对于硬件实现,目前只有比较成熟的部分,如低层次处理中的去噪声和边缘抽取; 对简单二维物体识别及简单场景下的视觉方法.已有专用芯片或其它并行处理体系结构 方面的研究与试验产品;从系统上构造一股的视觉系统,虽有一些尝试,但一般并不成功.1.2.2视觉信息处理的三个阶段Mart从视觉计算理论出发,将系统分为自下而上的三个阶段.即视觉信息从最初的 原始数据(二维图像数据)到最终刘三维环境的表达经历了三个阶段的处理【3】.第一阶 段构成所谓&要素图&或&基元图&(primary sketch),基元图由二维图像中的边缘点, 直线段,曲线,顶点,纹理等基本几何元素或特征组成;第二阶段,Marr称为对环境的2.5维描述,2 5维描述是种形象的说法,意即部分的,不完整的三维信息描述,用&计算&的语言来讲,就是重建三维物体在观察者为中心的坐标系下韵=三维形状与位置.当人眼或摄像机观察周围环境物体时,观察者对三维物体最初是以自身的坐标系来描述的,另外,我们只能观察到物体的一部分(另一部分是物体的背而或被其它物体遮挡的 部分).这样,重建的结果足以观察者坐标系下描述的部分三维物体形状,称为2.5维描 述.这一阶段中存在许多并行的相对独市的模块,如立体视觉,运动分析,由荻度恢复表面形状等小l刊处理单元.2.5维描述是不够的,事实上,从各种不同角度去观察物体,观察到的形状都是不完整的,不能设想,人脑中存有同一物体所有可能的观察角度看到的物体形象,虬用来与所谓的物体的2 5维描述进行匹配与比较,因此,2.5维描述必须 进步处理得到物体的完整三维描述,并且必颁是物体本身某一固定坐标系下的描述,这骱段称为第=!阶殴.即三维阶段.以上前两个Ijfr段,有些文献称为视觉的低层次处理,或早期祝赏.也有人将第一 阶段称为'一期视觉.鞯j一阶段称山中g;l视觉. 阶段称为早期视觉.稚j一阶段称7.j中期视觉.东北大学硕士学位论文第一章绪论1.3双目视觉lt3.1研究现状如果能从两个不同的位置观察同一物体,我们就能用三角计算方法测量摄像机到该物体的距离.这种方法被称为立体视觉或双目立体视觉(Stereo或BinocularVision),或简称为体视州.对体视的研究从根本上来说有两种不同的目的和方法:一种是为了理 解人类双目立体视觉的机理:另一种是找寻获得距离信息的实用方法.前者寻求人类立 体视觉的计算机模型,它可适用于各种情况,因此需要进行大量的计算;与此相反,后者希望开发可实用的立体视觉系统,由于它是适用于特定的领域,因此通常是不通用的.进入80年代中后期,随着移动式机器人立体视觉研究的发展,大量运用空间几何的方法以及物理知识来研究双目立体视觉,其主要是完成对道路和障碍的识别处理.这 一时期引入主动视觉的研究方法,并采用了距离传感器以及视觉融合技术等,由于这种 方法可直接取得深度图或通过移动获取深度图,因而使很多病态问题变成良态的.此外 在视觉的研究中重视了对定性视觉,有目的的视觉等的研究.上述这些理论和方法的研究有力的促进了相关应用的发展.这些应用领域包括对照片特别是航空照片和卫星照片的解释,精确制导,移动机器人立体视觉导航,医学辅助诊断,工业机器人的手眼系统, 地图绘制,物体三维形状分析与识别以及智能人机接口等芦l【61.在立体视觉的应用方面 不乏成功的例子,如1996年日本成功研制出利用双目视觉来指导机械手动作的樱桃番 茄收获机器人等I 71. 双目视觉中关键而困难的是立体匹配和摄像机标定.这两个方向也一直是研究的热 点. 1.31.1立体匹配 双目视觉的一个难点是要解决两幅图像间的对应关系即匹配.匹配包括两个子问 题:特征检测和特征匹配.常用的匹配特征有特征点,特征线,特征区域,其中以点特 征研究较多.点特征主要有零交叉点,角点和边缘线上的点等.Smithl81提出了著名的 SUSAN角点检测算子,该方法通过对像素周围区域分析,用统计特征来决定该像素的 属性,即该像素是角点,边上的点还是普通区域中的点.NobelI川试图用微分几何给出角 点检测的理论公式,并归纳出了在Plessey算法下的检测原则.1988午Harris和Stephensf】o 对Plessey角点进行了改进,提H{了Harris算予. 特征匹配往往以荻度相似性为基础,辅以对极几何约求或其它约束进行搜索.4东北大学硕士学住论文第一章绪论Baked川和Amold七等提出了以边缘点为匹配特征的匹配算法,并在匹配时首次采用了动态规划技术.Beardsley[131等提取角点作为特征点,运用相关性进行匹配,将匹配的结 果用奇异值分解求取了基础矩阵.Pritchett和Zisserman等[141提出了用单应矩阵 (Homography)取代传统的灰度相似性和极线约束作为匹配的准则,他们近似认为特征 点及其周围小块区域是空间中平面的成像,因此匹配点对之间应近似满足单应矩阵的关 系.另外,他们试图寻找一种整体相似变换,以使两幅图像在相差一个常数因子的情况 下具有最大相关性,根据整体变换,估计图像间局部区域的仿射变换,用局部变换来寻找匹配点.Pfitchte等的方法对某些含有丰富平面信息的图像特别有效.Lhuillier和LongQuan等【&1提出了一种稠密匹配的新策略,该策略综合了以对极几何约束为代表的全局 约束和以灰度相似,单应矩阵为代表的局部约束,在每次匹配过程中,选取当前灰度相 似性最大的匹配对,在它的周围小区域内寻找更多的匹配对,重复这种过程直至匹配对 充满整幅图像,最后再应用对极几何约束去除错误匹配.该方法对于纹理稠密的图像特 别有效,缺陷是精度不高. 1.3.1.2摄像机标定 在计算机视觉领域,摄像机标定是很重要的部分.简单地说,摄像机标定就是通过 一些试验的方法确定摄像机的一些参数.摄像机标定也一直是计算机视觉领域研究的热 点.张正友[161提出一种利用平面模板的标定方法,该方法只需从不同角度对模板拍摄几 幅图像,通过每幅图像的单应矩阵即可计算出摄像机内参数,并可利用反投影法优化求 精.近年来,基于图像序列的自标定方法已经成为标定研究的一个重要方向.Faugeras,Luong和Maybank等叭181首先提出了自标定的概念,从射影几何的角度出发证明了每两幅图像间存在着两个形如Kruppa方程的-次约束,通过直接求解Kruppa方程组可以解 出内参数.鉴于直接求解Kruppa方程的困难,研究者们又提出分层逐步标定的思想, 即首先对图像序列作射影重建,在此基础卜再进行仿射标定和欧式标定.Pollefeys等【191 提出的物体表而自动生成系统运用了可变内参数下的摄像机自标定技术.该系统仅要求 手执摄像机围绕物体拍摄一系列图像,即可自动实现自标定和分层重建.1.3.2存在的问题计算机视觉的问题本质上都是逆问题(inverse problem).输入图像的灰度受物体的 几何特征,材料表面性质,颜色,环境光照及摄像机等许多冈素的影晌,【lJ扶度反推以 j二子种参数是个逆过程,拄往都是非线性的.问题的解不具有}性'性,而lI对噪声或东北大学硕士学位论文第一章绪论离教量化引起的误差极其敏感,所以计算机视觉本身存在一定的病态性.经过近三十年的发展,在Mart的理论框架下,立体视觉取得不少的研究成果.但 随着立体视觉的不断深入,人们发现了Marr视觉理论的局限性,即从景物图像或系列 图像求出景物精确的三维几何场景并定量的确定景物中物体的性质时遇到了困难.在 Mart的理论中,输入是被动的,给什么图像,系统就处理什么图像,整个处理过程基本 上是&自底向上&的,没有反馈.处理的目标是不变的,总是要求出场景中物体的形状 和它们的空间位置和关系.其理论强调表示的重要性以及从不同层次上去研究信息处理问题,在计算理论和算法实现上又特别强调计算理论的重要性.这些理论多数是建立在对人类感知三维信息分析的基础上.尽管这些方法在数学上是可行的,但由于各种干扰 的存在以及逆成像的问题,使得问题本身是病态的.立体匹配作为计算机视觉的重要组成部分,其也带有病态性.现在并没有对所有图像都适用且能取得很好效果的立体匹配的方法.1.4本文主要工作1.4.1本文研究思路本文大致分为两个部分,每部分中不仅阐述基本理论,并且结合理论讲解了具体编程实现过程,同时给出了实验的结果. 在本文的第一部分,在简单地阐述一些有关摄像机标定的基础知识后,具体给出一 个小车上简单的双目视觉系统的实现过程.文中对这个双目视觉系统进行了分析,对其 中涉及的关键技术进行了讲解,并给出了程序示例.在这一部分的内容中并没有涉及到双目视觉的一个难点――立体匹配问题. 在本文的第二部分,主要研究立体匹配问题,并根据文献【20】,给出鲁棒的对未标定图像进行立体匹配的例子.在这一部分中开始的几章,讲述了对极几何以及立体匹配 的基础知识,都是为后面的未标定图像的立体匹配作理论准备.1.4.2论文的结构本论文分为七章,各章内容安排如下: 第一章绪论 阐述了双目视觉的研究背景和研究现状,讨论了立体视觉中涉及到的关键技术和技术难点,最后给出了本文研究主线,论文结构安排和本文所做的主要工作.东北大学硕士学位论文第一章绪论第二章摄像机标定 介绍了传统的摄像机标定的基本理论知识,而摄像机标定在计算机视觉中具有重 要的地位,这一章的介绍为后续的各章节提供了理论基础. 第三章双目视觉 针对已经标定了内参和外参的双目视觉系统进行研究.该章给出了一个简单的位 于可移动小车上的双目视觉系统的具体实现步骤.其中包括视频流捕捉,摄像机标定, 通过图像处理进行特征点提取以及最后的坐标系转换. 第四章立体视觉中双摄像机几何关系 针对立体视觉中双摄像机几何关系进行了研究.包括对极几何,本质矩阵和基础 矩阵的概念,以及估算基础矩阵的一些方法.为后面的未标定图像的立体匹配提供了 一定的理论基础. 第五章立体匹配基本理论针对计算机立体视觉中的核心内容――立体匹配基本理论进行了研究.给出了立 体匹配的一般方法,为后面针对未标定图像的立体匹配方法的研究提供了一定的理论基础. 第六章未标定图像的立体匹配 针对未标定图像的立体匹配算法进行了研究.该章实现了一种鲁棒的匹配算法, 自动完成特征点的提取和匹配.该算法基于文献【20】.首先提取Harris角点作为特征 点,经过灰度相关,松弛迭代和最小中值法,得到一个精确的一一对应的匹配点对集 合. 第七章总结和展望 对论文进行了总结,并对今后工作进行了展望.东北大学硕士学位论文第二章摄像机标定第二章摄像机标定2.1引言三维计算机视觉系统应能从摄像机获取的图像信息出发,计算三维环境物体的位 置,形状等几何信息,并由此识别环境中的物体. 图像上每一点的亮度反映了空间物体表面某点反射光的强度,由摄像机成像几何模 型所决定.该几何模型的参数称为摄像机参数,这些参数必须由试验与计算来确定,试 验与计算的过程称为摄像机标定.摄像机标定的目的是确定摄像机的图像坐标系与物体 空间中的三维参考坐标系之间的对应关系,简单地说,就是求取摄像机的参数.只有当 摄像机被正确的标定后,才能根据图像平面中的二维坐标推导对应物体在三维空间中的 实际位置,或反之. 摄像机模型是光学成像几何关系的简化.最简单的模型为线性模型,或称针孔模型(pin-holemodel).当计算精度要求较高,尤其是当摄像机的镜头是广角镜头时,线性模型不能准确地描述摄像机的成像几何关系. 现有的摄像机标定技术大体可以归结为3类:(1)传统的摄像机标定方法.传统的摄像机标定方法,其特点是需要在摄像机前放一个己知形状与尺寸的物体,称为标定物或标定参照物(reference object),通过建立标定 物上三维坐标己知的点与其图像点问的对应关系,来计算摄像机的内外参数,精度较高. 特点:利用已知的景物结构信息,常用到标定块.优点:可以使用任意的摄像机模型, 标定精度高.不足:标定过程复杂,需要高精度的已知结构信息.在实际应用中很多情 况下无法使用标定块. (2)主动视觉摄像机标定方法.特点:己知摄像机的某些运动信息.优点:通常可以 线性求解,鲁棒性比较高.不足:不能使用在摄像机运动未知和无法控制的场合. (3)摄像机自标定方法.摄像机白标定方法则不需要标定参照物,直接利用从图像序 列中得到的约束关系来计算摄像机的参数,使实时的在线标定成为可能,但是精度不太 高.在某些视觉系统中需要经常改变摄像机的位置或调整摄像机光学系统(如光圈与焦 距),在每次调整后,都需要做摄像机定标.存这种情况下,在摄像}JL-E作环境中放一 个标定块通常是不现实的(例如对存危险场合[作的机器人,人不能进入作业现场), 这个时候,摄像机的自标定就有优势.特点:仪仪依靠多幅图像之刚的对应关系进行标 定.优tL:仅仅需要建蕾图像之问的对应,炎活性强,潜在心J_}】范嘲广.小足:{F线性东北大学硕士学位论文第二章摄像机标定标定,鲁棒性不高. 本章中将对传统的基于线性模型的摄像机标定方法进行详细讲解.2.2摄像机模型标定是基于摄像机模型的,在大部分应用环境中可以用理想的针孔模型来近似实际 摄像机.针孔模型的几何关系就是透视投影.本文主要介绍的是透视投影的几何关系. 空间任何一点P在图像上的成像位置可以用针孔模型近似表示,即任何点P在图像 上的投影位置p,为光心0与P点的连线OP与图像平面的交点.这种关系也称为中心 射影或透视投影. 摄像机标定会涉及各个坐标系之间的转换问题,这些坐标系包括图像坐标系,摄像 机坐标系和世界坐标系.下面会详细叙述各个坐标系之间的转换关系.2.2.1摄像机坐标系和图像坐标系首先定义摄像机坐标系Ⅲ.该坐标系的原点在光心C,工,Y,Z轴由A,Ⅳ,矿决定,其中4为光轴方向,Ⅳ和矿为正交的方向,三者组成右手直角坐标系.三维点在该坐标系中的坐标记为(以,r,乏)7.为了表示透视模型,我们还需要在图像平面中建立图像坐标系M1.其原点位于光轴 和图像平面的交点c(称为主点,principalpoint),两坐标轴与日和y平行且反向. 摄像机坐标系和图像坐标系的关系如图2.1所示:图2ltt-fL模州,图像平面和焦平面Fig.2 I Pin―hole model,image plane and focal plane定义了-摄像机'肛标系乖I图像警标系后,投影模型11T表目i为:东北大学硕士学位论文第二章摄像机标定x:丛乙..:盟z.其中,厂为光心到图像平面的距离,即焦BE;(z,Y)为P点的图像坐标;(以,l,互)为空问点P在摄像机坐标系下的坐标.我们用齐次坐标与矩阵表示上述透视投影关系:XcXZy=r,O―. . . . Ll-●_LrEt I―. . . . L O二0℃ 忍l(2.1)在实际应用中,物体离光心的距离一般都远大于焦距.因此,我们常在光轴上和实 际图像平面关于光心对称的位置上设置一个虚拟图像平面【&,如图2.2所示.并在该虚 拟平面上建立二维坐标系.原点在光轴和该平面的交点,两坐标轴与H和矿平行并且 方向相同.把像平面上的点经过光心对称映射到该虚拟平面上.这样该平面上点的二维坐标与三维点的摄像机坐标同样满足上面的投影模型.以后,我们一一般把此虚拟平面称为像平面【&.幽2.2便州虚{J:l斟像平面的针孔模型Fig 2 2'Yhe pin―hole model using virtual image plane2.2-2摄像机坐标系和世界坐标系由于摄像机t,J'安放在环境中的任何位旨,我们在环境中还选择 个琏准^I皂标系束描述摄像机的付胃,并用它柬描述环境中任何物体的位霄,浚啦标系称勾毗界一殴标系13l.ln东北大学硕士学位论文第二章摄像机标定它由瓦,¨.,Z.组成.摄像机坐标系与世界坐标系之问的关系可以用旋转矩阵R与平移向量t来描述.图2.3摄像机坐标系与世界坐标系Fig.2.3 Camera coordinate and world coordinate因此,空间中某一点P在世界坐标系与摄像机坐标系下的齐次坐标如果分别是(xw,■,乙,1)7与(置,l,五,1)7,于是存在如下关系:x! X. X.r 乏1=剐yw Zw1M匕Z. 1(2.2)其中,R为3×3正交单位矩阵;t为三维平移向量;0=(O,0,O)7;M.为4×4矩阵.2.2.3图像平面上的坐标转换考虑图像平面上的坐标变换,其在实际应用中十分重要,这是因为: (1)像素坐标系的原点不一定与光轴和图像平面的交点(即芏点)重合; (2)像素坐标系中两坐标轴的单位由实际设备的采样率决定,它们不一定相同: (3)像素坐标系中两坐标轴不一定成直角. 为了处理这些问题,我们需要建立图像坐标系和像素坐标系间的变换关系【41. 计算机中进行处理的图像是数字图像.每幅数字图像在计算机内为M×N数组,M 行_v列的图像中的每一个元素(称为像素,pixel)的数值即是图像点的亮度l&.山此, 可以定义像素坐标系. 图2.4炭刁i的是图像平面i:的坐标变换.东北大学硕士学位论文第二章摄像机标定0&0U图2.4摄像机的内参数,图像平面上的坐标变换Fig.2.4 Intemal parameters.coordinate transformationonImage plane如图2.4所示,(c,工,y)是上面介绍的图像坐标系,它是直角坐标系,并且两个轴向上的单位相同.(.,&,v)则是像素坐标系,其原点常位于图像的左上角而不是主点c,像素也常常不是正方形的.令每一个像素在工轴与Y轴方向上的物理尺寸为出,咖,设^.=忑1,kv=1咖,护是&,V两轴的夹角,(‰,%)是c在像素坐标系中的坐标.可以推出: 吒屯cot0sinp OUo0玉vn&(2.3)Ol式(2.3)中,(&,v)表示以像素为尊位的图像坐标系的坐标,(x,y)表示以毫米为单位 的图像坐标系的坐标. 把(2.1)和(2.3)联立,可得,册屯屯cot0‰X?0―k―口,sin00 0 1&雕 ?0 01氍.取.cotOsin00uo0X,r 乙lo盟v00l0 0r 互1(2.4)令d.:几,n.=弦,,即焦距的变化和像素尺度在最终的图像上是不可区分的'4于是,式(2.4)可写为:东北大学硕士学位论文第二章摄像机标定卅吒屯cot臼‰0土vnsin口 0&01雕 ;i] 莩卜0 Od.口,cot0&o0X?0旦vnsin口 0 0l&0I 互1(2.5)O2:2.4归一化的投影关系由于第四章提到的本质矩阵中会提到所谓的归一化投影关系,这里先介绍一下. 当口=90.时,式(2.5)可以写成÷o..dXzcKf lq olOO O1O 0O 1● ● ● ,● Jo÷v0dV,,OO r,Ol ,,● ,● ●JOlOOO1―. . . . L O―. . . .. L O―. . . ..L 以匕乏●(2.6)Xt‰0口,Vo0 1l0雕 ;|]Kz=1龀.em a,=丢～,=丢我们将式(2.7)定义的坐标(',只,1)1称为归一化的图像坐标:州::?&由式(2.6)和(2.7)可以得到r.]『a,o&.-1『&(2.7)互忖一?.0j由式(2.8)得到H『10 00]xcI Zc1(2.8)x.2等',:兰'z.J见,使用州.化'蝰标,年¨,,圳I设缀像机焦距等r 1.在一些文献的摊导-h似东北大学硕士学位论文第二章摄像机标定设焦距为1,其推导过程中的图像坐标都是指归'化坐标&I.在已知摄像机内参数时, 可用式(2.7)将归一化的坐标转换成实际的图像坐标.212.5投影矩阵将(2.2)和(2.5)联立,并进行简化,当口=90.时,有o&.夏1卅o÷%dV00l雕X.OX.匕O●们J副―. . . . L R矿门JU 乙1(2.9)=雕 瓣]盯V匕 Zw1=MlM2X.=MX.式(2.9)中,q=÷,口,=÷:M为3×4矩阵,称为投影矩阵;M.完全由q,口,, 甜&.,v0决定,由ra,,a,,&.,vo只与摄像机内部结构有关,我们称这些参数为摄像机内部参数;M,完全由摄像机相对于世界坐标系的方位决定,称为摄像机外部参数,确定某一摄像机的内外参数,称为摄像机定标【3】. 由式(2.9)可见,如果已经知道摄像机的内外参数,就可以知道投影矩阵,对任何空 间点P,如果已知它的坐标X.=(x.,yw,Z.,1)1,就可以求出它的图像点P的位置(&,V). 反过来,如果已知空间某点P的图像点P的位置(&,v),即使己知摄像机内外参数, (x.,yw,z.,1)7也是不能唯一确定的【31.事实L,在式(2.9)中,M是3×4不可逆矩阵,当己知M与(&,v)时,从式(2.9)中消去乏,只可得到关于瓦,K,乙的两个线性方程,由这两个线性方程组成的方程组即为射线OP的方程,也就是说,投影点为P的所有点均在该射线上,其物理意义可由图2_3看出,当已知图像点P时,由针孔模型,任何位于射线OP上的卒问点的图像点都是P点,因此,该空问点是不能唯一确定的.2.3线-I生模型摄像机标定传统的摄像机定标方法中一般都需要.个放符一摄像机前的特制的标定参照物 (referenceobject),摄像机获取该物体的图像,j}由此汁算摄像机的内外参数….标定参东北大学硕士学位论文第二章摄像机标定照物上的每一个特征点(例如在图2.5的物体上每一个小方块的顶点)相对于世界坐标 系的位置在制作时应精确测定,世界坐标系可选为参照物的物体坐标系(例如图2,5中 立方体的三个棱边分别选为Ⅳ,】,,z轴,并将它们看作图2.3中的世界坐标系的置, 匕,z.轴).在得到这些已知点在图像上的投影位置后,就可以计算出摄像机的内外参 数.X.j甜鞋蚓为投影矩阵M的第i行_,列元素.上式包含三个方程:kZ. 1(2.10)式(2.10)中,(x.,匕,Z.,1)为空间第i点的坐标;(吩,v,1)为第i点的图像坐标;.r/'t.z0&,=m11X.v+m12k+i'1,113Zw.+m】4Zf.vl=历2lX&+m22k+m2,Z.f+埘24乏,=Ⅲ3IY,+m32匕.+州&Z衍十用34 将上面三个式子中的第.式除第三式,第二式除第三式分别消去z.,后,可得到蛐 F两个关于m.的线性方程:x;¨mII+'Y州1 1+ZI,f,M1t+nll4一lliX州m3l―Mfr¨m&一&,zh,m11=lgit?114X…州!I+km,!+z.,,7i11十m14一qx.,埘31一uF..m31一v,Z.,titll=l肿2¨东北大学硕士学位论文第二章摄像机标定上面的式子表示,如果标定块上有n个已知点,并已知它们的空IhJ坐标(置.,k,z.)(f=l,…,H)与它们的图像点坐标(咋,u)(f=1,---,月),则我们有2n个关于M 矩阵元素的线性方程,下面用矩阵形式写出这些方程:―kI0Ll0Z 0l1 00000一&1Xwll一UILI―UIz¨X.l‰z.I1一v]X―v,LI―vIz¨Xw.Y.. Omll 州12 埘13 珊14 巩21Z 0 &im3410000一&.并.一&.I.一&.Z.00彬.气Z.1一嘭/}二一#乇一鬈Z.v1&屯4×Jm22矾23 肼24 m3l 埘32 川33 uwⅢ34(2.11)KⅢ34从式(2.11)可见,M矩阵乘以任意不为零的常数并不影响(x.,圪,乙)与(&,v)的关 系,因此,可以指定m,.=1,从而得到关于M矩阵其它元素的2n个线性方程,这些末 知元素的个数为11个,记为ll维向量m,将式(2.11)简写成Km=U其中,K为式(2.11)中左边2n×11矩阵:m为未知的ll维向量;u为式(2.11)右边的2月 维向量;K,U为已知向量.当2n&1l时,我们可以用最小二乘法求出上述线性方程 的解为 m=(K1K)&K&U(2.12)m向量与m,.=l构成J,所要求解的M矩阵.由上可见,由卒问6个以上已知点的 世界坐标与它们的图像点坐标,我们可求出M矩阵.仵'般的定标工作中,我们都使标 定块上有数}'个已知点,使厅程的个数大大超过未知数的个数,从而用最小.乘法求解 以降低误差造成的影响. 求iBM辞1阵^j,参见参考又献【3],可…公式算Ⅲ摄像机的令部内外参数.J^东北大学硕士学位论文第二章摄像机标定以上介绍了摄像机标定的计算过程,在用真实数据进行试验时,以下问题是需要注意的【引.(1)M矩阵确定了空间点坐标与它的图像点坐标的关系,在许多应用场合(如立体 视觉),计算出M矩阵后,不必要再分解求出摄像机内外参数,也就是说,M矩阵本身 也代表了摄像机参数,但这些参数没有具体的物理意义,在有些文献中称为隐参数 (implicitparameter).在有些应用场合(如运动分析),则需要将M矩阵分解,从而求出 摄像机的内外参数. (2)M矩阵由4个摄像机内部参数及R与t所确定.由R矩阵是正交单位矩阵知,R 与t的独立变量数为6,因此,M矩阵由10个独立变量所确定,但M矩阵为3x4矩阵, 有12个参数,由于在求M矩阵时m,.可指定为任意不为零的常数,故M矩阵由11个参 数决定,可见11个参数并非相互独立,存在着变量之间的约束关系. (3)以上介绍的方法是利用定标参照物上的已知点与它们的图像点坐标来求取M矩 阵.在试验中,需要用图像处理的方法在图像中抽取这些小方块顶点的图像坐标,其方 法一般是用边缘抽取的方法和Hough变换的方法先抽取图中的直线,这些顶点是这些直 线的交点.2.4小结摄像机标定的知识是计算机视觉中的基本知识. 本章介绍了摄像机标定的基础知识,重点介绍了摄像机的线性模型和线性摄像机标 定的方法.其中主要涉及几个坐标系的转换问题.东北大学硕士学位论文第三章双目视觉第三章双目视觉3.1引言如果能从两个不同的位置观察同一物体,我们就能用三角计算方法测量摄像机到该 物体的距离.这种方法被称为立体视觉或双目立体视觉(Stereo或binocularVision),或 简称为体视l…. 本章在对双目视觉的原理进行介绍的同时,详细介绍了一个移动小车上简单的双目 视觉系统的例子.在这个移动机器人上双目视觉的例子中,使用的是两个离线标定好内 参和外参的摄像机,用这两个摄像机运用双目视觉的原理,获得一个待识别物体在世界 坐标系中的位置信息.这里使用的摄像机是Web Camera,也就是普通的网络摄像机; 待获取空间位置信息的物体是一个红色的球.因为是在移动的小车上实现双目视觉系 统,所以,世界坐标系定在固定两个摄像机的支架上. 在设计和实现一个双目视觉系统的过程中,将会涉及到视频流捕捉,图像处理,摄像机标定和双目视觉基本原理等方面的知识.对本章中将提到的双目视觉系统简单介绍如下:首先,运用DirectShow技术进行视 频流的捕捉,方法是编程建立两条filter graph,分别对应两个Web Camera的视频流捕 捉.然后,在捕捉预览视频流的同时,截取所需的图像数据,将截取的图像数据实时的 放到内存区域中,并分别对存放在不同内存区域的两个摄像机的图像数据进行图像处 理,找到目标(在这个简单的双目视觉系统中目标是一个红色小球的球,tL,)分别在两个 摄像机所得图像中的图像坐标.最后,运用双目视觉的理论进行计算,得到目标点在世 界坐标系中的位置信息. 实际的工作是,在对视频流进行捕捉预览的同时,对截获的帧进行图像处理,提取 小球在两幅图像中的位置信息,进行融合.整个处理的过程是实时进行的,不是离线的 对单独的两幅图像的处理.3.2视频流捕捉视频图像采集与处理在实时图像处理系统占有重要地位'&1.比如车辆检测,乍牌号 码识别,人舱检测等系统均要求对实时的视频蚓像系列进行采集和处理.在一个计算机 烈目视觉系统中,图像的获取也是其中'个不t叮缺少的环宵,当前,在Windows平台 F丌发视频心朋程序,般果用两种方式: 利?是雏r矾频采集tz-所附带的二次软件丌发东北大学硕士学位论文第三章双日视觉包sDK(Softwaredevelopmentkit)进行.视频采集卡一般提供了特定品牌和型号的动态连接库和开发工具包.这种方式的优点是应用方便,容易上手,缺点是对硬件的依赖性较 强,灵活性差,且功能参差不齐,不能充分满足各种视频应用程序的开发需要.另一种方式是用VFW(Video For Windows)或DirectShow.vFw和DirectShow都是 现有的windows平台上流媒体捕捉和处理技术.相对于,,】隔,,DirectShow有灵活性等优点. 在VFw和DirectShow出现之前进行实时视频的采集是一件很麻烦的事情,现在我 们在很小的硬件投资下就可以进行包括视频邮件,网络电话等多媒体视频应用的开发. 但是,在某些工程项目的开发应用(如视频监控等)中,使用特定的视频采集硬件进行处 理的效率更高,在实际的视频监控的开发中,如果使用DircctShow进行采集显示,在多 画面的时候就会感到画面不流畅,系统运行速度缓慢,要得到良好的画面质量必须进行 硬件辅助.所以在进行实际开发中,开发人员应该灵活选用各种方法【231.3.2.1用VFW捕捉视频流在Ⅵ7w(,丘deoForWindows)出现之前,捕获和处理数字视频是一项复杂的工作.Microsoft推出的数字视频处理软件开发包vFw给视频处理带来了极大便利,它能把模拟视频转换为数字信号并进行播放.ⅥW的特点是播放时不需要专用硬件.Windows操作系统本身包括了Video forWindowl.1,当用户在安装Windows时,安装程序会自动地安装配置视频所需要的设备驱动程序,视频压缩程序等五.VFW给用户提供的AVICap窗El类可以协助开发人员对实时视频进行编辑操作. AVICap能够直接访问视频缓冲区,而不需要生成中间文件,具有很强的实时性{231.3.2.2用DirectShow捕捉视频流在Windows平台上实现视频捕捉的传统处理方法是采用Ⅵw(Video For Windows)函数.这种传统的编程模式落后于目前占主导地位的面向对象程序设计.DirectShow是 微软公司提供的一套在Windows平台上进行流媒体处理的开发包,使流媒体处理变得更 加简单和高效.使用DirectShow可以对视频流进行采集和回放.它支持几乎所有的多媒 体格式(如ASF,AVI,MPEG等).DirectShow是一个基于COM的系统,由许多模块化的 组件组成.Microsoft为每一个进行处理的组件取名叫过滤器(filter).每个过滤器完成一 定的功能,如专门负责采集视频的过滤器,专门进行编码/解码的过滤器.应用程序的任 务便是把完成系统功能的众多过滤器组合起来,一个过滤器的输出连接剑另一个过滤器19东北大学硕士学位论文第三章双目视觉的输入,形成所谓的过滤器图表(Filter Graph).开发人员在开始编码前,可以使用 GraphEdit应用程序来对选用的过滤器进行测试.按照系统需求选用的过滤器图表能否 工作,在GraphEdit程序中就能够测试出来. 在本章描述的双目视觉系统实现中,由于采用的是普通聊天用的USB接口Web Camera,因此若要对其在Windows平台下进行视频流捕捉,只能采用vFw或者 DirectShow技术.因为DirectShow技术所具有的优势,这个双目视觉系统中采用的是 DirectShow技术. 为了实现两个摄像机对视频流的捕捉,编程建立了两个filtergraph,每个filtergraph 分别对应一个Web Camera,用于实现视频流的捕捉预览和对视频图像的截取工作.程 序最后将对视频图像处理的结果再实时的显示出来.3_3摄像机标定在本章描述的双目视觉系统中,两个用于捕捉视频流的摄像机之间的位置关系是相 对固定的,两个摄像机的内参和能表征两个摄像机相对位置关系的外参是离线标定好 的.在第三章中讲述了摄像机标定的基础知识,在这个双目视觉系统中,在对两个摄像 机离线标定内参和外参时直接采用的是MATLAB罩面的摄像机标定工具箱. MATLAB中的摄像机标定工具箱采用的算法是张『F友提出的.张正友的平面标定 方法是介于传统标定方法和自标定方法之问的一种方法.它既避免了传统设备要求高, 操作繁琐等缺点,又比自标定方法精度高,符合办公,家庭使用的桌面视觉系统的标定 要求.张JE友标定算法的缺点是进行识别需要确定模板上点阵的物理坐标以及图像和模 板之间点的匹配. 这罩需要强调一点,使用MATLAB的摄像机标定工具箱标定摄像机得到的外参是 针对一个特定的世界坐标系的,这个世界坐标系的原点在用来标定外参的棋盘格』二,这 在标定工具箱的帮助文档中有详细的说明. 使用MATLAB中的摄像机杯定T具箱能直接标定得到摄像机的内参和外参.根据 分别得到的摄像机的内参矩阵和外参矩阵,投影矩阵可以经过简单的矩阵运算如F得到, M=M.M: (:j.1)式(x 1)中,M.为摄像机的内参矩阵,M:为摄像机的外参矩阵,M为摄像机的投 影矩阵.{二是只要有摄像机的内参和外参矩阵,就¨J以通过J℃(3.1)计算得到摄像机的东北大学硕士学位论文第三章双目视觉投影矩阵.两个标定好内参和外参的摄像机,根据式(3.1)能分别计算出相应的两个投 影矩阵.而当得到这两个投影矩阵后,根据双目视觉的理论,只要再知道空问点在两个 摄像机所拍摄图像中的具体位置(即空间点在图像坐标系中的坐标),就可以求取空间 点在世界坐标系中的具体位置了. 两个摄像机的内参单独标定,根据摄像机标定的基本原理,可以知道内参确定的时 候并不涉及世界坐标系的选取问题. 在标定外参的时候,首先要把两个摄像机固定,也就是要把两个摄像机之间的相对 位置固定下来,具体固定成什么样子,要考虑到实际的需要,比如视野范围,具体精度 等等.上海交大在理论上对双目视觉系统的测量精度和系统结构参数之间的关系做了分 析,其通过试验指出:对某一特定点进行三角测量,该点误差与两个摄像机的光轴夹角 是一个复杂的函数关系.在满足测量范围的前提下,应选择两个摄像机光轴之间的夹角 在50.到80.之间. 在确定摄像机之间的相对位置时,需要注意下面几点: (1)不一定要将两个摄像机固定成光轴平行的形式,并且一般情况下,这样的配置很 难做到,因为,没有办法看到摄像机的光轴. (2)可根据所要求的两个摄像机的公共可视区域的大小,定两个摄像机之间的夹角. (3)两个摄像机光心之间的距离称为基线(baseline)长度.分析表明,基线长度越长, 得到的目标点在世界坐标系中的位置的相对误差越小.但基线长度不可太长,否则,由 于物体各部分相互遮挡,两个摄像机可能不能同时观察到目标点'31.可是,实际上,摄 像机的光心无法看到,所以,只有直观的看两个摄像机之间的位移. 图3.1是固定的两个摄像机的示意图.其中,夹角和基线的长度,应该根据实际需 要试验决定. f../\jJ?''i'?.| P■舆Fig 3 I ruoC:111]CI'a 'l鳃,fixed at certain position劁3 l州一i的两个成'定夹角的摄像机东北大学硕士学位论文第三章双目视觉3.4图像处理双目视觉中的一个重要的步骤是获得两个摄像机图像中的匹配点对.具体的点对匹配的算法会在第五章中给出理论描述,一个立体匹配的实际例子也会在第六章中给出. 在这里并不涉及立体匹配的知识.在这个简单的双目视觉系统中,目标仅仅是运用双目 视觉中空间点重建的原理获取红色小球在世界坐标系中的空间位置信息.由于球是曲 面,在不同位置看到的边缘并不是球面的同一个地方,因此不能用小球的边缘作为匹配 的特征,只能用小球的球心作为匹配的特征.在捕捉视频流,并截取视频流获得图像后, 实现这个双目视觉系统的下一步工作是要获得小球的球心在两幅图像坐标系中的位置. 为了从图像中获得有用的信息(在这个双目视觉系统中是获得红色小球的球心)需 要进行图像处理的工作. 从Web Camera中捕捉到的图像是彩色的,而用于识别的小球近似为红色,因此,考虑采用基于颜色的图像分割处理技术.通过图像分割,先把小球尽可能完整地找到,然后,对所有像素的坐标值进行平均处理,得到小球的球心. 为了获得小球的球心,所进行的图像处理的具体步骤简单列出如下: (1)颜色空间转换.需要将RGB颜色空间转换到更利于进行基于颜色的图像分割的 HSI颜色空间.为了实时性的要求,参照参考文献【24】提出的快速HSI变换,进行了颜 色空间的转换, (2)区域生长.首先是种子点的选取,用s值和H值共同确定种子点.进行种子点 的选取的时候,S值和H值共同设定的阈值比较的严格.然后进行以种子点为基点的区 域生长,这个时候设定的s值和H值的阈值适当比当初选择种子点的时候,给定的阈值 范围要广些. (3)腐蚀膨胀.用形态学中的腐蚀膨胀算法进行图像处理的目的是为了得到一个比较 完整的球,即把属于球的像素点都尽量找到.只有这样,用对属于小球的全部像素点的 坐标值求均值的方法求取小球球心的时候,才能比较的准确.使用形态学中腐蚀算法进 行图像处理的目的是去掉杂乱的小的点,由于摄像机的质量和使用的环境因素,这些杂乱的小的点在很多情况下都可能是噪声或者是干扰.使用形态学中膨胀算法进行图像处理的目的是填充之前图像处理步骤遗漏的小球内部的空隙,使找到的小球更加完整. 经过上面描述的图像处理的步骤后,目标点(小球的球心)在两个摄像机的视频图 像中的图像坐标已经可以比较准确的得到.下面就可以方便的用双目视觉的原理求取目 标点在世界坐标系中的位置信息了.,2东北走学硕士学位论丈第三章双目视觉3.5球心在世界坐标系位置的获取假如我们能得到物体表面上所有点的三维坐标,则三维物体的形状与位置就是唯一 确定的.在有些简单的场合,例如三维物体是一个多面体,我们只需要知道它的各个顶 点的三维坐标与相邻关系,则该多面体的形状与位置也是唯一确定的I 31. 进行图像处理后,小球的球心在两幅图像的像素坐标系中的具体位置已经得到,这 时可以用双目视觉中空间点重建的理论得到小球在设定的世界坐标系中的坐标. 用立体视觉的方法获取三维点的坐标(我们称之为基于点的三维重建)是最基本的, 也是最简单的¨J.首先,我们假定,空间任意点P在两个摄像机c1与c'上的图像点只与 P.已经从两个图像中分别检测出来,即已知P.与岛为空间同～点P的对应点.我们还假定,q与C2摄像机已标定,它们的投影矩阵分别为M,与M,.于是有IX3】制饿基my(3.2)Z, xy乙2|l坍Ⅲ三 埘刍 2,;]Ⅲ三 删毛埘三1川三l(3.3)Z●―. . . . L %%● ,-●_ | I1―. . . . L埘m三m三喊j其中,(&l,V1,1)与(&:,匕,1)分别为P.与P:点在各自图像中的图像齐次坐标;∞,Y,Z,1)为P点在世界坐标系下的齐次坐标;Ⅲ:(k=1,2:i=t,2,3:/=1,2,3,4)分别为M.的第i行第J列元素.从(3.2)和(3.3)中,分别可以削去Zf.和乏:,得到关于X, Y,Z的四个线性方程:(%m;,一m11I)x+(¨州!:一Ⅲ护+(鸭埘b一删抛=埘j.一虬优;.(um:,一肌:.)x+(vl用;:一优::)y+(v1埘毛一m:I,)z:埘:.一v1硝.(3.4)(&:卅32-一COx+(%m;'2一卅己)J,+(&:州扩2卅己)z=肌矗--b12Dl三 (K聊i一Ⅲ22I)x+(KHi三一m;2)Y+(v!Ⅲ323一Ⅲ刍)z=Ⅲ22.一V2DIf4(3.5)由解析几何知,三维卒问的平面方程为线性方程,两个平面方程的联立为空间直线 的力程(浚卣线为两个平面的交线),式(3.4)(式(3.5))的几何意义是过q只(或qP!) 的直线.&l于窄问点P是0lp.与aP,的交点,它必然同时满足上面的4个式子.因此, 找们可以把}:面的式f联●:求}十;P点的屯标(X,Y,Z1.也就是说,{:由肼J式f中,只有东北大学硕士学位论文第三章双目视觉三个独立方程,这是因为我们已经假设P.与P:点是空间同一点P的对应点,因此已经 假设了直线01A与直线02p:一一定相交,或者说,四个方程必定有解,而且解是唯一的'31. 在实际应用中,由于数据总是有噪声的,我们可以用最小二乘法求出Ⅳ,y,z. 以上介绍了用立体视觉方法计算空间点在世界坐标系中位置的方法.空间点被看作 空间三维物体的基元.基元点可以是物体表面上的任何点,但我们一般只能取物体表面 的特殊点(例如多面体的顶点),因为这些特殊点的图像的特征比较容易在图像中计算 出来,用以确定对应关系.基元不一定是点,空间物体表面上的几何元素都可以取为基 元,例如多面体表面上的棱边,圆柱体两头的椭圆曲线等.原则上,有了点的重建方法, 其它的基元可以将其上的点逐点重建出来后,用曲线拟合的方法得到,但这样做必须在 图像上逐点寻找匹配对应点,逐点重建三维点,计算时间较长.所以,有直线基元与平 面曲线基元的整体重建方法.所谓整体重建就是在己知基元图像在图像坐标系下的表达 的条件下(若基元是直线或二次曲线,这种表达就是它们的图像在图像平面上的方程), 重建它们在三维坐标系下的表达.在这个双目视觉系统中只涉及到点的三维重建. 我们可以看到,在用立体视觉重建三维点时,只要已知两个摄像机的投影矩阵M.与 M,,并不需要分解两个摄像机的内外参数. 通过式(3.4)和式(3.5),只要已知两个摄像机的投影矩阵并且已知待求空间点在两 个摄像机上产生图像的坐标,就可以用最小二乘法计算出空间点在世界坐标系中用x, y,Z表示的位置信息. 通过上面的叙述,可以知道,用于进行双目视觉定位的两个摄像机之间的位置是任 意的,在满足定位需求的前提下,夹角任意,基线长度任意,只是在标定两个摄像机外 参的时候,必须把两个摄像机之间的位置确定下来.对设置好位置的两个摄像机进行外 参数的标定,其实,就是要寻找两个摄像机之间的位置关系和两个摄像机相对于世界坐 标系的关系.3.6坐标系转换山上面的步骤计算出来的小球球心的坐标是相对于标定两个摄像机的外参时设定 的世界坐标系.对于位于移动的小车L的双目视觉系统,虽然在用MATLAB标定1具 箱进行摄像机标定时,世界坐标系是固定的,但这个m界坐标系并l:能随着小车移动, 因此把球的化置定为基于一个4i会随着小车一起移动的坐标系是不一tJi|}1(的.这时只何通 过嫩标转换,把世界坐标系的原点定在II口14随小4.'起移动的位瞢}:ll|f&j小午:移动东北大学硕士学位论文第三章双日视觉时,固定在支架上的两个摄像机相对于支架的位置不会变化,所以,在这个双目视觉系 统中把世界坐标系的原点定在放置两个摄像机的支架上,位于两个摄像机的中间位置. 由于重新定了世界坐标系的位置,这个新定下的坐标系和原先标定外参的坐标系之 间有一个转换的关系,所以需要对原先标定好的表征摄像机外参的矩阵进行一下坐标变 换,转换到自己定义的新的世界坐标系下,得到一个新的外参矩阵.最后,再用内参矩 阵和这个新的外参矩阵的乘积求出投影矩阵. 下面进行两个坐标系之间的变换推导.Cw壬圈圈3.2Matlab标定外参时定下的世界坐标系和依据实际需要定义的坐标系Z问的关系Fig.3.2 The relationship between the world coordination determined by Matlab and the world coordination determined for the need ofthe bmocular system如图3.2所示,对坐标系转换的推导如下:令X.=k Yc乙l】1是摄像机坐标系下的坐标;x.=【k Y.z.1】1是用MATLAB分别对两个摄像机进行外参标定时候定义的世界坐标系;X.=hY.z.1】1是自己定义的世界坐标系的位置,可以将这个坐标系定义在小车上.矩阵c―W表示MATLAB标定完后,以x.为世界坐标系的情况下,得到的外参矩阵. 当用MATLAB分别对两个摄像机进行外参标定后,有下面的关系式:XwCWy.Zw(3.6)1^A只:H(3 7)1在式(3_7)中,,与用MATI.AB标定工其箱标定外参时设定的iff:界坐f,J,系和n已后采东北走学硕士学位论文第三章双目视觉定义的世界坐标系(可以定在小车上)已知的情况F,矩阵A是已知的. 对应于自己薪定义的世界坐标系,从摄像机坐标系到世界坐标系之间有如下的关系:工f■y.Zf=My.Z月(3.8)11式(3.8)中,M.就是最后对应自己定义的世界坐标系的摄像机的外参矩阵. 联立式(3.6)和式(3.7)有'yc C石w■=CWy.ZwWAy.Z月(3.9)乙1l1比较式(3.8)和式(3.9)可以推导出, M.=C―WA(3.10)式(3.10)中,矩阵C_W是用MATLAB标定外参后,给出的外参矩阵,A表征的是 用MATLAB工具箱标定外参时设定的世界坐标系和自己后来定义的世界坐标系(可以 定在小车上)之间的转换矩阵.M.就是最后对应自己定义的世界坐标系的摄像机的外 参矩阵. 根据式(3.10),将两个摄像机的外参矩阵都变换到自己定义的世界坐标系下.这样, 只要得到要检测的点分别在两个摄像机图像中的坐标,就可以用3.5节中介绍的计算点 的空间坐标的方法,确定要检测的点在自己定义的世界坐标系下的位置了.3.7程序示例图3.3是这个双目视觉系统运行时的程序界面截图.这是用VC和专门进行流媒体 处理的DirectShow技术在普通PC平台上编写并凋试的实现双目视觉定目标点位置的算 法程序的程序界面.其中用DirectShow技术实现对两个Web Camera的视频流捕捉,并 实时对截取到的视频流巾相应图像进行图像处理,把图像处理的结果和最后通过双目融 合计算得到的物体在世界坐标系中的位置实时显示}{=j来.图30展示了存Pc平台h Jt:发 的实时捕捉视频流,然后图像处理,最后双目融合测距的程序.程序界tfli的L面四个窗 厂】叶1,最上断的两个是通过1)iFOCtShow技术,实时捕捉到的视频流的图像,F面的两东北大学硕士芋位论文第三章双目视觉个窗口显示的是通过图像处理,识剧出小球,并找到球心,将球心标出的图像;程序界 面的右部是埘摄像机的控制和摄像机内参和外参的设置;程序界面的最下面是处理得到 球在世界坐标系中的坐标值,单位是毫米.图3t3中的最大误差是ll毫米.因为试验是在较为复杂的环境中做的,面对众多的{扰因素,图像处理的效果会有影响,检测到的图像中小球的球心就会有影响,因此有时候可能会达到20毫米的误差(相对F 1米的 实际距离).影响这个双日视觉系统精度的因素是对用于双目视觉的摄像机的标定精度 和目标点在图像中的坐标的位置检测精度.图3.3双H视觉在VC和Pc平台上开发的演示程序Fig.3.3 The demo ofbinocular vision system developed by VCOilPC3.8小结本章中用一个简单的基于小车的双目视觉系统为例讲述了双目视觉的基本理论和 需要注意的问题.本章巾的笑键技术是视频流捕捉,图像处理,用双目视觉算法实现空 间点的定位等理论. 本章通过以…个为红色小球定位的莽f小车的般目视觉系统为例子,对舣目视觉中 所涉及的基础理论和关键技术进行了介绍,包括摄像机标定,视频流捕捉,图像处理, 双目视觉实现窄问^的定位和坐标系的转换等内容.东北大学硕士学位论文第四章立体视觉中双摄像机几何关系第四章立体视觉中双摄像机几何关系4.1引言本章的研究内容是立体视觉中双摄像机的几何关系,本章的工作是为第六章的未标定图像的立体匹配做理论基础.4.2对极几何(Epipolar Geometry)同一世界坐标系下的同一物体的图像问存在一种几何上的对极约束关系.对极几何就是研究两幅图像之间存在的几何关系.它和场景结构无关,只依赖于摄像机的内外参 数.在立体视觉中,可以利用图像点的匹配来恢复这种关系.反过柬,可以利用这种关 系来约束匹配,使得对应点的搜索范围由二维平面降低到对应一维对极线,使得匹配的 鲁棒性,精度都得到很大的提高. 考虑空间上一点P,其在光心为O的摄像机上成像点为P,在光-13为‖的摄像机上 成像点为P'.P,P',P,O和01这5个点在由两条相交光线OP和0'P定义的平面上, 这个平面称为对极平面(epipolarplane).特别的,点P'位于直线,'上,而直线,.是对极平 面和第二个摄像机的视平面兀1的交线.直线,.是与点p相关联的对极线(epipolar line), 它经过点e'.e.是连接两个光学中心O和O'的基线(baseline)和平面玎'的交点.同样,点 P位于与点P'关联的对极线,上,且浚对极线经过基线与平面n的交点e.幽41对檄儿何:空间上一点尸.两个摄像机的光心0和D,点P的两个像点p和p付rI叫,F面I.F19.4 1 Epipolar geometry:17he point尸,the optical centersOPandO'of the two cameras,andthe two image pointsP andPof pointall lie in the same plane东北大学硕士学位论文第四章立体视觉中双摄像机几何关系点e和e.称为两个摄像机的对极点.对极点e'是第二个摄像机观察到的图像中第一 个摄像机的光学中心0的投影,反之亦然.如上文所描述的,假如P和P.是空问同一个 点P在两个摄像机上的像点,那么P.肯定是在跟P相关联的对极线上.这种对极线约束 是立体视觉和运动分析中的基本原理1251. 若假定已经知道立体视觉中两个摄像机的内部和外部参数,在立体视觉分析中,最 困难的部分是建立两幅图像的对应关系,也就是说,确定第二幅图像上的哪些点与第一 幅图像上的哪些点匹配.对极线约束在很大程度上限制了寻找这种对应关系的搜索范 围;事实上,既然我们假定该设备是标定过的,那么点P的坐标完全决定了连接D与P 的光线,并且由此决定了对极平面00+P和对极线【25】.对匹配的搜索能被限制在这条线 上,而不是限定在整幅图像上.在两帧运动分析中,每个摄像机的内部参数可能己标定, 但是两台摄像机坐标系统之间的位置变换并不知道.在这种情况下,对极几何明显约束 了移动的可能范围.圈4.2对极线约束:假定一个已经标定过的立体视觉系统,可能与点P相匹配的点限定丁-相关联的 对极线f'上Fig.4.2 Epipolar constraint:Givenacalibratedtostereorig,thesetofpossible matches for the pointP isconstrainedlineonthe associated epipolar line,'下面将对极几何中的基本概念总结如卜-: (1)摹线(baseline):连接两个摄像机光心0和0.的直线. (2)对极点(epipole):基线与像平面的交点. (3)对极平面(epipolar plane):过图像匹配点对和基线的平面. (4)X'j-极线(epipolar line):对极平面!o图像平而的交线.东北大学硕士学位论丈第四章立体视觉中双摄像机几何关系4.3本质矩阵(Essential Matrix)假定两个摄像机的内部参数都已经知道,要推导归化坐标系中的对极线方程,令 p和p.分别为两幅图像中的图像点的归一化坐标,且它们为匹配点对从图4 1中可见,对极线约束说明了三个向量一o/,,o'p和oo'共面.等价的,其中一个向量在其它两个向量所在的平面上,即ob?[oo+×o'们=o我们可以使用与第.台摄像机相关联的坐标系,将这个方程改写为 p.【t×(R0+)]_0 (4.1)式(4.1)中,像平面上的点用其归一化坐标表示,p=(&,v,1)1.且p'=(&.,v+,1)7,分别 表示点P和P'的归一化图像坐标向量.t是区分两个坐标系的坐标平移向量OO..R是 旋转矩阵,即在第二个坐标系统中坐标为W'的自由向量,在第一个坐标系中的坐标为 Rw..这样,两个投影矩阵在第一台摄像机所对应的坐标系(也就是坐标系的原点在第 一台摄像机的光心)的表示为(Id,0)和(R1,.R1t). 式(4.1)最后可以写成西7蹄'=0式(4.2)称为归一化坐标系中的对极线方程.(4.2)在(4.2)式中,E=It.IR.la.】表示反对称矩阵,【a.lx=a×x是向量a和x的叉积. 关于反对称矩阵,有如下定义:如果t为二维向量,t=(',ty,t)1,称下列矩阵为由 t定义的反对称矩阵,记作【t.l,有№.:心-.t√t,]l一'fro式(4.2)中,E称为本质矩阵(essential matrix),其最早由Longues―Higgins在1981 年由从运动到结构的求解中导出.该矩阵是一.个秩为2的3×3矩阵,白山度为5,仅由 两个摄像机之间的旋转和平移决定.它的9个系数只足定义到了比例天系,可以通过旋 转矩阵R的3个'J由度和决定平移li_1J最t方向的两个自由度来参数化.式(4.2)还描述了 点P位于Lj向量ED'表示的对极线}:.相应的,向量E1西表示了在第二幅图像中Lj点P关联的对极线.东北犬学硕士学位沦文第四章立体视觉中双摄像机几何关系4.4基础矩阵(Fundamental Matrix)本质矩阵表示了两个摄像机之问位置的天系,适用于已标定内部参数的摄像机.若 内部参数未知时(即非标定的摄像机),如下推导对应像点之间的关系. 由式(2.7)知:p=Kp p=K P(4.3)式(4.3)中,K和K'是3×3标定矩阵(即两个摄像机的内参矩阵).P和P是归一 化的像点坐标向量.把式(4.3)代入式(4,2)中,推导得到pTK.7EK''…P=0上式中,令F=K1EK,',则有:p'Fp'=0(4.4)式(4.4)中,p和p'是表征匹配点对的图像坐标向量,P为第一幅图像中的点,P'为 第二幅图像中的点. 矩阵F=K―tEK.称为基础矩阵.通常它的值并不等于本质矩阵f251,它的秩为2. 注意到,Fp'表征了点P'在第一幅图像中对应的对极线,同样,Frp表征了点P在第二 幅图像中对应的对极线.综上,可知,若p和p'是一对对应点,则有p1Fp'=0,反之, 不成立.在两幅图像之间,基础矩阵能将点P映射为对应的对极线,将对极点映射为0, 可是,不能提供对应点间的一一对应. 基础矩阵仅仅有7个独立的参数.对基础矩阵的参数化有多种方法,基础矩阵的参 数化,对后来的估计基础矩阵的精度有影响. 从上面对基础矩阵的推导过程可知,对极几何关系在数学上可以用基础矩阵F来表 示,因此,对极几何问题就转化为对基础矩阵F的估计问题.精确的计算F对于标定, 寻找精确匹配和三维重建都有重要意义. 基础矩阵有下述基本性质:(1)F为基础矩阵当且仅当F满足式子p1Fp'=0.且rank(F)=2,F的白由度为7;(2)极点e满足F1e=0,极点e.满足Fe.=0; (3)F在相筹一个非零常数凼子的情况下是唯一的.东北大学硕士学位论文第四章立体视觉中双摄像机几何关系4.5基础矩阵的求解4.5.1引言基础矩阵包含了两幅图像中的所有几何信息,是分析由两个没有被标定的摄像机拍 到的场景的基本工具.该矩阵独立于场景结构.只利用两幅图像中的对应点就可以计算 基础矩阵,而不必知道摄像机的内部参数和相对位姿.基础矩阵可以用在计算机视觉和 图像处理领域,如运动估计,三维重建,图像校正等等.因此精确的,鲁棒的估计基础 矩阵是非常重要的【&1. 目前已经有许多利用未标定图像问的对应点来估算基础矩阵的方法,它们可以分为 三类'26】:线性方法,迭代方法和鲁棒方法.线性方法的优点是计算时间少,而迭代方法 和鲁棒方法可以得到更精确的结果,但是,相当耗时.线性方法可以为迭代方法提供较 好的初始值.鲁棒方法实际上就是线性方法的反复使用,在使用过程中通过引入一个权 值不断的去除错误的匹配.4.5.2八点法在文献[27】中,Longuet-Higgins提出了估计本质矩阵的8点法.那篇论文中,本质 矩阵的估计是针对标定过的摄像机的.8点法的优势在于,它是线性的,这样在具体的 算法实现上是容易的,且运算速度快.简单易行在于,只要知道了8个匹配点对,那么 就可以得到一个线性方程组.而如果有多于8个匹配点对,就可以用线性最小二乘法进 行求解.本质矩阵的特性在于它表征了两个已标定摄像机之间的对极线约束关系.这样, 显然,用于估计本质矩阵的同样算法也可以用来估计表征未标定摄像机之间对极线约束 关系的基础矩阵【&I. 本节会详细描述用来估计基础矩阵的传统的八点法.4 521线性运算 传统的估计基础矩阵的8点法是对基础矩阵进行估算的线性估计法. 基础矩阵由式u―Fu=0定义.其中,F是基础矩阵,U=(&,v,1)1,U.=(&',v',1)1,n'÷÷u是两幅图像中的匹配点对.假设有足够的匹配点对u'Hu(至少8个),那么上面的式子,就可以用来计算未知的F矩阵.每+匹配点对都对应求解F矩阵的.个线性方程, 这个方程的系数可以很容易的由11和U的坐标值得i_|=j.具体的,.i每一匹配点对(&,v,1) 和(&,,,,I)对应的方程为【2{jJ:东北走学硕士学位论文第四章立体视觉中双摄像机几何关系 (4.5)UU'E1+UV'F2l十&B1-I-VU.F12+VV'k+vk+Ⅳ'E3+v'k十E3=0于是,相应方程组的系数矩阵的每一行都可以被表示成一个向量的形式:uu',&v',&,埘',w',v,H1,v',1),&.6) 考虑所有的匹配点对,我们可以得到一个用矩阵形式表示的线性方程组,如下:Af=0 (4.7)式(4.7)中,f是一个由F矩阵的系数组成的9维的向量,A是包含了匹配点对信息 的矩阵.基础矩阵F和解向量f是在未知尺度上定义的(tg就是说,其上的系数是相关 的).为了避免f的冗余解,我们规定如下约束:||f||=1 式(4.8)中,IIfll是f的范数.另一种避免f冗余解的方法是令k=0.(4.8)在llflI=1的约束条件下,就有可能用8个匹配点对为式(4.7)Af=o找到一个解.矩阵A的秩为8,因此Af=0中的解向量f存在非零解. 前面的讨论假设匹配点对的数据是精确的,没有噪声的影响.而实际上,因为点的 不精确定位和匹配点对的误匹配,矩阵A可能是满秩的,就是说A的秩可能为9.在这 种情况下,我们就没有办法为A-f=0找到一个非零解.因此,我们用最小二乘法解这个方程组.具体的说,我们寻找能使『I甜6最小的向量f,并且f要满足下面的条件: 四=frf=1.由此,满足-Ilfll-flf=l且使0A列最小的解f是对应A'A最小特征值的特征向量.注意到ATA是对称的和半正定的,它的所有特征向量都是非负的实数.为了方便 (尽管并不太确切),我们把对应ATA最小特征值的特征向量叫做ATA的最小特征向 量.可以用对A进行奇异值分解(Singular 最小特征值的特征向量f28I. 4.5.2.2秩2约束 基础矩阵的一个重要的特征是,它是一个奇异矩阵,矩阵的秩为2.而由求解线性 方程组Af;0得到的解F并不一定满足秩为2的约束.要使F满足秩2约束,最方便的 方法就是直接对从Af;0计算得到的解进行调整,使调整后的F秩为2. 具体调整方法如下|28】:用满足detF';0这个条件的矩阵F.代替F,其中,F'还必须ValueDecomposition)的方法来求解对应ATA满足使Frobenius范数忙一F'||的值最小.这可以通过首先对F进行奇异值分解(sVD)得33东北大学硕士学位论文第四章立体视觉中双摄像机几何关,孚到.具体的说,令F=UDV'是F的SVD,其中,D是对角矩阵D=diag(r,s,t),并且满 足,≥s≥t.令F'Udiag(r,s,o)v',则得到了所要求的F'.这个方法最早由Tsai和Huang提出,并已经被证明确实能使Frobenius范数陋一F.0最小.4.5.2.3传统8点法实现步骤 根据上面的描述可知,估计基础矩阵的传统的8点法可以被归纳为如下几步:(1)线性运算:给定匹配点对u:付U,,解方程组u:Fu.=0,得到F.具体是首先由匹配点集(n≥8)构造矩阵A;然后,对A进行奇异值分解A=UDV',由向量f=v.构 造矩阵F. (2)秩2约束:用F.代替F,其中F'是在Frobenius范数下最接近F的奇异矩阵.这 一步可以通过对F进行奇异值分解F=Udiag(r,S,t)v',得到基础矩阵 F.Udiag(r,s,0)v1. 只要有合适的线性代数函数库,上面提到的8点法简单且容易实现.4.5.3Hartley改进的八点法上面描述的在对基础矩阵的估计中用8个或8个以上匹配点估计基础矩阵的8点法 是会经常被提到的方法,8点法的优点是应用上的简单.但是,8点法估计基础矩阵F的 结果与图像点的坐标系有关.当图像数据有噪声,即匹配点对不精确时,由8点法给出 的基础矩阵F的精度很低. 基础矩阵可以用来对未标定的摄像机场景进行重建.除了对场景的三维重建外,运 用基础矩阵还可以进行图像校正,立体点对的匹配等等'2引.由于基础矩阵在计算机视觉 算法研究上的重要性,而传统的8点法对噪声又太敏感了,不少别的估计基础矩阵的方 法被提出,毫无例外,这些估计基础矩阵的算法都比8点法要复杂【28】. Hartley在文献[281中表明,简单的8点法对噪声敏感的原因在于它对用于估算基础 矩阵的匹配点对的具体数值没有太周全的考虑. Hartley在文献[281q-.提出,在进行传统的8点法线性计算前,对图像中对应点对的 坐标的简单变换(平移和尺寸的缩放),能有效的提高结果的稳定性.大量的例子证明 r这种改进的8点法性能跟普通的迭代算法比较没有太夫的差别. 经过分析,Hartley认为基础矩阵的求解之所以不鲁捧,受噪声影响大的原因在】二用 卜求解基础矩阵的矩阵A1A的条件数太人,使得很小的误差都会导致结果的不iI:确.阏34东北大学硕士学位论文第四章立体视觉中双摄像机几何关系此,考虑通过对图像点的坐标的尺度变换使用于求解基础矩阵的A1A条件数变小. 若矩阵T是用来对图像点进行规范化变化的矩阵,点在一幅图像中的坐标Ill被 d=Tu代替,点在另一幅图像中的坐标11.被面'=T～U代替.代入等式u―Fu=0,可以推 出d1T.FTld:0,其中,T.'是T'转置的逆.这个关系式表明帝=T.1FT&是相对于点对d.Hd的基础矩阵.于是,可以推出另一个寻找基础矩阵的方法如下:(1)通过坐标变换d;=Tu,和d;=T1U:改变图像坐标系. (2)根据改变了坐标系后的对应点对d:H d.,用上面提到的传统的8点法计算基础矩阵帚(包括线性运算和秩2约束两个部分). (3)令F=T1亩T,这样就得到了在原来的图像坐标系下的基础矩阵的值. Hartley的论文【28]中还提到了两种对图像点的尺寸进行变换的方法,分别为等向性 尺度变换(isotropic scaling)和非等向性尺度变换(non―isotropic scaling),在他的论文最 后,通过试验,他认为这两种图像点坐标规范化的方法对最后基础矩阵估计的影响几乎 没有什么区别. 下面具体描述一下对图像坐标点的尺寸进行等向性尺度变换(isotropic scaling)的方 法.具体的思路如下: (1)对图像点作位移变换,使得图像的原点位于图像点集的质心;(2)对图像点作缩放变换,使得图像点分布在以质心为圆心,半径为42的圆内.在文献[291中,提到了具体的对图像坐标进行等向性尺度变换(isotropic scaling)的方 法.具体方法如下: 给定一个两幅图像的匹配点对的匹配点集,令U和u分别为两幅图像中匹配点的质心,u;和u:分别为两幅图像中的点.Ui=(H,%,1).,是有,ui'=(甜:‖&:,1)1(扛l,…,一),于i=土∑u; n―i=1'(4.9)i':三宝u: n智'幅图像的匹配点的质心为U=(…,她,1)',H为匹配点对的数日. 令(4.to)n:式(4 9)和式(4.10)-h对应第幅图像的匹配点的质心U=(…,№,1)7,埘成第'查!!苎量堡主鲎堡堡圭堑里兰二竺塑墅!兰!型墅!坐里三!三s=(拇可y=(去弘^)2如.五)2)j2七…s.=∞小训2=怯船厂_|)2如,五)2&最后,可以定义进行等向性尺度变换后的图像坐标为df=Tuf七四(4?13) (4-14)t=h:s-10―5～&lT=0 0S-1一s&1(4.15)O1s一10s1―1―5'&1T0 0一S'&2(4.16)014.6小结本章主要给出立体视觉中双摄像机几何关系的理论,为第六章的未标定图像的立体 匹配作理论准备.本章主要由卜-面两个部分组成:一是有关对极几何,本质矩阵和基础矩阵的摹础性描述. 二是简单介绍了基础矩