机器视觉网:多相机高精度定位及测量解决方案
随着机器视觉应用的日益广泛,大幅面多相机视觉系统的需求越来越多,主要应用方向为大幅面高精度的定位与测量和场景拼接等。多相机视觉系统的难点在于多相机坐标系的统一,可以分为两类,一是相机视野间无重叠部分,二是相机视野间有重叠部分。相机间无重叠部分的情况主要用于大幅面多相机高精度的定位和测量,相机间有重叠部分的情况主要用于场景的拼接等 使用大标定板统一坐标的方法 方案简介: 此方法采用一块大标定板来统一各个相机的坐标,每个大标定板中有若干小标定板,各个小标定板间的位置关系都是已知的,各个相机都能拍摄到一个小标定板。通过各个小标定板可以标定每个相机的内部参数和外部参数,每个相机的坐标都可以转换到各个小标定板的坐标系上,从而统一各个相机的坐标。 系统结构: |
相机在各个位置拍摄mark图像,通过图像处理方法得到mark坐标 |
常用的标定板形式: |
上图所示为单个标定板图像,大标定板由若干单个标定板组成,标定板的大小和数量根据实际测量情况而定。 |
|
案例分析: |
|
(2)图像获取 |
(3)检测流程 |
利用4个边角图来测量4个角的L3,如下图所示,这里可以选择测量多个点,也可以取它们的平均值。 |
注意事项: 此种方法需要将多只相机的坐标统一到一个坐标系中,并且单一相机还要做自己的校准,保证精度。 根据检测要求,设置取多少个点作为参考,但是这影响测试的时间,需酌情考虑。 应用领域: 手机和平板电脑面板尺寸的检测。 |
|
方法介绍:
|
(1)通过机械手的移动获取标定所用坐标 组1相机1: 把mark点移动到相机视野中,定相机的初始位置,得到初始mark点的中心坐标Point11(cRow11, cColumn11),机械手沿X方向移动一定距离(5mm)后得到mark点的中心坐标Point12 (cRow12, cColumn12),机械手沿Y方向移动一定距离(6mm)后得到mark点的中心坐标Point13(cRow13, cColumn13),同时可以得到在上述三个位置机械手的空间坐标Robot11(X1[0],Y1[0])、 Robot12(X1[1],Y1[1]) 、Robot13(X1[2],Y1[2])。 组1相机2: 同上,把相同mark点移动到相机视野中,通过相同的操作得到坐标:Point21 (cRow21, cColumn21)、Point22 (cRow22, cColumn22)、Point23 (cRow23, cColumn23)、Robot21 (X2[0],Y2[0])、 Robot22(X2[1],Y2[2])、Robot23(X2[2],Y2[2])。 (2) 图像距离和实际距离之间转换比例关系的确定: 通过数学运算可计算得到比例关系。 需要在两个相机的视野中各选取一点作为标准线的起始点和终点,然后求取此标准线在机械手坐标系中的斜率。调整机械手到合适位置,确定此处为标准位置,此时组1的两支相机分别拍摄初始位置的两个不同的mark点的图像。通过模板匹配方法找到两个相机初始位置视野中两个mark点的中心坐标Point10(Row10,Column10)和Point20(Row20,Column20),Point10和Point20确定为标准线的起始点和终点。求取Point10在机械手中的坐标如图6所示,下图中XOY是机械手坐标系,X1O1Y1是组1相机1的图像坐标。 |
通过点到直线的距离运算可以得到d14,d15和d16的实际长度,由于在移动过程中使用的是同一个mark点,d1,d2,d3在相机1和相机2的视野中的值是一样的。从而可以得到Point10在机械手坐标系中的实际坐标为: 依据三个点就可以确定一个圆的原理,让机械手在初始位置旋转三次,得到Robot31,Robot32和Robot33三个相对于机械手坐标系的坐标点,三个点的坐标就可以求出旋转圆心的坐标。 |
标定方法拼接图像 方案简介: |
安装: |
标定: 确定每个摄像机的内参。可以分别对每个摄像机进行标定求取摄像机的内参。 确定所有摄像机的外参。因为最后要将所有的图像转换到某一个世界坐标系中,所以需要使用一个大的标定物,这个标定物可以出现在所有的图像中,它可以由多个标定板组合而成,标定板的数量和使用摄像机的数量一致。下图为两个相机分别拍摄到的标定图像。
注意:为了确定摄像机的外参,每个摄像机只需要拍摄一副标定图像就已经足够。标定物在多个摄像机分别进行拍摄标定图像的过程中不可以移动。理想情况下,这些标定图像应该同时获取。 |
将单个图像拼接为一个大图: |
应用领域: 液晶面板表面质量的检测 非标定方法拼接图像 简介: (1)相邻的图像之间必须有交迭 (2)图像之间的交迭区域必须有比较明显的特征,这样就可以保证比较精确的自动匹配过程。如果在某些交迭区域内的特征不明显那么可以通过定义合适的图像对来克服。如果整个物体的特征都不是特别明显,那么交迭区域就应该更大一些。 (3)交迭的图像的缩放比例必须大约相等。一般情况下,缩放比例的不同不能超过 5-10% (4)这些图像的亮度应该相似,至少在交迭区域部分的亮度相似。否则,如果亮度区别非常明显的话,图像之间的接缝在结果图像中就非常明显,如下图所示。 |
定义交叠图像对: |
如果需要拼接的图像比较多,或者交迭图像每行图像比较多,此时合理彻底地安排图像对的配置十分重要。否则就可能有些图像不能实现精确匹配。这主要是因为噪声造成点坐标的一些误差导致不能准确计算图像之间的转换关系,这些误差会由一个图像传到下一幅图像上。 在进行图像拼接过程中最重要的任务就是图像对之间的匹配过程。匹配的图像对可以有任意的平移和旋转,唯一的要求就是图像应该有大约相同的缩放比例。如果图像之间平移和旋转的信息可用,它就可以用来限定寻找区域,这样就可以加速匹配过程并且使算法更加健壮。匹配特征点过程如下图所示。 |
生成拼接图像 |
注意: (1)街景的拼接。 (2)电子地图的制作。 (3)医学影像的拼接 |