机器视觉结合了一系列技术,从图像的采集和分析中提供有用的输出。主要用于检测和机器人引导,这一过程必须足够可靠,以实现工业自动化。本文介绍了当今的机器视觉技术如何指导机器人的基本功能。

alt
图1.灰度图像。

让我们通过一个简单的例子来说明在机器人引导过程中会发生什么。例如,一个固定安装的摄像机,一个平面的工作表面和一个机器人必须抓住的螺丝刀。螺丝刀可能平躺在表面上,并与其他物品混合,但没有覆盖。在每个周期中执行的关键步骤包括:

  1. 获取一个合适的图像。
  2. “找到”感兴趣的东西(整个螺丝刀,或者必须抓住的那部分)。
  3. 确定对象的位置和方向。
  4. 将此位置转换为机器人的协调系统。
  5. 把信息发送给机器人。
  6. 利用这些信息,机器人可以移动到合适的位置和方向,以规定的方式抓住物体。

当机器视觉部分(步骤#1至#5)时可能出现冗长时,整个序列通常在百分之一秒内执行。

#1获取合适的图像:下面描述了几种机器视觉工具。这些软件程序组件中的每一个都在图像上运行,并且需要差异化“请参阅”对象。这种差异可以是光与暗,颜色对比度,高度(3D成像),或者在边缘的转变。注意:确认或设计几何解决方案非常重要,以便照明会产生可靠的差异化。

成像方法的选择从根本上变化。最常见的是面积扫描成像的灰度和彩色版本,这简单地意味着一次拍摄和处理的传统照片。较少的常见选项是线扫描成像,其中图像在运动期间构建,一次线和3D分析,其中图像的第三维度(“z”)被编码为图的每个像素的值。

alt
图2。增强的图像,发现用黄色矩形标记的模板。

一个有趣平面上的点与相机的距离不同,它们的外观大小也不同;当相机瞄准不垂直于表面时,这个问题就会突出。光学可能引起筒形或针形的失真。桶形扭曲在中心向外凸出线条,就像木桶上的线条或壁板;针垫则相反。失真校正工具通常用于消除这些缺陷。在“教学”阶段,一个已知的精确阵列(如矩形点网格)被放置在感兴趣的平面上。该工具查看(扭曲的)图像,并确定纠正它所需的图像变换。在“运行”阶段,这个转换将在每个图像上执行。

#2找到感兴趣的对象:“寻找”对象需要在感兴趣的对象和视野范围内的其他事物(包括背景(如传送带)或其他对象)之间建立一个区别。以下是一些常用的方法:

  • 模板匹配:将显示一个模板匹配工具,并在感兴趣的项目的一个或多个图像上进行训练,如图1和2中装配的圆形剪辑。它可以学习部分的整个图像,或某些特征,如边缘的几何形状。在操作过程中,该技术会在视野中搜索与它“学到”的东西接近的东西。有各种图像和数学处理方法(如归一化相关)来完成每一个。那些基于边缘几何的算法对于部分遮挡的物体或摄像机与物体的距离可变时的比例不变性选项具有优势。当匹配程度超过最小阈值时,对象将被“保留”。图2显示了这些结果,其中软件工具找到了两个符合匹配条件的剪辑,并用黄色矩形标记它们。
  • 基于亮度的差异:该方法包括在灰度图像上确定亮度“阈值”,使得在该值以上或下方的一切是感兴趣的对象(即暗背景上的光对象,反之亦然)。最常见的是,这是对应于每个像素的8位编码中可用的256级的0和255之间的值。阈值可以是固定的,或者它可以通过简单(平均灰度)或复杂(基于直方图的)算法来适应变化的光水平。阈值应用于图像,分离感兴趣的对象。
  • 基于颜色的区分:在三轴颜色空间中,通过将图像的每个像素转换为与训练的颜色样本集的“距离”,可以最好地解决颜色问题。颜色表示方法通常用3个系数来表示颜色。RGB(红、绿、蓝)是大多数成像和显示过程中常见的和固有的。三组系数需要一个称为“颜色空间”的三维图。例如,R G B都位于彼此正交的轴上。在这个空间中,代表两种颜色的点之间的“距离”是三维毕达哥拉斯距离([(R1- r.22+(G.1- G22+(B.1- B.22.5) 它们之间。“训练有素的颜色”可以是所需对象或背景的。
alt
图3。彩色图像。所需的对象是螺丝刀手柄。

图3显示了在颜色工具对螺丝刀手柄中的红色阴影进行训练之前的原始图像。对彩色图像执行将其转换为合成图像,如图4所示。每个像素的阴影表示3D颜色空间中与训练颜色的距离(匹配的贴近度)。最后,在图5中,句柄使用阈值唯一对象化,在显示中将对象标记为绿色。

  • 基于高度的区分:如前所述,该技术用于扫描第三维度并编码到像素值的图像上。然后可以以相同的方式处理该合成图像。

所有方法都可能保留多个合适的对象,在这种情况下,需要根据一些额外的标准在它们之间做出选择,例如“排在第一行”。

#3确定物体的位置和方向:对于我们的示例,该阶段的结果是对象的X和Y协调和其方向的角度。有时,此函数是作为前一个“查找”过程的一部分进行的。例如,模板匹配工具可能会在它所在的部分上提供位置和方向数据。添加提供功能计算或几何分析的简单软件工具通常将完成此任务。

alt
图4。基于三维彩色空间距离的彩色图像变换。

#4将信息转换为机器人的坐标系:视觉系统和机器人每个人都有自己的协调系统来表示位置,正交“x”和“y”。要与机器人沟通,必须转换为/来自另一个;这通常由视觉系统处理。

除了永久的先天差异,其他的小错误可能会被引入。从x和y值中简单地加或减一个校正因子可以为这些因子提供一阶校正和平移。为此目的设计的工具在两种模式下运行:“学习/校准”模式(在此模式下,机器人可以在摄像机的注视下停止目标)和运行模式下进行校正或平移。在校准过程中设置系统之间的X和y偏移量,并应用于运行期间的测量。

alt
图5。使用阈值对象化的句柄,用绿色标记。

#5这个信息被发送到机器人控制器:接口被可视化为具有“层”,每个层必须在两个系统之间匹配。底层是常见的通用类型(通常是以太网或RS232)。最上层是数据本身及其传输的格式和序列协议。让链接的一方(机器人)将其定义为严格的专有协议仍然是常见的。在这种情况下,协议应该是稳定的并有文档记录;然后,机器视觉供应商通常会为这种“语言”创建一个定制翻译程序。

#6机器人使用这个信息移动到正确的位置和方向来抓住物体:视觉系统告诉机器人(具体地,机器人控制器)在哪里,而不是如何到达那里。在其他配置中,(特别是具有机器人安装的相机),视觉可以在移动期间继续操作以提供更高的精度的反馈。

结论

使用简化的示例应用程序,我们可以看到机器愿景引导机器人的基本步骤。大多数应用程序在一个或多个领域具有额外的复杂性。许多(例如当零件在传送带上移动时,并且当相机安装在机器人本身上时)是常见的并且通过当前可用的附加技术,工具和方法来解决。

本文作者是FSI Technologies, Inc.的首席运营官Fred D. Turek。有关更多信息,请单击这里


成像技术杂志

本文首先出现在2011年6月期刊上成像技术杂志。

阅读更多本期文章在这里

阅读更多的档案文章在这里