|
|
有效性的反馈：基于目标数据的优化和充足的计算能力
涉及难点：根据需求定义一个合适的损失函数
机器视觉行业
从产品上划分（如图）
机器视觉行业企业
从历史沿革上划分
传统机器视觉领域内的知名企业包括大恒、凌云以及微视，其中不少曾经的从业者已从这里起步，并逐渐发展壮大。
大型制造集团北京的机器视觉子公司：海康、大华
人工智能浪潮下的创业企业
国际上：美国、加拿大、日本、德国
机器视觉软件生态（如图）
ViDi
随着深度学习的兴起而诞生
主要分三个组件
绿色：针对分类问题
蓝色：针对定位问题和识别问题，检测或计数的目标在哪等
红色：缺陷检测
具体实现;
绿色模块（如图）
蓝色模块（如图）
红色模块（如图）
例子：的 R-CNN（如图）
功能：无需代码或仅需少量代码即可实现物体检测，易于快速掌握，且发展前景广阔；在训练模型方面，无需数周或数月，仅需一日即可获得；可轻松更换训练数据，快速检验理念的实际可行性。
三、展望
深度学习的发展趋势与局限：
深度学习在图像处理领域中扮演着特征提取的角色，同时也是一种优化策略。
2、在算法开发的各个流程，都还可以显著提升效果
由于运算能力的限制，网络的深度无法无限制地增加，近期学术界的研究焦点集中在提升效率、减小体积，并在保证性能的前提下进行。目前，几乎所有的主要厂商都在推出配备AI引擎的芯片，旨在将深度学习技术应用于终端市场，以期将这一技术融入日常生活。
4、深度学习的应用领域还在不断拓展
5、非监督，少样本甚至单样本效果还不理想
深度学习尽管功能强大，但本质上仍是一种算法；物理世界中无法获取的信息，即便是深度学习也无法通过魔法般的方式创造出来。
机器视觉行业发展
1、以深度学习为基础，一些应用上会出现规模化市场
2、对运算能力的需求还会继续增加
3、新一代的智能相机必备AI引擎
中高端定制化市场目前尚难以被深度学习技术彻底攻克，然而，它将能够享受到深度学习技术所带来的提升效果。
本次线上直播的核心内容已全部呈现，相信大家对这一领域的知识已有所了解。若想深入了解更丰富的信息，不妨关注我们的服务号FMI飞马网，点击菜单中的飞马直播，便可以继续学习。
基于机器视觉的工业机器人定位系统！
研制了一套自动化的视觉定位设备，旨在帮助工业机器人实现对工件位置的高精度识别与定位。
运用区域匹配与形状特性识别融合的图像处理技术，此技术通过设定阈值和形状标准，成功识别出物体的具体特征。实验结果表明，该技术能够迅速且精确地获取物体的轮廓与质心，进而实现数据的识别与计算。此外，结合机器人运动学的基本原理，它还能实时调整机器人的运动，以消除误差，从而满足工业机器人自主定位的需求。
1. 引言
当前，工业机器人只能在结构明确、定义严格的场合中按照既定指令进行操作，它们对环境的感知和适应能力不足，这一状况显著制约了它们的应用范围。通过运用机器人的视觉控制系统，我们无需事先对机器人运动的路径进行示教或进行离线编程，这样能够显著减少编程所需的时间，进而提升生产效率和加工品质。
等人建议采用一种基于机器人末端与目标物体误差的视觉反馈技术；另有人提出利用图像空间路径规划及基于图像的控制策略。在我国，此类技术主要被应用于焊接机器人对焊缝的追踪。
本研究采用定位视觉伺服理念，依托六自由度立式关节式喷涂机器人，创新性地提出了一种依托机器视觉的工业机器人自主定位控制策略，有效解决了机器人末端实际位置与目标位置存在较大偏差的问题，并显著提升了喷涂机器人的定位准确度。
2. 视觉定位系统的组成
图 1 展示了机器人视觉定位系统的组成，该系统在关节型机器人的末端配备了喷涂设备以及一台摄像机，确保工件能够完全被摄像机捕捉到图像中。系统主要由摄像机系统与控制系统两部分构成。
摄像机系统由一台单独的摄像机与一台计算机（含图像采集卡）构成，其主要职能是执行视觉图像的捕捉以及机器视觉算法的处理。
控制系统由计算机与控制箱构成，其主要功能是操控机器人末端的确切位置；通过CCD摄像机对作业区域进行捕捉，计算机运用本方法进行图像识别，提取追踪特征，进而执行数据识别与计算；利用逆运动学原理，计算出机器人各个关节的误差值，最终通过高精度末端执行机构，对机器人的姿态进行调整。
图1 喷涂机器人视觉定位系统组成
3. 视觉定位系统工作原理
3.1 视觉定位系统的工作原理
采用CCD摄像机与1394系列采集卡，将视频信号导入电脑，并对其进行迅速处理。在此过程中，先从图像中提取被跟踪物体的局部，这一环节类似于离线学习阶段，旨在图像中构建坐标系并训练系统以识别跟踪目标。学习完毕后，图像卡持续进行图像的采集，并从中提取追踪所需特征，进而执行数据识别与计算任务。通过逆运动学方法，计算出机器人各个关节的具体位置数值。最终，这些数据被用于操控高精度末端执行机构，对机器人的姿态进行调整。具体的工作流程可参考图2。
图 2 视觉定位系统软件流程图
3.2 基于区域的匹配
本文所采用的是一种基于区域的匹配技术。这种方法以图像中特定点的灰度区域为样本，然后在另一幅图像中寻找与之具有相同或相近灰度值分布的相应区域，以此达到图像匹配的目的。在区域相关算法中，匹配的单元是固定大小的图像区块，而相似性判断则是基于两图像区块之间相关性的衡量。若搜索区域内的元素能将相似性标准提升至最高水平，便判定该元素与目标相吻合。
P(i, j)作为模板图像上的一个点，我们选取以P(i, j)为中心的特定邻域，构成一个大小为(2w + 1)的相关窗口K。当K在原始图像中水平或垂直方向上移动Δu的距离后，所覆盖的搜索区域即为子图S_k。若K与S_k完全一致，那么它们的差值为零；若不一致，则差值不为零。由此定义K 和S k 的相关函数为：
当D(K, S k)的值降至最低点，K与S k便实现了最理想的配对。
3.3 图像的特征提取
工件放置在工作台上，其与工作台背景在色彩上形成鲜明对比，工件本身为黑色，这一特点被视作辨别工件的关键依据。
工件边缘灰度出现显著波动，据此可确定其边界位置。运用扫描线技术，识别出扫描路径上灰度突变处的像素，这些即为边界点。最终，利用最小二乘法对边界点进行曲线拟合，得出圆周形状，并确定圆心坐标。
3.4 实验与分析
本实验旨在运用机器视觉技术，迅速定位并辨别工件的具体特征，例如圆孔的中心位置。
首先，在原始图像（图3）中，我们选取了被跟踪工件的局部图像，将其作为模板图像（图4）。
以局部图像作为参照，对原始图像进行区域性的对比匹配，同时，以该局部图像的左侧为基准。
以原点为基准，构建一个坐标系。随后，设定一个搜索区域ROI，依据所需提取的特征，决定该区域的形状，本例中采用环形区域。确保该搜索区域能够完全覆盖所有目标特征。在ROI内提取工件的相关特征，具体如图3所示。
图 3 圆心识别
这一过程与离线学习阶段相似。在使用前，系统仅需进行一次学习。通过离线学习，系统能够掌握ROI与工件之间的相对位置信息，从而在实时识别过程中，即便工件发生偏移或翻转，ROI也能精确地定位到恰当的位置。
在学习过程中，视觉系统在离线状态下，通过区域匹配、阈值分割以及边缘提取等环节，成功识别出所需识别的特征点，即圆孔中的圆点，具体过程如图4所示。
图4 实时识别
（3）离线学习后，视觉系统经过区域匹配、阀值分割和边缘提取等步骤找到需要识别的特征（这里是圆孔的圆点），如图4 所示。
3.5 结果分析如下：
识别率分析中，首先进行离线学习，以此训练并提取形状特征；接着，运用离线学习所获得的坐标关系，对工件进行实时跟踪，并获取所需跟踪的形状特征信息；只要离线学习得当，目标特征便能够准确识别，并获取相关数据。
图像采集卡的采集速率达到25帧每秒，每张图像的采集耗时仅为40毫秒。摄像头捕捉一张图像耗时20毫秒，而图像处理的速度为每幅10毫秒。经过程序优化，图像采集与处理可同步进行，且处理速度超过采集时间，有效防止了图像失真和抖动现象。在物体运动不超过极限速度时，能够较准确地找到圆心的位置。
4. 空间坐标的获取
从图像中获取的数据属于二维性质，程序在处理时采用的坐标系统是以像素为计量单位的。而机器人在实际空间中的移动，则需要将图像中的信息转换成三维空间的坐标。这一转换的计算步骤可以概括为：
以工件上圆形孔洞的中心点作为机器人定位的参考点，确定A点在(X, Y, Z)三维空间中的坐标。只有当该圆心与视觉图像的中心点完全对齐时，机器人的定位才算成功。
对摄像机进行标定，从而获得投影矩阵ce M，该矩阵揭示了图像中相邻像素间的距离与实际世界坐标系之间的转换关系。
摄像机捕捉到图像信息，随后通过特征识别技术确定图像中心点在画面中的具体坐标位置a(x, y)，进而计算得出该点相对于图像中心的横向偏移量Δx和纵向偏移量Δy。
以A(X, Y, Z)作为参考点，我们可以通过以下公式计算出机器人末端的全球坐标B(X', Y', Z')：在这个过程中，Mc代表摄像机与机器人末端之间的坐标转换参数。
鉴于本篇资料仅采用单一视觉系统，因此在此前提下我们假定Z坐标保持稳定；而在采用双目视觉技术的情况下，则能够借助立体视觉来推算出Z'坐标。
5. 误差分析与补偿
本项目的喷涂机械臂具备六个自由度的旋转关节，其结构特点与所述类似，关节4、5、6的轴线彼此成直角，并且汇聚于同一点。依据参考文献3所述的方法进行计算，具体过程如下：
利用机器视觉技术，可以准确获取机器人末端执行器的三维空间坐标，即B点的X、Y、Z坐标值。
（2）确定机器人的连杆参数表，如下表：
（3）运用DH 法计算各关节的转角θi ：
6. 结论
本文阐述了依托机器视觉技术的工业机器人定位系统，该系统融合了区域匹配与形状特征识别技术，执行数据识别与计算任务，能够迅速且精确地辨识物体特征的边界及质心。机器人控制系统借助逆运动学原理，计算出各关节位置的转角误差，最终通过控制高精度末端执行机构，对机器人姿态进行调整，以消除这些误差。该方法有效解决了机器人末端实际位置与目标位置之间存在较大偏差的问题，显著提升了喷涂机器人的定位精确度。此方法计算简便，定位精准，且在工程应用中表现出实用性。该系统是基于C#语言，在2003开发环境中进行编写的。
工业互联网
产业智能官AI-CPS
加入“产业智能研究院”知识星球：该平台汇聚了前沿的产业智能技术，包括OT领域的工艺、自动化、机器人、新能源和精益管理，以及IT领域的云计算、大数据、物联网、区块链和人工智能。这些技术在此实现深度融合，共同构建了一个在具体场景中运行的机器智能认知计算系统，该系统具备状态感知、实时分析、自主决策、精准执行和学习提升的能力；同时，它还推动了产业的转型升级，促进了以数据技术为动力的业务发展，并催生了价值创新创造的产业互联生态链。
版权声明：产业智能官（ID：AI-CPS）所推荐的稿件，若非明确无法核实，我们均会标注作者及出处。若涉及版权问题，烦请及时与我们进行沟通协商处理。如有联系或投稿需求，请通过指定邮箱进行。 |
|
发表于 2025-5-10 11:29:52
