《基于视觉定位的机器人搬运技术及应用》

  • 来源专题:数控机床——前沿技术
  • 编译者: 杨芳
  • 发布时间:2016-05-18
  •   田鑫,施成章,朱学军

      (宁夏大学 机械工程学院,宁夏 银川 750021)

      摘要:机器人通过视觉对工件位置信息进行分析处理,完成相应搬运任务已成为机器人应用的主要发展方向。本文主要针对立体仓储系统中基于视觉定位的物料搬运应用进行研究。系统中采用智能相机Vision Hawk对目标进行视觉定位,运用摄像机标定技术实现相机—机器人坐标系的标定,通过控制软件Workvisual来完成机器人的运动控制和轨迹规划,进而实现机器人对多种类型工件的识别、定位及搬运。

      关键词:视觉定位;搬运;摄像机标定;运动控制

    0引言

      近年来,视觉引导与定位技术已经成为工业机器人获得环境信息的主要手段,它可以实现工业机器人在实际应用中的自主判断能力,使机器人应用的灵活性和工作质量大大提高。随着机器人技术的飞速发展,机器视觉系统这一新兴技术也进入到日常的生产应用当中。机器人视觉广泛应用于工业领域,主要集中在电子行业、半导体行业、航天、测量等行业,并取得了很多成就。目前视觉应用已经发展得相当成熟,许多工业生产线上都已经投入使用[1]。主要应用如破损检测、条形码读取、位置检测等。视觉还可分为单目视觉和双目视觉,单目视觉就是对二维平面进行视觉检测,这样对于立体空间的检测就受到限制;而双目视觉则是对立体三维空间的检测,因此应用范围更加广泛。本文中的应用主要是在平面内的检测,因此单目视觉就能够满足需要[2]。

      智能化立体仓储系统的结构组成有立体存取仓库、AGV小车、基于视觉搬运机械手等几部分,这里主要对基于视觉的机械手搬运应用进行研究。采用视觉定位机器人对七巧板(模拟需要搬运的工件)进行拆分和组合,本文将对这一部分的应用做一些简单的说明。

    1结构组成

      图1可视化搬运系统组成如图1所示,视觉搬运系统是由机器手臂、控制柜、智能相机、吸盘、拆分台、运输台、组合台几部分组成。其中,机械手为KUKA机械手,摄像头采用VisionHawk智能相机,两者相互组合形成机器人可视化系统,用来完成工件的定位和搬运,保证在搬运过程中,机器人吸盘能够准确吸取工件[34]。

    2视觉定位原理

      2.1视觉工作流程

      KUKA机械手与Vision Hawk智能相机组成可视化搬运系统,其工作基本流程如下[5]:(1)系统开始运行,通过相机进行图像采集;(2)利用应用软件Visionscape对目标图像进行对比分析和处理;(3)通过像素网格划分对目标图像的具体位置进行定位运算;(4)将所得图像坐标利用Visionscape软件进行转换运算,即图像坐标系到世界坐标系的转换,实现对七巧板所在实际位置的坐标数据的输出。

      2.2摄像机标定方法

      计算机视觉的基本任务之一是从摄像机获取的图像信息出发计算空间物体的几何信息,并由此重建和识别物体。空间物体表面某点的几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的,这些几何模型参数就是摄像机参数。在大多数条件下,这些参数必须通过实验与计算才能得到,这个过程被称为摄像机标定[6]。

      通过摄像机标定,可以实现空间中各个坐标系之间的相互转换,从而得到所采集目标图像在实际空间中的坐标,实现视觉定位。下面将简单对摄像机标定方法进行说明。

      在视觉系统中,常用到的坐标系有相机坐标系Oc—XcYcZc;世界坐标系Ow—XwYwZw;图像坐标系,包括图像物理坐标系o—xy和图像像素坐标系o—uv。坐标系之间存在相对应的关系,需要通过计算来实现坐标的转换,从而实现灵活、准确地定位,进而实现对目标工件的吸取。

      而通过摄像机标定技术可实现图像、相机、世界坐标系的转换[78]。其转换计算关系如下:

      世界坐标系中一点P(Xw,Yw,Zw),(u,v)是P点的成像点p的实际图像像素坐标,单位是像素数(pixel),f为焦距。P在图像上的成像位置p的几何关系如式(1)所示:

      

      其中, (Xc,Yc,Zc)是P点在摄像机坐标系中的坐标。(xu,yu)是p点的物理图像坐标,单位为mm。

      图像坐标中图像像素坐标与图像物理坐标之间的关系如式(2)所示:

      

      其中,sx,sy为图像平面单位距离上的像素数(pixels/mm),(u0,v0)为摄像机与图像平面的交点,称为主点坐标。由式(1)、(2)可得:

      

      其中,fu=fsx,fv=fsy,fu称为图像u轴的尺度因子,fv称为图像v轴的尺度因子。

      令p为规一化的理想图像坐标,即相当于假设摄像机焦距等于1,其中x=Xc/Zc,y=Yc/Zc,则有:

      

      则图像点的像素坐标m与规一化坐标p之间的关系以齐次坐标表示为:

      

      其中,K包含5个内参数,它反映的是摄像机内部的成像参数,所以称为内参数矩阵。

      可以得到世界坐标系与摄像机坐标系的转换关系为:

      

      其中,R和T分别为从世界坐标系到摄像机坐标系的旋转和平移变换。由式(5)、(6)可得空间点的实际坐标与像素坐标之间的关系为:

      

      其中M为3×4矩阵,称为透视变换矩阵,M1只与摄像机内部结构有关,称为摄像机内部参数;M2只与摄像机对于世界坐标系的方位有关,称为摄像机外部参数。X为空间点在世界坐标系下的齐次坐标。

      以上换算过程是通过Visionscape软件设置完成的,通过进行相应的设置,实现采集图像与目标图像的分析对比及坐标的转换,并将运算坐标结果传送至机械手,从而实现对工件的准确定位、吸取和搬运[9]。

    3搬运工作流程

      AGV将出库的托盘运送至拆分台后,根据上位机发出的拆分指令,机械手将托盘上的七巧板拆分并依次放置在输送台的传送带上,这里每放置一个,放置位传感器接收信号,步进电机就向前运动一段固定的距离,直到七巧板全部拆分完成,停止动作待命。而后根据上位机发送的组合指令,将传送带上的七巧板按照上位机事先预设的图形在组合台上进行摆放,这里从输送台上取走工件,每取走一个,提取位传感器接收信号,步进电机就向前运动一段固定的距离,直到七个工件全部提取完成,停下等待指令。

      在执行操作前需要通过上位机对其搬运效果图形进行选择设定,设定完成后运行图2预设图形,视觉搬运系统将会按照上位机发出的预设图形进行拆分组合,其预设图形如图2所示。

      使用KUKA机械手完成吸取和搬运,通过WorkVisual控制软件编程实现搬运的运动控制和轨迹规划,其基本流程如下图3所示。

      最终实现的搬运效果如图4所示,这里只是预设7种图案中的一种搬运效果。前者为搬运操作前的状态,后者为搬运完成后的状态。

     

    4结论

      如今越来越多基于视觉应用的机器人进入到生产工作中,而其中基于视觉的搬运机器人是视觉应用的主要研究方向之一。本文研究的是一种基于单目相机的视觉搬运系统,利用坐标系标定方法实现图像和空间坐标系之间的相互转换,快速准确地得到目标的坐标数据,实现在空间中对工件的视觉识别定位及搬运。系统可以应用于高重复性的生产工作中,降低人工及工装成本,使得自动化生产更具柔性以及智能化。目前这种基于视觉的搬运系统已在实际工业现场中得到应用。

    参考文献

      [1] MALASSIOTIS S, STRINTZIS M G. Stereo vision system for precision dimensional inspection of 3D holes[J].Machine Vision and Applications,2003, 15(2):101113.

      [2] 刘子豪,樊留群. 工件的视觉定位及机器人控制的应用研究[J]. 机电产品开发与创新, 2014,27(6):46,9.

      [3] 李金义,杨成,王京.基于视觉定位的机器人搬运系统[J]. 制造业自动化, 2011,33(2):4142.

      [4] 刘振宇,李中生,冯柏润,等.机器视觉在工业生产线上的应用实现[J].微型机与应用,2013,32(17):2730.

      [5] 潘武.基于机器视觉的工件的识别和定位[D]. 北京:北京化工大学, 2012.

      [6] 夏群峰,彭勇刚.基于视觉的机器人抓取系统应用研究综述[J].机电工程, 2014,31(6):697701.

      [7] 舒娜.摄像机标定方法的研究[D]. 南京:南京理工大学, 2014.

      [8] 贾丹.摄像机现场标定算法研究[D]. 哈尔滨:哈尔滨工程大学, 2007.

      [9] 朱海波.基于视觉引导的工业机器人工件搬运技术研究[D]. 沈阳:沈阳工业大学, 2013.

相关报告
  • 《探访中国最大的机器人工厂:机器人制造机器人》

    • 来源专题:数控机床——前沿技术
    • 编译者:杨芳
    • 发布时间:2016-06-22
    • 中国有数百家机器人工厂,排名第二的厂家年销售额不到1亿元,而沈阳新松机器人年销售可达16亿元。这家中国最大的机器人工厂,有什么技术优势?生产车间究竟是什么样的?在新松车间的某一块区域,几十条机械手臂在不停地挥舞,场面相当壮观,甚至有科幻电影的架势。 中国有数百家机器人工厂,在小而散的竞争格局中,排名第二的厂家,年销售额甚至还不到1亿元。只有沈阳新松机器人一家,鹤立鸡群,年销售收入16亿元。这家中国最大的机器人工厂,有什么技术优势?生产车间究竟是什么样的?经济之声记者吕红桥近日来到这里,进行了探访。 大家好,我叫小松,是新松服务机器人家族中的一员,很高兴在中国机器人TOP10峰会成立大会现场与您见面…… 资料图 一场别开生面的发布会在沈阳上演,主持发布会的是一台机器人。这是新松机器人自动化股份有限公司开发的一台服务机器人,虽然已经是老款,但客串主持人,似乎并没有什么纰漏。 机器人主持人还算不上主角。进入工厂车间,一台头带屏幕的白色机器人就跟记者说话了。 机器人:初次见面,请多关照。请问您需要办理什么业务? 这是机器人大堂经理,主要用在银行,它可不是只能迎来送往,站着摆摆样子。新松机器人品牌与公共关系部部长哈恩晶说,人类大堂经理干的活儿,它基本都能干。 哈恩晶:可以介绍,刷小票,可以刷脸,因为它技术越来越先进了,可以识别,可以人机交互。你看它中间那里还可以搬点东西,带着客人到指定的窗口,就相当于大堂经理一样。它可以自动避让,你看人在那里,它就围着人走。 机器人大堂经理的一旁,几个端着托盘和矿泉水的机器人,在桌子中间来回穿梭。它们的身份是机器人服务员,也被称为送餐机器人。可其实,它们不光能点餐、送餐,有的还能完成调酒这样的技术活儿。在一些城市,机器人服务员已经“上岗”了。 哈恩晶:这个送餐的现在已经比较成熟了,你们也经常看到机器人餐厅什么的,所以它还是比较方便的。未来可能跟支付宝,还有其它端口结合,它可能就能结账了,客人吃晚饭用它就能买单了。 除此之外,新松还在开发用在医疗和养老康复等领域的新型服务机器人,当然,这些现在还对外保密。不过,目前公司最拿手的还是工业机器人。 在新松车间的某一块区域,几十条机械手臂在不停地挥舞,场面相当壮观,甚至有科幻电影的架势。其实,这是在做工业机器人的测试。这里有快速分拣机器人,一分钟可以搬运两百下,让人眼花缭乱;有并联机器人,两只机械手可以协调装配零件;有打磨机器人,精度超高,还不怕粉尘污染。 哈恩晶:比如说视觉、传感等很多新技术我们也都加上了。我们国产的机器人现在大量替代进口,包括美国通用 汽车 的总部现在用的很多机器人都是我们提供的。 车间的一角,记者见到一台机器人,有点像小了几号的篮球架。没想到,这竟然是国际上唯一投入使用的复合机器人。它的杀手锏是,无论车间环境多么复杂,都能搬着东西全方位行走,跟着流水线装配零件。哈恩晶说,连鼎鼎大名的德国 库卡 ,目前也造不出这样的机器人。 哈恩晶:复合机器人就是移动作业了,这个在国际上也是首创的。库卡也研究出了这项产品,但是它没有达到应用标准。
  • 《从技术角度看工业机器人当前的优劣势》

    • 来源专题:数控机床——前沿技术
    • 编译者:杨芳
    • 发布时间:2015-10-09
    • 随着人口红利逐步消失,我国已成为全球最大的工业机器人市场。根据工信部消息,到2020年,我国将形成较为完整的工业机器人产业体系,高端市场占有率达到45%以上。目前,中国工业机器人的使用主要集中在汽车工业和电子电气工业、弧焊机器人、点焊机器人、搬运机器人等在生产中被大量采用。下面我们将从技术角度,谈谈工业机器人当前的优劣势。 1.通用性 工业机器人可编程,支持多自由度运动,因此应用较灵活。虽然不及人类,但相对于很多工业自动化常见的专机(专为一类工业应用或一家客户定制的机电集成方案),工业机器人还是灵活多了。工业应用改动不太大时,是可以通过机器人重新编程来满足新的需求,而无需在硬件上再做大量投资。      但相应的,它的相对不足会是效率。毕竟专机是为一个应用定制的,因此虽牺牲通用性但实现了效率优化,在产量这个客户非常关心的指标上能完成地很好。 2.机电性能 工业机器人普遍能达到低于0.1毫米的运动精度(指重复运动到点精度),抓取重达一吨的物体,伸展也可达三四米。这样的性能虽不一定能轻易完成苹果手机上一些“疯狂”的加工要求,但对绝大部分的工业应用来说,是足以圆满完成任务。随着机器人的性能逐渐提升,以前一些不可能的任务也变得可行起来(如激光焊接或切割,曾需要专门的高精度设备来指导激光的走向,但随着机器人精度的提升,现在也变得可依赖机器人本身的准确运动来代替了)。 但相比传统高端设备,如高精度数控机床,激光校准设备,或特殊环境(高温或特低温)设备等,工业机器人尚力不能及。 3.人机合作 传统的工业机器人是关在笼子里工作的,因为它实在危险(想象一个抓着几十或几百公斤的家伙以四米每秒的速度甩着,谁也不想靠近吧)。主要原因是一般机器人,基于成本与技术的考虑,不会集成额外的传感器去感知外部的特殊情况(如突然有人触碰),它只会“傻傻”得照着人类编好的程序日复一日的动着,除非有外部信号告诉它停止。所以常见的方案就是为机器人配备笼子,当笼子门打开时,机器人收到信号便自动暂停。对安全的考虑,自然给机器人集成带来了很多额外的成本,笼子可能并不贵,但毕竟要为此仔细考虑产线排布,增加产线面积,改变人机合作方式等,从而影响生产效率。 所以最近比较受关注的工业机器人都以能安全地和人一起工作“为荣”,如RethinkRobotics的Baxter,UniversalRobots的PR系列,以及很多传统工业机器人巨头(abb,kuka,Yaskawa等)的半概念半成品的机器人。而从产业需求看来,已通过传统工业机器人解决了对精度速度重量等自动化需求后,也的确是时候开始满足人机安全合作了。 4.易用性 传统机器人的工作本质就是不断地走一个个的路径点,同时接收或设置外围的I/O信号(老和其他设置如夹具,输送线等合作)。而指导机器人这么做得过程,就是机器人编程。几乎每一家领先公司都有自家的编程语言和环境,从而需要机器人操作者参加学习培训。当机器人适用范围增广后,这个成本开始显现了。 这些厂商是有理由维护自家的编程环境的,一来工业机器人四十年前就开始规模化做了,那时还没有什么面向对象等现在广为熟知普遍认同的主流先进编程理念,二来萌芽阶段自家技术难免会和竞争对手不同,维护一个编程方式也无可厚非,三来因为他们的大客户往往也是传统的工业大客户,如大汽车厂商,这些客户求稳,自然不希望你机器人过几年就赶个热潮变换编程方式,搞得他们还得扔掉几十年的经验,重新花大钱培训学习。 当然在业界,大家早已思考编程可否做的直观简单些,但在传统厂家中除了一次次地概念性的展示外(如利用外骨骼,3D图像,虚拟现实,iPhone等等),一直没什么商业实用进展,以至于大家再听到“简易编程”等关键词都想吐了。 但庆幸地还是有后来者敢于挑战,也从零开始做出成就,并成为被认可的卖点。对,说的就是RethinkRobotics和UniversalRobots!这也鲜活地论证了创新者窘境里为什么颠覆性技术往往不会在领先企业中成功(尽管他们有足够的资源),却总是被后来挑战者发扬光大。因为领先者在颠覆性技术上每走远一步,就往往离自己的铁饭碗远离一步,内外部阻力都很大! 不管怎么,机器人的易用性开始得到重视,如何能让人不经任何(或过多)培训,就能像玩iPhone一样很快玩转机器人,已经变成大厂商们开始大力投资的方向来。 5.成本 机器人的成本从小型号的几万RMB到大型的上百万RMB都有。这个成本自然低于高端专业制造设备,但也可能会高于国内小集成商们拼凑出的自动化方案来。但从一直来西方工业界及近几年国内制造业对机器人的欢迎程度看来,说明机器人自动化的经济优势普遍到了一个临界点,超过了其他替代方案(人工,或专机),看来这个成本还是值得的。 其实要走传统机器人的老路,那硬件成本降低空间不大。工业机器人基本是一个开环的运动机构,靠的就是电机和齿轮箱的高精度配合。而大部分领先厂商的这些关键零部件都是从日本几家厂商那买的,(这也是国内公司自己制造的机器人,买同样的零部件,也不会便宜多少,因为日本厂商不会为了你这点量给多少折扣)。除非中国零部件制造商能静下心来,努力追赶上日本人的技术,从而以价格优势打破多年来的垄断,才能真正促进国内机器人厂商的发展。 另一个就是另辟蹊径,追求其他技术和市场。如RethinkRobotics当时甚至考虑用塑料的齿轮箱来降低成本,而通过视觉来弥补运动精度损失,就像人的眼睛来辅助手的精微操作一样。但毕竟不能一步登天,所以Baxter机器人暂时在精度和速度上完全无法与传统机器人相比,但在它能处理的物料抓放的应用中,却也足够了。也许随着Rethink的努力,会在硬件较差的情况下,通过软件的智能化弥补,来达到与传统工业机器人竞争的程度(那就是真颠覆这些传统大厂商了)。 6.智能性 之所以将智能型放在最后一点,因为相对现在市场对机器人的主流需求(即强,快,准),它暂时还不是最迫切的。这也体现了传统工业机器人的优势(任劳任怨,保质保量,是个“干活”的好手)和不足(但很“笨”,老得让人教)。 但不代表智能型不重要,相反企业已经开始做技术投资了。比如怎么让机器人更好的理解人的指挥意图,相对自主的去理解并规划任务,而不需一个点一个点得让人告诉它怎么走;如何让机器人在外围环境发生变化下(光线变暗影响图像识别,传送带上物品有损坏需要特殊处理)自动适应;如何通过触觉视觉听觉等感知判断零部件的装配质量,等等。 这方面美国人做的比较好(当然他们也是避实击虚,因为传统工业机器人硬件上的技术和市场已基本被日本欧洲企业统治),ROSIndustrial,RethinkRobotics等都在做有领先的尝试。 7.人才匮乏 工业机器人顺应时代发展,行业前景广阔,然而,该领域人才供需失衡的矛盾正日益凸显。一方面是机器人厂商、系统集成商以及汽车加工制造业求贤若渴,另一方面是人才供给不足,难以满足企业用人需求。 究其原因,主要是相对近年来国内机器人产业所表现出来的爆发性发展态势,高校、职校等培训机构的课程设置仍然滞后,尽管一些机器人厂商提供相关培训,却存在品牌针对性过强,推广力度不足、配套设施不足以及培训网点有限等短板,难以达成系统的教学流程,尚不能与全国各地求学者的需要很好地契合,导致众多有志投身机器人行业者求学无门。