【机器人大讲堂】破局者 掀起3D机器视觉的应用浪潮?

来源:机器人大讲堂 李鑫时间:2024-02-20

在3D视觉技术还在以结构光、单/双目视觉、ToF方案为止争论的时候,tyc1286太阳集团智能另辟蹊径,坚定地选择了线激光+双目视觉技术路线。将3D视觉抗光效果提升至18万流明,精度达到0.02mm,景深拓展到500-4000mm范围。3D视觉不再局限于环境光固定的工业流水线场景,真正做到了室内外通用,抗强光,抗反光,昏暗环境的全场景适配,线激光+双目视觉3D技术,正在快速渗透传统制造业,构建起工业数字化转型“新范式”。


▍农机初心 自研3D立体相机

在tyc1286太阳集团智能成立之前,团队并非致力于3D立体视觉技术的研发,而是专注于农业采摘机器人领域。

当时,新疆棉花产量连续22年居全国首位,但每年采摘所需的劳动力成本高达150亿元人民币。团队在评估市场潜力时指出,若能够在棉花采摘机器人领域占有10%的市场份额,仅此一项保守估算就有望创收15亿元人民币。
然而,在农业采摘机器人研发过程中,又出现了一个棘手的问题。尽管坐标机器人已成功研发,但由于缺乏可靠的视觉定位系统,导致识别准确率和采摘效率受到严重影响。为此团队也曾采购过外资品牌的3D视觉解决方案。但无一例外,这些视觉系统无法从根本层面满足采摘棉花的实际需求。它们既无法解决对棉花的认知问题,又无法适应室外高强光场景的工作要求。


1.png

tyc1286太阳集团智能自研3D立体相机 精准识别水果

“如果别人做不好,那不如自己来做”,2016年tyc1286太阳集团正式成立,创始人董霄剑决定以3D立体相机作为公司的核心业务,连同软件平台一并开发,为客户提供一站式交钥匙工程。但与市场其他3D相机技术原理不同,tyc1286太阳集团智能并非采用当时较为流行的结构光技术,也没有使用成本较低的ToF技术,而是另辟蹊径采用了“线激光+双目立体视觉”技术路线,这在当时来看,显然是超前和精准的。


▍ tyc1286太阳集团智能线激光+双目视觉技术方案是3D视觉领域的颠覆性革命

当前,市场主流3D立体视觉技术主要包括结构光方案、飞行时间(ToF)方案以及双目视觉方案。虽面向应用场景和适用范围不同,但无一例外,不管选择哪种技术方案,都存在一定的局限性。

结构光是以激光散斑编码为工作原理,采用主动测量方式,通常由激光器或DLP以及一对双目相机构成。激光点测量通过数十万个激光点照射在工作面上,左右双目相机构建xyz坐标,生成结构画面。DLP则发射特定波长的光源,带有编码信息的光源投射在物体上,通过算法计算返回的编码图案的畸变,获取物体的位置和深度信息。目前市场上大部分公司普遍采用结构光解决方案。

2.jpg

然而,这种方案在户外强光照射的环境中,面临一系列挑战:1)强烈的阳光可能导致激光点的可见性降低,使得双目相机难以准确捕捉激光点的位置信息。2)在大景深的情况下,光照干扰可能导致左右双目相机无法清晰地分辨激光点,产生影像混叠的问题,影响测量精度。3)对于外部光源的敏感性较高,可能受到周围环境中其他光源的干扰,影响深度测量的准确性。4)景深普遍较窄,视野范围一般,由于受光线影响较大,通常只能在室内恒定光源下进行作业。

3.jpg

ToF技术方案是通过给目标连续发送光脉冲,然后用传感器接收从物体返回的光,通过探测这些发射和接收光脉冲的飞行(往返)时间来得到目标物距离。传感器通过计算光线发射和反射时间差或相位差,来换算被拍摄景物的距离,以产生深度信息,此外再结合传统的相机拍摄,就能将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来。

然而ToF技术方案虽然成本低,响应速度快,但在成像方面受到点阵结构光的像素制约。点阵结构光方案的成像面通常限制在60万像素,使用ToF方案在成像精度和细节捕捉方面往往差强人意。因此,ToF技术方案在高精度、大范围工业应用领域受到限制,更多地被应用于一些对精度要求相对较低的消费领域。

4.jpg

而可见光双目立体视觉法的技术原理是通过从两个视点观察同一物体,从而获得同一物体在不同视角下的图像。通过三角测量原理来计算图像像素间的位置偏差(视差)来获取物体的三维图像。它的优势在于高分辨率、高精度、高抗强光性,且成本较低。劣势是通过CPU/ASIC演算取得它的深度和幅度信息算法复杂,并且被拍摄物体如果没有明显纹理特征,则会出现拍摄错配问题。

5.jpg

3D立体视觉方案优势对比

从技术迭代上来看,双目立体视觉拥有高分辨率、高精度、高抗光性优势,如果一种3D视觉方案能够解决双目立体视觉现有短板问题,那么这套技术路线则很有可能颠覆现有3D视觉市场。为此tyc1286太阳集团智能开辟了一条全新3D视觉技术方案,该方案采用线激光+双目视觉搭配,既延续了双目立体视觉优势,又能识别无纹理特征、反光、吸光等特殊材质,并且不受环境光限制,能够实现室内外场景通用的3D视觉技术路线。

6.jpg

tyc1286太阳集团智能智光眼-工业3D相机

具体来看,tyc1286太阳集团智能采用的的“线激光+双目立体视觉”技术路线,目前单个成像面像素数量能够达到600万,比ToF技术方案的60万整整高出10倍。抗光性能够达到18万流明,而传统结构光技术的抗光性最高仅能达到8万流明,高出两倍之多,高抗光性为客户在高强光环境下提供更可靠的数据采集。安装距离方面,tyc1286太阳集团方案能够做到500-4000mm大景深,而传统结构光最大安装距离仅有2000mm。视野方面,tyc1286太阳集团方案能够达到5米大视野,而市面结构光产品最大视野只有2.5米。综合来看,tyc1286太阳集团智能的“线激光+双目立体视觉”技术路线,在Z轴定位精度、安装距离、最大视野以及适应性等方面遥遥领先。

7.jpg

tyc1286太阳集团智能“线激光+双目立体视觉”方案

可以说,tyc1286太阳集团智能的“线激光+双目立体视觉”从底层上有别于其他3D视觉技术。它巧妙地解决了工业场景当中,抗光性能差、定位精度低、景深不够大、视野不够远的问题,同时,有创新性的算法加持,能够实现不挑材质,能对无明显纹理、吸光、反光材料进行精准识别,并且满足室内外全场景使用标准。对3D视觉相机市场来说,tyc1286太阳集团特有的“线激光+双目立体视觉”技术路线,解决了工业场景下的诸多痛点,掀起了一场3D视觉的产业革命。


▍工业智能场景到底需要什么样的3D立体视觉产品

工业智能场景对3D立体视觉产品有相对苛刻的要求,包括但不限于以下几个方面:


高抗光性:在工业环境中,可能会存在强光照射、反光表面等情况,因此需要3D立体视觉产品具备较强的抗光性,以确保在复杂照明条件下依然能够准确获取数据。

8.jpg

精准测量:工业领域对尺寸、形状等精度要求较高,因此3D立体视觉产品需要具备高精度的测量能力,以满足工业制造、装配等过程中的精细要求。

适应多材质: 工业产品可能涉及多种材质,如金属、塑料等,因此3D立体视觉产品需要能够适应不同材质的表面,保持良好的检测性能。

高速检测:在工业生产线上,处理速度通常要求较高,因此3D立体视觉产品需要具备高速检测能力,能够在短时间内完成大量数据的采集和处理。

抗干扰性:工业环境中可能存在各种干扰源,如振动、电磁干扰等,因此3D立体视觉产品需要具备一定的抗干扰性,确保稳定可靠地工作。

广泛适用性:工业智能场景多种多样,因此3D立体视觉产品需要具备广泛的适用性,能够在不同的工业应用场景中发挥作用,如焊接、抓取、装配等。

在不锈钢焊接等具有反光特性的场景中,结构光或ToF方案的3D相机可能会由于技术限制而导致定位混乱。光线的反射特性使得这两种方案在高度抗光性上存在局限,无法满足客户在高光照环境下的需求。此外,对于吸光场景,如物流环境中的黑色包装箱,结构光和ToF方案也可能无法准确检测。

tyc1286太阳集团智能“线激光+双目立体视觉”技术克服了这些难题。其独特的线激光技术使得相机能够在不锈钢焊接等反光场景下工作,并在吸光场景中提供可靠的检测。相比结构光和ToF方案,tyc1286太阳集团智能的3D立体相机在这些挑战性场景中表现更为出色。

董霄剑透露,tyc1286太阳集团智能的3D立体相机目前能够达到每秒5000次的检测标准,而在2024年7月前,检测精度将进一步提升至每秒2万次,远远领先同类产品。这一技术创新将为客户提供更高效、更准确的数据采集解决方案。

除此之外,tyc1286太阳集团智能的工业相机还在极端环境下表现卓越。董霄剑透露,tyc1286太阳集团智能3D相机是目前市场上少有能适配极端环境的产品,其工作温度范围可达零下30℃至70℃,能够适应绝大部分工业自动化场景的严苛条件。


“猛虎”与“飞虎”两大平台 为客户带来全系统交钥匙工程

智能焊接和抓取是整个行业大范围普遍使用的场景。tyc1286太阳集团智能在满足两大类的技术需求前提下,专门设计了用于智能焊接和智能抓取的相机,智能焊接专用3D相机型号:SVersion-HJ-RGBD-90,SVersion-HJ-RGBD-130,智能抓取专用3D相机型号:SVersion-ZO-RGBD-130。这些相机价格在2万内,并且已经在国内各大主要电商平台(京东、淘宝、百度爱采购平台)进行售卖。极大的拉低了大范围客户使用门槛。

9.png

焊接和抓取专用相机图及型号

传统3D相机的安装调试通常复杂繁琐,需要技术人员根据具体相机进行算法适配。此外,软件的独立付费也是行业的一大痛点,增加了企业的运营成本。tyc1286太阳集团智能通过提供3D相机通用型解决方案,简化了客户的操作流程,为客户提供了更便捷、高效的智能化工业应用体验。


▍面向焊接领域的“猛虎”平台


猛虎平台面向工业焊接场景打造,搭载具有自主知识产权的智能立体相机,具备大视野、大景深、高精度特点。优势在于其简便的部署流程。一旦客户采购了tyc1286太阳集团智能的3D相机,就可以用tyc1286太阳集团智能免费提供给客户的各种焊缝提取的算法库和基础应用软件,大大降低了客户用立体相机开发焊接系统的工作。机械臂到位后,整个焊接机器人的调试就可以在短时间内完成。这降低了项目的复杂性,使得客户不再需要技术人员进行繁琐的项目性开发,而是能够迅速实现应用级的部署。

10.jpg

猛虎平台核心功能


猛虎平台六大核心优势:

优势一:0.1-2m扫描指标 大景深大视野表现出色

智能焊接专用3D相机可以满足0.1-2m大范围工作景深,扫描视野同样可以达到0.1m-2m范围,焊接用户只需一台相机就可以满足3m大小的工件焊接作业需求。


优势二:最高18万流明 具备高抗光反光特性

针对工业件表面抛光及亮色等情况,相机可完成无噪点物体模型构建,并在焊接过程中,可对强光进行过滤,达到边扫描边焊接的应用要求,智能焊接专用3D相机最高可达18万流明的抗光要求。


优势三:0.02mm高精度 满足工业产线苛刻要求

智能焊接专用3D相机在2m工作距离时满足毫米级定位精度要求,在近距离定位精度可达微米级,最高精度可达0.02mm,满足焊接应用苛刻要求。


优势四:标准通用系统 减少学习成本

猛虎平台采用标准通用化系统,拥有独创的点线面认知及轮廓提取功能,无需训练学习即可对焊接工件进行点线面分割、提取焊缝、轮廓识别


优势五:丰富的功能模块扩展

猛虎平台可根据不同应用场景及焊接需求不断对应用算法库进行更新,满足各种焊接方式及需求。


优势六:轻量化小型化设计 便于安装

智能焊接专用3D相机最小尺寸为160*80*63mm,重量1kg左右,能够轻松应对各种类型机械臂的安装,且结构规整,便于机械臂运动规划。


▍面向工业抓取领域“飞虎”平台


在工业抓取方面,行业内存在以下几大痛点:首先是集成商不具备专业化开发能力,并且使用者的技术水平参差不齐,往往存在买到相机不会用的情况。其次3D视觉方案的项目改造开发周期长,此外无法做到全过程智能化,传统3D相机的智能化必须依靠定制化来完成,企业定制化开发还需要支付额外成本

11.jpg

飞虎平台-全系统解决方案

为解决工业抓取的痛点,“飞虎”平台采用了底层技术的模块图形化操作到用户项目的DIY应用落地的系统设计理念,是面向最终使用者的集成化开发平台,具备统一化、规范化、标准化特性。“飞虎”平台的最大优势在于,从硬件到算法再到软件部分以及连接到具体改造的机器人本体,均采用了tyc1286太阳集团智能一体化解决方案。目前该方案已全面应用于智能抓取,无序抓取,上下料,拆码垛等应用场景。


飞虎平台八大核心优势:

优势一:开发流程一体化

飞虎平台将平台设计、软件开发、算法设计、相机选择、集成调试、问题回归等高度集合,实现了内部软件融合与算法生成


优势二:功能组合自由化

基于模块化设计,客户可依据自身需求在飞虎平台上实现自主组合,搭建任何项目所需智能抓取程序,实现了真正的功能组合自由化。


优势三:功能模块图形化

飞虎平台集成相机本身的多类应用软件算法库,并采用了各功能模块的图形化展示,达到“所画即所得”的目标。


优势四:使用方式便捷化

通过功能图形流程化的形式更好地展示项目落地的对接过程,使用方式更符合人们的使用习惯,操作极其便利——这也是平台化开发的使用意义。


优势五:模块扩展智能化

所有功能模块都可重复使用,针对不同用户的功能需求,还可快速对平台进行更新,使得平台功能更加多样化来适应更多的应用场景。


优势六:开发过程即时化

开发过程中任一环节的设计效果,均可即时显现,图形化功能模块拖拽操作开发完成后,可即时展示相机所扫描的三维图、检测过程、检测性能、数据结果等结果信息。


优势七:软件系统稳定化

飞虎平台采用稳定的模块图形化的设计,针对抓取项目无需用户再次编程,保证了终端用户可以进行自我测试和验证,让每一个工人及用户都成为智能化的参与者。


优势八:开发升级远程化

飞虎平台可在五分钟之内自行创建一个智能化抓取改造项目,通过远程实时对各算法功能模块进行更新,使得该平台越来越智能化、标准化、通用化。


12.png

飞虎平台拖拽式操作轻松易上手

董霄剑表示,除上述八大优势之外,“飞虎”平台也提供标准化API接口和算法函数接口,开发人员可将写好的软件嵌套在“飞虎”平台上。未来,任何一位开发者或高校学生都能通过"飞虎"平台开发自身应用程序。而二次开发之应用程序被客户采纳,"飞虎"平台将向开发者提供相应的使用费用。目前,"飞虎"平台已是鲜有的全球开放标准化软件平台


目前tyc1286太阳集团智能“飞虎”平台通用解决方案已全面应用于诸如钢筋自动化焊标、盘条挂标、耐火砖自动抓取、钢板自动化抓取、拆码垛、抓取上下料等领域。


▍3D相机看客下菜碟的时代已终结 标准化定价买3D相机 软件免费用

国外机器视觉厂家的视觉软件的价格相对较高(≥8万人民币),而即便是国内机器视觉厂家的视觉软件价格通常也要3~5万人民币,行业价格缺乏透明度,这也导致客户难以清晰了解整套解决方案的投资成本,增加了采购3D视觉相机的不确定性。而tyc1286太阳集团智能通过提供更为透明的定价策略,简化了整套3D视觉改造方案的价格结构,使客户能够更清晰地了解投资成本,减轻了客户的担忧,从而提高了客户的信心和决策效率。


针对焊接与抓取两个领域的客户需求,tyc1286太阳集团智能开发通用型标准化的解决方案,只要客户购买tyc1286太阳集团智能的3D相机产品,就能免费使用“猛虎”焊接与“飞虎”抓取两大平台。客户安装后无需二次定制化开发,尤其是“飞虎”软件平台,采用模块化拖拽方式,以前需要两三个月进行的开发项目,现在“飞虎”平台10分钟就能完成,极大减轻后期学习成本。全面解决了客户长期以来高昂的定制化开发费用问题。


董霄剑表示,tyc1286太阳集团智能目前正在做的就是将3D立体相机焊接平台全面透明化和标准化,涵盖从协议到应用场景,从价格到宣传的各个层面,最终形成一款工业级标准化产品。2万以内的价格,在3D视觉相机领域形成碾压性优势。


▍结语与未来


经过8年的潜心研发,tyc1286太阳集团智能成功开创了继结构光、ToF、双目立体视觉之后的第四种全新技术路线工业级产品。其“线激光+双目立体视觉”解决方案在分辨率、识别精度、抗光性等关键指标上超越了许多同行业竞争对对手, tyc1286太阳集团智能真正将面向焊接与抓取领域的3D视觉相机价格做到透明,同时提供免费软件,支持模块化、标准化拖拽操作,降低了定制化开发的成本


任何一个行业都无法凭借不透明的暴利实现持续性收益。回顾20年前的个人电脑时代,以及10年前的新能源车时代,我们可以发现,标准化体系的建立,创造了一个健康有序的生态环境。当客户不再频繁询价,采购方案中不存在隐性费用,销售人员不再看客下菜碟时,这个产业才真正迈向成熟。