“五感全开”!机器人完成“抓豆腐”
国内首个“机器人高效‘学习方案’”在肥发布
机器人也能稳稳抓起嫩滑易碎的豆腐了!这看似简单的动作,背后是机器人“多模态”“学习”的重大突破。6月19日,合肥零次方机器人有限公司(以下简称“零次方”)发布国内首个、业内领先的“全模态”具身数据全链路解决方案,为机器人智能化训练提供高效“学习方法”,成功赋能机器人完成“抓豆腐”等高精度操作,同时打开机器人赋能千行百业的无限可能。
机器人与人类“老师”“孪生式”交互,随着人类的动作亦步亦趋地“跳”起了“手势舞”,这是零次方新品机器人ZERITH-H1的训练片段。机器人训练师手握穿戴AR设备,链接ZERITH-H1,机器人便开始了数据的采集。不同于主流训练方案中的“视觉-关节”“语义-视觉-关节”等机器人反应模式,在这次训练中,ZERITH-H1调动自身的多模态传感器,完成了对二维视觉信息、三维空间信息、关节信息、力触觉信息、声音信息的全捕捉,相当于“五感全开”!
“一方面我们自研了ZERITH-VR APP作为虚拟世界与真实物理世界交互的渠道,另一方面,机器人Zerith-H1本身就搭载多类型传感器,具备多模态的感知能力,人类就可以引导机器人获取世界的信息”据零次方相关工作人员介绍,犹如缺少优质食材就难以出品佳肴,当前具身智能模型训练普遍存在数据模态缺失、数据采集流程繁等问题,而在零次方的全新方案中,ZERITH-VR APP与数据采集机器人Zerith-H1两项“神器”的联合就针对性解决了这一问题,甚至可以让数据采集变得像“玩游戏”一样简单高效。
值得一提的是,针对于力触觉感知部分,机器人ZERITH-H1具有触觉夹爪,集成了高分辨率视触觉传感器,实现对抓取力触觉的精准感知,这使机器人完整抓取豆腐成为可能。
而在数据采集之后,还面临管理的难题。大量的原始数据犹如丛林,如何让丛林中的每个物种都各归其位,找到价值,也是一大问题。对此,零次方自研具身数据管理平台用于数据全流程管理,能够对具身任务数据进行分类、清洗、标注、检索,相当于抽取出有效的学习资料并将其分门别类放置于书架上,以供高效应用。
“整个链条通过硬件、软件的配合,贯通了数据‘采集-清洗-训练-部署’全流程,这就是我们的‘全模态’具身数据全链路解决方案,打通机器人训练中从数据到场景落地的所有壁障。”工作人员表示。
据了解,这也是行业首个覆盖“感知输入-数据治理-算法进化-场景落地”的全链路闭环方案,弥补了行业内方案的链路断点,推动具身智能训练范式升级,加速技术从实验室走向产业应用,赋能千行百业。