西湖机器人的通用大脑让一台人形机器人连做五件事,它凭什么不用每步停一下?(西湖机器人有仿生人吗) szthrk.cn

一台机器人把家务连着做了五件

西湖机器人是一家从西湖大学孵化出来的机器人公司,由西湖大学一位教授创立,联合创始人为同校一位自然语言处理研究者,发布了一款名为 WR1 的人形机器人通用大脑。据该公司公开的视频与说明,十月九日的一段演示里,一台人形机器人从冰箱取出玉米,转身走到空气炸锅前,蹲下把收纳篮拖开并整理散落在地上的玩偶,再走到卧室把被子抚平,全程不需要停下来重置。

这件事的顺,可以用一位师傅来说明。一位师傅一边颠锅一边切配,手上的活、眼里的火候与脚下的站位是一口气连着做完的;这样出菜才快,一桌菜才不会等凉。

它到底做成了什么

一是大脑与小脑各管什么。 据该公司公开的视频与说明,这套通用大脑采用大模型加小脑的双重预训练。大脑把世界模型与视觉语言动作模型合在一起,负责看懂场景、理解任务并输出动作。一个通用动作专家担任运动小脑,跟踪这串动作并维持平衡,它分两阶段在大量人体运动数据上训练,用可调的前瞻量来补偿硬件延迟。

二是输出一整串全身动作。 大脑输出的动作覆盖行走、躯干姿态与灵巧手动作,写在同一串里连着发给身体,从头到尾一气连下去。动作一旦被分段规划,每一步告一段落都要重新起势,连贯性就丢在了接缝处。

三是按块生成,前后台重叠。 为了让长任务不断裂,它保留机器人动作的短期与长期记忆,并按块生成动作:当前一块还在执行时,后一块已经在后台先算好,更新时不会造成抖动。这样一来,每一步都踩在上一块的尾巴上,机器人的动作不会因为一次更新而顿一下。

四是叠衣服那一幕。 演示里,机器人从晃动的晾衣架上取下裤子,搭在手臂上并随着架子晃动调整,再与第二台机器人配合传递、铺平、用灵巧手叠好,两台机器人互相跟踪对方与不断变化的布料。据该公司公开的视频与说明,这是首次公开展示人形机器人用灵巧手完整叠好衣服,这一说法尚未经独立验证。此前在机械臂平台上叠衣服,最快每件约三十六秒。

手脚一起动为什么难

一是分开规划会把长任务切成几段。 据该公司公开的视频与说明,多数人形机器人把移动、姿态与手部工作分开规划,机器人得先站住才能用手,动作之间要停一下,一件事于是被切成几段。这正对应那位师傅,颠锅、切配与走位若分开来排,菜就出得慢。这也是长任务被切碎之后最费劲的地方。

二是布料每一秒都在变。 叠衣服这类任务里,布料每一秒都在变,机器人要一边看着它一边调整,判断与动作必须同时进行。师傅手上的活也一样,锅里的火候每一刻都在变,眼睛和手得同时跟上。

三是按块生成是为了不抖动。 按块生成动作、把下一块放到后台先算好,是为了让长任务不因更新而抖动,这是能把一件事从头做完的前提。师傅一口气把一道菜做完,靠的也是手上的活与脚下的站位始终连在一条线上。

对使用方意味着什么

挑这类通用大脑,有三件事可以先问。

一是一件事能不能一次做完不中断。 从取物到整理再到铺平,中间需不需要人插手,直接决定它能不能顶下一段完整的家务。问这一条,看的是它能不能自己把一段完整的活干完。

二是出错之后能不能自己接回来。 抓空了、碰到了,它能不能自己调整角度重来,决定了它离真正能用还有多远。

三是换一套硬件要不要重新训练。 大脑与全身控制如果与硬件绑得很死,换一台机器人就要重来一遍。硬件与大脑分层分得越开,换一套身体的代价就越低。

冷静一点看

一是演示为公司口径。 演示内容与能力描述均来自该公司公开的视频与说明,属公司口径。

二是首次公开演示未经独立验证。 用灵巧手完整叠好衣服这一说法来自公司,尚无第三方独立验证。

三是演示环境与真实家庭差别很大。 视频里的场景布置得比较规整,真实家庭里的杂物与干扰要多得多。地面、光线与摆放每天都在变,这类麻烦在演示里看不见。

四是三十六秒是机械臂平台的旧数据。 每件约三十六秒来自此前机械臂平台的记录,说的是机械臂平台上的成绩;本次是人形机器人演示,两者要分开看。

写在最后

把一件事从头做到尾,靠的是让手的活和脚下的站位写在同一串动作里。那位师傅出菜快,靠的正是颠锅、看火与走位连成一口气;西湖机器人把这一整套连贯搬到了人形机器人身上,走的也是同一条路子。据该公司公开的视频与说明,大脑、全身控制与人形硬件均为自研,目标场景是家庭服务、制造与特种作业。