实时

您的位置:首页>企业 >

机器人也不怕被忽悠瘸了(doge)

四足机器人走着走着突然断了一条腿,还能继续前进吗?

来自谷歌和密歇根大学的最新成果,给出了非常肯定的答案。

他们发明的一种叫做AutoRobotics-Zero(ARZ)的搜索算法,既不靠大模型,也不用神经网络,可以让机器人一旦遇到剧烈的环境变化,就立刻自动更改行动策略。


【资料图】

譬如断腿照样走:

相比之下,别的神经网络方法还是这样婶儿的(手动狗头):

英伟达AI科学家Jim Fan评价:

这个方法非常令人耳目一新。

机器人再也不怕被忽悠瘸了

具体如何实现?

让机器人断腿继续走的秘密

快速适应环境变化是机器人部署到现实世界中非常重要的一项技能。

但目前常用的循环神经php网络(RNN)技术存在策略单一、重参数化导致推理时间长、可解释性差等问题。

为此,作者直接“另起炉灶”,基于AutoML Zero技术开发了这项全新的四足机器人环境自适应策略:AutoRobotics-Zero(AR编程Z)。

关于AutoML Zero,不熟悉的朋友再了解一下:

它是2020年诞生的一种“从零开始的自动机器学习”算法,出自谷歌大脑Quoc V.Le大神等人之手,仅使用基本数学运算为基础,它就能从一段空程序开始,自动发现解决机器学习任务的计算机程序。

在此,作者也将各种机器人行动策略表示为程序,而非神经网络,并仅使用基本的数学运算作为构建块,从头开始演化出可适应性策略及其初始参数。

随着不断的进化,该方法能够发现控制程序(即python代码,如下图所示),从而在与环境互动的同时,利用感觉运动经验来微调策略参数或改变控制逻辑(也就是当随机分支在随机时间突然中断时运行新的分支)。最终就可以在不断变化的环境下实现自适应。

具体而言,ARZ的算法由两个核心函数组成:StartEpisode()和GetAction(),前者在机器人与环境交互的每个阶段开始时就开始运行,后者负责调整内存状态(因为策略被表示为作用于虚拟内存的线性寄存器)和代码修改。

在进化搜索上,ARZ则采用两种控制算法:负责多目标搜索的非支配排序遗传算法II(NSGA-II)和负责单目标搜索的正则化进化算法(RegEvo)。

如下图所示进化控制算法的评估过程,单目标进化搜索使用平均情节奖励作为算法的适应度,而多目标搜索优化了两个适应度指标:平均奖励(第一个返回值)和每次episode的平均步数(第二个返回值)。

以及作者介绍,为了预测动态环境中给定情况下的最佳行动,策略必须能够将当前情况与过去的情况和行动进行比较。

因此,ARZ所有策略都被设计为“有状态的”,即内存内容在一个事件的时间步长内是持续存在的,由此才得以完成自适应。

此外,有所不同的是,该方法还去掉了原始AutoML Zero技术中的监督学习模式,最终无需明确接收任何监督输入(如奖励信号)就可以让进化程序在整个生命周期内进行调整。

比神经网络更有效

作者用宇树科技的“莱卡狗”(Laikago)四足机器人模拟器在模拟环境中进行了效果测试。

最终,只编程有ARZ可以进化出在随机断腿情况下保持向前运动和避免摔倒的自适应策略。

相比之下,进行了全面超参数调整并使用最先进强化学习方法完成训练的MLP和LSTM基线都失败了:

要么不具有鲁棒性,不能每次都成功;

要么一次都没有成功过。

需要注意的,这还是在ARZ使用的参数和FLOPS比MLP和LSTM都少得多的情况下。

下图则是统计数据:只要任何一列中的reward<400就表示该腿的大多数测试都以摔倒告终。

我们可以再次看到,除了ARZ,只有MLP方法能够在右后腿成功一次。

除了以上这些js,ARZ还显现出了目前的RNN技术都做不到的可解释性。

如图所示,它在断腿案例中发现的各种策略可以都符号化为如下表示:

最后,除了机器人断腿走路,ARZ还可以在“具有随机倾斜轨道的cartpole系统”中自动保持平衡。

论文地址:

https://arxiv.org/abs/2307.16890

关键词:

推荐阅读
四足机器人走着走着突然断了一条腿,还能继续前进吗?来自谷歌和密歇根

2023-08-07 09:55:32

在华为开发者大会上,余承东宣布新一代近距离无线连接技术——星闪(Ne

2023-08-07 09:27:20

央视网消息(晚间新闻):地震发生后,有人在手机上收到了地震横波到达

2023-08-07 09:02:29

成都大运会上,除了大学生运动员们奋力拼搏、超越自我的身影,还有不少

2023-08-07 08:36:50

6日下午15时许,北部战区陆军第78集团军某旅首批任务官兵紧急抵达吉林

2023-08-07 08:13:29

8月6日,夏邑县桑堌乡牛集村村民在加工铝合金画框。牛集村是“淘宝村”

2023-08-07 07:32:02

近期,中央和地方各级政府相继发声,适时调整优化房地产政策,因城施策

2023-08-07 06:07:39

给刀郎歌迷道歉,为赚260元当水军贬损《罗刹海市》,我良心不安!这是

2023-08-07 02:54:00

近日,成都大运会羽毛球男单比赛中,乌干达选手球拍断线,却没有可替换

2023-08-06 23:06:46

证券时报e公司讯,中泰证券研报认为,焦煤方面,“金九银十”旺季将至

2023-08-06 21:59:55

许久未曾进行资本运作的ST信通(600289),如今拟以2 5亿元对北京多来

2023-08-06 20:32:26

1、出类拔萃近义词:鹤立鸡群,卓尔不群,出人头地,高人一等,头角峥

2023-08-06 19:05:15

东阿阿胶披露半年度业绩快报。公司2023年上半年营业总收入216,713 90万

2023-08-06 18:18:44

来为大家解答以上问题,公开增发股票是利好还是利空,公开增发很多人还

2023-08-06 17:13:15

近日,受台风“杜苏芮”影响,京津冀多个地区遭遇强降雨,一些河流发生

2023-08-06 16:15:13

HELLO,我是智能手机网小溪,我来为大家解答以上问题。三捻橄榄价格,

2023-08-06 15:45:40

近日,河北涿州,部分救援队撤离之际,市民夹道相送,不断有人往车窗里

2023-08-06 14:51:39

交易商品牌 产地交货地最新报价二甲胺溶液 含量:40%山东振坤新材料有

2023-08-06 13:55:56

【促进消费端碳减排“碳普惠”机制正加速形成】我国碳普惠机制正加速形

2023-08-06 12:33:21

原标题:截至8月5日晚,已获76金30银27铜,居奖牌榜首位 中国代表团成

2023-08-06 11:52:11