假设你给机器看了一段很长的游戏视频，在里面有砍树，打猎，造房子等，你的模型能否从这个非结构化的录像中自动地发现这些有意义的技能包？

在现实世界里，人类尤其具有这种将复杂任务有效分解为多个子任务的能力。这种能力IC帮助人类面对新环境时加速自身的学习过程并获得更好的泛化能力。

传统方法主要围绕概率图模型。这些工作将子任务结构建模为潜在变量，并从学到的后验中提取子任务标识。在一篇ICLR 2021的论文中，MIT-IBM Lab 淦创团队与蒙特利LR尔大学合作提出了：是否可以设计更智能的神经网络，使子任务结构自动在模仿学习中出现？具体而言，研究者设计了一个循环决策网络，使得子任务结构能够体现在每一步的表征中。

在该研究中，研究者提出有序记忆决策网络（OMPN）。模型可 2以经过正常的行为克隆（behavior cloning）来发现子任务的层级，从非结构化示范中恢复子任务边界。在 Craft 和 Dial 上进行的实验表明，在没有任何人类额外标注的情况下，子任务层次结构会自然地从模型中演化出。

论文地址：h02ttps://openreview.net/pdf?id=vcopnwZ7bC 项目地址：https://github.com/Ordered-Memory-RL/ Memory 如何表达子任务？

研究者提供了一个网格世界的示例用于说1研明。示例中有不同的原料（例如草）可供智能体拾取，还包括一家工厂以便智能体使用这些原料。假设智能体想要完成搭桥任务，该任务可以分解为树状多层结构。其中，根任务可以分为 “拾取原料” 和“制造桥梁”。“拾取原料”可以进一步分为 “拾取究挖草” 和“拾取木头”。

为了能够实现上述的结构，智能体的记忆在每一步应该如何 “更新”？在下图中，将记忆划分为不同级别，对应不同层级的子任务。当‘t=1’时，模型仅从根任务“搭建桥梁” 开始，并 “展开” 得到 “拾取原料”，然后进一步“掘游展开” 为“拾取木头”。这里的 “展开”（蓝色箭头）可以理解成一种“planning operator”，动作从最低层级的记忆中产生。在‘t<3’时，“拾取原料” 会被复制，但是当 “拾取木头” 完成后，即‘t=3’时，该子任务戏技会被 “更新”。这里的“更新” 可以视为每个子任务的内部更新，而 “更新” 后的 “拾取原料” 通过 “展开” 重新得到下一个子任务 “拾取草”。同理“搭建桥梁” 一直被复制直到在‘t=5’（“拾取原料”完成）时进行 “更新”，然后“展开” 为“制造桥能包梁”和“前往工厂”。

这样的过程中，可以定义 “展开高度”，即每一时刻发生“展开” 的记忆的位置。研究者同时观察到，通过观察 “展开高度” 的变化，可以由此确定子任务的边界。例如从‘t=2’到‘t=3’，扩展位置从最低级别到中间？有级别，表明了低级别子任务的完成。从‘t=4’到‘t=5’，扩展位置从最低级别到最高级别，表明低级别和中级别子任务均已完成。所以目标就是希望通过合理的网络设计，让模型可以收敛到上述记忆更新规则。具体包括：

若模型认为当前底层序记子任务已被完成，则需要输出高展开位置，并从高层子任务中展开。 若模型认为当前底层子任务未被完成，则需要输出低展开位置, 并将高层任务复制，来实现 long-term dependency。

网络设计的数据流效果如下所示：

从行为克隆中进行任忆决务分解

主要的实验结果就是表明：正确的子任务结构的确可以通过行为克隆后，在模型中体现出来，而在这个过程中，没有任何额外的任务边界标注。在接下来示例中，将智能体的轨迹以及展开位置的变化进行可视化。经过学习后，模型学会在每个子策网任务快结束的时刻，将展开高度提高。在每个子任务的行进过程中，将展开高度保持低位，符合之前说的直觉。

在 Craft 任务中，模型需要完成 4 个子任务来“造床”。

在 Dial 任务中，模型需要控制机器手臂连续按 4 个数字。

在 Kitchen 任务中络帮，模型需要连续操控四个家电。

• ·OpenAI考虑建设首个数据中心 减少对微软云服务依赖
• ·​高通发布新一代 AI 芯片，挑战英伟达股价大涨 20%
• ·​马斯克宣布 X 平台将推出全新 AI 推荐算法，提升信息流质量
• ·标签: 英伟达 NemoClaw AI智能体 开源平台
• ·标签: 华为
• ·标签: 抖音 验证助手 反诈工具 老年用户
• ·昆仑万维AI 音乐创作平台​Mureka上线Agent Studio功能，让音乐创作变得触手可及！
• ·标签: SpaceX 马斯克 星链 ARK
• ·标签: FF 贾跃亭 SEC FF91
• ·​OpenAI 与 Sur Energy 签署协议:25亿美元阿根廷数据中心项目启动
• ·英国监管机构：将对亚马逊、谷歌等大型科技公司加强反垄断调查
• ·爆改漫画师？OpenAI 发布 ChatGPT Images 2.0，单次可生成8张连贯图像
• ·美国国防部取消授予微软的价值100亿美元云计算合同
• ·标签: 小米汽车 中创新航 欣旺达 昆仑
• ·标签: 大晓机器人 ACE研发范式 开悟世界模型3.0 具身超级大脑A1
• ·标签: 追觅科技 Pre-IPO 俞浩 智能清洁