使得大模型自主探索开放世界北大&智源提出训练框架

利用 LLA+RIDER，增强的语言模型可以学会处理周边环境和提升应对多重任务能力。LLM 在预训练阶段获得的知识与实际环境很可能存在不一致，这常常导致决策错误。为了解决这个问题，现有的方法有些利用提示工程，通过和 LLM 频繁交互让其获取环境信息，不过并不更新 LLM；有些使用强化学习在线微调 LLM，不过其计算代价高且难以扩展到多任务和复杂任务。

在探索阶段，LLaMA-Rider 利用反馈 - 修改机制来进行主动探索。在每个时间步上，LLaMA-Rider 接收文本化的环境信息和任务信息，并给出下一步的决策。由于与环境的知识差距，该决策可能无法在环境中执行并触发环境的反馈信息，而该反馈信息会再次输入给 LLaMA-Rider，引导其修改决策。凭借 LLM 自身的上下文理解能力和环境反馈信息，LLaMA-Rider 可高效探索开放世界。

LLaMA-Rider 使用的大语言模型为近期推出的 LLaMA-2-70B-chat。在 Minecraft 的三类共 30 个任务中，LLaMA-Rider 的表现超过了基于 ChatGPT 的任务规划器，并且经过学习后的 LLaMA-Rider 所能完成的任务数量也超过了它在探索阶段能成功的数量，展现出 LLaMA-Rider 对于开放世界中持续学习和多任务解决的能力。

与强化学习 (RL)方法相比，LLaMA-Rider 则展现出了高采样效率和低训练代价的优势。即使在难度较简单、完成步数较短的木材相关任务上，RL 方法也难以取得训练成效，表明强化学习的训练方法难以扩展到大动作空间以及复杂的场景中。而 LLaMA-Rider 在探索阶段只采用了 5-10 次的任务探索便完成数据收集，在机器学习训练的阶段也只在包含 非常少的1.3k 样本量的数据集上进行单独的训练就取得了非常大的效果相当大的提升。

除此之外，尽管 LLaMA-Rider 只学习了任务决策相关的数据，当作者使用任务相关的问题进行提问时，LLaMA-Rider 也给出了更准确的回答，表明它在训练过程中同样学习到了环境知识，证明 LLaMA-Rider 起到了与环境知识对齐的作用。这一发现对于人工智能研究来说意义重大，因为它表明llama-rider可以通过模仿环境中的声音来学习，而不是仅仅依靠自己的感觉。

（编辑：银川站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!