3D-LLM 使得AI聊天机器人可以解读三维世界

研发人员提出了一种新型方法： 3D-LLM，可以将对3D 环境的理解融入到大型语言模型中。这意味着聊天机器人将能够理解和处理3D 空间的概念，从而更好有效率地在动态三维世界中进行导航和操作。

为了训练模型，团队需要收集足够数量的3D 和自然语言数据对 -与网络上的图像文本对相比，此类数据集是有限的。因此，团队开发了ChatGPT的提示技术来生成不同的3D描述和对话。

此外，研究人员使用3D 定位机制，允许模型通过将文本描述与3D 坐标相关联来捕获空间信息。这也促进了使用 BLIP-2等模型来有效地训练3D LLM 来理解3D 场景。

实验结果显示，3D 语言模型可以生成对3D 场景的自然语言描述，进行3D 感知对话，并将复杂任务分解为3D 动作。这表明，通过结合空间推理能力，人工智能有潜力开发出更接近人类的3D 环境感知。

研究人员计划将这种模型扩展到其他数据模式，如声音，并训练它们执行其他任务。这将进一步提高 AI助手在多模态环境中的能力。 最终的目标是将这些进步应用到可以与3D 环境智能交互的具体 AI 助手中。这意味着未来可能会有更智能的机器人和具体人工智能应用程序。在ai领域，谷歌的研究人员一直在努力开发一种新的方法，使用人工智能技术来改善用户体验。

（编辑：银川站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!