Mistral AI 推出 Robostral Navigate：单摄像头实现高效 AI 导航

← + − →

介绍 Robostral Navigate

思考

摘要

Robostral Navigate 是一个8B模型，它使机器人能够仅使用单个RGB摄像头自主导航复杂环境，在未见过的R2R-CE基准测试中达到76.6%的成功率——超越了多传感器方法，同时更加高效。完全内部构建，使用仿真训练数据和令牌高效技术，它能够泛化到不同机器人类型，并适应训练中未见过的真实世界障碍。该模型结合了点选式导航与强化学习以实现持续改进，为机器人领域的统一具身AI铺平了道路。

今天，我们推出Robostral Navigate，这是我们为具身导航构建的第一个模型。它是一个8B模型，接收RGB图像和自然语言指令，并驱动机器人在环境中移动：

“离开大厅，穿过走廊，进入储物室，然后停下来面向第二个架子。”

为了执行此类任务，其他模型通常使用深度传感器、激光雷达或多个摄像头协同工作。Robostral Navigate仅使用一个普通RGB摄像头，没有深度传感器，然而在R2R-CE（连续环境中的房间到房间）验证集未见数据上仍达到76.6%的成功率，该基准测试用于评估在训练未涉及的环境中遵循指令的能力。因此，它比最好的单摄像头方法高出9.7个百分点，比使用深度或多摄像头的最佳系统高出4.5个百分点，尽管它两者都没有使用。

导航

我们的模型专为机器人导航设计，使机器人能够自主导航复杂环境，包括办公室、住宅和商业建筑以及室外环境。

Robostral Navigate在一个工作办公室中沿着一条长距离指令路线完全自主运行。

这项技术解锁了制造业、配送、物流和酒店业的众多应用，使其成为当今客户最需要的能力之一。给Robostral Navigate一个指令，它就能独立完成整个任务，穿过充满人和障碍物的真实空间，这些从未在训练中见过，并且能够适应任何环境。

亮点

• 在R2R-CE上达到最优性能
• 验证集已见上成功率达79.4% 验证集未见上成功率达76.6%
• 仅使用单个RGB摄像头运行，无需激光雷达或深度传感器
• 8B模型，内部构建且完全在仿真中训练
• 适用于轮式、腿式及飞行机器人，并能泛化到不同机器人尺寸
• 对相机内参差异具有鲁棒性
• 通过前缀缓存实现令牌高效训练

• 成功率
• Oracle成功率
• 按路径长度加权的成功率
• 导航误差

通过指向进行导航

给定任务和观测历史，Robostral Navigate 通过 指向 预测机器人下一步应移动的位置：它推断目标位置在当前相机视图中的图像坐标，以及到达时的期望朝向。与依赖度量位移的命令不同，指向使策略自然地鲁棒于相机内参和世界尺度的变化。

然而，该方法无法处理目标位置在当前视野之外的情况。当指向不适用时，模型回退到机器人局部坐标系中的位移，例如：

"向前移动2米，向左移动1.5米，向左转25度。"

从头开始构建

Robostral Navigate 完全内部构建，不依赖现有的开源VLM。

该模型从我们专门用于接地任务（如指向、计数和物体定位）的视觉-语言模型初始化。导航是这些能力的自然延伸：一旦它理解物体在哪里，它就能学会如何移动。

我们完全在模拟中构建了一个高效的数据生成管道。这实现了数据的快速迭代，产生了大约 在6000个场景中收集的40万条轨迹 的数据集。

高效监督训练

Robostral Navigate 的一个关键组成部分是基于前缀缓存的高效训练算法。使用基于树的注意力掩码策略，我们的方法将整个回合压缩成单个序列，使得所有时间步能在一次前向传播中训练，同时防止时间步之间的信息泄露。

与每个时间步一个样本的训练方式相比，我们的方法将训练令牌数量减少了 22倍，同时保留所有学习信号。实际上，这种方法 将原本需要数月的训练运行转变为数天内完成在线强化学习我们利用大规模后训练LLM的知识，使用在线强化学习来提高Robostral Navigate的性能。在监督训练阶段之后，我们使用CISPO（一种在线强化学习算法）进一步提高了模型的性能。这使得模型能够从试错中学习，从失败中恢复并获取探索行为，有效缓解了原始行为克隆的分布偏移问题。仅此一项就将成功率提高了3.2%。我们没有看到任何平台效应，因此我们相信更多的训练和实验将继续提升这一数字。

下一步

Robostral Navigate 只是迈向统一具身智能体的第一步。

我们相信导航是通用机器人技术的基础能力。通过结合大规模仿真、高效训练和强大的先验基础，Robostral Navigate 证明了使用紧凑模型和单个RGB相机即可实现最先进的具身导航。

开启你的具身前沿AI之旅，与我们的团队交流。

顺便说一句，我们正在招聘！

我们的导航模型的发布标志着向前迈出了重要一步，但我们的旅程远未结束。我们的目标是让机器人能够自主导航复杂环境——办公室、家庭、商业建筑和室外空间——还有很多工作要做。我们正在积极扩大我们的机器人团队，寻找与我们志同道合的杰出研究科学家和工程师。

如果您有兴趣加入我们，共同实现让机器人在任何地方都能无缝导航的使命，我们欢迎您的申请加入我们的团队！

作者：Théo Cachet, Arjun Majumdar, Srijan Mishra, Thomas Chabal, Chris Bamford, Elliot Chane-Sane, Benjamin Tibi, Ludovic Ho Fuh, Olivier Duchenne - AI Science Robotics

0%