RLinf v0.3来了！从模型生态到真机部署五大能力跃升，无问芯穹与清华大学联合打造

具身智能行业正经历从“数据驱动”向“经验驱动”的从模关键范式转移。机器人不再局限于静态模仿，型生学联而是真机造需要在真实物理世界中实现持续学习与在线进化。然而，部署强化学习流程复杂、力跃系统组件异构、升无资源形态多样以及真实世界在线学习难以规模化等痛点，问芯严重制约了具身智能的穹清落地进程。

今日，华大合打由无问芯穹联合清华大学等机构共同研发的从模全球首个面向具身智能持续进化的大规模强化学习基础设施项目 RLinf，正式宣布升级至 v0.3版本。型生学联此次升级旨在破解行业瓶颈，真机造构建新一代具身智能“进化底座”。部署

继 v0.1 完成强化学习系统抽象、力跃v0.2 奠定真实世界在线学习基础之后，升无RLinf v0.3进一步进化为面向具身智能持续进化的一站式开发平台。它首次完整打通了 数据采集、数据管理、监督微调（SFT）、强化学习（RL）、模型评测及真机部署的全链路环节，实现了从仿真训练到真实机器人在线学习，再到持续迭代优化的统一闭环。

RLinf v0.3 不仅提升了机器人策略的训练效率，更赋予了机器人在真实世界中长期持续进化的能力。本次升级围绕 模型、算法、真机、仿真、系统五大维度展开，系统性降低开发门槛，提升部署灵活性，并丰富了具身智能开源生态。

针对强化学习中“参数难调、结果难复现”的行业难题，RLinf 将严格的可复现性作为核心标准。在 v0.3 发布前，团队已完成大量应用示例的深度复现测试（详见 Release Notes）。此外，本次发版已与百度智能云等多家云厂商协同上线。

关键资源链接：
* RLinf v0.3 Release Notes: https://rlinf--1379.org.readthedocs.build/zh-cn/1379/rst_source/resources/release_v0.3.html
* 快速上手指南:
* NeoGPU PPO VLA 教程
* 百度智能云 AIHC 教程
* GitHub 仓库: https://github.com/RLinf/RLinf
* 技术报告: https://arxiv.org/abs/2509.15965

01 模型生态：新增 6 款主流具身模型

RLinf v0.3 大幅扩展模型支持范围，新增 6 款具身模型，涵盖世界模型、VLA（Vision-Language-Action）模型及系统级加速方案：

• Dexbotic DM0：支持在 LIBERO 环境下使用 PPO 进行在线 RL 微调。
• DreamZero：基于 WAN2.1/2.2 视频生成世界模型微调的 VLA 策略，集成至 SFT 工作流。通过 FSDP2/CUDA Graph 等系统级加速，实现近 4倍吞吐提升。
• GR00T-N1.6 / N1.7：新增 RL 微调支持。
• ABot-M0：新增模型支持。
• StarVLA：支持在 LIBERO 上使用 GRPO 算法。
• LingBot-VLA：支持在 RoboTwin 环境中进行 SFT/RL 训练。

02 算法体系：从模仿学习到真机学习全覆盖

新版在真机 RL、仿真 RL 和人在环学习三个方向均有重大突破，展现出 SOTA 级别的任务成功率：

真机强化学习算法：
* DSRL：扩展支持 Pi0.5 模型（Diffusion Steering via Reinforcement Learning）。
* RECAP：新增基于离线优势估计的策略优化训练流水线。
* SAC-Flow：新增算法支持，并扩展至 DOS-W1 等真机场景。

仿真强化学习算法：
* Async PPO：在 v0.2 基础上扩展支持 MLP 等新策略，新增 async DSRL 配置。
* D4RL 离线 IQL：新增训练支持（Antmaze / Kitchen-Adroit / MuJoCo），基于 FSDPStrategy。

人在环学习：
* DAgger：新增在线模仿学习算法支持，覆盖 LIBERO、ManiSkill、RoboTwin 及真机 PnP 多场景。
* HG-DAgger：新增 Human-Gated DAgger 真机在线训练支持。

03 真机支持：打通从数据采集到真机部署全链路闭环

新版全面贯通 数据采集 → SFT → RL → 真机部署的闭环链路，新增 3 种遥操作方式、3 款真机平台及 2 款末端执行器，显著增强实操能力：

数据采集支持：
* 新增 空间鼠标（Spacemouse）遥操作数据采集。
* 新增 VR 遥操作数据采集。
* 新增 GELLO遥操作数据采集。

训练链路支持：
* 新增 LeRobot 格式数据采集支持，实现与 HuggingFace LeRobot 生态互通。
* 新增 Pi0 真机 SFT 部署支持，打通从采集到部署的全链路。
* 新增 真机 Reward Model 数据采集支持，采集带标注 Reward 训练数据。

真机平台与末端支持：
* 双臂 Franka 平台：支持关节空间与 TCP/rot6d 控制、数据采集、SFT 及部署。
* GimArm 真机平台：新增支持。
* DOS-W1 真机平台：新增支持。
* 末端执行器：新增 Franka DexHand 灵巧手、Franka Robotiq 夹爪后端，以及 Franka Robotiq 与 ZED / LUMOS V4L2 相机与夹爪的后端支持。

04 仿真环境：场景覆盖更丰富

RLinf v0.3 提升仿真强化学习的场景覆盖率，新增 5 种仿真器，并完善相关训练示例：

• 新增仿真器：Genesis、Polaris、RoboVerse。
• Behavior 环境优化：新增 v3.7.1 / v3.7.2 版本补丁、π0.5 PPO 配置及 object/pose randomization。
• Libero 变体：新增 Libero+ / LiberoPro 环境支持。
• Embodichain：新增 CartPole 环境支持。
• IsaacLab：新增 π0.5 PPO finetuning 支持。
• RoboCasa：新增 close-drawer 等 RL 示例支持。

05 系统基座：面向大规模训练持续强化底层能力

RLinf v0.3 在系统层面引入多项重磅组件与性能优化：

新增核心组件：
* Reward Model 组件：支持 embodied reward worker + ResNet/VLM reward model。
* Value Model 组件：通用基础设施，支撑 Pi0.6 RECAP 等流水线。
* SGLang 推理服务化组件：采用 HTTP server + router 模式，可作为 reward 服务或 rollout 推理后端。
* 解耦环境执行组件：解除 Env Worker 与 Rollout Worker 的一对一绑定，显著提升 GPU 利用率。

性能优化：
* 新增 torch.compile加速、rollout 与训练重叠（overlap）。
* 升级权重同步策略（broadcast/增量同步/分桶同步/仅同步可训练参数）。
* 支持 FSDP 全 offload。
* 修复显存泄漏等关键问题。

异构算力支持：
RLinf v0.3 全面支持 昇腾 Ascend（CANN/torch-npu）、AMD ROCm、Musa等国产及异构 AI 计算平台，真正实现跨机器人、跨模型、跨仿真器、跨计算硬件的统一训练能力。

06 One More Thing：RLinf for Agentic AI

RLinf v0.3 为智能体（Agent）RL 场景提供了更强大的训练与评测基础：

• AgentLightning：新增多轮单智能体 RL 训练与 Calc-X 评测支持。
• Megatron-Bridge：新增 actor 后端支持（基于 Megatron-mbridge 模型的 RL 训练与 SFT）。
• SearchR1：重构为多轮接口，新增 WideSeek judge 的内置 sglang 支持。

行业影响力与未来展望

自开源以来，RLinf 秉持开放共享理念，迅速形成全球影响力。截至目前，项目在 GitHub 已获得 4100+ Stars、600+ Forks及 100+ Contributors，成为具身智能与大模型强化学习领域最受关注的基础设施项目之一。

权威认可：
* Isaac Lab 官方收录：RLinf 成为 Isaac Lab 首个面向具身大模型的训练引擎，彰显其国际技术引领地位。
* NVIDIA GTC 2026：RLinf 团队与 NVIDIA 合作的医疗器械组装任务成功登台，验证其全球技术影响力。
* 奖项荣誉：荣获 EAI-100 年度十大突破奖，入选 Pytorch Ecosystem 及蚂蚁开源榜。

未来路线图：
RLinf 将继续坚持开源路线，提升易用性，并携手社区贡献前沿算法。团队已发布开发 Roadmap (链接) 并建立答疑群 (图片)，诚邀广大研究者加入社区，共同推动具身智能技术发展！

转载来源：无问芯穹
本文为量子位获授权转载，观点仅为原作者所有。

(责任编辑：探索)