---
title: "基于重分布的成本推断提升稀疏安全离线强化学习性能"
source: "arXiv AI/CL/LG（论文）"
source_tier: "t2"
url: "https://arxiv.org/abs/2608.12306v1"
permalink: "https://feed.astralor.com/items/itm_d1475e1e4d33ea582bd08e45"
published: "2026-08-12T17:53:15.000Z"
score: 77
channel: "ai"
tags: ["arXiv","RCI框架","安全离线强化学习","时间信用分配","约束马尔可夫决策过程"]
---

# 基于重分布的成本推断提升稀疏安全离线强化学习性能

## AI 点评

> 这篇论文值得安全强化学习研究者关注，尤其是那些在实际部署中只能拿到轨迹级危险信号的团队。它把看似棘手的稀疏成本问题转化为可证明无损的重分布问题，思路干净利落，实验结果也撑得起结论。如果你想做真实场景下的约束策略学习，这篇文章会是一个很好的起点。

## 速览

安全离线强化学习通常假设可获取密集的分步成本标注，但现实中监督者往往只提供轨迹级停止反馈——首个不安全转换处的二元信号，缺乏分步归因。本文将此建模为时间信用分配问题，提出基于重分布的成本推断（RCI）框架，通过回报分解将稀疏停止反馈转换为密集分步成本，并在增强数据集上训练约束离线策略。理论证明，回报等价重分布可保持 CMDP 的可行策略集和最优拉格朗日乘子，实现无损转换并改善成本评论员学习的条件。在高速公路驾驶和机器人操作实验中，相比稀疏和基于分类器的基线，RCI 显著降低违规率，且对异构数据集组成和标签噪声具有鲁棒性。

## 关键点

- 提出 RCI 框架，利用回报分解将轨迹级停止反馈转化为密集分步成本，解决时间信用分配问题。
- 理论证明回报等价重分布在 CMDP 中保持可行策略集与最优拉格朗日乘子，转换无损。
- 在高速公路驾驶与机器人操作任务中，RCI 相比稀疏及分类器基线显著降低违规率。
- 对异构数据集组成与标签噪声表现出鲁棒性，提升成本评论员学习的条件。

## 全文

Safe offline RL typically assumes access to dense per-step cost annotations, but in practice supervisors provide only trajectory-level stop-feedback: a binary signal at the first unsafe transition, with no per-step attribution. We frame this as a temporal credit assignment problem and propose the Redistribution-based Cost Inference (RCI) framework, which converts sparse stop-feedback into dense per-step costs via return decomposition, then trains a constrained offline policy on the augmented dataset. We show that return-equivalent redistribution preserves the feasible policy set and the optimal Lagrangian in a CMDP, establishing that the transformation is lossless in theory while yielding better-conditioned cost critic learning in practice. Experiments on highway driving and robotic manipulation demonstrate substantially lower violation rates than sparse and classifier-based baselines, with robustness to heterogeneous dataset compositions and label noise.

---

引用前请核对原文;本文由星际流动整理:https://feed.astralor.com/items/itm_d1475e1e4d33ea582bd08e45