Tag: PPO

All the articles with the tag "PPO".

• 6.4

  SPPO: Sequence-Level PPO for Long-Horizon Reasoning Tasks

  2026年04月13日

  · arXiv cs.AI· 04/13 12:31 采集

  SPPO 提出序列级 PPO 算法，解决 token-level PPO 在长 Chain-of-Thought 推理任务中的时序信用分配困难和高内存消耗两大瓶颈，为 GRPO 等替代方案提供了效率更高的训练路径。

• 7.0

  Tree Search Distillation：用 PPO 让语言模型学会「先搜后答」

  2026年03月15日

  · Hacker News / ayushtambde.com

  研究者提出树搜索蒸馏方法，通过 PPO 将 MCTS 等树搜索过程内化到 LLM 推理中，推理时无需额外搜索即可受益。