为什么自蒸馏有时会损害 LLM 的推理能力

评分 7.4 · 来源：cs.LG updates on arXiv.org · 发布于 2026-03-26

评分依据：精确定位自蒸馏损害推理机制，对训练方法论有直接指导价值

要点

自蒸馏常缩短推理链但在数学推理中退化。根因是认知言语化抑制——教师基于丰富信息时不确定性表达被压缩，传递给学生的推理信号不完整。

🤖 AI 点评

更短推理链不等于更好推理。对 Agent 场景尤其重要——需在不确定性中做决策。自蒸馏的简洁可能扼杀灵活性。