Knowledge Distillation Must Account for What It Loses

评分 7 · 来源：arXiv cs.LG · 发布于 2026-04-29

评分依据：重要的 position paper：指出蒸馏损失不仅看保留的 task score，还要看丢失的教师能力边界行为等

蒸馏越来越多地用于将大模型转化为可部署系统，但 headline 指标可能隐藏不确定性、边界行为、过程可靠性等方面的损失。本文论证蒸馏必须考虑它丢失的东西——学生模型应被评判的不仅是保留的任务分数，还有是否保留了使这些分数可靠的教师能力。