Rethinking Layer Redundancy in Large Language Models: Calibration Objectives and Search for Depth Pruning

评分 5.5 · 来源：arXiv cs.LG · 发布于 2026-04-29

评分依据：从功能视角重新审视层冗余和深度剪枝

深度剪枝通过移除 Transformer block 提升 LLM 推理效率。先验工作关注重要性标准和搜索算法，将层冗余视为固有结构属性。本文 adopt 功能视角：冗余由模型和评估目标共同影响，通用排名可能不存在。