评分 8 · 来源:arXiv cs.LG · 发布于 2026-04-29
评分依据:通过事实容量推断黑盒模型参数量,思路新颖且实用,对闭源模型分析有直接价值
闭源前沿实验室不公开参数量,标准替代方案——推理经济学——因硬件/批处理/serving 栈假设存在 2 倍以上不确定性。本文利用更紧的内在边界:存储 F 个事实至少需要 F/(每参数比特数) 权重,因此测量模型「知道」多少事实可以下推其参数量下界。作者引入 Incompressible Knowledge Probe 方法,通过事实容量估计黑盒模型规模。