Skip to content
星际流动

Incompressible Knowledge Probes: Estimating Black-Box LLM Parameter Counts via Factual Capacity

发布
采集
学术前沿 8.0 分 — 通过事实容量推断黑盒模型参数量,思路新颖且实用,对闭源模型分析有直接价值
原文: arXiv cs.LG

评分 8 · 来源:arXiv cs.LG · 发布于 2026-04-29

评分依据:通过事实容量推断黑盒模型参数量,思路新颖且实用,对闭源模型分析有直接价值

闭源前沿实验室不公开参数量,标准替代方案——推理经济学——因硬件/批处理/serving 栈假设存在 2 倍以上不确定性。本文利用更紧的内在边界:存储 F 个事实至少需要 F/(每参数比特数) 权重,因此测量模型「知道」多少事实可以下推其参数量下界。作者引入 Incompressible Knowledge Probe 方法,通过事实容量估计黑盒模型规模。


标签: