VLM Judges Can Rank but Cannot Score: Task-Dependent Uncertainty in Multimodal Evaluation

评分 6.5 · 来源：arXiv cs.LG · 发布于 2026-04-29

评分依据：用 conformal prediction 分析 VLM 评分可靠性，方法上有新意

VLM 越来越多地用作多模态系统的自动裁判，但其分数不提供可靠性指示。本文通过 conformal prediction（分布无关框架）将点分数转换为校准预测区间，仅需 score-token log-probabilities 无需重训练。首次系统分析 VLM conformal prediction 的校准覆盖率和任务依赖不确定性。