评分 6.3 · 来源：arXiv cs.AI · 发布于 2026-04-23
评分依据：从测量理论视角重新审视AI评估基准的本体论意义，理论深度不错但偏哲学层面，实操指导有限。
在测量理论中，仪器不简单记录现实，它们参与构成被观察的对象。这对生成式AI评估同样成立：基准不仅测量模型，更塑造了模型呈现的面貌。
核心论点：
- 功能主义基准将模型视为孤立预测器
- 规范性方法评估系统应当如何
- 两者都遗漏了AI作为社会技术系统的复杂性
- 需要多元主义评估范式
Measuring the Machine: Evaluating Generative AI as Pluralist Sociotechical Systems
原文： arXiv cs.AI