评分 7 · 来源：cs.LG updates on arXiv.org · 发布于 2026-04-22
评分依据：推理时随机化attention权重的轻量级修改，为科学基础模型提供校准不确定性估计。简洁有效的方法
科学FM的确定性困境
Transformer基础模型在高风险科学场景中日益普及，但当前架构给出确定性输出，校准预测不确定性支持有限。
Stochastic Attention 方案
- 用归一化多项式样本替代softmax attention权重
- 由单个浓度参数控制随机程度
- 产生校准良好的预测不确定性
- 纯推理时修改，无需重训练
优势
- 极简实现（几行代码改动）
- 即插即用
- 对科学发现、药物设计等需要 uncertainty quantification 的场景有直接价值