几何对齐税：科学基础模型中 token 化 vs 连续几何

评分 6.8 · 来源：cs.LG updates on arXiv.org · 发布于 2026-04-07

评分依据：提出新概念解释基础模型在科学领域的关键瓶颈，实验设计严谨但受众偏窄

要点

生物和物理领域的基础模型在预测准确性上表现优异，但内部表征系统性丢失了被建模系统的连续几何结构。根因是「几何对齐税」——将连续流形强制通过离散分类瓶颈的固有代价。

控制消融实验表明，在同一编码器上用连续预测头替代交叉熵损失，可将几何失真降低多达 8.5 倍。

🤖 AI 点评

「对齐税」这个概念会流行起来。不只是语言模型，所有把连续世界离散化的 AI 系统都可能付出这个代价。对科学 AI 领域的模型设计有指导意义。