Skip to content
星际流动

Beyond Masks:用删除-插入过程实现高效灵活的扩散语言模型

发布
采集
学术前沿 7.0 分 — 用删除-插入替代掩码范式,理论上更优雅且效率更高
原文: cs.LG updates on arXiv.org

评分 7.0 · 来源:cs.LG updates on arXiv.org · 发布于 2026-03-26

评分依据:用删除-插入替代掩码范式,理论上更优雅且效率更高

要点

DID(Deletion-Insertion Diffusion)将 token 删除和插入形式化为离散扩散过程,替代 MDLM 的掩码/去掩码。提升训练和推理效率。

🤖 AI 点评

掩码语言模型的固有局限(固定 mask 率、单一方向)长期存在。DID 的双向操作理论上更接近自然的编辑过程。


标签: