Remask, Don't Replace: Token-to-Mask Refinement in Masked Diffusion Language Models

评分 6 · 来源：cs.CL updates on arXiv.org · 发布于 2026-04-22

评分依据：识别LLaDA等扩散语言模型的T2T编辑三种结构性失败模式并提出Token-to-Mask修正

T2T 编辑问题

LLaDA等masked diffusion LM依赖Token-to-Token(T2T)编辑修正自身生成错误，但存在三种结构性失败模式：

1. 触发失效：无替代选项足够置信时无法触发
2. 替换上下文错误：替换计算可能自身包含错误
3. 均匀扰动次优：统一扰动策略不够灵活

T2M 方案

Token-to-Mask Refinement：用mask refinement替代token replacement，从根本上修复上述三种失败模式。

影响

提升diffusion language models的生成质量，对non-autoregressive生成范式有重要贡献。