Tag: MoDA

All the articles with the tag "MoDA".

• 7.0

  MoDA：混合深度注意力机制，让 LLM 的深度扩展更高效

  2026年03月17日

  · arXiv· 03/18 04:36 采集

  提出跨层深度 KV 注意力机制 MoDA，在仅增加 3.7% FLOPs 的情况下显著提升深层 LLM 性能