SMG: The Case for Disaggregating CPU from GPU in LLM Serving

评分 7 · 来源： · 发布于 2026-04-30

评分依据：PyTorch团队在生产环境中发现LLM推理的真正瓶颈不在GPU而在CPU端的tokenization/detokenization，提出SMG架构将CPU从GPU解耦。工程洞察扎实，对推理基础设施团队有直接参考价值。