Flow-Controlled Scheduling for LLM Inference with Provable Stability Guarantees

评分 6 · 来源：cs.LG updates on arXiv.org · 发布于 2026-04-14

评分依据：为LLM推理调度提供可证明稳定性保证的流控机制，解决decode长度未知导致的内存溢出风险。系统工程价值高。