Tag: systems

All the articles with the tag "systems".

• 7.0

  DASH-KV: Accelerating Long-Context LLM Inference via Asymmetric KV Cache Hashing

  2026年04月22日

  · cs.CL updates on arXiv.org· 04/22 14:31 采集

  DASH-KV：通过非对称KV缓存哈希加速长上下文LLM推理的创新框架

• 7.0

  SAW-INT4: System-Aware 4-Bit KV-Cache Quantization for Real-World LLM Serving

  2026年04月22日

  · cs.LG updates on arXiv.org· 04/22 14:31 采集

  SAW-INT4：考虑真实LLM serving约束（paged memory、正则访存、融合attention）的4-bit KV缓存量化方案