Tag: 推理优化

All the articles with the tag "推理优化".

• 7.2

  SPEED-Bench：NVIDIA 发布统一推测解码评估基准

  2026年03月19日

  · HuggingFace Blog· 03/19 22:33 采集

  NVIDIA 联合 HuggingFace 推出 SPEED-Bench，为推测解码提供覆盖多语义领域、高并发场景的标准化评估框架。

• 8.0

  Unsloth Studio：统一的本地模型训练与推理 Web UI

  2026年03月19日

  · GitHub· 03/19 00:45 采集

  开源训练加速工具 Unsloth 推出 Studio 版本，提供跨平台 Web UI，支持 500+ 模型训练，速度提升 2 倍，显存占用降低 70%

• 8.3

  LoRA 让小模型在移动端实现高效推理

  2026年03月17日

  · arXiv· 03/18 11:20 采集

  Qualcomm 提出轻量级方案，通过 LoRA 适配器和动态切换机制在资源受限设备上启用推理能力