Cornserve: A Distributed Serving System for Any-to-Any Multimodal Models

评分 5.5 · 来源：arXiv cs.LG · 发布于 2026-04-29

评分依据：Any-to-Any 多模态模型分布式 serving 系统，解决不同模态请求路径差异问题

Any-to-Any 模型接受任意模态组合输入并输出任意模态。Serving 的挑战在于不同请求的不同输入输出模态穿过模型计算图的不同路径，各组件有不同的 scaling 特征。Cornserve 提供分布式 serving 方案。