LLM 作为 Token 压缩器与解压器：自表达自编码新框架

评分 7.0 · 来源：cs.CL updates on arXiv.org · 发布于 2026-03-27

评分依据：新颖的 LLM 应用视角，Z-token 潜码方案对上下文压缩和高效推理有实用启发

要点

论文发现现成 LLM 可以作为出色的 token 压缩器和解压器。通过自表达自编码学习框架，微调预训练 LLM 将长文本翻译为紧凑的 Z-token 变长度潜码，并能从 Z-token 精确重建原始文本。

Z-token 表示具有内容感知、位置无关、语义保真等特性，压缩后可从任意位置开始解码。

🤖 AI 点评

这个发现虽然简单但意义深远——LLM 的能力边界远未被充分探索。如果 Z-token 能以 10x 压缩率精确保留语义，那对长上下文场景（如 Agent 多轮对话记忆）将非常有用。不需要新模型架构，只需要新的使用方式。