---
title: "走向线性：分析驱动的Transformer线性化方法"
source: "arXiv AI/CL/LG（论文）"
source_tier: "t2"
url: "https://arxiv.org/abs/2607.07706v1"
permalink: "https://feed.astralor.com/items/itm_4be2136f844bc0cae3236101"
published: "2026-07-08T17:59:09.000Z"
score: 78
channel: "ai"
tags: ["Llama","Qwen","Transformer","长上下文推理"]
---

# 走向线性：分析驱动的Transformer线性化方法

## AI 点评

> 这篇论文的价值在于它不是简单提出又一个线性化技巧，而是深入分析了softmax在状态更新中的角色，并基于此设计了针对性的结构干预。对于需要处理超长文档或对话的工程师，以及研究注意力机制优化的学者，都值得仔细阅读。实验部分覆盖了LLaMA和Qwen等多种主流模型，增强了结论的普适性。

## 速览

本文针对因果自注意力机制在长上下文推理中的二次复杂度瓶颈，提出了一套分析驱动的后训练线性化方法。通过隔离状态更新设计的影响，揭示了 softmax 依赖关键依赖的秩-1正交投影，解释了为什么 delta 风格网络优于纯门控累积。识别了近似误差来源，并引入结构干预（如 sink tokens、短卷积、固定预算缓存路由）来缩小差距。在 LLaMA 和 Qwen 模型（最高 32B 参数）上验证，MMLU 上超越先前后训练基线，长上下文检索性能与复杂自适应缓存框架持平。

## 关键点

- 因果自注意力二次复杂度是长上下文推理的瓶颈，本文提出分析驱动的后训练线性化。
- 揭示了 softmax 机制中关键依赖的秩-1正交投影，解释 delta 网络优势。
- 引入 sink tokens、短卷积和固定预算缓存路由三种结构干预，减少近似误差。
- 在 32B 参数规模的 LLaMA 和 Qwen 模型上验证，MMLU 优于先前后训练基线，长上下文检索媲美自适应缓存方法。

## 全文

The quadratic cost of causal self-attention severely bottlenecks long-context transformer inference. While numerous post hoc linearization pipelines exist, it is difficult to identify which components preserve model quality. This work isolates the effect of state update design in a strict frozen-backbone regime. We show that softmax relies on key-dependent, rank-1 orthogonal projections, elucidating why delta-style networks outperform purely gated accumulation. We identify a potential source of approximation errors and introduce structural interventions, specifically sink tokens, short convolutions, and fixed-budget cache routing, which reduces the remaining gap. We scale this linearization approach across LLaMA and Qwen models up to 32B parameters, outperforming prior post hoc baselines on MMLU and matching the long-context retrieval of complex adaptive-caching frameworks.

---

引用前请核对原文;本文由星际流动整理:https://feed.astralor.com/items/itm_4be2136f844bc0cae3236101