Cell-Based Representation of Relational Binding in Language Models

评分 6 · 来源：cs.CL updates on arXiv.org · 发布于 2026-04-22

评分依据：发现LLM通过低维线性子空间(Cell-based Binding Representation)编码篇章级关系绑定。机制可解释性研究

研究问题

理解篇章需要追踪实体及其关系。LLM在关系推理上表现良好，但实体-关系-属性的绑定机制尚不清楚。

核心发现

LLM通过Cell-Based Binding Representation (CBR) 编码篇章级关系绑定：

• 低维线性子空间
• 每个”cell”对应一个实体
• 子空间内部编码该实体的属性和关系

意义

这是对LLM内部表示的重要机制可解释性发现，有助于理解模型如何处理复杂语义结构。