CausalMix：将数据混合视为语言模型训练的因果推断

计算机科学 > 机器学习

arXiv:2607.01104v1 (cs) [Submitted on 1 Jul 2026]

标题:CausalMix: 将数据混合作为语言模型训练的因果推断

Authors:Zinan Tang, Yukun Zhang, Shaomian Zheng, Zhuoshi Pan, Qizhi Pei, Dingnan Jin, Jun Zhou, Yujun Wang, Biqing Huang View a PDF of the paper titled CausalMix: Data Mixture as Causal Inference for Language Model Training, by Zinan Tang and 7 other authors View PDF HTML (experimental)

摘要:在大语言模型(LLM)训练中,数据混合对模型性能起着关键作用。近期方法通过代理模型优化混合权重,但它们依赖于静态数据分布的假设。因此,当底层数据池发生变动时,这些方法需要从头开始进行昂贵的重新训练。这一限制阻碍了它们从小规模设置无缝扩展到更大数据池和模型规模的能力。在本文中,我们提出CausalMix来解决这一限制,将数据混合优化转化为因果推断问题。我们将数据池的统计特征形式化为协变量,将领域混合形式化为处理。在基于512次Qwen2.5-0.5B运行拟合因果模型以估计条件平均处理效应(CATE)后,我们外推出80万数据池的最优混合,并将其应用于训练7B模型。此外,我们成功将该框架推广到Qwen3-4B-Base上的长思维链数据。通过利用因果建模隔离混淆偏差,CausalMix动态推断依赖于状态的最优数据混合。大量实验表明,CausalMix引导的混合在多个下游任务上持续提升性能,优于RegMix及其他基线。另外,我们使用CATE解释器对学到的混合策略进行可视化分析。总体而言,CausalMix为优化LLM数据混合提供了一个可因果解释的框架。

注释:	22页, 3张图
主题:	机器学习 (cs.LG); 人工智能 (cs.AI); 计算与语言 (cs.CL)
引用方式:	arXiv:2607.01104 [cs.LG]
	(或 arXiv:2607.01104v1 [cs.LG] 为此版本)
	https://doi.org/10.48550/arXiv.2607.01104 点击了解更多 arXiv通过DataCite发布的DOI

提交历史

From: Zinan Tang [view email]
[v1] Wed, 1 Jul 2026 15:56:11 UTC (510 KB)
Full-text links:

访问论文:

View a PDF of the paper titled CausalMix: Data Mixture as Causal Inference for Language Model Training, by Zinan Tang and 7 other authors
• 查看PDF
• HTML (实验性)
• TeX源文件

view license

当前浏览上下文:

cs.LG < prev   |   next >
new | recent | 2026-07 Change to browse by: cs
cs.AI
cs.CL

参考文献与引用

• NASA ADS
• Google Scholar
• Semantic Scholar

export BibTeX citation Loading...

BibTeX格式引用

× Data provided by:

书签

Bibliographic Tools

书目与引用工具

Bibliographic Explorer Toggle Bibliographic Explorer (What is the Explorer?) Connected Papers Toggle Connected Papers (What is Connected Papers?) Litmaps Toggle Litmaps (What is Litmaps?) scite.ai Toggle scite Smart Citations (What are Smart Citations?) Code, Data, Media

与本文相关的代码、数据和媒体

alphaXiv Toggle alphaXiv (What is alphaXiv?) Links to Code Toggle CatalyzeX Code Finder for Papers (What is CatalyzeX?) DagsHub Toggle DagsHub (What is DagsHub?) GotitPub Toggle Gotit.pub (What is GotitPub?) Huggingface Toggle Hugging Face (What is Huggingface?) ScienceCast Toggle ScienceCast (What is ScienceCast?) Demos

演示

Replicate Toggle Replicate (What is Replicate?) Spaces Toggle Hugging Face Spaces (What is Spaces?) Spaces Toggle TXYZ.AI (What is TXYZ.AI?) Related Papers

推荐与搜索工具

Link to Influence Flower Influence Flower (What are Influence Flowers?) Core recommender toggle CORE Recommender (What is CORE?) IArxiv recommender toggle IArxiv Recommender (What is IArxiv?)

• 作者
• 发表场所
• 机构
• 主题

About arXivLabs

arXivLabs：与社区合作者共同开展的实验性项目

arXivLabs是一个框架，允许合作者直接在我们的网站上开发和分享新的arXiv功能。

与arXivLabs合作的个人和组织都认同并接受了我们关于开放、社区、卓越和用户数据隐私的价值观。arXiv致力于这些价值观，并且只与遵守这些价值观的合作伙伴合作。

有一个能为arXiv社区增加价值的项目想法？了解更多关于arXivLabs的信息。

Which authors of this paper are endorsers? | Disable MathJax (What is MathJax?)