Tag: LLM训练
All the articles with the tag "LLM训练".
- 7.0
All is Not Lost:无需 Checkpoint 的 LLM 训练恢复方案
提出在去中心化或 spot 实例训练中无需完整 checkpoint 即可恢复 LLM 训练的方法,通过数学重建丢失的模型层,大幅降低存储和通信开销
All the articles with the tag "LLM训练".
提出在去中心化或 spot 实例训练中无需完整 checkpoint 即可恢复 LLM 训练的方法,通过数学重建丢失的模型层,大幅降低存储和通信开销