Tag: Hybrid-Architecture
All the articles with the tag "Hybrid-Architecture".
- 7.0
OLMo Hybrid:Ai2 用 DeltaNet 混合架构实现数据效率翻倍
AI2 发布 OLMo Hybrid 7B,用线性循环层替代 75% 注意力层,在 3T token 训练中实现全面性能提升
All the articles with the tag "Hybrid-Architecture".
AI2 发布 OLMo Hybrid 7B,用线性循环层替代 75% 注意力层,在 3T token 训练中实现全面性能提升