AI 前沿
Ripple-65B预览版发布并主打低成本智能体编程
Ricursive Intelligence发布开放权重模型Ripple-65B Preview。该模型从零训练,使用12万亿token预训练,支持100万上下文,在TerminalBench 2.1上取得80.52分。公司称其总研发成本3200万美元,仅用140万次rollout完成强化学习跃升。
Hacker News上的发布文章称,Ricursive Intelligence是一家协同优化硬件、软件和模型、构建自我改进系统的全栈AI实验室。为支撑其芯片设计平台,公司从零训练了一款语言模型,并发布通用版本Ripple-65B Preview。
该模型预训练数据量为12万亿token,支持最长100万上下文。文章称,Ripple-65B Preview在TerminalBench 2.1上取得80.52分,创下美国开放权重模型在智能体编程方面的新纪录,并超过Reflection Beam 501B、Meta Muse Spark Open 816B、Thinking Machines Inkling 975B和NVIDIA Nemotron 3 Ultra 550B等更大模型。
公司强调成本效率,称从零开始的完整研发成本为3200万美元,涵盖预训练阶梯开发、数据混合、评测、调试、合成数据、后训练方案以及最终预训练和后训练运行;据其所知,这约为此前开放权重SOTA成本的十分之一。
训练方法上,团队没有购买后训练数据,而是自建合成数据管道、质量过滤和覆盖指标,采用截断重要性采样、分数中心化和线性长度惩罚等混合强化学习方案。文章称,模型从较强的SFT检查点开始,仅用约140万次rollout就达到80.5分,比此前SOTA Reflection Beam少约70倍。模型采用为NVIDIA硬件训练和服务优化的现代稠密Transformer架构,已在Hugging Face、Together AI、GMI Cloud和OpenRouter提供,Fireworks随后上线。