AI 前沿
ThinkingCap推出减少Gemma思考token的高效版本
ThinkingCap发布基于Google gemma-4-26B-A4B-it的第五款高效模型,称在12项基准上平均减少38.9%思考token、最多减少69.1%,平均准确率仅下降0.15个百分点,并可作为vLLM中的直接替代。
据Hacker News页面介绍,新模型是ThinkingCap系列第五款,也是其首个基于Google模型的版本。原模型gemma-4-26B-A4B是稀疏混合专家架构,总参数26B,每个token约激活4B参数。ThinkingCap称,在相同采样设置和vLLM服务栈下,新模型可直接替换原模型;12项基准平均思考token减少38.9%,最多减少69.1%,平均准确率变化为负0.15个百分点。
按任务类别看,指令遵循与代理能力提升0.65个百分点,数学提升0.39个百分点,代码基本持平,知识与推理下降0.51个百分点,长上下文和多模态下降0.92个百分点。思考token在各类别均缩短:长上下文与多模态减少54.4%,知识与推理减少44.4%,数学减少36.1%,代码减少27.6%,指令遵循与代理能力减少17.2%。
材料还称,原模型回答中的循环现象占3.6%,ThinkingCap版本降至0.8%。页面同时宣传PRO版本,称其思考token最多减少87.6%、平均减少62%,面向需要更低大规模推理成本的企业客户。相关评估均由发布方在同一硬件、推理设置和测试题下完成。