知一知 · 今日
← 返回本期日报

AI 前沿

开发者训练Qwen3-4B减少典型AI写作腔

本期日期 2026-10-19 · 23:33 北京时间

一名开发者发布基于Qwen3-4B的去“AI写作腔”模型,使用161条答案训练LoRA适配器。其自制检测器按破折号、反问、三段式列表等习惯加权评分,最终学生模型平均9.9分,80%答案落在人类范围内。

发布者在Hacker News上介绍,模型可通过Ollama运行,下载量约2.5GB。实验在MacBook Air上完成,基础模型为4B规模,训练数据为161条答案;发布者认为该方法不依赖模型尺寸,下一步是在更大模型上尝试。

评分来自发布者依据AI写作习惯编写的检测器,统计项目包括破折号、“不是X而是Y”、三项并列列表、自问自答、“here’s the thing”等指示语、强调式短句,以及“delve”“seamless”等词。每项习惯有权重,分数为每千词加权计数;谨慎人类写作接近零,原始模型平均121分。

为避免只降低风格分却损害输出,发布者还检查模型“损伤”:用22段人类文本测量预测漂移,用30题测验确认知识仍在,并用规则检查句首小写、跑题等破损输出,同时人工阅读每个模型的部分答案。

训练采用蒸馏方式。教师模型回答288个训练提示,通过检查的答案用于训练小型LoRA适配器;第一轮无需特殊提示或生成时钩子即可把分数降到约20。第二轮教师结合此前模型、四神经元补丁和朴素风格提示,最终学生模型依据171条最佳答案训练,平均分数9.9,80%答案进入人类范围。发布者也披露,早期教师提示曾被两轮模仿放大,导致句子频繁用“which”或“so”连接,并出现虚构研究等问题,因此又加入是否完成提示任务的规则检查。

原文来源

Hacker News ↗
返回本期日报打开交互阅读页