AI 前沿
开发者训练Qwen3-4B减少典型AI写作腔
一名开发者发布基于Qwen3-4B的去“AI写作腔”模型,使用161条答案训练LoRA适配器。其自制检测器按破折号、反问、三段式列表等习惯加权评分,最终学生模型平均9.9分,80%答案落在人类范围内。
发布者在Hacker News上介绍,模型可通过Ollama运行,下载量约2.5GB。实验在MacBook Air上完成,基础模型为4B规模,训练数据为161条答案;发布者认为该方法不依赖模型尺寸,下一步是在更大模型上尝试。
评分来自发布者依据AI写作习惯编写的检测器,统计项目包括破折号、“不是X而是Y”、三项并列列表、自问自答、“here’s the thing”等指示语、强调式短句,以及“delve”“seamless”等词。每项习惯有权重,分数为每千词加权计数;谨慎人类写作接近零,原始模型平均121分。
为避免只降低风格分却损害输出,发布者还检查模型“损伤”:用22段人类文本测量预测漂移,用30题测验确认知识仍在,并用规则检查句首小写、跑题等破损输出,同时人工阅读每个模型的部分答案。
训练采用蒸馏方式。教师模型回答288个训练提示,通过检查的答案用于训练小型LoRA适配器;第一轮无需特殊提示或生成时钩子即可把分数降到约20。第二轮教师结合此前模型、四神经元补丁和朴素风格提示,最终学生模型依据171条最佳答案训练,平均分数9.9,80%答案进入人类范围。发布者也披露,早期教师提示曾被两轮模仿放大,导致句子频繁用“which”或“so”连接,并出现虚构研究等问题,因此又加入是否完成提示任务的规则检查。