AI 前沿
研究称大模型现代化旧版PHP常破坏原本可运行代码
一项单文件研究让五个大模型在缺少项目上下文和执行反馈的情况下,把100个WordPress 4.0 PHP文件现代化到PHP 8.3。结果显示,未改动文件中有83个通过全部隐藏行为检查,最佳大模型只剩59个;规则工具Rector造成的破坏更少。
Hacker News收录的软件工程论文研究了一个常见场景:把遗留单文件粘贴给大模型并要求“现代化”。研究者让五个大模型分别将100个WordPress 4.0 PHP文件升级到PHP 8.3,要求保持行为一致,但不提供项目上下文或执行反馈。
研究使用630项隐藏行为检查和511项由Rector检测出的现代化发现评估输出,并与保持不变的原始文件、规则化工具Rector两种基线比较。结果显示,不做修改时已有83个文件通过全部检查;表现最好的大模型只让59个文件通过。
每个大模型会破坏32至51个原本可运行的文件,最多修复10个;Rector则破坏7个、修复6个。论文指出,多数损害并无必要:511项发现中只有37项,即7%,属于PHP 8.3下必须修改的问题。在无需修改即可兼容的文件中,大模型仍破坏36%至60%,Rector为8%。
研究还发现,现代化得分最高的模型在兼容性上并不优于接近的竞争者;多数回归检查来自文件完全无法加载,常见原因是PHP本身拒绝的类型声明,而这类错误并不需要项目上下文即可避免。论文建议,评估大模型现代化时应与“不修改”基线比较,并分别报告现代化程度和行为保持情况。