AI 前沿
开发者用基准测试衡量JavaScript框架的AI编码成本
一位开发者针对“某框架更适合AI代理”的说法设计Pokémon应用基准,让代理使用不同JavaScript框架和元框架实现同一规格,并从开发时间、令牌消耗、代码行数、Lighthouse性能和可访问性等维度比较。作者也说明实验只覆盖一类内容型网站。
文章作者批评前端开发中许多框架选择基于感觉而非证据。进入代理编程时代后,仍有团队以“更适合代理”“生成代码更快”“代理犯错更少”等说法重写前端,却缺少基准数据。为检验这些说法,作者设计了一个基于PokéAPI的小型但不简单的Pokémon应用。
测试流程要求代理分别使用指定JavaScript框架或元框架,例如Next.js、Nuxt、SvelteKit等构建应用,再用规格一致性测试套件检查结果,防止代理绕过要求。评估维度包括开发时间、花费令牌、代码行数,以及Lighthouse中的性能和可访问性评分。应用包含宝可梦列表、属性、招式和不同游戏数据,并支持搜索、筛选等功能。
作者明确说明实验局限:这不是完美测试,所选应用更接近内容型网站,交互复杂度低于Figma或Gmail等产品,因此只能代表一种样本。为尽量公平,各框架或元框架均使用官方MCP或技能;测试没有过度规定架构,也没有要求性能最大化,而是把规格交给高投入模式的Opus 5.5,并让其使用给定框架的最新版本。
测试还要求代理在沙盒中运行,可看到一致性测试套件,但不知道结果会接受Lighthouse性能和可访问性评估。CSS方面未规定具体方法,但禁止使用Tailwind、Bootstrap等组件框架,并要求依据一组设计令牌实现,以保持视觉一致。